I. Định nghĩa
1. Data Lake là gì?
Data Lake là kho lưu trữ có thể lưu trữ một lượng lớn dữ liệu có cấu trúc, bán cấu trúc và không cấu trúc. Đây là nơi lưu trữ mọi loại dữ liệu ở định dạng gốc mà không có giới hạn cố định về số lượng account hoặc file.Nó cung cấp số lượng lớn dữ liệu để tăng hiệu suất phân tích và tích hợp native.
Data Lake giống như một container lớn rất giống với hồ và sông thật. Giống như trong một hồ bạn có nhiều nhánh sông đi vào, một hồ dữ liệu có dữ liệu có cấu trúc, dữ liệu phi cấu trúc, máy này sang máy khác, các nhật ký chảy qua trong thời gian thực.
2. Data Warehouse là gì?
Data Warehouse là sự pha trộn của các công nghệ và các thành phần cho phép sử dụng dữ liệu chiến lược. Đây là một kỹ thuật thu thập và quản lý dữ liệu từ nhiều nguồn khác nhau để cung cấp những hiểu biết kinh doanh có ý nghĩa.
Nó là lưu trữ điện tử , lưu trữ một lượng lớn thông tin của một doanh nghiệp được thiết kế để truy vấn và phân tích thay vì xử lý giao dịch. Đó là một quá trình biến đổi dữ liệu thành thông tin.
II. Khái niệm
1. Data Lake
Data lake là kho lưu trữ kích thước lớn chứa một lượng lớn dữ liệu thô ở định dạng ban đầu cho đến thời điểm cần thiết. Mỗi thành phần dữ liệu trong Data lake được cung cấp một mã định danh duy nhất và được gắn thẻ với một bộ thẻ siêu dữ liệu mở rộng. Nó cung cấp nhiều loại khả năng phân tích.
2. Data Warehouse
Data Warehouse lưu trữ dữ liệu trong các tệp hoặc thư mục giúp tổ chức và sử dụng dữ liệu để đưa ra các quyết định chiến lược. Hệ thống lưu trữ này cũng cung cấp một cái nhìn đa chiều về dữ liệu nguyên tử và dữ liệu tổng hợp. Các chức năng quan trọng cần thực hiện là:
- Khai thác dữ liệu
- Làm sạch dữ liệu
- Chuyển đổi dữ liệu
- Tải và làm mới dữ liệu
III. Sự khác biệt
| Thông số | Data Lake | Data Warehouse |
| Lưu trữ | Trong Data lake, tất cả dữ liệu được giữ bất kể nguồn và cấu trúc của nó. Dữ liệu được giữ ở dạng thô. Nó chỉ được chuyển đổi khi nó sẵn sàng để được sử dụng. | Data Warehouse sẽ bao gồm dữ liệu được trích xuất từ các hệ thống giao dịch hoặc dữ liệu bao gồm các metrics định lượng với các thuộc tính của chúng. Dữ liệu được làm sạch và biến đổi |
| Lịch sử | Công nghệ Big data được sử dụng trong Data Lake là tương đối mới. | Khái niệm Data Warehouse, không giống như Big data, đã được sử dụng trong nhiều thập kỷ. |
| Dòng thời gian dữ liệu | Data lake có thể giữ lại tất cả dữ liệu. Điều này bao gồm không chỉ dữ liệu đang sử dụng mà còn cả dữ liệu mà nó có thể sử dụng trong tương lai. Ngoài ra, dữ liệu được lưu giữ mọi lúc, để quay ngược thời gian và phân tích. | Trong quy trình phát triển Data Warehouse, thời gian đáng kể được dành cho việc phân tích các nguồn dữ liệu khác nhau. |
| Người dùng | Data lake là lý tưởng cho những người dùng đam mê phân tích sâu. Những người dùng như vậy bao gồm các nhà khoa học dữ liệu, những người cần các công cụ phân tích tiên tiến với các khả năng như mô hình dự đoán và phân tích thống kê. | Data Warehouse lý tưởng cho người dùng hoạt động vì nó có cấu trúc tốt, dễ sử dụng và dễ hiểu |
| Chi phí lưu trữ | Lưu trữ dữ liệu trong các công nghệ dữ liệu lớn tương đối rẻ tiền sau đó lưu trữ dữ liệu trong kho dữ liệu | Lưu trữ dữ liệu trong kho dữ liệu là tốn kém hơn và tốn thời gian. |
| Nhiệm vụ | Data lake chứa tất cả các loại dữ liệu và dữ liệu; nó trao quyền cho người dùng truy cập dữ liệu trước quá trình biến đổi, làm sạch và cấu trúc. | Data Warehouse có thể cung cấp cái nhìn sâu sắc về các câu hỏi được xác định trước cho các loại dữ liệu được xác định trước. |
| Thời gian xử lý | Data lake trao quyền cho người dùng truy cập dữ liệu trước khi nó được chuyển đổi, làm sạch và cấu trúc. Do đó, nó cho phép người dùng có được kết quả nhanh hơn so với kho dữ liệu truyền thống. | Data Warehouse cung cấp cái nhìn sâu sắc về các câu hỏi được xác định trước cho các loại dữ liệu được xác định trước. Vì vậy, bất kỳ thay đổi đối với kho dữ liệu cần thêm thời gian. |
| Vị trí của lược đồ | Thông thường, lược đồ được xác định sau khi dữ liệu được lưu trữ. Điều này mang lại sự linh hoạt cao và dễ dàng thu thập dữ liệu nhưng đòi hỏi công việc ở cuối quá trình | Lược đồ thường được xác định trước khi dữ liệu được lưu trữ. Yêu cầu công việc khi bắt đầu quá trình, nhưng cung cấp hiệu suất, bảo mật và tích hợp. |
| Xử lí dữ liệu | Hồ dữ liệu sử dụng quy trình ELT (Extract Load Transform). | Kho dữ liệu sử dụng quy trình ETL (Extract Transform Load) truyền thống. |
| Than phiền | Dữ liệu được giữ ở dạng thô. Nó chỉ được chuyển đổi khi nó sẵn sàng để được sử dụng. | Khiếu nại chính đối với kho dữ liệu là không có khả năng hoặc vấn đề gặp phải khi cố gắng tạo ra sự thay đổi trong đó. |
| Lợi ích chính | Họ tích hợp các loại dữ liệu khác nhau để đưa ra các câu hỏi hoàn toàn mới vì những người dùng này không có khả năng sử dụng kho dữ liệu vì họ có thể cần phải vượt quá khả năng của nó. | Hầu hết người dùng trong một tổ chức đang hoạt động. Những loại người dùng này chỉ quan tâm đến các báo cáo và metrics hiệu suất chính. |
IV. Tổng kết
Data Warehouse là sự pha trộn của các công nghệ và thành phần cho phép sử dụng dữ liệu chiến lược.
Data lake là kho lưu trữ có thể lưu trữ một lượng lớn dữ liệu có cấu trúc, bán cấu trúc và không cấu trúc.
Data Warehouse lưu trữ dữ liệu trong các lược đồ và bảng giúp tổ chức và sử dụng dữ liệu để đưa ra các quyết định chiến lược.
Data lake là kho lưu trữ kích thước lớn chứa một lượng lớn dữ liệu thô ở định dạng ban đầu cho đến thời điểm cần thiết.
Khái niệm Data Warehouse, không giống như dữ liệu lớn, đã được sử dụng trong nhiều thập kỷ.
Các công nghệ Big data tích hợp với việc sử dụng các Data lake là tương đối mới.
Tham khảo: https://www.guru99.com/data-lake-vs-data-warehouse.html
