Data Engineering khác với Data Science như thế nào?
Data Engineering xảy ra trước Data Science trong vòng đời dữ liệu. Dữ liệu có thể được tạo ra từ nhiều nguồn khác nhau và dữ liệu thô này có thể được cấu trúc, bán cấu trúc hoặc thậm chí không có cấu trúc. Để hiểu được dữ liệu này, dữ liệu cần được thu thập và chuyển đổi. Đây là lúc Data Engineering xuất hiện. Data Engineering bao gồm quy trình trích xuất dữ liệu thô, đưa dữ liệu vào một hệ thống như hồ dữ liệu (data lake), chuyển đổi dữ liệu cho các nhu cầu kinh doanh và cuối cùng là tải nó vào một bảng. Điều này thường được gọi là ELT (Extract-Load-Transform - Trích xuất-Tải-Chuyển đổi). ETL (Extract-Transform-Load - Trích xuất-Chuyển đổi-Tải) cũng khả thi, nơi mà quá trình chuyển đổi xảy ra trước giai đoạn tải.
Data Science và Phân tích (Analytics) là bước tiếp theo trong vòng đời dữ liệu. Khi dữ liệu cần thiết cho nhu cầu kinh doanh cụ thể đã sẵn có, các nhà khoa học dữ liệu sử dụng dữ liệu này để chạy các mô hình học máy nhằm tìm ra mô hình chính xác nhất. Dữ liệu này có sẵn cho các nhà khoa học dữ liệu dưới dạng bảng. Các nhà phân tích dữ liệu cũng sử dụng dữ liệu này để thực hiện một số phân tích khám phá và tạo ra các bảng điều khiển.
Về cơ bản, vòng đời dữ liệu sẽ như sau:
Dữ liệu thô từ các nguồn khác nhau -> Data Engineering -> Data Science và Phân tích.