資料工程與資料科學有何不同?
在資料生命週期中, 這些原始資料可能是結構化,半結構化甚至是非結構化. 必須將這些資料吸收並轉化. 這才是資料工程的出發點. 資料工程包括提取原始資料,將資料儲存到像資料湖一樣的系統中,將資料轉換為商務需求,最後將其載入到表格中. 這項技術通常被稱為ELT (提取負荷轉換). 在載入階段之前發生變化時, 也可以使用ETL (提取-轉換-負載). 資料科學與分析是資料生命週期的下一步. 資料科學家使用這些資料來執行機器學習模型, 這些資料以表格形式提供給資料科學家. 資料分析師也使用這些資料進行一些探索性分析並建立儀錶板. 基本上, 資料生命週期如下: 來自不同來源的原始資料 -> 資料工程 -> 資料科學與分析