資料工程與資料科學有何區別?
資料工程在資料生命週期中發生在資料科學之前. 資料可以從各種來源生成,這些原始資料可能是結構化,半結構化甚至非結構化. 為了理解這些資料, 必須吸收和轉化這些資料. 這就是資料工程的出現. 資料工程包括提取原始資料,將資料輸入資料湖系統,將資料轉換為業務需求,並最終將其載入到表格中的過程. 這通常被稱為ELT (提取-負載-轉換). 在裝載階段之前發生轉換時,ETL (提取轉換負載) 也是可能的. 資料科學和分析是資料生命週期的下一步. 一旦特定業務需求所需的資料可用了,資料科學家就會使用這些資料來執行機器學習模型以找到最準確的模型. 這些資料以表格形式提供給資料科學家. 資料分析師也使用這些資料進行一些探索性分析和建立儀表板. 基本上,資料生命週期將是如下: 來自不同來源的原始資料 -> 資料工程 -> 資料科學和分析