ڈیٹا انجینئرنگ ڈیٹا سائنس سے کیسے مختلف ہے؟
-
ڈیٹا انجینئرنگ ڈیٹا لائف سائیکل میں ڈیٹا سائنس سے پہلے ہوتی ہے۔ ڈیٹا مختلف ذرائع سے تیار کیا جا سکتا ہے اور یہ خام ڈیٹا سٹرکچرڈ، نیم سٹرکچرڈ یا غیر ساختہ بھی ہو سکتا ہے۔ اس ڈیٹا کو سمجھنے کے لیے، ڈیٹا کو اندراج اور تبدیل کرنا پڑتا ہے۔ یہ تب ہوتا ہے جب ڈیٹا انجینئرنگ تصویر میں آتی ہے۔ ڈیٹا انجینئرنگ میں خام ڈیٹا کو نکالنے، ڈیٹا لیک جیسے سسٹم میں ڈیٹا کو داخل کرنے، کاروباری ضروریات کے لیے ڈیٹا کو تبدیل کرنے اور آخر میں اسے ٹیبل میں لوڈ کرنے کا عمل شامل ہے۔ اسے عام طور پر ELT (Extract-Load-Transform) کہا جاتا ہے۔ ETL (Extract-Transform-Load) بھی ممکن ہے جہاں تبدیلی لوڈنگ کے مرحلے سے پہلے ہوتی ہے۔  ڈیٹا سائنس اور تجزیات ڈیٹا لائف سائیکل کا اگلا مرحلہ ہے۔ ایک بار جب مخصوص کاروباری ضرورت کے لیے درکار ڈیٹا دستیاب ہو جاتا ہے، ڈیٹا سائنسدان اس ڈیٹا کو مشین لرننگ ماڈل چلانے کے لیے استعمال کرتے ہیں تاکہ سب سے درست ماڈل تلاش کیا جا سکے۔ یہ ڈیٹا ڈیٹا سائنسدانوں کو ٹیبل کی شکل میں دستیاب ہے۔ ڈیٹا تجزیہ کار اس ڈیٹا کو کچھ تحقیقی تجزیہ کرنے اور ڈیش بورڈ بنانے کے لیے بھی استعمال کرتے ہیں۔  جوہر میں، ڈیٹا لائف سائیکل اس طرح نظر آئے گا:  مختلف ذرائع سے خام ڈیٹا -> ڈیٹا انجینئرنگ -> ڈیٹا سائنس اور تجزیات