Data mesh
ڈیٹا میش ڈومین پر مبنی، سیلف سرو ڈیزائن (سافٹ ویئر ڈویلپمنٹ کے تناظر میں) کا فائدہ اٹھاتے ہوئے ایک وکندریقرت ڈیٹا فن تعمیر کی تعمیر کے لیے ایک سماجی تکنیکی نقطہ نظر ہے، اور ایرک ایونز کے ڈومین پر مبنی ڈیزائن کے نظریہ اور مینوئل پیس اور میتھیو سکیلٹن کے ٹیم ٹوپولوجیز کے نظریہ کو ادھار لیتا ہے۔ ڈیٹا میش بنیادی طور پر خود ڈیٹا سے متعلق ہے، ڈیٹا لیک اور پائپ لائنوں کو ثانوی تشویش کے طور پر لے کر۔ اہم تجویز ڈومین پر مبنی وکندریقرت کے ذریعے تجزیاتی ڈیٹا کو اسکیل کرنا ہے۔ ڈیٹا میش کے ساتھ، تجزیاتی ڈیٹا کی ذمہ داری مرکزی ڈیٹا ٹیم سے ڈومین ٹیموں میں منتقل کر دی جاتی ہے، جس کی حمایت ڈیٹا پلیٹ فارم ٹیم کرتی ہے جو ڈومین اگنوسٹک ڈیٹا پلیٹ فارم فراہم کرتی ہے۔ ڈیٹا میش کی اصطلاح کو پہلی بار 2019 میں جھمک دہگھانی نے اس وقت بیان کیا تھا جب وہ ٹیکنالوجی کمپنی تھاٹ ورکس میں پرنسپل کنسلٹنٹ کے طور پر کام کر رہی تھیں۔ دہگھانی نے یہ اصطلاح 2019 میں متعارف کرائی اور پھر 2020 میں اس کے اصولوں اور منطقی فن تعمیر پر مزید تفصیل فراہم کی۔ یہ عمل 2022 میں کمپنیوں کے لیے ایک "بڑا دعویدار" ہونے کی پیش گوئی کی گئی تھی۔ ڈیٹا میش کو زلانڈو، نیٹ فلکس، انٹیوٹ، وسٹا پرنٹ، پے پال اور دیگر کمپنیوں نے نافذ کیا ہے۔ 2022 میں، دہگھانی نے وکندریقرت ڈیٹا پر توجہ مرکوز کرنے کے لیے نیکسٹ ڈیٹا ٹیکنالوجیز تلاش کرنے کے لیے تھاٹ ورکس چھوڑ دیا۔ اصول ڈیٹا میش چار بنیادی اصولوں پر مبنی ہے: ایک پروڈکٹ کے طور پر ڈومین کی ملکیت کا ڈیٹا "" سیلف سرو ڈیٹا پلیٹ فارم فیڈریٹڈ کمپیوٹیشنل گورننس ان اصولوں کے علاوہ، دہگھانی لکھتے ہیں کہ ہر ڈومین ٹیم کے ذریعہ تیار کردہ ڈیٹا پروڈکٹس قابل دریافت، قابل توجہ، قابل اعتماد، خود ساختہ الفاظ اور نحو کے حامل ہونے چاہئیں، انٹرآپریبل، محفوظ اور عالمی معیارات اور رسائی کے کنٹرول کے زیر انتظام ہونے چاہئیں۔ دوسرے لفظوں میں، ڈیٹا کو ایک ایسی مصنوعات کے طور پر ماننا چاہیے جو استعمال کے لیے تیار اور قابل اعتماد ہو۔ عملی طور پر ڈیٹا میش 2019 میں اس کے تعارف کے بعد متعدد کمپنیوں نے ڈیٹا میش کو نافذ کرنا اور اپنے تجربات شیئر کرنا شروع کر دیے۔ پریکٹیشنرز کے لیے چیلنجز (سی) اور بہترین طریقوں (بی پی) میں شامل ہیں: سی 1۔ فیڈریٹڈ ڈیٹا گورننس کمپنیاں ان سرگرمیوں اور عمل کے لیے ایک فیڈریٹڈ گورننس ڈھانچہ اپنانے میں مشکلات کی اطلاع دیتی ہیں جو پہلے مرکزی ملکیت اور نافذ کیے گئے تھے۔ یہ خاص طور پر سیکورٹی، پرائیویسی اور ریگولیٹری موضوعات کے لیے درست ہے۔ C2. ذمہ داری میں تبدیلی ڈیٹا میش میں ڈومینز کے اندر افراد ڈیٹا پروڈکٹس کے لیے آخر سے آخر تک ذمہ دار ہوتے ہیں۔ یہ نئی ذمہ داری مشکل ہو سکتی ہے، کیونکہ اسے شاذ و نادر ہی معاوضہ دیا جاتا ہے اور عام طور پر دوسرے ڈومینز کو فائدہ پہنچاتا ہے۔ C3. فہم تحقیق نے ڈیٹا میش کو نافذ کرنے والی کمپنیوں کے ملازمین میں ڈیٹا میش کے نمونے کے لیے فہم کی شدید کمی ظاہر کی ہے۔ بی پی 1. کراس ڈومین یونٹ C1 سے خطاب کرتے ہوئے، تنظیموں کو ایک کراس ڈومین اسٹیئرنگ یونٹ متعارف کرانا چاہیے جو اسٹریٹجک پلاننگ، استعمال کیس کی ترجیح، اور مخصوص گورننس قوانین کے نفاذ کے لیے ذمہ دار ہے-خاص طور پر سیکیورٹی، ریگولیٹری، اور پرائیویسی سے متعلق موضوعات سے متعلق۔ اس کے باوجود، ایک کراس ڈومین اسٹیئرنگ یونٹ صرف وفاقی حکمرانی کے ڈھانچے کی تکمیل اور حمایت کر سکتا ہے اور ڈیٹا میش کی بڑھتی ہوئی پختگی کے ساتھ متروک ہو سکتا ہے۔ بی پی 2۔ سی 2 سے خطاب کرتے ہوئے، تنظیموں کو ڈیٹا پروڈکٹ کے معیار کا مشاہدہ اور اسکور کرنا چاہیے کیونکہ کلیدی ڈیٹا پروڈکٹس کی ٹریکنگ اور درجہ بندی اعلی معیار کی پیشکشوں کی حوصلہ افزائی کر سکتی ہے، ڈومین مالکان کی حوصلہ افزائی کر سکتی ہے، اور بجٹ مذاکرات کی حمایت کر سکتی ہے۔ بی پی 3. شعوری طور پر اپنانے والی تنظیموں کو اپنے موجودہ ڈیٹا سسٹم کا اچھی طرح سے جائزہ لینا چاہیے، تنظیمی عوامل پر غور کرنا چاہیے، اور ڈیٹا میش کو نافذ کرنے سے پہلے ممکنہ فوائد کا وزن کرنا چاہیے۔ ڈیٹا میش متعارف کرتے وقت، یہ مشورہ دیا جاتا ہے کہ تصور (C3) کی واضح تفہیم کو یقینی بنانے کے لیے ڈیٹا میش کی اصطلاحات کو احتیاط اور شعوری طور پر متعارف کرایا جائے۔ کمیونٹی سکاٹ ہیرلمین نے ایک ڈیٹا میش کمیونٹی شروع کی ہے جس میں ان کے سلیک چینل میں 7,500 سے زیادہ لوگ شامل ہیں۔ ڈیٹا مینجمنٹ ڈیٹا پلیٹ فارم ڈیٹا والٹ ماڈلنگ، مختلف آپریشنل سسٹمز سے ڈیٹا کے اسٹوریج کے ساتھ ڈیٹا ماڈلنگ کا طریقہ اور ڈیٹا اوریجن کا سراغ لگانا، آڈیٹنگ میں سہولت فراہم کرنا، لوڈنگ سپیڈ اور لچکدار ڈیٹا گودام، موضوعاتی طریقے سے ڈیٹا کو منظم کرنے کے لیے ایک اچھی طرح سے قائم شدہ قسم کا ڈیٹا بیس سسٹم ETL اور ELT حوالہ جات ڈیٹا بیس دیکھیں۔