Data mesh
ડેટા મેશ એ ડોમેન-લક્ષી, સ્વ-સેવા ડિઝાઇન (સોફ્ટવેર વિકાસ પરિપ્રેક્ષ્યમાં) નો લાભ લઈને વિકેન્દ્રિત ડેટા આર્કિટેક્ચર બનાવવા માટેનો એક સામાજિક તકનીકી અભિગમ છે, અને એરિક ઇવાન્સના ડોમેન-સંચાલિત ડિઝાઇનના સિદ્ધાંત અને મેન્યુઅલ પેસ અને મેથ્યુ સ્કેલ્ટનના ટીમ ટોપોલોજીના સિદ્ધાંતને ઉધાર લે છે. ડેટા મેશ મુખ્યત્વે ડેટા સાથે જ સંબંધિત છે, ડેટા લેક અને પાઇપલાઇનને ગૌણ ચિંતા તરીકે લે છે. મુખ્ય દરખાસ્ત ડોમેન-ઓરિએન્ટેડ વિકેન્દ્રીકરણ દ્વારા વિશ્લેષણાત્મક ડેટાને સ્કેલ કરવાની છે. ડેટા મેશ સાથે, વિશ્લેષણાત્મક ડેટાની જવાબદારી કેન્દ્રીય ડેટા ટીમમાંથી ડોમેન ટીમોમાં સ્થાનાંતરિત કરવામાં આવે છે, જે ડેટા પ્લેટફોર્મ ટીમ દ્વારા સમર્થિત છે જે ડોમેન-અજ્ઞેયવાદી ડેટા પ્લેટફોર્મ પ્રદાન કરે છે. ડેટા મેશ શબ્દની વ્યાખ્યા સૌપ્રથમ 2019 માં ઝમક દેહઘાની દ્વારા કરવામાં આવી હતી જ્યારે તે ટેક્નોલોજી કંપની થોટવર્ક્સમાં મુખ્ય સલાહકાર તરીકે કામ કરતી હતી. દેહઘાનીએ 2019માં આ શબ્દ રજૂ કર્યો હતો અને પછી 2020 દરમિયાન તેના સિદ્ધાંતો અને તાર્કિક માળખા પર વધુ વિગતવાર માહિતી આપી હતી. આ પ્રક્રિયા 2022માં કંપનીઓ માટે "મોટી દાવેદાર" બનવાની આગાહી કરવામાં આવી હતી. ડેટા મેશનો અમલ ઝાલેન્ડો, નેટફ્લિક્સ, ઇન્ટ્યુટ, વિસ્ટાપ્રિંટ, પેપાલ અને અન્ય કંપનીઓ દ્વારા કરવામાં આવ્યો છે. 2022 માં, દેહઘાનીએ વિકેન્દ્રિત ડેટા પર ધ્યાન કેન્દ્રિત કરવા માટે નેક્સ્ટડેટા ટેક્નોલોજીસની સ્થાપના કરવા માટે થોટવર્ક્સ છોડ્યું. સિદ્ધાંતો ડેટા મેશ ચાર મુખ્ય સિદ્ધાંતો પર આધારિત છેઃ ઉત્પાદન તરીકે ડોમેન માલિકી ડેટા "'સ્વ-સેવા ડેટા પ્લેટફોર્મ ફેડરેટેડ કોમ્પ્યુટેશનલ ગવર્નન્સ આ સિદ્ધાંતો ઉપરાંત, દેહઘાની લખે છે કે દરેક ડોમેન ટીમ દ્વારા બનાવવામાં આવેલ ડેટા ઉત્પાદનો શોધી શકાય તેવા, સંબોધનીય, વિશ્વસનીય, સ્વ-વર્ણનાત્મક શબ્દાર્થ અને વાક્યરચના ધરાવતા, આંતરસંચાલિત, સુરક્ષિત અને વૈશ્વિક ધોરણો અને વપરાશ નિયંત્રણો દ્વારા સંચાલિત હોવા જોઈએ. બીજા શબ્દોમાં કહીએ તો, ડેટાને એવા ઉત્પાદન તરીકે ગણવો જોઈએ જે વાપરવા માટે તૈયાર અને વિશ્વસનીય હોય. વ્યવહારમાં ડેટા મેશ 2019 માં તેની રજૂઆત પછી બહુવિધ કંપનીઓએ ડેટા મેશને અમલમાં મૂકવાનું અને તેમના અનુભવો શેર કરવાનું શરૂ કર્યું. પ્રેક્ટિશનરો માટે પડકારો (સી) અને શ્રેષ્ઠ પદ્ધતિઓ (બી. પી.) માં નીચેનાનો સમાવેશ થાય છેઃ ફેડરેટેડ ડેટા ગવર્નન્સ કંપનીઓ અગાઉ કેન્દ્રની માલિકીની અને લાગુ કરવામાં આવેલી પ્રવૃત્તિઓ અને પ્રક્રિયાઓ માટે ફેડરેટેડ ગવર્નન્સ માળખું અપનાવવામાં મુશ્કેલીઓનો અહેવાલ આપે છે. આ ખાસ કરીને સુરક્ષા, ગોપનીયતા અને નિયમનકારી વિષયો માટે સાચું છે. C2. જવાબદારી પરિવર્તન ડેટા મેશમાં ડોમેન્સની અંદરની વ્યક્તિઓ ડેટા ઉત્પાદનો માટે અંત-થી-અંત સુધી જવાબદાર હોય છે. આ નવી જવાબદારી પડકારજનક હોઈ શકે છે, કારણ કે તેને ભાગ્યે જ વળતર આપવામાં આવે છે અને સામાન્ય રીતે અન્ય ક્ષેત્રોને ફાયદો થાય છે. C3. કોમ્પ્રેહેન્શન રિસર્ચે ડેટા મેશનો અમલ કરતી કંપનીઓના કર્મચારીઓમાં ડેટા મેશના દાખલા માટે સમજણનો ગંભીર અભાવ દર્શાવ્યો છે. BP1. C1 ને સંબોધતા, સંસ્થાઓએ વ્યૂહાત્મક આયોજન, કેસ પ્રાથમિકતા અને ચોક્કસ શાસન નિયમોના અમલીકરણ માટે જવાબદાર ક્રોસ-ડોમેન સંચાલન એકમ રજૂ કરવું જોઈએ-ખાસ કરીને સુરક્ષા, નિયમનકારી અને ગોપનીયતા-સંબંધિત વિષયોને લગતા. તેમ છતાં, ક્રોસ-ડોમેન સંચાલન એકમ માત્ર સંઘીય શાસન માળખાને પૂરક અને ટેકો આપી શકે છે અને ડેટા મેશની વધતી પરિપક્વતા સાથે અપ્રચલિત થઈ શકે છે. BP2. સી 2 ને સંબોધતા, સંસ્થાઓએ ડેટા પ્રોડક્ટની ગુણવત્તાનું નિરીક્ષણ કરવું જોઈએ અને સ્કોર કરવો જોઈએ કારણ કે ટ્રેકિંગ અને રેન્કિંગ મુખ્ય ડેટા પ્રોડક્ટ્સ ઉચ્ચ ગુણવત્તાની ઓફરને પ્રોત્સાહિત કરી શકે છે, ડોમેન માલિકોને પ્રેરિત કરી શકે છે અને બજેટ વાટાઘાટોને ટેકો આપી શકે છે. BP3. સભાન દત્તક સંસ્થાઓએ તેમની હાલની ડેટા સિસ્ટમોનું સંપૂર્ણ મૂલ્યાંકન અને મૂલ્યાંકન કરવું જોઈએ, સંગઠનાત્મક પરિબળોને ધ્યાનમાં લેવું જોઈએ અને ડેટા મેશનો અમલ કરતા પહેલા સંભવિત લાભોનું વજન કરવું જોઈએ. ડેટા મેશ રજૂ કરતી વખતે, ખ્યાલ (C3) ની સ્પષ્ટ સમજણ સુનિશ્ચિત કરવા માટે ડેટા મેશ પરિભાષાને કાળજીપૂર્વક અને સભાનપણે રજૂ કરવાની સલાહ આપવામાં આવે છે. કોમ્યુનિટી સ્કોટ હર્લેમેને ડેટા મેશ કોમ્યુનિટી શરૂ કરી છે જેમાં તેમની સ્લેક ચેનલમાં 7,500 થી વધુ લોકો છે. ડેટા મેનેજમેન્ટ ડેટા પ્લેટફોર્મ ડેટા વૉલ્ટ મોડેલિંગ, વિવિધ ઓપરેશનલ સિસ્ટમ્સમાંથી ડેટાના સંગ્રહ સાથે ડેટા મોડેલિંગની પદ્ધતિ અને ડેટા ઓરિજિનનું ટ્રેસિંગ, ઓડિટિંગની સુવિધા, લોડિંગ સ્પીડ અને સ્થિતિસ્થાપકતા ડેટા વેરહાઉસ, વિષયગત રીતે ડેટાને ગોઠવવા માટે એક સુસ્થાપિત પ્રકારની ડેટાબેઝ સિસ્ટમ ETL અને ELT સંદર્ભો ડેટાબેઝ