Data mesh
தரவு வலை என்பது ஒரு களம் சார்ந்த, சுய சேவை வடிவமைப்பை (ஒரு மென்பொருள் மேம்பாட்டு கண்ணோட்டத்தில்) மேம்படுத்துவதன் மூலம் பரவலாக்கப்பட்ட தரவு கட்டமைப்பை உருவாக்குவதற்கான ஒரு சமூக தொழில்நுட்ப அணுகுமுறையாகும், மேலும் எரிக் எவன்ஸின் களத்தால் இயக்கப்படும் வடிவமைப்பு கோட்பாடு மற்றும் மானுவல் பைஸ் மற்றும் மத்தேயு ஸ்கெல்டனின் குழு இடவியல் கோட்பாட்டை கடன் வாங்குகிறது. தரவு வலை முக்கியமாக தரவுகளுடன் தொடர்புடையது, தரவு ஏரி மற்றும் குழாய்களை இரண்டாம் நிலை அக்கறையாக எடுத்துக்கொள்கிறது. களம் சார்ந்த பரவலாக்கம் மூலம் பகுப்பாய்வு தரவை அளவிடுவது முக்கிய முன்மொழிவாகும். தரவு கண்ணி மூலம், பகுப்பாய்வு தரவுகளுக்கான பொறுப்பு மத்திய தரவுக் குழுவிலிருந்து டொமைன் குழுக்களுக்கு மாற்றப்படுகிறது, இது ஒரு டொமைன்-அக்னோஸ்டிக் தரவு தளத்தை வழங்கும் தரவு தளக் குழுவால் ஆதரிக்கப்படுகிறது. தரவு வலை என்ற சொல் முதன்முதலில் 2019 ஆம் ஆண்டில் தமாக் டெஹ்கானி என்பவரால் வரையறுக்கப்பட்டது, அவர் தொழில்நுட்ப நிறுவனமான தாட்வொர்க்ஸில் முதன்மை ஆலோசகராக பணிபுரிந்தபோது. டெஹ்கானி 2019 ஆம் ஆண்டில் இந்த வார்த்தையை அறிமுகப்படுத்தினார், பின்னர் 2020 ஆம் ஆண்டு முழுவதும் அதன் கொள்கைகள் மற்றும் தர்க்கரீதியான கட்டமைப்பு குறித்து அதிக விவரங்களை வழங்கினார். இந்த செயல்முறை 2022 ஆம் ஆண்டில் நிறுவனங்களுக்கு ஒரு "பெரிய போட்டியாளராக" இருக்கும் என்று கணிக்கப்பட்டது. ஜாலண்டோ, நெட்ஃபிக்ஸ், இன்ட்யூட், விஸ்டாபிரிண்ட், பேபால் மற்றும் பிற நிறுவனங்களால் தரவு மெஷ்கள் செயல்படுத்தப்பட்டுள்ளன. 2022 ஆம் ஆண்டில், டெஹ்கானி திட்வொர்க்ஸை விட்டு வெளியேறி, பரவலாக்கப்பட்ட தரவுகளில் கவனம் செலுத்த நெக்ஸ்ட்டேட்டா டெக்னாலஜிஸை நிறுவினார். கோட்பாடுகள் தரவு வலை நான்கு முக்கிய கொள்கைகளை அடிப்படையாகக் கொண்டதுஃ ஒரு தயாரிப்பாக டொமைன் உரிமையாளர் தரவு "'சுய சேவை தரவு தளம் ஃபெடரேட்டட் கம்ப்யூடேஷனல் கவர்னன்ஸ்' இந்த கொள்கைகளுக்கு மேலதிகமாக, ஒவ்வொரு டொமைன் குழுவாலும் உருவாக்கப்பட்ட தரவு தயாரிப்புகள் கண்டறியக்கூடியவை, முகவரியிடக்கூடியவை, நம்பகமானவை, சுய-விவரிக்கும் சொற்பொருள்கள் மற்றும் தொடரியல் கொண்டவை, இயங்கக்கூடியவை, பாதுகாப்பானவை மற்றும் உலகளாவிய தரநிலைகள் மற்றும் அணுகல் கட்டுப்பாடுகளால் நிர்வகிக்கப்பட வேண்டும் என்று டெஹ்கானி எழுதுகிறார். வேறு வார்த்தைகளில் கூறுவதானால், தரவு பயன்படுத்தத் தயாராக மற்றும் நம்பகமான ஒரு தயாரிப்பாகக் கருதப்பட வேண்டும். நடைமுறையில் தரவு வலை 2019 இல் அறிமுகப்படுத்தப்பட்ட பிறகு பல நிறுவனங்கள் தரவு வலையை செயல்படுத்தவும் தங்கள் அனுபவங்களைப் பகிர்ந்து கொள்ளவும் தொடங்கின. பயிற்சியாளர்களுக்கான சவால்கள் (சி) மற்றும் சிறந்த நடைமுறைகள் (பிபி) பின்வருமாறுஃ ஃபெடரேட்டட் டேட்டா கவர்னன்ஸ் நிறுவனங்கள் முன்பு மத்திய அரசுக்குச் சொந்தமான மற்றும் அமல்படுத்தப்பட்ட செயல்பாடுகள் மற்றும் செயல்முறைகளுக்கு ஒரு ஃபெடரேட்டட் கவர்னன்ஸ் கட்டமைப்பை ஏற்றுக்கொள்வதில் சிரமங்களை தெரிவிக்கின்றன. பாதுகாப்பு, தனியுரிமை மற்றும் ஒழுங்குமுறை தலைப்புகளுக்கு இது குறிப்பாக பொருந்தும். சி2. பொறுப்பு மாற்றம் தரவு வலையில் களங்களுக்குள் உள்ள தனிநபர்கள் தரவு தயாரிப்புகளுக்கு இறுதி முதல் இறுதி வரை பொறுப்பு. இந்த புதிய பொறுப்பு சவாலானதாக இருக்கலாம், ஏனென்றால் இது அரிதாகவே ஈடுசெய்யப்படுகிறது மற்றும் பொதுவாக மற்ற களங்களுக்கு பயனளிக்கிறது. சி3. புரிதல் ஆராய்ச்சி ஒரு தரவு கண்ணி செயல்படுத்தும் நிறுவனங்களின் ஊழியர்களிடையே தரவு கண்ணி முன்னுதாரணத்திற்கான புரிதலின் கடுமையான பற்றாக்குறையைக் காட்டியுள்ளது. பிபி1. குறுக்கு-கள அலகு C1 ஐ உரையாற்றும் போது, நிறுவனங்கள் மூலோபாய திட்டமிடல், பயன்பாட்டு வழக்கு முன்னுரிமை மற்றும் குறிப்பிட்ட நிர்வாக விதிகளை அமல்படுத்துதல்-குறிப்பாக பாதுகாப்பு, ஒழுங்குமுறை மற்றும் தனியுரிமை தொடர்பான தலைப்புகள் ஆகியவற்றிற்கு பொறுப்பான குறுக்கு-கள வழிநடத்தல் அலகு ஒன்றை அறிமுகப்படுத்த வேண்டும். ஆயினும்கூட, ஒரு குறுக்கு-கள வழிநடத்தல் அலகு கூட்டாட்சி நிர்வாக கட்டமைப்பை மட்டுமே பூர்த்தி செய்து ஆதரிக்க முடியும், மேலும் தரவு கண்ணி முதிர்ச்சியடையும் போது வழக்கற்றுப் போகலாம். பிபி2. முக்கிய தரவு தயாரிப்புகளின் கண்காணிப்பு மற்றும் தரவரிசை உயர் தரமான சலுகைகளை ஊக்குவிக்கும், டொமைன் உரிமையாளர்களை ஊக்குவிக்கும் மற்றும் பட்ஜெட் பேச்சுவார்த்தைகளை ஆதரிக்கும் என்பதால் நிறுவனங்கள் தரவு தயாரிப்பு தரத்தை கவனித்து மதிப்பெண் பெற வேண்டும். பிபி3. நனவான தத்தெடுப்பு அமைப்புகள் தங்கள் தற்போதைய தரவு அமைப்புகளை முழுமையாக மதிப்பீடு செய்து மதிப்பீடு செய்ய வேண்டும், நிறுவன காரணிகளைக் கருத்தில் கொள்ள வேண்டும் மற்றும் தரவு வலையை செயல்படுத்துவதற்கு முன்பு சாத்தியமான நன்மைகளை எடைபோட வேண்டும். தரவு கண்ணி அறிமுகப்படுத்தும்போது, கருத்தைப் பற்றிய தெளிவான புரிதலை (சி 3) உறுதிப்படுத்த தரவு கண்ணி சொற்களை கவனமாகவும் உணர்வுபூர்வமாகவும் அறிமுகப்படுத்த அறிவுறுத்தப்படுகிறது. சமூகம் ஸ்காட் ஹிர்லேமேன் தங்கள் ஸ்லாக் சேனலில் 7,500 க்கும் மேற்பட்டவர்களைக் கொண்ட ஒரு தரவு வலை சமூகத்தைத் தொடங்கியுள்ளார். மேலும் காண்கஃ தரவு மேலாண்மை தரவு தளம் தரவு வால்ட் மாடலிங், பல்வேறு செயல்பாட்டு அமைப்புகளிலிருந்து தரவை சேமிப்பதன் மூலம் தரவு மாடலிங் முறை மற்றும் தரவு தோற்றத்தைக் கண்டறிதல், தணிக்கை, ஏற்றுதல் வேகம் மற்றும் பின்னடைவு தரவுக் கிடங்கு ஆகியவற்றை எளிதாக்குதல், ஒரு கருப்பொருள் வழியில் தரவை ஒழுங்கமைப்பதற்கான நன்கு நிறுவப்பட்ட தரவுத்தள அமைப்பு ETL மற்றும் ELT குறிப்புகள் தரவுத்தளங்கள்