Data Version Control (software)
டி. வி. சி என்பது தரவு, இயந்திர கற்றல் மாதிரிகள் மற்றும் சோதனைகளுக்கான ஒரு இலவச மற்றும் திறந்த மூல, இயங்குதளம்-அறிவாற்றல் பதிப்பு அமைப்பாகும். எம்எல் மாதிரிகள் பகிரக்கூடியதாகவும், சோதனைகள் இனப்பெருக்கம் செய்யக்கூடியதாகவும், மாதிரிகள், தரவு மற்றும் குழாய்களின் பதிப்புகளைக் கண்காணிக்கவும் இது வடிவமைக்கப்பட்டுள்ளது. டி. வி. சி கிட் களஞ்சியங்கள் மற்றும் மேகக்கணி சேமிப்பகத்தின் மேல் வேலை செய்கிறது. டி. வி. சி 0.6 இன் முதல் (பீட்டா) பதிப்பு மே 2017 இல் தொடங்கப்பட்டது. மே 2020 இல், டி. வி. சி 1 பகிரங்கமாக Iterative.ai ஆல் வெளியிடப்பட்டது. கணினி கற்றல் பணிப்பாய்வுகளில் மென்பொருள் மேம்பாட்டின் சிறந்த நடைமுறைகளை இணைக்க டி. வி. சி வடிவமைக்கப்பட்டுள்ளது. தரவுத்தொகுப்புகள் மற்றும் இயந்திர கற்றல் மாதிரிகளுக்கான கிளவுட் சேமிப்பகங்கள் மூலம் பாரம்பரிய மென்பொருள் கருவி ஜிட்டை விரிவுபடுத்துவதன் மூலம் இது செய்கிறது. குறிப்பாக, டி. வி. சி இயந்திர கற்றல் செயல்பாடுகளை செய்கிறதுஃ குறியிடப்பட்டதுஃ இது கிளவுட் சேமிப்பகங்களில் தரவுக் கோப்புகளுக்கான சுட்டிகளை சேமிப்பதன் மூலம் தரவுத்தொகுப்புகள் மற்றும் மாதிரிகளை குறியிடுகிறது. மறுஉருவாக்கம்ஃ இது பயனர்களை சோதனைகளை இனப்பெருக்கம் செய்ய அனுமதிக்கிறது, மேலும் மூல தரவுகளிலிருந்து தரவுத்தொகுப்புகளை மீண்டும் உருவாக்குகிறது. இந்த அம்சங்கள் தரவுத்தொகுப்புகளின் கட்டுமானம், பயிற்சி, மதிப்பீடு மற்றும் எம்எல் மாதிரிகளின் வரிசைப்படுத்தல் ஆகியவற்றை தானியக்கமாக்க அனுமதிக்கின்றன. டி. வி. சி மற்றும் கிட் டி. வி. சி ஆகியவை கிட்டுக்கு வெளியே பெரிய கோப்புகள் மற்றும் தரவுத்தொகுப்புகளை தனித்தனி சேமிப்பகத்தில் சேமிக்கிறது. இந்த சேமிப்பு பயனரின் கணினியில் இருக்கலாம் அல்லது AWS S3, கூகிள் கிளவுட் ஸ்டோரேஜ் மற்றும் மைக்ரோசாப்ட் அஸூர் ப்ளோப் ஸ்டோரேஜ் போன்ற எந்தவொரு பெரிய கிளவுட் ஸ்டோரேஜ் வழங்குநரிலும் ஹோஸ்ட் செய்யப்படலாம். டி. வி. சி பயனர்கள் எந்த சேவையகத்திலும் தொலைநிலை களஞ்சியத்தை அமைத்து அதனுடன் தொலைதூரத்தில் இணைக்கலாம். ஒரு பயனர் தங்கள் தரவு மற்றும் மாதிரிகளை தொலைநிலை களஞ்சியத்தில் சேமிக்கும்போது, உரை கோப்பு அவர்களின் ஜிட் களஞ்சியத்தில் உருவாக்கப்படுகிறது, இது தொலைநிலை சேமிப்பகத்தில் உள்ள உண்மையான தரவை சுட்டிக்காட்டுகிறது. டி. வி. சி. யின் அம்சங்களை மூன்று பிரிவுகளாகப் பிரிக்கலாம்ஃ தரவு மேலாண்மை, குழாய்கள் மற்றும் சோதனை கண்காணிப்பு. தரவு மேலாண்மை தரவு மற்றும் மாதிரி பதிப்பு பெரிய கோப்புகள், தரவுத்தொகுப்புகள் மற்றும் இயந்திர கற்றல் மாதிரிகளுக்கான டி. வி. சியின் அடிப்படை அடுக்கு ஆகும். இது ஒரு நிலையான ஜிட் பணிப்பாய்வைப் பயன்படுத்த அனுமதிக்கிறது, ஆனால் அந்த கோப்புகளை களஞ்சியத்தில் சேமிக்க வேண்டிய அவசியமில்லை. பெரிய கோப்புகள், அடைவுகள் மற்றும் எம்எல் மாதிரிகள் சிறிய மெட்டாஃபைல்களால் மாற்றப்படுகின்றன, அவை அசல் தரவை சுட்டிக்காட்டுகின்றன. தரவு விஞ்ஞானிகள் பெரிய தரவுத்தொகுப்புகளை மாற்றவோ அல்லது ஒரு மாதிரியை மற்றவர்களுடன் பகிர்ந்து கொள்ளவோ அனுமதிக்கும் வகையில் தரவு தனித்தனியாக சேமிக்கப்படுகிறது. டி. வி. சி குறியீட்டின் மூலம் தரவு பதிப்பை செயல்படுத்துகிறது. ஒரு பயனர் மெட்டாஃபைல்களை உருவாக்கும்போது, என்ன தரவுத்தொகுப்புகள், எம்எல் கலைப்பொருட்கள் மற்றும் பிற அம்சங்களைக் கண்காணிக்க வேண்டும் என்பதை விவரிக்கும் போது, டி. வி. சி தரவு மற்றும் மாதிரிகளின் பதிப்புகளைப் பிடிக்கவும், ஸ்னாப்ஷாட்களிலிருந்து உருவாக்கவும் மீட்டெடுக்கவும், வளர்ந்து வரும் அளவீடுகளைப் பதிவு செய்யவும், பதிப்புகளுக்கிடையே மாறவும் உதவுகிறது. தரவுக் கோப்புகள் மற்றும் அடைவுகளின் தனித்துவமான பதிப்புகள் முறையான முறையில் சேமிக்கப்பட்டுள்ளன (கோப்பு நகலெடுப்பதையும் தடுக்கிறது). வேலை செய்யும் டேட்டாஸ்டோர் திட்டத்தின் ஒளியை வைத்திருக்க பயனரின் பணியிடத்திலிருந்து பிரிக்கப்படுகிறது, ஆனால் டி. வி. சி தானாகக் கையாளும் கோப்பு இணைப்புகள் வழியாக இணைக்கப்பட்டுள்ளது. குழாய்கள் டி. வி. சி குழாய்களை வரையறுத்து செயல்படுத்த ஒரு பொறிமுறையை வழங்குகிறது. பைப்லைன்கள் எம்எல் தரவுத்தொகுப்புகள் மற்றும் மாதிரிகளை உருவாக்கும் செயல்முறையைக் குறிக்கின்றன, தரவு எவ்வாறு முன் செயலாக்கப்படுகிறது என்பதிலிருந்து மாதிரிகள் எவ்வாறு பயிற்றுவிக்கப்படுகின்றன மற்றும் மதிப்பீடு செய்யப்படுகின்றன. உற்பத்திச் சூழல்களில் மாதிரிகளைப் பயன்படுத்தவும் குழாய்வழிகளைப் பயன்படுத்தலாம். டி. வி. சி குழாய் எம்எல் செயல்முறையின் பரிசோதனை கட்டத்தில் கவனம் செலுத்துகிறது. பயனர்கள் குழாய்த்திட்டத்துடன் ஒரு ஜிட் களஞ்சியத்தை குளோனிங் செய்வதன் மூலமோ அல்லது எம்எல் சோதனைகளை நடத்துவதன் மூலமோ டி. வி. சி குழாய்த்திட்டத்தின் பல நகல்களை இயக்கலாம். அவர்கள் பணிப்பாய்வை ஒரு குழாயாக பதிவு செய்து, எதிர்காலத்தில் அதை மீண்டும் உருவாக்கலாம். பைப்லைன்கள் குறியீட்டில் yaml உள்ளமைவு கோப்புகளாக குறிப்பிடப்படுகின்றன. இந்த கோப்புகள் குழாயின் நிலைகளையும், தரவு மற்றும் தகவல்கள் ஒரு படியிலிருந்து அடுத்த கட்டத்திற்கு எவ்வாறு பாய்கின்றன என்பதையும் வரையறுக்கின்றன. ஒரு குழாய் இயக்கப்படும்போது, அந்த குழாய் மூலம் உற்பத்தி செய்யப்படும் கலைப்பொருட்கள் dvc.lock கோப்பில் பதிவு செய்யப்படுகின்றன. பூட்டு கோப்பு இயக்கப்பட்ட நிலைகளை பதிவு செய்கிறது, மேலும் ஒவ்வொரு கட்டத்திற்கும் விளைந்த வெளியீட்டின் ஹாஷ் சேமிக்கிறது. இது குழாய்த்திட்டத்தின் செயல்பாட்டின் பதிவு மட்டுமல்லாமல், குழாய்த்திட்டத்தின் அடுத்தடுத்த செயல்பாடுகளில் எந்த படிகளை மீண்டும் இயக்க வேண்டும் என்பதை தீர்மானிக்கும் போது பயனுள்ளதாக இருக்கும். எக்ஸ்பெரிமென்ட் டிராக்கிங் டெவலப்பர்கள் வெவ்வேறு இயந்திர கற்றல் சோதனைகளை ஆராயவும், மீண்டும் செய்யவும், ஒப்பிடவும் அனுமதிக்கிறது. ஒவ்வொரு பரிசோதனையும் பணியிடத்தில் ஏற்படும் மாற்றங்களால் வரையறுக்கப்பட்ட தரவு அறிவியல் திட்டத்தின் மாறுபாட்டைக் குறிக்கிறது. சோதனைகள் தற்போதைய கிளையில் (Git HEAD) உள்ள கமிட்டிக்கு ஒரு இணைப்பை அவற்றின் பெற்றோர் அல்லது அடிப்படையாக பராமரிக்கின்றன. இருப்பினும், அவை வழக்கமான கிட் மரத்தின் ஒரு பகுதியாக இல்லை (அவை நிலைத்திருக்காவிட்டால்). இது பயனரின் களஞ்சியம் நிரம்பி வழிவதை தற்காலிக கடமைகள் மற்றும் கிளைகள் தடுக்கிறது. சோதனைகளுக்கான பொதுவான பயன்பாட்டு நிகழ்வுகள் பின்வருமாறுஃ மாதிரி கட்டமைப்புகளின் ஒப்பீடு பயிற்சி அல்லது மதிப்பீட்டு தரவுத்தொகுப்புகளின் ஒப்பீடு மாதிரி ஹைப்பர் அளவுருக்களின் தேர்வு டி. வி. சி சோதனைகளை விஎஸ் கோட் ஐடிஇ அல்லது இன்டரேட்டிவ் ஸ்டுடியோவைப் பயன்படுத்தி ஆன்லைனில் நிர்வகிக்கலாம் மற்றும் காட்சிப்படுத்தலாம். காட்சிப்படுத்தல் ஒவ்வொரு பயனரையும் சோதனை முடிவுகளை பார்வைக்கு ஒப்பிடவும், பிளாட்டுகளைக் கண்காணிக்கவும், நூலக ஒருங்கிணைப்புகளுடன் அவற்றை உருவாக்கவும் அனுமதிக்கிறது. வழக்கமான பணிப்பாய்வில் காட்சிப்படுத்தலைப் பயன்படுத்துவதற்கான பல விருப்பங்களை டி. வி. சி வழங்குகிறதுஃ ஜேஎஸ்ஓஎன், ஒய்ஏஎம்எல், சிஎஸ்வி அல்லது டிஎஸ்வி வடிவத்தில் உள்ள தரவுத் தொடர்களிலிருந்து ஊடாடும் பிளாட்டுகளை உள்ளடக்கிய எச். டி. எம். எல் கோப்புகளை டி. வி. சி உருவாக்க முடியும். பயிற்சி/மதிப்பீட்டு ஸ்கிரிப்ட்களிலிருந்து பிளாட் வெளியீடுகளாக தயாரிக்கப்பட்ட படக் கோப்புகளை டி. வி. சி கண்காணிக்க முடியும். லைவ் ஒருங்கிணைப்புகள் பயிற்சியின் போது பிளாட்டுகளை தானாகவே உருவாக்க முடியும். டி. வி. சி விஎஸ் குறியீடு நீட்டிப்பு 2022 ஆம் ஆண்டில், மைக்ரோசாப்ட் உருவாக்கிய மூல-குறியீடு எடிட்டரான விஷுவல் ஸ்டுடியோ குறியீடு (விஎஸ் குறியீடு) க்கான இலவச நீட்டிப்பை இடரேட்டிவ் வெளியிட்டது, இது விஎஸ் குறியீடு பயனர்களுக்கு கூடுதல் பயனர் இடைமுக செயல்பாட்டுடன் தங்கள் ஆசிரியர்களில் டிவிசியைப் பயன்படுத்தும் திறனை வழங்குகிறது. 2017 ஆம் ஆண்டில், டி. வி. சி 0.6 இன் முதல் (பீட்டா) பதிப்பு பகிரங்கமாக வெளியிடப்பட்டது (ஒரு எளிய கட்டளை வரி கருவியாக). இது தரவு விஞ்ஞானிகள் தங்கள் இயந்திர கற்றல் செயல்முறைகள் மற்றும் கோப்பு சார்புநிலைகளை ஜிட் போன்ற கட்டளைகளின் எளிய வடிவத்தில் கண்காணிக்க அனுமதித்தது. தற்போதுள்ள இயந்திர கற்றல் செயல்முறைகளை இனப்பெருக்கம் செய்யக்கூடிய டி. வி. சி குழாய்களாக மாற்றவும் இது அவர்களுக்கு அனுமதித்தது. இயந்திர கற்றல் பொறியாளர்கள் மற்றும் தரவு விஞ்ஞானிகள் எதிர்கொள்ளும் பெரும்பாலான பொதுவான சிக்கல்களை டி. வி. சி 0.6 தீர்த்ததுஃ இயந்திர கற்றல் சோதனைகளின் இனப்பெருக்கம், அதே போல் தரவு பதிப்பு மற்றும் குழுக்களுக்கு இடையிலான குறைந்த அளவிலான ஒத்துழைப்பு. முன்னாள் மைக்ரோசாப்ட் தரவு விஞ்ஞானி டிமிட்ரி பெட்ரோவ் உருவாக்கிய டி. வி. சி, தற்போதுள்ள சிறந்த மென்பொருள் மேம்பாட்டு நடைமுறைகளை இயந்திர கற்றல் செயல்பாடுகளில் ஒருங்கிணைப்பதை நோக்கமாகக் கொண்டது. 2018 ஆம் ஆண்டில், டிமிட்ரி பெட்ரோவ் ஒரு பொறியாளரும் தொழில்முனைவோருமான இவான் ஷ்செக்லினுடன் இணைந்து டி. வி. சியின் வளர்ச்சியைத் தொடர்ந்த எம்எல்ஓபிஎஸ் நிறுவனமான ஐடி 1 ஐ நிறுவினார். டி. வி. சி தவிர, திறந்த மூல கருவிகளான சிஎம்எல், எம்எல்இஎம் மற்றும் ஸ்டுடியோ போன்ற திறந்த மூல கருவிகளுக்குப் பின்னால் Iterative.ai உள்ளது, இது திறந்த மூல கருவிகளின் நிறுவன பதிப்பாகும். ஜூன் 2020 இல், Iterative.ai குழு டி. வி. சி 1 ஐ வெளியிட்டது. பல கட்ட டி. வி. சி கோப்புகள், ரன் கேச், பிளாட்டுகள், தரவு பரிமாற்ற தேர்வுகள், ஹைப்பர் அளவுரு கண்காணிப்பு மற்றும் நிலையான வெளியீட்டு சுழற்சிகள் போன்ற புதிய அம்சங்கள் சமூகத்தின் விவாதங்கள் மற்றும் பங்களிப்புகளின் விளைவாக சேர்க்கப்பட்டன. மார்ச் 2021 இல், டி. வி. சி டி. வி. சி 2 ஐ வெளியிட்டது, இது எம்எல் சோதனைகள் (சோதனை மேலாண்மை), மாதிரி சோதனைச் சாவடிகள் மற்றும் அளவீடுகள் பதிவு ஆகியவற்றை அறிமுகப்படுத்தியது. எம்எல் சோதனைகள்ஃ கிட் மேல்நிலை சிக்கலைத் தீர்க்க, ஒரே நாளில் நூற்றுக்கணக்கான சோதனைகளை இயக்க வேண்டியிருக்கும் போது, ஒவ்வொரு சோதனை ஓட்டத்திற்கும் கூடுதல் கிட் கட்டளைகள் தேவைப்படும்போது, டி. வி. சி 2 இலகுரக சோதனைகள் அம்சத்தை அறிமுகப்படுத்தியது. இது அதன் பயனர்களை எம்எல் சோதனைகளை தானாக கண்காணிக்கவும் குறியீடு மாற்றங்களைப் பிடிக்கவும் அனுமதிக்கிறது. இது வெளிப்புற தரவுத்தளங்கள் அல்லது ஏபிஐகளுக்கு தள்ளப்படுவதற்கு மாறாக, தரவு பதிப்புகளை ஜிட்டில் மெட்டாடேட்டாவாகச் சேமிப்பதன் மூலம் கூடுதல் சேவைகளைச் சார்ந்திருப்பதை நீக்கியது. எம்எல் மாதிரி சோதனைச் சாவடிகளின் பதிப்புஃ புதிய வெளியீடு தொடர்புடைய குறியீடு மற்றும் தரவுகளுடன் அனைத்து சோதனைச் சாவடிகளின் பதிப்பையும் செயல்படுத்துகிறது. அளவீடுகள் பதிவு செய்தல்ஃ டி. வி. சி. 2 ஒரு புதிய திறந்த மூல நூலகமான டி. வி. சி-லைவை அறிமுகப்படுத்தியது, இது மாதிரி அளவீடுகளைக் கண்காணிப்பதற்கும், அளவீடுகளை ஒழுங்கமைப்பதற்கும் செயல்பாட்டை வழங்கும், இது டி. வி. சி கிட் வரலாற்றில் வழிசெலுத்தல் மூலம் காட்சிப்படுத்த முடியும். டி. வி. சி. க்கு மாற்று தீர்வுகள் டி. வி. சி. க்கு ஒத்த தரவு பதிப்பு கட்டுப்பாட்டு திறன்களை வழங்கும் பல திறந்த மூல திட்டங்கள் உள்ளன, அவையாவனஃ ஜிட் எல்எஃப்எஸ், டோல்ட் மற்றும் லேக்எஃப்எஸ். தரவு பொறியாளர்கள் மற்றும் தரவு விஞ்ஞானிகளின் வெவ்வேறு தேவைகளுக்கு ஏற்ப இந்த திட்டங்கள் வேறுபடுகின்றனஃ அளவிடுதல், ஆதரிக்கப்படும் கோப்பு வடிவங்கள், அட்டவணை தரவு மற்றும் கட்டமைக்கப்படாத தரவுகளில் ஆதரவு, ஆதரிக்கப்படும் தரவுகளின் அளவு மற்றும் பல. குறிப்புகள் வெளிப்புற இணைப்புகள் அப்பாச்சி உரிமம் பைதான் (நிரலாக்க மொழி) நூலகங்கள் பைதான் (நிரலாக்க மொழி) மென்பொருள் தரவு சுரங்க மற்றும் இயந்திர கற்றல் மென்பொருள் 2017 மென்பொருளைப் பயன்படுத்தி பைதான் மென்பொருளில் நிரல் செய்யப்பட்ட இலவச மென்பொருள்