Data Version Control (software)
डी. वी. सी. डेटा, मशीन लर्निंग मॉडल और प्रयोगों के लिए एक मुक्त और मुक्त-स्रोत, प्लेटफॉर्म-अज्ञेय संस्करण प्रणाली है। इसे एम. एल. मॉडल को साझा करने योग्य बनाने, प्रयोगों को पुनः प्रस्तुत करने योग्य बनाने और मॉडल, डेटा और पाइपलाइनों के संस्करणों को ट्रैक करने के लिए डिज़ाइन किया गया है। डी. वी. सी. गिट रिपॉजिटरी और क्लाउड स्टोरेज के शीर्ष पर काम करता है। डीवीसी 0.6 का पहला (बीटा) संस्करण मई 2017 में लॉन्च किया गया था। मई 2020 में, डी. वी. सी. 1 को सार्वजनिक रूप से Iterative.ai द्वारा जारी किया गया था। अवलोकन डी. वी. सी. को मशीन लर्निंग कार्यप्रवाह में सॉफ्टवेयर विकास की सर्वोत्तम प्रथाओं को शामिल करने के लिए डिज़ाइन किया गया है। यह डेटासेट और मशीन लर्निंग मॉडल के लिए क्लाउड स्टोरेज द्वारा पारंपरिक सॉफ्टवेयर टूल गिट का विस्तार करके ऐसा करता है। विशेष रूप से, डी. वी. सी. मशीन लर्निंग संचालन करता हैः संहिताबद्धः यह क्लाउड भंडारण में डेटा फ़ाइलों के लिए संकेतों को संग्रहीत करके डेटासेट और मॉडल को संहिताबद्ध करता है। पुनरुत्पादनीयः यह उपयोगकर्ताओं को प्रयोगों को पुनः पेश करने और कच्चे डेटा से डेटासेट का पुनर्निर्माण करने की अनुमति देता है। ये सुविधाएँ डेटासेट के निर्माण, प्रशिक्षण, मूल्यांकन और एम. एल. मॉडल की तैनाती को स्वचालित करने की भी अनुमति देती हैं। डी. वी. सी. और गिट डी. वी. सी. बड़ी फ़ाइलों और डेटासेट को गिट के बाहर अलग-अलग भंडारण में संग्रहीत करते हैं। यह भंडारण उपयोगकर्ता के कंप्यूटर पर हो सकता है या किसी भी प्रमुख क्लाउड भंडारण प्रदाता पर होस्ट किया जा सकता है, जैसे कि एडब्ल्यूएस एस3, गूगल क्लाउड स्टोरेज और माइक्रोसॉफ्ट एज़्योर ब्लॉब स्टोरेज। डी. वी. सी. उपयोगकर्ता किसी भी सर्वर पर एक दूरस्थ भंडार भी स्थापित कर सकते हैं और उससे दूरस्थ रूप से जुड़ सकते हैं। जब कोई उपयोगकर्ता अपने डेटा और मॉडल को दूरस्थ भंडार में संग्रहीत करता है, तो पाठ फ़ाइल उनके गिट भंडार में बनाई जाती है जो दूरस्थ भंडारण में वास्तविक डेटा की ओर इशारा करती है। डी. वी. सी. की विशेषताओं को तीन श्रेणियों में विभाजित किया जा सकता हैः डेटा प्रबंधन, पाइपलाइन और प्रयोग ट्रैकिंग। डेटा प्रबंधन डेटा और मॉडल संस्करण बड़ी फ़ाइलों, डेटासेट और मशीन लर्निंग मॉडल के लिए डी. वी. सी. की आधार परत है। यह एक मानक गिट कार्यप्रवाह के उपयोग की अनुमति देता है, लेकिन उन फ़ाइलों को भंडार में संग्रहीत करने की आवश्यकता के बिना। बड़ी फ़ाइलों, निर्देशिकाओं और एम. एल. मॉडल को छोटी मेटाफ़ाइलों से बदल दिया जाता है, जो बदले में मूल डेटा की ओर इशारा करते हैं। डेटा को अलग से संग्रहीत किया जाता है, जिससे डेटा वैज्ञानिक बड़े डेटासेट को स्थानांतरित कर सकते हैं या दूसरों के साथ एक मॉडल साझा कर सकते हैं। डी. वी. सी. संहिताकरण के माध्यम से डेटा संस्करण को सक्षम बनाता है। जब कोई उपयोगकर्ता मेटाफ़ाइल्स बनाता है, यह बताता है कि कौन से डेटासेट, एमएल कलाकृतियों और अन्य विशेषताओं को ट्रैक करना है, तो डीवीसी डेटा और मॉडल के संस्करणों को पकड़ना, स्नैपशॉट से बनाना और पुनर्स्थापित करना, विकसित होने वाले मेट्रिक्स को रिकॉर्ड करना, संस्करणों के बीच स्विच करना आदि संभव बनाता है। डेटा फ़ाइलों और निर्देशिकाओं के अद्वितीय संस्करणों को व्यवस्थित तरीके से कैश किया जाता है (फ़ाइल दोहराव को भी रोकता है)। कार्यशील डेटास्टोर को परियोजना को हल्का रखने के लिए उपयोगकर्ता के कार्यस्थल से अलग किया जाता है, लेकिन डी. वी. सी. द्वारा स्वचालित रूप से नियंत्रित फ़ाइल लिंक के माध्यम से जुड़ा रहता है। डी. वी. सी. पाइपलाइनों को परिभाषित करने और निष्पादित करने के लिए एक तंत्र प्रदान करता है। पाइपलाइन एमएल डेटासेट और मॉडल बनाने की प्रक्रिया का प्रतिनिधित्व करती है, जिसमें डेटा को पूर्व-संसाधित करने से लेकर मॉडल को कैसे प्रशिक्षित और मूल्यांकन किया जाता है। पाइपलाइनों का उपयोग उत्पादन वातावरण में मॉडल को तैनात करने के लिए भी किया जा सकता है। डी. वी. सी. पाइपलाइन एम. एल. प्रक्रिया के प्रयोग चरण पर केंद्रित है। उपयोगकर्ता पाइपलाइन के साथ एक गिट रिपॉजिटरी की क्लोनिंग करके या एम. एल. प्रयोगों को चलाकर डी. वी. सी. पाइपलाइन की कई प्रतियां चला सकते हैं। वे कार्यप्रवाह को एक पाइपलाइन के रूप में भी रिकॉर्ड कर सकते हैं, और भविष्य में इसे पुनः उत्पन्न कर सकते हैं। पाइपलाइनों को कोड में yaml विन्यास फ़ाइलों के रूप में दर्शाया जाता है। ये फाइलें पाइपलाइन के चरणों को परिभाषित करती हैं और कैसे डेटा और जानकारी एक चरण से दूसरे चरण में प्रवाहित होती है। जब एक पाइपलाइन चलाई जाती है, तो उस पाइपलाइन द्वारा उत्पादित कलाकृतियों को एक dvc.lock फ़ाइल में पंजीकृत किया जाता है। लॉकफ़ाइल उन चरणों को रिकॉर्ड करता है जो चलाए गए थे, और प्रत्येक चरण के लिए परिणामी आउटपुट का एक हैश संग्रहीत करता है। यह न केवल पाइपलाइन के निष्पादन का एक रिकॉर्ड है, बल्कि यह तय करते समय भी उपयोगी है कि पाइपलाइन के बाद के निष्पादन पर किन चरणों को फिर से चलाया जाना चाहिए। एक्सपेरिमेंट ट्रैकिंग डेवलपर्स को विभिन्न मशीन लर्निंग प्रयोगों का पता लगाने, दोहराने और तुलना करने की अनुमति देता है। प्रत्येक प्रयोग कार्यस्थल में परिवर्तन द्वारा परिभाषित एक डेटा विज्ञान परियोजना की भिन्नता का प्रतिनिधित्व करता है। प्रयोग वर्तमान शाखा (गिट हेड) में अपने मूल या आधार रेखा के रूप में प्रतिबद्धता के लिए एक कड़ी बनाए रखते हैं। हालाँकि, वे नियमित गिट पेड़ का हिस्सा नहीं बनते हैं (जब तक कि उन्हें स्थायी नहीं बनाया जाता है)। यह अस्थायी प्रतिबद्धताओं और शाखाओं को उपयोगकर्ता के भंडार में बहने से रोकता है। प्रयोगों के लिए सामान्य उपयोग के मामले हैंः मॉडल वास्तुकला की तुलना प्रशिक्षण या मूल्यांकन डेटासेट की तुलना मॉडल हाइपरपैरामेटर्स डी. वी. सी. प्रयोगों के चयन को या तो वी. एस. कोड आई. डी. ई. से या इटरेटिव स्टूडियो का उपयोग करके ऑनलाइन प्रबंधित और देखा जा सकता है। विज़ुअलाइज़ेशन प्रत्येक उपयोगकर्ता को प्रयोग के परिणामों की दृश्य रूप से तुलना करने, प्लॉट को ट्रैक करने और उन्हें पुस्तकालय एकीकरण के साथ उत्पन्न करने की अनुमति देता है। डी. वी. सी. एक नियमित कार्यप्रवाह में दृश्य का उपयोग करने के लिए कई विकल्प प्रदान करता हैः डी. वी. सी. एच. टी. एम. एल. फाइलें उत्पन्न कर सकता है जिसमें जे. एस. ओ. एन., वाई. ए. एम. एल., सी. एस. वी., या टी. एस. वी. प्रारूप में डेटा श्रृंखला से इंटरैक्टिव प्लॉट शामिल हैं डी. वी. सी. प्रशिक्षण/मूल्यांकन स्क्रिप्ट से प्लॉट आउटपुट के रूप में उत्पादित छवि फ़ाइलों पर नज़र रख सकता है डी. वी. सी. लाइव एकीकरण प्रशिक्षण के दौरान स्वचालित रूप से प्लॉट का उत्पादन कर सकते हैं डी. वी. सी. बनाम कोड विस्तार 2022 में, इटरेटिव ने विजुअल स्टूडियो कोड (वी. एस. कोड) के लिए एक मुफ्त विस्तार जारी किया, जो माइक्रोसॉफ्ट द्वारा बनाया गया एक स्रोत-कोड संपादक है, जो वी. एस. कोड उपयोगकर्ताओं को अतिरिक्त उपयोगकर्ता इंटरफेस कार्यक्षमता के साथ अपने संपादकों में डी. 2017 में, डी. वी. सी. 0.6 का पहला (बीटा) संस्करण सार्वजनिक रूप से जारी किया गया था (एक सरल कमांड लाइन उपकरण के रूप में)। इसने डेटा वैज्ञानिकों को गिट जैसे आदेशों के सरल रूप में अपनी मशीन सीखने की प्रक्रियाओं और फ़ाइल निर्भरताओं पर नज़र रखने की अनुमति दी। इसने उन्हें मौजूदा मशीन सीखने की प्रक्रियाओं को पुनः उत्पादन योग्य डी. वी. सी. पाइपलाइनों में बदलने की भी अनुमति दी। डी. वी. सी. 0.6 ने मशीन लर्निंग इंजीनियरों और डेटा वैज्ञानिकों के सामने आने वाली अधिकांश सामान्य समस्याओं को हल कियाः मशीन लर्निंग प्रयोगों की प्रजनन क्षमता, साथ ही डेटा संस्करण और टीमों के बीच सहयोग के निम्न स्तर। पूर्व माइक्रोसॉफ्ट डेटा वैज्ञानिक दिमित्री पेट्रोव द्वारा निर्मित, डीवीसी का उद्देश्य मशीन लर्निंग संचालन में सर्वश्रेष्ठ मौजूदा सॉफ्टवेयर विकास प्रथाओं को एकीकृत करना था। 2018 में, दिमित्री पेट्रोव ने एक इंजीनियर और उद्यमी इवान श्चेकलीन के साथ मिलकर एक एम. एल. ओ. पी. एस. कंपनी की स्थापना की, जिसने डी. वी. सी. के विकास को जारी रखा। डी. वी. सी. के अलावा, Iterative.ai ओपन सोर्स टूल्स जैसे सी. एम. एल., एम. एल. ई. एम. और स्टूडियो के पीछे भी है, जो ओपन सोर्स टूल्स का उद्यम संस्करण है। जून 2020 में, Iterative.ai टीम ने डीवीसी 1 जारी किया। मल्टी-स्टेज डी. वी. सी. फाइल, रन कैश, प्लॉट्स, डेटा ट्रांसफर ऑप्टिमाइजेशन, हाइपरपैरामीटर ट्रैकिंग और स्थिर रिलीज साइकिल जैसी नई सुविधाएँ समुदाय की चर्चाओं और योगदान के परिणामस्वरूप जोड़ी गईं। मार्च 2021 में, डी. वी. सी. ने डी. वी. सी. 2 जारी किया, जिसने एम. एल. प्रयोग (प्रयोग प्रबंधन), मॉडल चेकप्वाइंट और मेट्रिक्स लॉगिंग की शुरुआत की। एमएल प्रयोगः गिट ओवरहेड की समस्या को हल करने के लिए, जब एक ही दिन में सैकड़ों प्रयोगों को चलाने की आवश्यकता होती है और प्रत्येक प्रयोग चलाने के लिए अतिरिक्त गिट कमांड की आवश्यकता होती है, तो डीवीसी 2 ने हल्के प्रयोगों की सुविधा शुरू की। यह अपने उपयोगकर्ताओं को एम. एल. प्रयोगों को स्वतः ट्रैक करने और कोड परिवर्तनों को पकड़ने की अनुमति देता है। इसने डेटा संस्करणों को बाहरी डेटाबेस या एपीआई में स्थानांतरित करने के विपरीत, गिट में मेटाडेटा के रूप में सहेजने से अतिरिक्त सेवाओं पर निर्भरता को समाप्त कर दिया। एमएल मॉडल चेकप्वाइंट संस्करणः नया संस्करण संबंधित कोड और डेटा के साथ सभी चेकप्वाइंट के संस्करण को भी सक्षम बनाता है। मेट्रिक्स लॉगिंगः डी. वी. सी. 2 ने एक नई ओपन-सोर्स लाइब्रेरी डी. वी. सी.-लाइव पेश की जो मॉडल मेट्रिक्स पर नज़र रखने और मेट्रिक्स को इस तरह से व्यवस्थित करने के लिए कार्यक्षमता प्रदान करेगी कि डी. वी. सी. गिट इतिहास में नेविगेशन के साथ कल्पना कर सके। डी. वी. सी. के लिए वैकल्पिक समाधान कई मुक्त स्रोत परियोजनाएं हैं जो डी. वी. सी. को समान डेटा संस्करण नियंत्रण क्षमताएं प्रदान करती हैं, जैसे किः गिट एल. एफ. एस., डोल्ट और लेक. एफ. एस.। ये परियोजनाएं डेटा इंजीनियरों और डेटा वैज्ञानिकों की विभिन्न आवश्यकताओं के अनुसार अलग-अलग होती हैं जैसे किः मापनीयता, समर्थित फ़ाइल प्रारूप, सारणीबद्ध डेटा और असंरचित डेटा में समर्थन, समर्थित डेटा की मात्रा, और बहुत कुछ। संदर्भ बाहरी लिंक अपाचे लाइसेंस पायथन (प्रोग्रामिंग भाषा) पुस्तकालयों पायथन (प्रोग्रामिंग भाषा) सॉफ्टवेयर डेटा माइनिंग और मशीन लर्निंग सॉफ्टवेयर 2017 सॉफ्टवेयर का उपयोग करके पायथन सॉफ्टवेयर में प्रोग्राम किए गए मुफ्त सॉफ्टवेयर