Training, validation, and test data sets
मशीन लर्निंग में, एक सामान्य कार्य एल्गोरिदम का अध्ययन और निर्माण है जो डेटा से सीख सकते हैं और भविष्यवाणी कर सकते हैं। इस तरह के एल्गोरिदम इनपुट डेटा से एक गणितीय मॉडल के निर्माण के माध्यम से डेटा-संचालित भविष्यवाणियां या निर्णय करके कार्य करते हैं। मॉडल के निर्माण के लिए उपयोग किए जाने वाले इन इनपुट डेटा को आमतौर पर कई डेटा सेटों में विभाजित किया जाता है। विशेष रूप से, मॉडल के निर्माण के विभिन्न चरणों में आमतौर पर तीन डेटा सेट का उपयोग किया जाता हैः प्रशिक्षण, सत्यापन और परीक्षण सेट। मॉडल शुरू में एक प्रशिक्षण डेटा सेट पर फिट होता है, जो मापदंडों को फिट करने के लिए उपयोग किए जाने वाले उदाहरणों का एक सेट है (जैसे। मॉडल के कृत्रिम तंत्रिका नेटवर्क में न्यूरॉन्स के बीच कनेक्शन का भार)। मॉडल (जैसे। एक निष्कपट बेयस वर्गीकरणकर्ता) को एक पर्यवेक्षित सीखने की विधि का उपयोग करके प्रशिक्षण डेटा सेट पर प्रशिक्षित किया जाता है, उदाहरण के लिए अनुकूलन विधियों का उपयोग करना जैसे कि ढाल वंश या यादृच्छिक प्रवणता वंश। व्यवहार में, प्रशिक्षण डेटा सेट में अक्सर एक इनपुट वेक्टर (या स्केलर) और संबंधित आउटपुट वेक्टर (या स्केलर) के जोड़े होते हैं, जहां उत्तर कुंजी को आमतौर पर लक्ष्य (या लेबल) के रूप में दर्शाया जाता है। वर्तमान मॉडल प्रशिक्षण डेटा सेट के साथ चलाया जाता है और एक परिणाम उत्पन्न करता है, जिसे फिर प्रशिक्षण डेटा सेट में प्रत्येक इनपुट वेक्टर के लिए लक्ष्य के साथ तुलना की जाती है। तुलना के परिणाम और उपयोग किए जा रहे विशिष्ट शिक्षण एल्गोरिदम के आधार पर, मॉडल के मापदंडों को समायोजित किया जाता है। मॉडल फिटिंग में परिवर्तनीय चयन और पैरामीटर आकलन दोनों शामिल हो सकते हैं। क्रमिक रूप से, फिट किए गए मॉडल का उपयोग दूसरे डेटा सेट में टिप्पणियों के लिए प्रतिक्रियाओं की भविष्यवाणी करने के लिए किया जाता है जिसे सत्यापन डेटा सेट कहा जाता है। सत्यापन डेटा सेट मॉडल के हाइपरपैरामीटर्स (जैसे, प्रशिक्षण डेटा सेट) को ट्यून करते समय प्रशिक्षण डेटा सेट पर फिट होने वाले मॉडल का निष्पक्ष मूल्यांकन प्रदान करता है। छिपी हुई इकाइयों की संख्या-परतें और परत चौड़ाई-एक तंत्रिका नेटवर्क में)। वैलिडेशन डेटासेट का उपयोग जल्दी रोककर नियमित करने के लिए किया जा सकता है (वैलिडेशन डेटा सेट पर त्रुटि बढ़ने पर प्रशिक्षण को रोकना, क्योंकि यह प्रशिक्षण डेटा सेट के लिए ओवर-फिटिंग का संकेत है)। यह सरल प्रक्रिया व्यवहार में इस तथ्य से जटिल है कि सत्यापन डेटासेट की त्रुटि प्रशिक्षण के दौरान उतार-चढ़ाव कर सकती है, जिससे कई स्थानीय मिनीमा उत्पन्न हो सकते हैं। इस जटिलता ने यह तय करने के लिए कई तदर्थ नियमों का निर्माण किया है कि ओवर-फिटिंग वास्तव में कब शुरू हुई है। अंत में, परीक्षण डेटा सेट एक डेटा सेट है जिसका उपयोग प्रशिक्षण डेटा सेट पर अंतिम मॉडल फिट का निष्पक्ष मूल्यांकन प्रदान करने के लिए किया जाता है। यदि परीक्षण डेटा सेट में डेटा का उपयोग कभी भी प्रशिक्षण में नहीं किया गया है (उदाहरण के लिए क्रॉस-वैलिडेशन में), तो परीक्षण डेटा सेट को होल्डआउट डेटा सेट भी कहा जाता है। "वैलिडेशन सेट" शब्द का उपयोग कभी-कभी कुछ साहित्य में "टेस्ट सेट" के बजाय किया जाता है (उदाहरण के लिए, यदि मूल डेटा सेट को केवल दो सबसेट में विभाजित किया गया था, तो टेस्ट सेट को वैलिडेशन सेट के रूप में संदर्भित किया जा सकता है)। प्रशिक्षण, परीक्षण और सत्यापन सेट में डेटा सेट विभाजन के लिए आकार और रणनीतियाँ तय करना उपलब्ध समस्या और डेटा पर बहुत निर्भर करता है। प्रशिक्षण डेटा सेट एक प्रशिक्षण डेटा सेट सीखने की प्रक्रिया के दौरान उपयोग किए जाने वाले उदाहरणों का एक डेटा सेट है और इसका उपयोग मापदंडों (जैसे, भार) को फिट करने के लिए किया जाता है, उदाहरण के लिए, एक वर्गीकरणकर्ता। वर्गीकरण कार्यों के लिए, एक पर्यवेक्षित शिक्षण एल्गोरिथ्म चर के इष्टतम संयोजन को निर्धारित करने या सीखने के लिए प्रशिक्षण डेटा सेट को देखता है जो एक अच्छा भविष्यसूचक मॉडल उत्पन्न करेगा। लक्ष्य एक प्रशिक्षित (फिट) मॉडल का उत्पादन करना है जो नए, अज्ञात डेटा को अच्छी तरह से सामान्यीकृत करता है। नए डेटा को वर्गीकृत करने में मॉडल की सटीकता का अनुमान लगाने के लिए आयोजित डेटासेट (सत्यापन और परीक्षण डेटासेट) से "नए" उदाहरणों का उपयोग करके फिट किए गए मॉडल का मूल्यांकन किया जाता है। ओवर-फिटिंग जैसे मुद्दों के जोखिम को कम करने के लिए, मॉडल को प्रशिक्षित करने के लिए सत्यापन और परीक्षण डेटासेट में उदाहरणों का उपयोग नहीं किया जाना चाहिए। अनुभवजन्य संबंधों के लिए प्रशिक्षण डेटा के माध्यम से खोज करने वाले अधिकांश दृष्टिकोण डेटा को अधिक उपयुक्त बनाते हैं, जिसका अर्थ है कि वे प्रशिक्षण डेटा में स्पष्ट संबंधों की पहचान कर सकते हैं और उनका फायदा उठा सकते हैं जो सामान्य रूप से नहीं होते हैं। वैलिडेशन डेटा सेट एक वैलिडेशन डेटा सेट उदाहरणों का एक डेटा-सेट है जिसका उपयोग हाइपरपैरामीटर्स को ट्यून करने के लिए किया जाता है। एक वर्गीकरण की वास्तुकला)। इसे कभी-कभी विकास सेट या "देव सेट" भी कहा जाता है। कृत्रिम तंत्रिका नेटवर्क के लिए एक हाइपरपैरामीटर के उदाहरण में प्रत्येक परत में छिपी इकाइयों की संख्या शामिल है। यह, साथ ही परीक्षण सेट (जैसा कि नीचे उल्लेख किया गया है), प्रशिक्षण डेटा सेट के समान संभावना वितरण का पालन करना चाहिए। ओवरफिटिंग से बचने के लिए, जब किसी भी वर्गीकरण पैरामीटर को समायोजित करने की आवश्यकता होती है, तो प्रशिक्षण और परीक्षण डेटासेट के अलावा एक सत्यापन डेटा सेट होना आवश्यक है। उदाहरण के लिए, यदि समस्या के लिए सबसे उपयुक्त वर्गीकरणकर्ता की मांग की जाती है, तो प्रशिक्षण डेटा सेट का उपयोग विभिन्न उम्मीदवार वर्गीकरणकर्ताओं को प्रशिक्षित करने के लिए किया जाता है, सत्यापन डेटा सेट का उपयोग उनके प्रदर्शन की तुलना करने और यह तय करने के लिए किया जाता है कि किसे लेना है और अंत में, परीक्षण डेटा सेट का उपयोग सटीकता, संवेदनशीलता, विशिष्टता, एफ-माप आदि प्रदर्शन विशेषताओं को प्राप्त करने के लिए किया जाता है। सत्यापन डेटा सेट एक संकर के रूप में कार्य करता हैः यह परीक्षण के लिए उपयोग किया जाने वाला प्रशिक्षण डेटा है, लेकिन न तो निम्न-स्तरीय प्रशिक्षण के हिस्से के रूप में और न ही अंतिम परीक्षण के हिस्से के रूप में। मॉडल चयन के लिए एक सत्यापन डेटा सेट का उपयोग करने की मूल प्रक्रिया (प्रशिक्षण डेटा सेट, सत्यापन डेटा सेट और परीक्षण डेटा सेट के हिस्से के रूप में) हैः इस प्रक्रिया का एक अनुप्रयोग जल्दी बंद हो जाता है, जहां उम्मीदवार मॉडल एक ही नेटवर्क के क्रमिक पुनरावृत्तियाँ होते हैं, और जब सत्यापन सेट पर त्रुटि बढ़ती है तो प्रशिक्षण बंद हो जाता है, पिछले मॉडल (न्यूनतम त्रुटि वाला) को चुनते हुए। एक परीक्षण डेटा सेट एक डेटा सेट है जो प्रशिक्षण डेटा सेट से स्वतंत्र है, लेकिन यह प्रशिक्षण डेटा सेट के समान संभावना वितरण का अनुसरण करता है। यदि प्रशिक्षण डेटा सेट के लिए उपयुक्त मॉडल भी परीक्षण डेटा सेट में अच्छी तरह से फिट बैठता है, तो न्यूनतम ओवरफिटिंग हुई है (नीचे चित्र देखें)। परीक्षण डेटा सेट के विपरीत प्रशिक्षण डेटा सेट की बेहतर फिटिंग आमतौर पर ओवर-फिटिंग की ओर इशारा करती है। इसलिए एक परीक्षण समूह उदाहरणों का एक समूह है जिसका उपयोग केवल प्रदर्शन का आकलन करने के लिए किया जाता है (अर्थात। एक पूरी तरह से निर्दिष्ट वर्गीकरण का सामान्यीकरण)। ऐसा करने के लिए, अंतिम मॉडल का उपयोग परीक्षण सेट में उदाहरणों के वर्गीकरण की भविष्यवाणी करने के लिए किया जाता है। मॉडल की सटीकता का आकलन करने के लिए उन भविष्यवाणियों की तुलना उदाहरणों के सही वर्गीकरणों से की जाती है। ऐसे परिदृश्य में जहां सत्यापन और परीक्षण डेटासेट दोनों का उपयोग किया जाता है, परीक्षण डेटा सेट का उपयोग आमतौर पर सत्यापन प्रक्रिया के दौरान चुने गए अंतिम मॉडल का आकलन करने के लिए किया जाता है। ऐसे मामले में जहां मूल डेटा सेट को दो सबसेट (प्रशिक्षण और परीक्षण डेटासेट) में विभाजित किया गया है, परीक्षण डेटा सेट केवल एक बार मॉडल का आकलन कर सकता है (जैसे, होल्डआउट विधि में)। ध्यान दें कि कुछ स्रोत इस तरह की विधि के खिलाफ सलाह देते हैं। हालांकि, क्रॉस-वैलिडेशन जैसी विधि का उपयोग करते समय, दो विभाजन पर्याप्त और प्रभावी हो सकते हैं क्योंकि पूर्वाग्रह और परिवर्तनशीलता को कम करने में मदद करने के लिए मॉडल प्रशिक्षण और परीक्षण के बार-बार दौर के बाद परिणाम औसत किए जाते हैं। शब्दावली में भ्रम परीक्षण इसके बारे में कुछ पता लगाने की कोशिश कर रहा है (अंग्रेजी के सहयोगात्मक अंतर्राष्ट्रीय शब्दकोश के अनुसार "प्रमाण के लिए; सत्य, वास्तविकता या प्रयोग द्वारा गुणवत्ता को साबित करने के लिए") और मान्य करने के लिए यह साबित करना है कि कुछ मान्य है ("पुष्टि करने के लिए; वैध" अंग्रेजी के सहयोगात्मक अंतर्राष्ट्रीय शब्दकोश को प्रस्तुत करने के लिए)। इस परिप्रेक्ष्य में, परीक्षण सेट और सत्यापन सेट शब्दों का सबसे आम उपयोग यहाँ वर्णित है। हालांकि, उद्योग और शिक्षा दोनों में, उनका उपयोग कभी-कभी आपस में किया जाता है, यह मानते हुए कि आंतरिक प्रक्रिया सुधार के लिए विभिन्न मॉडलों का परीक्षण कर रही है (एक विकास सेट के रूप में परीक्षण सेट) और अंतिम मॉडल वह है जिसे वास्तविक उपयोग से पहले मान्य करने की आवश्यकता है। "मशीन लर्निंग पर साहित्य अक्सर 'सत्यापन' और 'परीक्षण' सेट के अर्थ को उलट देता है। यह कृत्रिम बुद्धिमत्ता अनुसंधान में व्याप्त शब्दावली संबंधी भ्रम का सबसे स्पष्ट उदाहरण है। फिर भी, महत्वपूर्ण अवधारणा जो रखी जानी चाहिए वह यह है कि अंतिम सेट, जिसे परीक्षण या सत्यापन कहा जाता है, का उपयोग केवल अंतिम प्रयोग में किया जाना चाहिए। क्रॉस-वैलिडेशन अधिक स्थिर परिणाम प्राप्त करने और प्रशिक्षण के लिए सभी मूल्यवान डेटा का उपयोग करने के लिए, एक डेटा सेट को बार-बार कई प्रशिक्षण और एक वैलिडेशन डेटासेट में विभाजित किया जा सकता है। इसे क्रॉस-वैलिडेशन के रूप में जाना जाता है। मॉडल के प्रदर्शन की पुष्टि करने के लिए, क्रॉस-वैलिडेशन से आयोजित एक अतिरिक्त परीक्षण डेटा सेट का सामान्य रूप से उपयोग किया जाता है। मशीन लर्निंग अनुसंधान के लिए सांख्यिकीय वर्गीकरण डेटासेट की सूची भी देखें मशीन लर्निंग वैधता में पदानुक्रमित वर्गीकरण संदर्भ डेटासेट (सांख्यिकी)