Hyperparameter (machine learning)
मशीन लर्निंग में, एक हाइपरपैरामीटर एक पैरामीटर है जिसका मूल्य सीखने की प्रक्रिया को नियंत्रित करने के लिए उपयोग किया जाता है। इसके विपरीत, अन्य मापदंडों (आमतौर पर नोड भार) के मान प्रशिक्षण के माध्यम से प्राप्त किए जाते हैं। हाइपरपैरामीटर्स को मॉडल हाइपरपैरामीटर्स के रूप में वर्गीकृत किया जा सकता है, जिन्हें प्रशिक्षण सेट में मशीन को फिट करते समय अनुमान नहीं लगाया जा सकता है क्योंकि वे मॉडल चयन कार्य या एल्गोरिथ्म हाइपरपैरामीटर्स को संदर्भित करते हैं, जो सिद्धांत रूप में मॉडल के प्रदर्शन पर कोई प्रभाव नहीं डालते हैं, लेकिन सीखने की प्रक्रिया की गति और गुणवत्ता को प्रभावित करते हैं। मॉडल हाइपरपैरामीटर का एक उदाहरण न्यूरल नेटवर्क की टोपोलॉजी और आकार है। एल्गोरिदम हाइपरपैरामेटर्स के उदाहरण सीखने की दर और बैच के आकार के साथ-साथ मिनी-बैच के आकार भी हैं। बैच का आकार पूर्ण डेटा नमूने को संदर्भित कर सकता है जहां मिनी-बैच का आकार एक छोटा नमूना सेट होगा। विभिन्न मॉडल प्रशिक्षण एल्गोरिदम के लिए अलग-अलग हाइपरपैरामेटर्स की आवश्यकता होती है, कुछ सरल एल्गोरिदम (जैसे साधारण न्यूनतम वर्ग प्रतिगमन) के लिए किसी की आवश्यकता नहीं होती है। इन हाइपरपैरामीटर्स को देखते हुए, प्रशिक्षण एल्गोरिदम डेटा से मापदंडों को सीखता है। उदाहरण के लिए, एल. ए. एस. एस. ओ. एक एल्गोरिथ्म है जो साधारण न्यूनतम वर्ग प्रतिगमन में एक नियमित हाइपरपैरामीटर जोड़ता है, जिसे प्रशिक्षण एल्गोरिथ्म के माध्यम से मापदंडों का अनुमान लगाने से पहले सेट करना होता है। विचार एक मॉडल को प्रशिक्षित करने और परीक्षण करने के लिए आवश्यक समय उसके अतिमानकों के चयन पर निर्भर कर सकता है। एक हाइपरपैरामीटर आमतौर पर निरंतर या पूर्णांक प्रकार का होता है, जिससे मिश्रित प्रकार की अनुकूलन समस्याएं होती हैं। कुछ अतिमानक का अस्तित्व दूसरों के मूल्य पर सशर्त होता है, उदाहरण के लिए। तंत्रिका तंत्र में प्रत्येक छिपी हुई परत का आकार परतों की संख्या पर सशर्त हो सकता है। कठिनाई सीखने योग्य मापदंड आमतौर पर, लेकिन हमेशा नहीं, हाइपरपैरामीटर्स को प्रसिद्ध ग्रेडिएंट आधारित तरीकों (जैसे ग्रेडिएंट डिसेंट, एल. बी. एफ. जी. एस) का उपयोग करके नहीं सीखा जा सकता है-जो आमतौर पर मापदंडों को सीखने के लिए उपयोग किए जाते हैं। ये अतिमानक वे मापदंड हैं जो एक मॉडल प्रतिनिधित्व का वर्णन करते हैं जिसे सामान्य अनुकूलन विधियों द्वारा नहीं सीखा जा सकता है लेकिन फिर भी हानि कार्य को प्रभावित करते हैं। एक उदाहरण समर्थन वेक्टर मशीनों में त्रुटियों के लिए सहिष्णुता अतिमानक होगा। अप्रशिक्षित मापदंड कभी-कभी, हाइपरपैरामीटर्स को प्रशिक्षण डेटा से नहीं सीखा जा सकता है क्योंकि वे आक्रामक रूप से एक मॉडल की क्षमता को बढ़ाते हैं और डेटा में संरचना की समृद्धि का सही ढंग से मानचित्रण करने के विपरीत, हानि कार्य को एक अवांछित न्यूनतम (डेटा में अति-उपयुक्त और शोर उठाने) तक धकेल सकते हैं। उदाहरण के लिए, यदि हम एक प्रतिगमन मॉडल को फिट करने वाले बहुपद समीकरण की डिग्री को एक प्रशिक्षित करने योग्य पैरामीटर के रूप में मानते हैं, तो डिग्री तब तक बढ़ेगी जब तक कि मॉडल पूरी तरह से डेटा में फिट नहीं हो जाता है, जिससे कम प्रशिक्षण त्रुटि होती है, लेकिन सामान्यीकरण प्रदर्शन खराब होता है। ट्यूनेबिलिटी अधिकांश प्रदर्शन भिन्नता को केवल कुछ हाइपरपैरामीटर्स के लिए जिम्मेदार ठहराया जा सकता है। एक एल्गोरिथ्म, हाइपरपैरामीटर, या इंटरैक्टिंग हाइपरपैरामीटर की ट्यूनेबिलिटी इस बात का एक माप है कि इसे ट्यूनिंग करके कितना प्रदर्शन प्राप्त किया जा सकता है। एल. एस. टी. एम. के लिए, जबकि नेटवर्क के आकार के बाद सीखने की दर इसके सबसे महत्वपूर्ण अतिमानक हैं, बैचिंग और गति का इसके प्रदर्शन पर कोई महत्वपूर्ण प्रभाव नहीं पड़ता है। हालांकि कुछ शोधों ने हजारों में छोटे-बैच के आकार के उपयोग की वकालत की है, अन्य कार्यों में 2 और 32 के बीच छोटे-बैच के आकार के साथ सबसे अच्छा प्रदर्शन पाया गया है। मजबूती सीखने में एक अंतर्निहित यादृच्छिकता का सीधा तात्पर्य है कि अनुभवजन्य अतिमानक प्रदर्शन आवश्यक रूप से इसका वास्तविक प्रदर्शन नहीं है। ऐसे तरीके जो हाइपरपैरामेटर्स, यादृच्छिक बीजों, या एक ही एल्गोरिथ्म के अलग-अलग कार्यान्वयन में सरल परिवर्तनों के लिए मजबूत नहीं हैं, उन्हें महत्वपूर्ण सरलीकरण और मजबूती के बिना मिशन महत्वपूर्ण नियंत्रण प्रणालियों में एकीकृत नहीं किया जा सकता है। सुदृढीकरण सीखने के एल्गोरिदम, विशेष रूप से, बड़ी संख्या में यादृच्छिक बीजों पर उनके प्रदर्शन को मापने की आवश्यकता होती है, और हाइपरपैरामीटर के विकल्पों के प्रति उनकी संवेदनशीलता को भी मापने की आवश्यकता होती है। यादृच्छिक बीजों की एक छोटी संख्या के साथ उनका मूल्यांकन उच्च भिन्नता के कारण प्रदर्शन को पर्याप्त रूप से नहीं पकड़ता है। कुछ सुदृढीकरण सीखने के तरीके, उदाहरण के लिए। डी. डी. पी. जी. (डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट), दूसरों की तुलना में हाइपरपैरामीटर विकल्पों के प्रति अधिक संवेदनशील हैं। अनुकूलन हाइपरपैरामीटर अनुकूलन हाइपरपैरामीटर्स का एक टुपल पाता है जो एक इष्टतम मॉडल देता है जो दिए गए परीक्षण डेटा पर एक पूर्वनिर्धारित हानि कार्य को कम करता है। ऑब्जेक्टिव फंक्शन हाइपरपैरामेटर्स का एक टुपल लेता है और संबंधित नुकसान को वापस करता है। प्रजनन क्षमता हाइपरपैरामीटर्स की ट्यूनिंग के अलावा, मशीन लर्निंग में मापदंडों और परिणामों को संग्रहीत और व्यवस्थित करना और यह सुनिश्चित करना शामिल है कि वे पुनः उत्पन्न करने योग्य हैं। इस उद्देश्य के लिए एक मजबूत बुनियादी ढांचे के अभाव में, अनुसंधान संहिता अक्सर तेजी से विकसित होती है और बहीखाता और प्रजनन क्षमता जैसे आवश्यक पहलुओं से समझौता करती है। मशीन लर्निंग के लिए ऑनलाइन सहयोग मंच वैज्ञानिकों को स्वचालित रूप से प्रयोगों, डेटा और एल्गोरिदम को साझा करने, व्यवस्थित करने और चर्चा करने की अनुमति देकर आगे बढ़ते हैं। गहन शिक्षण मॉडल के लिए प्रजनन क्षमता विशेष रूप से कठिन हो सकती है। हाइपर-ह्यूरिस्टिक रेप्लिकेशन संकट संदर्भ मशीन लर्निंग मॉडल चयन भी देखें।