Proto-value function
अनुप्रयुक्त गणित में, प्रोटो-वैल्यू फ़ंक्शन (पी. वी. एफ.) स्वचालित रूप से सीखा गया आधार फ़ंक्शन हैं जो कार्य-विशिष्ट मूल्य कार्यों को अनुमानित करने में उपयोगी हैं, जो संक्रमण मैट्रिक्स की शक्तियों का एक संक्षिप्त प्रतिनिधित्व प्रदान करते हैं। वे क्रेडिट असाइनमेंट समस्या को हल करने के लिए एक नया ढांचा प्रदान करते हैं। यह ढांचा बहुस्तरीय वर्णक्रमीय और कई गुना सीखने की विधियों का उपयोग करके मार्कोव निर्णय प्रक्रियाओं (एम. डी. पी.) और सुदृढीकरण सीखने की समस्याओं को हल करने के लिए एक नए दृष्टिकोण का परिचय देता है। प्रोटो-वैल्यू फंक्शन ग्राफ लैपलेसियन का उपयोग करके ग्राफ के वर्णक्रमीय विश्लेषण द्वारा उत्पन्न किए जाते हैं। प्रोटो-वैल्यू फ़ंक्शंस को पहली बार श्रीधर महादेवन द्वारा अपने पेपर, प्रोटो-वैल्यू फ़ंक्शंसः डेवलपमेंट रीइनफ़ोर्समेंट लर्निंग एट आई. सी. एम. एल. 2005 में रीइनफ़ोर्समेंट लर्निंग के संदर्भ में पेश किया गया था। निरंतर अवस्था स्थान पर परिभाषित मार्कोव निर्णय प्रक्रियाओं (एम. डी. पी.) को हल करने के लिए प्रेरणा मूल्य फलन सन्निकटन एक महत्वपूर्ण घटक है। एक अच्छा कार्य सन्निकटक एक सुदृढीकरण शिक्षण (आर. एल.) एजेंट को अपने मूल्य को स्पष्ट रूप से संग्रहीत किए बिना किसी भी स्थिति के मूल्य का सटीक प्रतिनिधित्व करने की अनुमति देता है। आधार फलन का उपयोग करके रैखिक फलन सन्निकटन एक मूल्य फलन सन्निकटन के निर्माण का एक सामान्य तरीका है, जैसे रेडियल आधार फलन, बहुपद अवस्था संकेतन और सी. एम. ए. सी.। हालांकि, इन आधार कार्यों से जुड़े मापदंडों के लिए अक्सर महत्वपूर्ण डोमेन-विशिष्ट हाथ-इंजीनियरिंग की आवश्यकता होती है। प्रोटो-वैल्यू फ़ंक्शन समस्या क्षेत्र की अंतर्निहित कई गुना संरचना के लिए लेखांकन करके इस आवश्यक हाथ-इंजीनियरिंग को हल करने का प्रयास करते हैं। प्रोटो-वैल्यू फ़ंक्शन कार्य-स्वतंत्र वैश्विक आधार फ़ंक्शन हैं जो सामूहिक रूप से किसी दिए गए राज्य स्थान के लिए संभावित मूल्य कार्यों के पूरे स्थान को फैलाते हैं। वे पर्यावरण के लिए आंतरिक ज्यामितीय बाधाओं को शामिल करते हैं। उदाहरण के लिए, यूक्लिडियन दूरी में निकट अवस्थाएँ (जैसे कि दीवार के विपरीत दिशाओं में अवस्थाएँ) कई गुना स्थान में बहुत दूर हो सकती हैं। इस अरैखिकता समस्या के लिए पिछले दृष्टिकोणों में एक व्यापक सैद्धांतिक ढांचे का अभाव था, और इसके परिणामस्वरूप केवल असतत एम. डी. पी. के संदर्भ में ही खोज की गई है। प्रोटो-वैल्यू फ़ंक्शन मूल्य फ़ंक्शन सन्निकटन की समस्या को एक ग्राफ या मैनिफोल्ड पर वास्तविक-मूल्यवान फ़ंक्शन सन्निकटन के रूप में सुधारने से उत्पन्न होते हैं। इसके परिणामस्वरूप सीखा गया आधार व्यापक रूप से लागू होता है और सीखने के एल्गोरिदम के एक नए वर्ग को सक्षम बनाता है, जो एक ही समय में प्रतिनिधित्व और नीतियों को सीखते हैं। ग्राफ लाप्लासियन से आधार कार्य यह दृष्टिकोण ग्राफ लाप्लासियन के वर्णक्रमीय विश्लेषण द्वारा आधार कार्यों का निर्माण करता है, जो ग्राफ पर कार्यों के स्थान पर एक स्व-संयुक्त (या सममित) प्रचालक है, जो यादृच्छिक चलने वाले प्रचालक से निकटता से संबंधित है। सरलता के लिए, मान लें कि अंतर्निहित अवस्था स्थान को एक अनिर्देशित भारित ग्राफ के रूप में दर्शाया जा सकता है संयोजन लाप्लासियन को ऑपरेटर के रूप में परिभाषित किया गया है, जहां एक विकर्ण मैट्रिक्स है जिसे डिग्री मैट्रिक्स कहा जाता है और यह आसन्न मैट्रिक्स है। ग्राफ पर लाप्लास प्रचालक के वर्णक्रमीय विश्लेषण में आइगेनवैल्यू और आइगेनफंक्शंस का पता लगाना शामिल है जो समीकरण को हल करते हैं जहां कॉम्बिनेटोरियल लाप्लेशियन, आइगेनवैल्यू से जुड़ा एक आइगेनफंक्शंस है। यहाँ "आइगेनफंक्शंस" शब्द का उपयोग रैखिक बीजगणित में पारंपरिक रूप से आइगेनवेक्टर के रूप में संदर्भित करने के लिए किया जाता है, क्योंकि लाप्लासियन आइगेनवेक्टर्स को स्वाभाविक रूप से उन कार्यों के रूप में देखा जा सकता है जो प्रत्येक शीर्ष को एक वास्तविक संख्या में मैप करते हैं। ग्राफ़ पर चुनने के लिए संयोजक लाप्लासियन एकमात्र प्रचालक नहीं है। अन्य संभावित ग्राफ प्रचालक में शामिल हैंः असतत अवस्था स्थान पर सामान्यीकृत लाप्लेशियन यादृच्छिक वॉक ग्राफ निर्माण एक सीमित अवस्था स्थान के लिए ऊपर उल्लिखित ग्राफ का निर्माण केवल अवस्थाओं के बीच संबंधों की जांच करके किया जा सकता है। मान लीजिए कि कोई भी दो राज्य हों। फिर यह ध्यान रखना महत्वपूर्ण है कि यह केवल तभी किया जा सकता है जब अवस्था स्थान सीमित और उचित आकार का हो। निरंतर या बड़े अवस्था स्थान पर ग्राफ निर्माण एक निरंतर अवस्था स्थान या बस एक बहुत बड़े असतत अवस्था स्थान के लिए, अवस्था स्थान में कई गुना से नमूना लेना आवश्यक है। फिर नमूनों के आधार पर ग्राफ का निर्माण करना। यहाँ विचार करने के लिए कुछ मुद्दे हैंः मैनिफोल्ड रैंडम वॉक या निर्देशित अन्वेषण का नमूना कैसे लिया जाए यह कैसे निर्धारित किया जाए कि क्या दो नमूनों को जोड़ा जाना चाहिए अनुप्रयोग एक बार पी. वी. एफ. उत्पन्न होने के बाद, उन्हें एक पारंपरिक कार्य सन्निकटन ढांचे में जोड़ा जा सकता है। ऐसी ही एक विधि है न्यूनतम-वर्ग सन्निकटन। प्रोटो-वैल्यू फ़ंक्शंस का उपयोग करके न्यूनतम-वर्ग सन्निकटन आइए पी. वी. एफ. का आधार समुच्चय बनें, जहां प्रत्येक ग्राफ में सभी अवस्थाओं पर परिभाषित आइगेनफ़ंक्शंस है। मान लीजिए कि लक्ष्य मूल्य फलन केवल अवस्थाओं के उपसमुच्चय के लिए जाना जाता है। ग्राम मैट्रिक्स को परिभाषित करें यहाँ राज्यों पर पी. वी. एफ. का घटक वार प्रक्षेपण है। अतः, ग्राम मैट्रिक्स की प्रत्येक प्रविष्टि वह गुणांक है जो न्यूनतम वर्ग त्रुटि को कम करता है, फिर समीकरण द्वारा वर्णित किया जाता है एक गैर-रैखिक न्यूनतम-वर्ग दृष्टिकोण अनुमान की गणना करने के लिए सबसे बड़े निरपेक्ष गुणांक वाले के. पी. वी. एफ. का उपयोग करके संभव है। सुदृढीकरण अधिगम मार्कोव निर्णय प्रक्रिया आधार कार्य आइगेनफंक्शंस लाप्लासियन मैट्रिक्स संदर्भ वर्णक्रमीय सिद्धांत कार्यों के प्रकार भी देखें।