Automatic basis function construction
मशीन लर्निंग में, स्वचालित आधार कार्य निर्माण (या आधार खोज) कार्य-स्वतंत्र आधार कार्यों के एक समूह की तलाश करने की गणितीय विधि है जो राज्य स्थान को निम्न-आयामी एम्बेडिंग में मैप करती है, जबकि अभी भी मूल्य कार्य को सटीक रूप से दर्शाती है। स्वचालित आधार निर्माण डोमेन के पूर्व ज्ञान से स्वतंत्र है, जो इसे अच्छी तरह से प्रदर्शन करने की अनुमति देता है जहां विशेषज्ञ-निर्मित आधार कार्यों को बनाना मुश्किल या असंभव है। सुदृढीकरण अधिगम (आर. एल.) में, अधिकांश वास्तविक दुनिया की मार्कोव निर्णय प्रक्रिया (एम. डी. पी.) समस्याओं में बड़े या निरंतर अवस्था स्थान होते हैं, जिन्हें आमतौर पर कुशलता से प्रस्तुत करने के लिए किसी प्रकार के सन्निकटन की आवश्यकता होती है। रैखिक फलन सन्निकटक (एल. एफ. ए.) को उनकी कम सैद्धांतिक जटिलता के लिए व्यापक रूप से अपनाया जाता है। बेहतर अनुमान के लिए दो उप-समस्याओं को हल करने की आवश्यकता हैः वजन अनुकूलन और आधार निर्माण। दूसरी समस्या को हल करने के लिए, एक तरीका विशेष आधार कार्यों को डिजाइन करना है। वे आधार कार्य विशिष्ट कार्यों में अच्छी तरह से काम करते हैं लेकिन महत्वपूर्ण रूप से डोमेन तक ही सीमित होते हैं। इस प्रकार व्यापक अनुप्रयोगों के लिए स्वचालित रूप से आधार निर्माण कार्यों का निर्माण करना पसंद किया जाता है। समस्या परिभाषा सीमित अवस्था स्थान और निश्चित नीति के साथ एक मार्कोव निर्णय प्रक्रिया को 5-टुपल के साथ परिभाषित किया गया है, जिसमें सीमित अवस्था स्थान, सीमित कार्रवाई स्थान, पुरस्कार कार्य, छूट कारक और संक्रमण मॉडल शामिल हैं। बेलमैन समीकरण को इस प्रकार परिभाषित किया गया हैः जब तत्वों की संख्या कम होती है, तो इसे आमतौर पर सारणीबद्ध रूप में बनाए रखा जाता है। जबकि इस तरह के प्रतिनिधित्व के लिए बहुत बड़ा हो जाता है। आमतौर पर आधार फलन के एक रैखिक संयोजन के माध्यम से अनुमानित किया जा रहा है, ताकि हमारे पासः यहाँ एक मैट्रिक्स है जिसमें प्रत्येक पंक्ति में संबंधित पंक्ति के लिए एक विशेषता वेक्टर होता है, जो आमतौर पर n मापदंडों के साथ एक भार वेक्टर होता है। बेसिस कंस्ट्रक्शन स्वचालित रूप से बेहतर बेसिस फंक्शन के निर्माण के तरीकों की तलाश करता है जो वैल्यू फंक्शन को अच्छी तरह से दर्शा सकते हैं। एक अच्छी निर्माण विधि में निम्नलिखित विशेषताएं होनी चाहिएः अनुमान और वास्तविक मूल्य फलन के बीच छोटी त्रुटि सीमाएँ मूल्य फलन स्थान में ऑर्थोगोनल आधार का निर्माण स्थिर मूल्य फलन में तेजी से अभिसरण लोकप्रिय तरीके प्रोटो-मूल्य आधार इस दृष्टिकोण में, महादेवन आधार कार्यों के एक समूह को निर्धारित करने के लिए राज्यों के बीच संपर्क ग्राफ का विश्लेषण करते हैं। सामान्यीकृत ग्राफ लाप्लासियन को इस प्रकार परिभाषित किया गया हैः यहाँ डब्ल्यू एक निकटता मैट्रिक्स है जो निश्चित नीति एमडीपी की स्थितियों का प्रतिनिधित्व करता है जो एक दिशाहीन ग्राफ (एन, ई) बनाता है। डी नोड्स की डिग्री से संबंधित एक विकर्ण मैट्रिक्स है। विविक्त अवस्था स्थान में, निकटता मैट्रिक्स का निर्माण केवल यह जाँचकर किया जा सकता है कि क्या दो अवस्थाएँ जुड़ी हुई हैं, और डी की गणना डब्ल्यू की प्रत्येक पंक्ति को जोड़कर की जा सकती है। निरंतर अवस्था स्थान में, हम डब्ल्यू की यादृच्छिक चाल लाप्लेशियन ले सकते हैं। इस वर्णक्रमीय ढांचे का उपयोग मूल्य फलन सन्निकटन (वीएफए) के लिए किया जा सकता है। निश्चित नीति को देखते हुए, किनारे के भार का निर्धारण संबंधित अवस्थाओं की संक्रमण संभावना द्वारा किया जाता है। सुचारू मूल्य सन्निकटन प्राप्त करने के लिए, प्रसार तरंगों का उपयोग किया जाता है। क्रायलोव आधार क्रायलोव आधार निर्माण यादृच्छिक वॉक लाप्लासियन के बजाय वास्तविक संक्रमण मैट्रिक्स का उपयोग करता है। इस विधि की धारणा यह है कि संक्रमण मॉडल पी और पुरस्कार आर उपलब्ध हैं। न्यूमैन श्रृंखला में वैक्टरों को सभी के लिए दर्शाया जाता है। यह दर्शाता है कि क्रायलोव स्पेस किसी भी मान फलन का प्रतिनिधित्व करने के लिए पर्याप्त है, और m न्यूनतम बहुपद की डिग्री है। मान लीजिए कि न्यूनतम बहुपद है, और हमारे पास है, मूल्य फलन को इस प्रकार लिखा जा सकता हैः एल्गोरिदम संवर्धित क्रायलोव विधि पी के शीर्ष वास्तविक आइगेनवेक्टर हैं, अगर करें तो; अंत में अगर करें तो अंत में अगर करें तो टूटें; अंत में अगर k के लिए अंत मेंः आधार l में आइगेनवेक्टरों की संख्याः वैक्टर की कुल संख्या बेलमैन त्रुटि आधार बेलमैन त्रुटि (या बीईबीएफ) को इस प्रकार परिभाषित किया गया हैः धीरे-धीरे, बेलमैन त्रुटि इष्टतम मूल्य फलन की ओर इशारा करती है। बी. ई. बी. एफ. का अनुक्रम एक आधार स्थान बनाता है जो वास्तविक मूल्य फलन स्थान के लिए ऑर्थोगोनल है; इस प्रकार बी. ई. बी. एफ. की पर्याप्त संख्या के साथ, किसी भी मूल्य फलन को सटीक रूप से दर्शाया जा सकता है। एल्गोरिथम बी. ई. बी. एफ. चरण चरण i = 1,; चरण वर्तमान आधार फलन के अनुसार भार सदिश की गणना करता है; नए बेलमैन त्रुटि की गणना करता है; नए आधार फलन बनाने के लिए बेलमैन त्रुटि जोड़ता हैः; एन अभिसरण तक पुनरावृत्तियों की संख्या का प्रतिनिधित्व करता है। ":" का अर्थ है जक्सटैपोज़िंग मैट्रिक्स या वैक्टर। बेलमैन औसत पुरस्कार आधार बेलमैन औसत पुरस्कार आधार (या बी. ए. आर. बी.) क्रिलोव आधार के समान है, लेकिन पुरस्कार कार्य को औसत समायोजित संक्रमण मैट्रिक्स द्वारा फैलाया जा रहा है। यहाँ कई तरीकों से गणना की जा सकती है। बी. ई. बी. एफ. की तुलना में बी. ए. आर. बी. तेजी से अभिसरण करते हैं और 1 के करीब होने पर क्रायलोव। एल्गोरिथम बी. ए. आर. बी. चरण चरण i = 1,; चरण वर्तमान आधार फलन के अनुसार भार सदिश की गणना करता है; नए आधार की गणना करता हैः, और इसे नए आधार मैट्रिक्स बनाने के लिए जोड़ता है; एन अभिसरण तक पुनरावृत्तियों की संख्या का प्रतिनिधित्व करता है। ":" का अर्थ है जक्सटैपोज़िंग मैट्रिक्स या वैक्टर। चर्चा और विश्लेषण आधार निर्माण विधियों के दो प्रमुख प्रकार हैं। क्रायलोव और बी. ई. बी. एफ. जैसी पहली प्रकार की विधियाँ पुरस्कार-संवेदनशील होती हैं; वे परिवर्तन मैट्रिक्स के माध्यम से ज्यामितीय रूप से पुरस्कार कार्य को फैलाती हैं। हालांकि, जब छूट कारक 1 के करीब आता है, तो क्रायलोव और बीईबीएफ धीरे-धीरे अभिसरण करते हैं। ऐसा इसलिए है क्योंकि त्रुटि क्रिलोव आधारित विधियाँ चेबीशेव बहुपद बाध्य द्वारा प्रतिबंधित हैं। इस समस्या को हल करने के लिए बी. ए. आर. बी. जैसे तरीके प्रस्तावित किए गए हैं। बी. ए. आर. बी. ड्रैज़िन क्षारों का एक वृद्धिशील संस्करण है, और बड़े होने पर क्रायलोव और बी. ई. बी. एफ. की तुलना में तेजी से अभिसरण करता है। एक अन्य प्रकार ग्राफ लापलेसियन से प्राप्त पुरस्कार-असंवेदनशील प्रोटो मूल्य आधार कार्य है। यह विधि ग्राफ जानकारी का उपयोग करती है, लेकिन निकटता मैट्रिक्स के निर्माण से इस विधि का विश्लेषण करना कठिन हो जाता है। गतिशील प्रोग्रामिंग बेलमैन समीकरण इष्टतम नियंत्रण संदर्भ भी देखें बाहरी लिंक UMASS सभी प्रयोगशाला इष्टतम निर्णय गतिशील प्रोग्रामिंग यादृच्छिक नियंत्रण