Mountain car problem
माउंटेन कार, सुदृढीकरण सीखने में एक मानक परीक्षण क्षेत्र, एक ऐसी समस्या है जिसमें एक कम शक्ति वाली कार को खड़ी पहाड़ी पर चढ़ना पड़ता है। चूँकि कार के इंजन की तुलना में गुरुत्वाकर्षण अधिक मजबूत होता है, यहां तक कि पूर्ण थ्रॉटल पर भी, कार खड़ी ढलान को तेज नहीं कर सकती है। कार एक घाटी में स्थित है और कार को सबसे दाहिनी पहाड़ी की चोटी पर लक्ष्य तक पहुंचने में सक्षम होने से पहले विपरीत पहाड़ी पर गाड़ी चलाकर संभावित ऊर्जा का लाभ उठाना सीखना चाहिए। डोमेन का उपयोग विभिन्न सुदृढीकरण शिक्षण पत्रों में एक परीक्षण बिस्तर के रूप में किया गया है। परिचय पहाड़ी कार समस्या, हालांकि काफी सरल है, आमतौर पर लागू की जाती है क्योंकि इसके लिए दो निरंतर चरों पर सीखने के लिए एक सुदृढीकरण सीखने वाले एजेंट की आवश्यकता होती हैः स्थिति और वेग। कार की किसी भी स्थिति (स्थिति और वेग) के लिए, एजेंट को बाईं ओर गाड़ी चलाने, दाईं ओर गाड़ी चलाने या इंजन का बिल्कुल भी उपयोग नहीं करने की संभावना दी जाती है। समस्या के मानक संस्करण में, लक्ष्य तक नहीं पहुँचने पर एजेंट को हर समय एक नकारात्मक पुरस्कार प्राप्त होता है; एजेंट के पास प्रारंभिक सफलता तक लक्ष्य के बारे में कोई जानकारी नहीं होती है। माउंटेन कार समस्या सबसे पहले एंड्रयू मूर की पीएचडी थीसिस (1990) में दिखाई दी। बाद में इसे सिंह और सटन के सुदृढीकरण झुकाव पत्र में पात्रता निशान के साथ अधिक सख्ती से परिभाषित किया गया था। समस्या का अधिक व्यापक रूप से अध्ययन तब हुआ जब सटन और बार्टो ने इसे अपनी पुस्तक रिइन्फोर्समेंट लर्निंगः एन इंट्रोडक्शन (1998) में जोड़ा। वर्षों के दौरान समस्या के कई संस्करणों का उपयोग किया गया है, जैसे कि वे जो पुरस्कार कार्य, समाप्ति स्थिति और/या प्रारंभ स्थिति को संशोधित करते हैं। पहाड़ी कार क्यू-लर्निंग को हल करने के लिए उपयोग की जाने वाली तकनीकों और असतत क्रियाओं के लिए असतत अवस्थाओं के मानचित्रण के लिए समान तकनीकों को समस्या के निरंतर स्थिति स्थान से निपटने में सक्षम होने के लिए विस्तारित करने की आवश्यकता है। दृष्टिकोण अक्सर दो श्रेणियों में से एक में आते हैं, स्टेट स्पेस डिस्क्रीटाइजेशन या फंक्शन एप्रोक्सीमेशन। विवेचना इस दृष्टिकोण में, दो निरंतर अवस्था चर को प्रत्येक निरंतर चर को कई असतत अवस्थाओं में विभाजित करके असतत अवस्थाओं में धकेल दिया जाता है। यह दृष्टिकोण ठीक से ट्यून किए गए मापदंडों के साथ काम करता है लेकिन एक नुकसान यह है कि एक राज्य से एकत्र की गई जानकारी का उपयोग दूसरे राज्य के मूल्यांकन के लिए नहीं किया जाता है। टाइल कोडिंग का उपयोग विवेचना में सुधार के लिए किया जा सकता है और इसमें एक दूसरे से ऑफसेट बाल्टियों के सेट में निरंतर चर मानचित्रण शामिल है। प्रशिक्षण के प्रत्येक चरण का मूल्य फलन सन्निकटन पर व्यापक प्रभाव पड़ता है क्योंकि जब ऑफसेट ग्रिड का योग किया जाता है, तो जानकारी फैल जाती है। फंक्शन सन्निकटन फंक्शन सन्निकटन पहाड़ी कार को हल करने का एक और तरीका है। आधार कार्यों के एक समूह को पहले से चुनकर, या उन्हें कार ड्राइव के रूप में उत्पन्न करके, एजेंट प्रत्येक राज्य में मूल्य कार्य का अनुमान लगा सकता है। विवेचना के साथ बनाए गए मूल्य कार्य के चरण-वार संस्करण के विपरीत, कार्य सन्निकटन पहाड़ी कार क्षेत्र के वास्तविक सुचारू कार्य का अधिक स्पष्ट रूप से अनुमान लगा सकता है। पात्रता अनुरेखण समस्या के एक दिलचस्प पहलू में वास्तविक पुरस्कार में देरी शामिल है। एजेंट एक सफल समापन तक लक्ष्य के बारे में जानने में सक्षम नहीं होता है। प्रत्येक परीक्षण के लिए एक सरल दृष्टिकोण को देखते हुए कार केवल गोल के इनाम का थोड़ा सा समर्थन कर सकती है। यह सरल विवेकीकरण के लिए एक समस्या है क्योंकि प्रत्येक असतत स्थिति का केवल एक बार समर्थन किया जाएगा, जिससे समस्या को जानने के लिए बड़ी संख्या में प्रकरण लगेंगे। इस समस्या को पात्रता निशान के तंत्र के माध्यम से कम किया जा सकता है, जो राज्यों को पहले दिए गए पुरस्कार का स्वचालित रूप से समर्थन करेगा, जिससे सीखने की गति में नाटकीय रूप से वृद्धि होगी। योग्यता के निशान को अस्थायी अंतर सीखने की विधियों से मोंटे कार्लो विधियों तक एक सेतु के रूप में देखा जा सकता है। तकनीकी विवरण पहाड़ी कार समस्या कई पुनरावृत्तियों से गुजरी है। यह खंड सटन (2008) के मानक अच्छी तरह से परिभाषित संस्करण पर ध्यान केंद्रित करेगा। अवस्था चर द्वि-आयामी निरंतर अवस्था स्थान। क्रिया एक-आयामी असतत क्रिया स्थान। प्रत्येक समय चरण के लिए पुरस्कारः अद्यतन कार्य प्रत्येक समय चरण के लिएः प्रारंभिक स्थिति वैकल्पिक रूप से, कई कार्यान्वयनों में बेहतर सामान्यीकृत शिक्षा दिखाने के लिए दोनों मापदंडों में यादृच्छिकता शामिल है। समाप्ति की स्थिति अनुकरण को समाप्त करती है जबः भिन्नताएँ पहाड़ी कार के कई संस्करण हैं जो मानक मॉडल से अलग-अलग तरीकों से विचलित होते हैं। भिन्न होने वाले चर में समस्या के स्थिरांक (गुरुत्वाकर्षण और कठोरता) को बदलना शामिल है लेकिन यह सीमित नहीं है, इसलिए विशिष्ट नीतियों के लिए विशिष्ट ट्यूनिंग अप्रासंगिक हो जाती है और एजेंट की सीखने की क्षमता को अलग तरीके से प्रभावित करने के लिए इनाम कार्य में बदलाव करती है। एक उदाहरण लक्ष्य से दूरी के बराबर होने के लिए पुरस्कार को बदलना है, या पुरस्कार को हर जगह शून्य और लक्ष्य पर एक में बदलना है। इसके अतिरिक्त हम 4डी निरंतर राज्य स्थान के साथ 3डी माउंटेन कार का उपयोग कर सकते हैं। संदर्भ कार्यान्वयन सी + + माउंटेन कार सॉफ्टवेयर। रिचर्ड एस. सटन। आर. एल. ग्लू पायथन के समर्थन के साथ जावा माउंटेन कार, अच्छी चर्चा के साथ (ब्लॉग पोस्ट-डाउन पेज) आगे पढ़ने के लिए माउंटेन कार को पात्रता के साथ बदलना माउंटेन कार मशीन लर्निंग के साथ गौसी प्रक्रिया का पता लगाता है