Learning automaton
लर्निंग ऑटोमेटन एक प्रकार का मशीन लर्निंग एल्गोरिदम है जिसका अध्ययन 1970 के दशक से किया जा रहा है। स्वचालित रूप से सीखना पर्यावरण से पिछले अनुभवों के आधार पर अपनी वर्तमान कार्रवाई का चयन करता है। यदि पर्यावरण यादृच्छिक है और एक मार्कोव निर्णय प्रक्रिया (एम. डी. पी.) का उपयोग किया जाता है तो यह सुदृढीकरण सीखने की सीमा में आ जाएगा। ऑटोमेटा सीखने में इतिहास अनुसंधान का पता सोवियत संघ में 1960 के दशक की शुरुआत में माइकल ल्वोविच सेटलिन के काम से लगाया जा सकता है। कुछ सहयोगियों के साथ, उन्होंने ऑटोमेटा कार्यों का वर्णन करने के लिए मैट्रिक्स का उपयोग करने के तरीके पर शोध पत्रों का एक संग्रह प्रकाशित किया। इसके अतिरिक्त, सेटलिन ने उचित और सामूहिक स्वचालित व्यवहार और स्वचालित खेलों पर काम किया। 1960 के दशक में संयुक्त राज्य अमेरिका में शोधों द्वारा स्वचालित सीखने की भी जांच की गई थी। हालाँकि, लर्निंग ऑटोमेटन शब्द का उपयोग तब तक नहीं किया गया था जब तक कि नरेंद्र और थाथाचर ने इसे 1974 में एक सर्वेक्षण पत्र में पेश नहीं किया था। परिभाषा एक लर्निंग ऑटोमेटन एक यादृच्छिक वातावरण में स्थित एक अनुकूली निर्णय लेने वाली इकाई है जो अपने पर्यावरण के साथ बार-बार बातचीत के माध्यम से इष्टतम कार्रवाई सीखती है। क्रियाओं को एक विशिष्ट संभाव्यता वितरण के अनुसार चुना जाता है जो एक विशेष क्रिया करके स्वचालित द्वारा प्राप्त पर्यावरण प्रतिक्रिया के आधार पर अद्यतन किया जाता है। सुदृढीकरण सीखने के क्षेत्र के संबंध में, स्वचालित सीखने को नीति पुनरावृत्तियों के रूप में वर्णित किया जाता है। अन्य सुदृढीकरण शिक्षार्थियों के विपरीत, नीति पुनरावृत्तिकर्ता सीधे नीति में हेरफेर करते हैं। नीति पुनरावृत्तियों के लिए एक और उदाहरण विकासवादी एल्गोरिदम हैं। औपचारिक रूप से, नरेंद्र और थाथाचर एक यादृच्छिक स्वचालित यंत्र को निम्नलिखित रूप में परिभाषित करते हैंः संभावित निवेशों का एक समुच्चय X, संभावित आंतरिक अवस्थाओं का एक समुच्चय, संभावित उत्पादनों का एक समुच्चय α = {α1,., αr, या क्रियाएँ, r ≤ s के साथ, एक प्रारंभिक स्थिति संभाव्यता सदिश p (0) = ′p1 (0), ps (0) ′, एक संगणनीय फलन A जो प्रत्येक समय के बाद चरण t, p (t) से p (t + 1) उत्पन्न करता है, वर्तमान निवेश, और वर्तमान स्थिति, और एक फलन G: φ → α जो प्रत्येक समय चरण पर उत्पादन उत्पन्न करता है। अपने शोधपत्र में, वे केवल यादृच्छिक स्वचालन की जांच करते हैं जिसमें r = s और G विषयवाचक होते हैं, जिससे वे क्रियाओं और अवस्थाओं को भ्रमित कर सकते हैं। इस तरह के ऑटोमेटन की अवस्थाएँ "डिस्क्रीट-स्टेट डिस्क्रीट-पैरामीटर मार्कोव प्रक्रिया" की अवस्थाओं के अनुरूप होती हैं। प्रत्येक समय चरण t = 0,1,2,3,. पर, स्वचालित यंत्र अपने वातावरण से एक इनपुट पढ़ता है, ए द्वारा पी (टी) को पी (टी + 1) में अद्यतन करता है, यादृच्छिक रूप से संभावनाओं पी (टी + 1) के अनुसार एक उत्तराधिकारी स्थिति का चयन करता है और संबंधित कार्रवाई का आउटपुट देता है। ऑटोमेटन का वातावरण, बदले में, कार्रवाई को पढ़ता है और ऑटोमेटन को अगला इनपुट भेजता है। अक्सर, इनपुट सेट X = {0,1} का उपयोग किया जाता है, जिसमें 0 और 1 क्रमशः गैर-दंड और पर्यावरण की दंड प्रतिक्रिया के अनुरूप होते हैं; इस मामले में, स्वचालित को दंड प्रतिक्रियाओं की संख्या को कम करना सीखना चाहिए, और स्वचालित और पर्यावरण के प्रतिक्रिया लूप को "पी-मॉडल" कहा जाता है। अधिक आम तौर पर, एक "क्यू-मॉडल" एक मनमाना परिमित इनपुट सेट एक्स की अनुमति देता है, और एक "एस-मॉडल" एक्स के रूप में वास्तविक संख्याओं के अंतराल [0,1] का उपयोग करता है। एकल लर्निंग ऑटोमेटन का एक विज़ुअलाइज़्ड डेमो/आर्ट वर्क न्यूकैसल विश्वविद्यालय में माइक्रो सिस्टम (माइक्रो सिस्टम) रिसर्च ग्रुप द्वारा विकसित किया गया था। फाइनाइट एक्शन-सेट लर्निंग ऑटोमेटा (एफ. ए. एल. ए.) लर्निंग ऑटोमेटा का एक वर्ग है जिसके लिए संभावित कार्यों की संख्या सीमित है या, अधिक गणितीय शब्दों में, जिसके लिए एक्शन-सेट का आकार सीमित है। रीइनफोर्समेंट लर्निंग गेम थ्योरी ऑटोमेटा थ्योरी लिटरेचर फिलिप अरानजुल्ला और जॉन मेलर (होम पेज): मेलर जे और अरानजुल्ला पी (2000): "आईपी नेटवर्क के लिए ऑटोमेटा आधारित रूटिंग स्कीम सीखने के साथ एस-मॉडल प्रतिक्रिया वातावरण का उपयोग करना", प्रोसी। एटीएम और आईपी नेटवर्क के प्रदर्शन मॉडलिंग और मूल्यांकन पर आठवीं आई. एफ. आई. पी. कार्यशाला, पीपी 56/1-56 12, इल्कले, यू. के. अरनजुल्ला पी और मेलर जे (1997): "एटीएम नेटवर्क पर लागू होने पर कम सिग्नलिंग की आवश्यकता वाले दो रूटिंग एल्गोरिदम की तुलना", प्रोसी। सूचना प्रणालियों में प्रदर्शन इंजीनियरिंग पर चौदहवीं यू. के. टेलीट्रैफिक संगोष्ठी, पीपी 20/1-20 4, यू. एम. आई. एस. टी., मैनचेस्टर, यू. के. सेटलिन एम. एल. जैविक प्रणालियों का स्वचालन सिद्धांत और प्रतिरूपण। अकादमिक प्रेस; 1973। संदर्भ मशीन लर्निंग नियंत्रण सिद्धांत