AIXI
ए. आई. एक्स. आई. कृत्रिम सामान्य बुद्धिमत्ता के लिए एक सैद्धांतिक गणितीय औपचारिकता है। यह सोलोमनॉफ प्रेरण को अनुक्रमिक निर्णय सिद्धांत के साथ जोड़ती है। ए. आई. एक्स. आई. को पहली बार 2000 में मार्कस हटर द्वारा प्रस्तावित किया गया था और ए. आई. एक्स. आई. के संबंध में कई परिणाम हटर की 2005 की पुस्तक यूनिवर्सल आर्टिफिशियल इंटेलिजेंस में साबित हुए हैं। ए. आई. एक्स. आई. एक सुदृढीकरण शिक्षण (आर. एल.) अभिकर्ता है। यह पर्यावरण से प्राप्त अपेक्षित कुल पुरस्कारों को अधिकतम करता है। अंतर्ज्ञानी रूप से, यह एक साथ प्रत्येक कम्प्यूटेबल परिकल्पना (या पर्यावरण) पर विचार करता है। प्रत्येक समय चरण में, यह प्रत्येक संभावित कार्यक्रम को देखता है और मूल्यांकन करता है कि वह कार्यक्रम अगली कार्रवाई के आधार पर कितने पुरस्कार उत्पन्न करता है। वादा किए गए पुरस्कारों को तब व्यक्तिपरक विश्वास से भारित किया जाता है कि यह कार्यक्रम वास्तविक वातावरण का गठन करता है। इस विश्वास की गणना कार्यक्रम की लंबाई से की जाती हैः ओकाम के रेजर के अनुरूप लंबे कार्यक्रमों की संभावना कम मानी जाती है। ए. आई. एक्स. आई. तब उस कार्रवाई का चयन करता है जिसमें इन सभी कार्यक्रमों की भारित राशि में सबसे अधिक अपेक्षित कुल पुरस्कार होता है। परिभाषा ए. आई. एक्स. आई. एक सुदृढीकरण सीखने वाला एजेंट है जो कुछ यादृच्छिक और अज्ञात लेकिन संगणनीय वातावरण के साथ बातचीत करता है। बातचीत समय चरणों में आगे बढ़ती है, जहाँ से, ए. आई. एक्स. आई. एजेंट का जीवनकाल है। समय चरण टी पर, एजेंट एक कार्रवाई चुनता है (जैसे। एक अंग आंदोलन) और इसे पर्यावरण में निष्पादित करता है, और पर्यावरण एक "धारणा" के साथ प्रतिक्रिया करता है, जिसमें एक "अवलोकन" (जैसे, एक कैमरा छवि) और एक पुरस्कार होता है, जो सशर्त संभावना के अनुसार वितरित किया जाता है, जहां कार्यों, टिप्पणियों और पुरस्कारों का "इतिहास" है। इस प्रकार पर्यावरण को गणितीय रूप से "धारणाओं" (टिप्पणियों और पुरस्कारों) पर एक संभाव्यता वितरण के रूप में दर्शाया जाता है जो पूर्ण इतिहास पर निर्भर करता है, इसलिए कोई मार्कोव धारणा नहीं है (अन्य आर. एल. एल्गोरिदम के विपरीत)। पुनः ध्यान दें कि यह संभाव्यता वितरण ए. आई. एक्स. आई. एजेंट के लिए अज्ञात है। इसके अलावा, फिर से ध्यान दें कि गणना योग्य है, यानी, पर्यावरण से एजेंट द्वारा प्राप्त टिप्पणियों और पुरस्कारों की गणना किसी प्रोग्राम (जो एक ट्यूरिंग मशीन पर चलता है) द्वारा की जा सकती है, जो कि AIXI एजेंट के पिछले कार्यों को देखते हुए है। ए. आई. एक्स. आई. अभिकर्ता का एकमात्र लक्ष्य समय चरण 1 से एम तक के पुरस्कारों के योग को अधिकतम करना है। ए. आई. एक्स. आई. अभिकर्ता एक यादृच्छिक नीति से जुड़ा हुआ है, जो वह कार्य है जिसका उपयोग वह हर समय चरण में कार्यों को चुनने के लिए करता है, जहां ए. आई. एक्स. आई. द्वारा किए जा सकने वाले सभी संभावित कार्यों का स्थान है और यह उन सभी संभावित "धारणाओं" का स्थान है जो पर्यावरण द्वारा उत्पादित किए जा सकते हैं। पर्यावरण (या संभाव्यता वितरण) को एक यादृच्छिक नीति (जो एक कार्य है) के रूप में भी सोचा जा सकता हैः, जहां यह क्लेन स्टार ऑपरेशन है। सामान्य तौर पर, समय चरण (जो 1 से एम तक होता है), ए. आई. एक्स. आई., जो पहले निष्पादित कार्यों (जिसे अक्सर साहित्य में संक्षिप्त रूप में कहा जाता है) और धारणाओं के इतिहास (जिसे संक्षिप्त रूप में कहा जा सकता है) को देखता है, पर्यावरण में कार्रवाई को चुनता है और निष्पादित करता है, जिसे निम्नानुसार परिभाषित किया गया है या, कोष्ठकों का उपयोग करके, प्राथमिकताओं को स्पष्ट करने के लिए, ऊपर की परिभाषा में, ए. आई. एक्स. आई. सभी संभावित "भविष्य" पर कुल पुरस्कार के योग को समय के कदम आगे (यानी, से) तक मानता है, उनमें से प्रत्येक का वजन एजेंट के अतीत (यानी, पहले निष्पादित कार्यों, और प्राप्त धारणाओं) के अनुरूप कार्यक्रमों (यानी, द्वारा) की जटिलता से करता है जो उत्पन्न कर सकते हैं। आइए हम इस परिभाषा को तोड़ते हैं ताकि इसे पूरी तरह से समझने का प्रयास किया जा सके। ए. आई. एक्स. आई. अभिकर्ता द्वारा पर्यावरण से समय पर प्राप्त "धारणा" (जिसमें अवलोकन और पुरस्कार शामिल है) है (जो अज्ञात और यादृच्छिक है)। इसी तरह, ए. आई. एक्स. आई. द्वारा समय पर प्राप्त धारणा है (अंतिम समय चरण जहां ए. आई. एक्स. आई. सक्रिय है)। समय-समय पर पुरस्कारों का योग है, इसलिए ए. आई. एक्स. आई. को समय-समय पर अपनी कार्रवाई चुनने के लिए भविष्य में देखने की आवश्यकता है। एक मोनोटोन सार्वभौमिक ट्यूरिंग मशीन को दर्शाता है, और सार्वभौमिक मशीन पर सभी (नियतात्मक) कार्यक्रमों पर लागू होता है, जो कार्यक्रम और कार्यों के अनुक्रम (यानी सभी कार्यों) को इनपुट के रूप में प्राप्त करता है, और धारणाओं के अनुक्रम का उत्पादन करता है। इस प्रकार सार्वभौमिक ट्यूरिंग मशीन का उपयोग कार्यक्रम (जो पर्यावरण को "मॉडल" करता है) और ए. आई. एक्स. आई. एजेंट के सभी कार्यों को देखते हुए पर्यावरण प्रतिक्रियाओं या धारणाओं का "अनुकरण" या गणना करने के लिए किया जाता हैः इस अर्थ में, पर्यावरण "कम्प्यूटेबल" है (जैसा कि ऊपर बताया गया है)। ध्यान दें कि, सामान्य रूप से, वह कार्यक्रम जो वर्तमान और वास्तविक वातावरण (जहां ए. आई. एक्स. आई. को कार्य करने की आवश्यकता है) को "मॉडल" करता है, अज्ञात है क्योंकि वर्तमान वातावरण भी अज्ञात है। प्रोग्राम की लंबाई है (जिसे बिट्स की स्ट्रिंग के रूप में एन्कोड किया गया है)। इस पर ध्यान दें। इसलिए, उपरोक्त परिभाषा में, सभी संगणनीय वातावरण (जो एजेंट के अतीत के अनुरूप हैं) पर एक मिश्रण (इस मामले में, एक योग) के रूप में व्याख्या की जानी चाहिए, प्रत्येक अपनी जटिलता से भारित है। ध्यान दें कि इसे इस रूप में भी लिखा जा सकता है, और यह ए. आई. एक्स. आई. एजेंट द्वारा पर्यावरण में पहले से ही निष्पादित कार्यों का क्रम है। इसी तरह, और पर्यावरण द्वारा अब तक उत्पन्न धारणाओं का क्रम है। आइए अब इस समीकरण या परिभाषा को समझने के लिए इन सभी घटकों को एक साथ रखें। समय चरण टी पर, ए. आई. एक्स. आई. उस क्रिया को चुनता है जहाँ फलन अपने अधिकतम स्तर को प्राप्त करता है। ए. आई. एक्स. आई. के मापदंड सार्वभौमिक ट्यूरिंग मशीन यू और एजेंट के जीवनकाल एम हैं, जिन्हें चुने जाने की आवश्यकता है। बाद वाले पैरामीटर को छूट के उपयोग से हटाया जा सकता है। ए. आई. एक्स. आई. शब्द का अर्थ हटर के अनुसार "ए. आई. एक्स. आई". शब्द की कई व्याख्याएँ हो सकती हैं। ए. आई. एक्स. आई. सोलोमनॉफ के वितरण के आधार पर ए. आई. के लिए खड़ा हो सकता है, जिसे (जो यूनानी अक्षर xi है), या जैसे द्वारा दर्शाया जाता है। यह प्रेरण (I) के साथ AI "पार" (X) के लिए खड़ा हो सकता है। अन्य व्याख्याएँ भी हैं। इष्टतमता ए. आई. एक्स. आई. के प्रदर्शन को प्राप्त होने वाले पुरस्कारों की अपेक्षित कुल संख्या से मापा जाता है। ए. आई. एक्स. आई. निम्नलिखित तरीकों से इष्टतम साबित हुआ है। पेरेटो इष्टतमताः ऐसा कोई अन्य एजेंट नहीं है जो कम से कम एक वातावरण में सख्ती से बेहतर प्रदर्शन करते हुए सभी वातावरणों में कम से कम AIXI के साथ प्रदर्शन करता हो। संतुलित पारेतो इष्टतमताः पारेतो इष्टतमता की तरह, लेकिन वातावरण के भारित योग पर विचार करते हुए। स्व-अनुकूलन-एक नीति पी को एक वातावरण के लिए स्व-अनुकूलन कहा जाता है यदि पी का प्रदर्शन सैद्धांतिक अधिकतम तक पहुंच जाता है जब एजेंट के जीवनकाल की लंबाई (समय नहीं) अनंत तक जाती है। पर्यावरण वर्गों के लिए जहां आत्म-अनुकूलन नीतियां मौजूद हैं, ए. आई. एक्स. आई. आत्म-अनुकूलन है। बाद में हटर और जान लेइक द्वारा यह दिखाया गया कि संतुलित पेरेटो इष्टतमता व्यक्तिपरक है और किसी भी नीति को पेरेटो इष्टतम माना जा सकता है, जिसे वे AIXI के लिए पिछले सभी इष्टतमता दावों को कम करने के रूप में वर्णित करते हैं। हालाँकि, ए. आई. एक्स. आई. की सीमाएँ हैं। यह बाहरी राज्यों के विपरीत धारणाओं के आधार पर पुरस्कारों को अधिकतम करने तक सीमित है। यह यह भी मानता है कि यह केवल क्रिया और बोध चैनलों के माध्यम से पर्यावरण के साथ बातचीत करता है, जिससे इसे क्षतिग्रस्त या संशोधित होने की संभावना पर विचार करने से रोका जा सकता है। बोलचाल की भाषा में, इसका मतलब है कि यह खुद को उस वातावरण से नियंत्रित नहीं मानता है जिसके साथ यह बातचीत करता है। यह भी मानता है कि पर्यावरण गणना योग्य है। सोलोमोनॉफ इंडक्शन, ए. आई. एक्स. आई. जैसे कम्प्यूटेशनल पहलू अतुलनीय हैं। हालाँकि, इसके गणना योग्य अनुमान हैं। ऐसा ही एक अनुमान ए. आई. एक्स. आई. टी. एल. है, जो कम से कम साथ ही सबसे अच्छा समय टी और स्पेस एल सीमित एजेंट का प्रदर्शन करता है। एक प्रतिबंधित पर्यावरण वर्ग के साथ ए. आई. एक्स. आई. का एक और अनुमान एम. सी.-ए. आई. एक्स. आई. (एफ. ए. सी.-सी. टी. डब्ल्यू.) (जो मोंटे कार्लो ए. आई. एक्स. आई. एफ. ए. सी.-कॉन्टेक्स्ट-ट्री वेटिंग के लिए खड़ा है) है, जिसे आंशिक रूप से अवलोकन योग्य पैक-मैन जैसे सरल खेलों को खेलने में कुछ सफलता मिली है। गोडेल मशीन रेफेरेंसेज "यूनिवर्सल एल्गोरिदमिक इंटेलिजेंसः ए मैथमेटिकल टॉप-> डाउन एप्रोच", मार्कस हटर; आर्टिफिशियल जनरल इंटेलिजेंस में भी, संस्करण देखें। बी. गोएर्टज़ेल और सी. पेनाचिन, स्प्रिंगर, 2007, पीपी। 227-290,। इष्टतम निर्णय निर्णय सिद्धांत मशीन लर्निंग