OpenAI Five
ओपनएआई फाइव ओपनएआई का एक कंप्यूटर प्रोग्राम है जो फाइव-ऑन-फाइव वीडियो गेम डोटा 2 खेलता है। इसकी पहली सार्वजनिक उपस्थिति 2017 में हुई, जहाँ इसे पेशेवर खिलाड़ी, डेंडी के खिलाफ एक लाइव वन-ऑन-वन गेम में प्रदर्शित किया गया था, जो इससे हार गए थे। अगले वर्ष, यह प्रणाली पाँच की एक पूर्ण टीम के रूप में प्रदर्शन करने के बिंदु तक आगे बढ़ी, और पेशेवर टीमों के खिलाफ खेलना और उन्हें हराने की क्षमता दिखाना शुरू कर दिया। मशीन लर्निंग का अध्ययन करने के लिए डोटा 2 जैसे जटिल खेल का चयन करके, ओपनएआई ने सोचा कि वे वास्तविक दुनिया में देखी गई अप्रत्याशितता और निरंतरता को अधिक सटीक रूप से पकड़ सकते हैं, इस प्रकार अधिक सामान्य समस्या-समाधान प्रणालियों का निर्माण कर सकते हैं। ओपनएआई फाइव द्वारा उपयोग किए जाने वाले एल्गोरिदम और कोड को अंततः कंपनी द्वारा विकास में एक अन्य तंत्रिका नेटवर्क द्वारा उधार लिया गया था, जो एक भौतिक रोबोटिक हाथ को नियंत्रित करता था। ओपनएआई फाइव की तुलना कृत्रिम बुद्धिमत्ता (एआई) के मनुष्यों के खिलाफ खेलने और उन्हें हराने के अन्य समान मामलों से की गई है, जैसे कि वीडियो गेम स्टारक्राफ्ट II में अल्फास्टार, बोर्ड गेम गो में अल्फागो, शतरंज में डीप ब्लू, और टेलीविजन गेम शो जेपर्डी! में वाटसन। बॉट्स के लिए उपयोग किए जाने वाले एल्गोरिदम पर इतिहास विकास नवंबर 2016 में शुरू हुआ। ओपनएआई ने डोटा 2 का उपयोग करने का फैसला किया, जो एक प्रतिस्पर्धी पाँच-से-पाँच वीडियो गेम है, क्योंकि यह लाइव स्ट्रीमिंग प्लेटफॉर्म ट्विच पर लोकप्रिय है, जिसमें लिनक्स के लिए देशी समर्थन है, और एक एप्लिकेशन प्रोग्रामिंग इंटरफेस (एपीआई) उपलब्ध है। पाँच लोगों की टीम बनने से पहले, पहला सार्वजनिक प्रदर्शन अगस्त में द इंटरनेशनल 2017 में हुआ, खेल के लिए वार्षिक प्रीमियर चैंपियनशिप टूर्नामेंट, जहाँ खेल के एक पेशेवर यूक्रेनी खिलाड़ी डेंडी, एक लाइव वन-ऑन-वन मैचअप में ओपनएआई बॉट के खिलाफ हार गए। मैच के बाद, सीटीओ ग्रेग ब्रॉकमैन ने समझाया कि बॉट ने दो सप्ताह के वास्तविक समय के लिए अपने खिलाफ खेलकर सीखा था, और यह कि सीखने का सॉफ्टवेयर सॉफ्टवेयर बनाने की दिशा में एक कदम था जो "सर्जन होने जैसे" जटिल कार्यों को संभाल सकता है। ओपनएआई ने सुदृढीकरण सीखने नामक एक पद्धति का उपयोग किया, क्योंकि बॉट महीनों तक दिन में सैकड़ों बार अपने खिलाफ खेलकर समय के साथ सीखते हैं, जिसमें उन्हें दुश्मन को मारने और टावरों को नष्ट करने जैसे कार्यों के लिए पुरस्कृत किया जाता है। जून 2018 तक, बॉट्स की क्षमता का विस्तार पांच की एक पूरी टीम के रूप में एक साथ खेलने के लिए हुआ और वे शौकिया और अर्ध-पेशेवर खिलाड़ियों की टीमों को हराने में सक्षम थे। इंटरनेशनल 2018 में, ओपनएआई फाइव ने पेशेवर टीमों के खिलाफ दो गेम खेले, एक ब्राजील स्थित पाईएन गेमिंग के खिलाफ और दूसरा पूर्व चीनी खिलाड़ियों की एक ऑल-स्टार टीम के खिलाफ। हालाँकि बॉट दोनों मैच हार गए, फिर भी ओपनएआई ने इसे एक सफल उद्यम माना, यह कहते हुए कि डोटा 2 में कुछ सर्वश्रेष्ठ खिलाड़ियों के खिलाफ खेलने से उन्हें भविष्य के खेलों के लिए अपने एल्गोरिदम का विश्लेषण और समायोजन करने में मदद मिली। बॉट्स का अंतिम सार्वजनिक प्रदर्शन अप्रैल 2019 में हुआ, जहाँ उन्होंने सैन फ़्रांसिस्को में एक लाइव इवेंट में द इंटरनेशनल 2018 चैंपियन ओजी के खिलाफ बेस्ट-ऑफ़-थ्री सीरीज़ जीती। बॉट्स के खिलाफ खेलने के लिए एक चार दिवसीय ऑनलाइन कार्यक्रम, जनता के लिए खुला, उसी महीने हुआ। वहाँ, बॉट 42,729 सार्वजनिक खेलों में खेले, उन खेलों में से 99.4% जीते। आर्किटेक्चर प्रत्येक ओपनएआई फाइव बॉट एक तंत्रिका नेटवर्क है जिसमें 4096-इकाई एलएसटीएम के साथ एक परत होती है जो डोटा डेवलपर के एपीआई से निकाले गए वर्तमान खेल स्थिति का निरीक्षण करती है। तंत्रिका तंत्र कई संभावित क्रिया शीर्षों (कोई मानव डेटा शामिल नहीं) के माध्यम से कार्यों का संचालन करता है, और प्रत्येक सिर का अर्थ होता है। उदाहरण के लिए, किसी क्रिया में देरी करने के लिए टिक की संख्या, किस क्रिया का चयन करना है-इकाई के चारों ओर एक ग्रिड में इस क्रिया का X या Y निर्देशांक। इसके अलावा, एक्शन हेड्स की गणना स्वतंत्र रूप से की जाती है। ए. आई. प्रणाली दुनिया को 20,000 संख्याओं की सूची के रूप में देखती है और आठ गणना मूल्यों की सूची का संचालन करके कार्रवाई करती है। साथ ही, यह प्रत्येक क्रिया को कूटबद्ध करने और दुनिया का निरीक्षण करने के तरीके को समझने के लिए विभिन्न कार्यों और लक्ष्यों का चयन करता है। ओपनएआई फाइव को "रैपिड" बुनियादी ढांचे पर एक सामान्य-उद्देश्य सुदृढीकरण शिक्षण प्रशिक्षण प्रणाली के रूप में विकसित किया गया है। रैपिड में दो परतें होती हैंः यह हजारों मशीनों को घुमाता है और उन्हें एक-दूसरे से 'बात' करने में मदद करता है और दूसरी परत सॉफ्टवेयर चलाती है। 2018 तक, ओपनएआई फाइव ने प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन, एक नीति प्रवणता विधि का उपयोग करते हुए 256 जीपीयू और 128,000 सीपीयू कोर पर चलने वाले सुदृढीकरण सीखने में लगभग 180 वर्षों के खेल खेले थे। ओपनएआई फाइव से पहले अन्य गेम एआई प्रणालियों के साथ तुलना, अन्य एआई बनाम मानव प्रयोगों और प्रणालियों का सफलतापूर्वक उपयोग किया गया है, जैसे कि संकट! वाटसन के साथ, डीप ब्लू के साथ शतरंज, और अल्फागो के साथ जाओ। मानव खिलाड़ियों के खिलाफ खेलने के लिए एआई सिस्टम का उपयोग करने वाले अन्य खेलों की तुलना में, डोटा 2 अलग है जैसा कि नीचे बताया गया हैः लंबी दौड़ का दृश्यः बॉट 45 मिनट के औसत मैच समय के लिए 30 फ्रेम प्रति सेकंड पर चलते हैं, जिसके परिणामस्वरूप प्रति गेम 80,000 टिक होते हैं। ओपनएआई फाइव हर चौथे फ्रेम का निरीक्षण करता है, जिससे 20,000 चालें उत्पन्न होती हैं। तुलनात्मक रूप से, शतरंज आमतौर पर 40 चालों से पहले समाप्त हो जाता है, जबकि गो 150 चालों से पहले समाप्त हो जाता है। खेल की आंशिक रूप से देखी गई स्थितिः खिलाड़ी और उनके सहयोगी केवल अपने चारों ओर सीधे मानचित्र देख सकते हैं। इसका बाकी हिस्सा युद्ध के कोहरे से ढका हुआ है जो दुश्मन की इकाइयों और उनकी गतिविधियों को छुपाता है। इस प्रकार, डोटा 2 खेलने के लिए इस अपूर्ण डेटा के आधार पर निष्कर्ष निकालने के साथ-साथ यह भविष्यवाणी करने की आवश्यकता होती है कि उनका प्रतिद्वंद्वी एक ही समय में क्या कर सकता है। तुलनात्मक रूप से, शतरंज और गो "पूर्ण-सूचना खेल" हैं, क्योंकि वे विरोधी खिलाड़ी से तत्वों को नहीं छिपाते हैं। निरंतर एक्शन स्पेसः डोटा 2 गेम में प्रत्येक खेलने योग्य चरित्र, जिसे नायक के रूप में जाना जाता है, दर्जनों ऐसे कार्य कर सकता है जो किसी अन्य इकाई या स्थिति को लक्षित करते हैं। ओपनएआई फाइव डेवलपर्स प्रति नायक 170,000 संभावित कार्यों में जगह की अनुमति देते हैं। खेल के स्थायी पहलुओं को गिने बिना, प्रत्येक टिक पर औसतन ~ 1,000 वैध क्रियाएँ होती हैं। तुलनात्मक रूप से, शतरंज में क्रियाओं की औसत संख्या 35 और गो में 250 है। निरंतर अवलोकन स्थानः डोटा 2 को एक बड़े मानचित्र पर दस नायकों के साथ खेला जाता है, प्रत्येक टीम में पांच, साथ ही दर्जनों इमारतों और गैर-खिलाड़ी चरित्र (एनपीसी) इकाइयों के साथ। ओपनएआई प्रणाली डेवलपर्स के बॉट एपीआई के माध्यम से एक खेल की स्थिति का निरीक्षण करती है, क्योंकि 20,000 संख्याएँ जो सभी जानकारी का गठन करती हैं, एक मानव को प्राप्त करने की अनुमति है। एक शतरंज बोर्ड को लगभग 70 सूचियों के रूप में दर्शाया जाता है, जबकि एक गो बोर्ड में लगभग 400 गणनाएँ होती हैं। रिसेप्शन ओपनएआई फाइव को बड़े पैमाने पर एआई, तकनीक और वीडियो गेम समुदाय से स्वीकृति मिली है। माइक्रोसॉफ्ट के संस्थापक बिल गेट्स ने इसे एक "बड़ी बात" कहा, क्योंकि उनकी जीत के लिए "टीम वर्क और सहयोग की आवश्यकता थी"। शतरंज खिलाड़ी गैरी कास्पारोव, जो 1997 में डीप ब्लू एआई के खिलाफ हार गए थे, ने कहा कि द इंटरनेशनल 2018 में अपने हारने वाले प्रदर्शन के बावजूद, बॉट अंततः "वहाँ पहुँच जाएंगे, और उम्मीद से जल्दी"। एमआईटी टेक्नोलॉजी रिव्यू के साथ बातचीत में, एआई विशेषज्ञों ने ओपनएआई फाइव प्रणाली को एक महत्वपूर्ण उपलब्धि माना, क्योंकि उन्होंने नोट किया कि डोटा 2 एक "बेहद जटिल खेल" था, इसलिए गैर-पेशेवर खिलाड़ियों को हराना भी प्रभावशाली था। पीसी गेमर ने लिखा कि पेशेवर खिलाड़ियों के खिलाफ उनकी जीत मशीन लर्निंग में एक महत्वपूर्ण घटना थी। इसके विपरीत, मदरबोर्ड ने लिखा कि दोनों तरफ के सरल नायक पूल के कारण जीत "मूल रूप से धोखाधड़ी" थी, साथ ही इस तथ्य के कारण कि स्क्रीन पर पिक्सेल की व्याख्या करने के लिए कंप्यूटर दृष्टि का उपयोग करने के विपरीत, बॉट को एपीआई तक सीधी पहुंच दी गई थी। द वर्ज ने लिखा कि बॉट इस बात का प्रमाण थे कि सुदृढीकरण सीखने के लिए कंपनी का दृष्टिकोण और एआई के बारे में इसका सामान्य दर्शन "महत्वपूर्ण मील के पत्थर" था। 2019 में, डीपमाइंड ने स्टारक्राफ्ट II, अल्फास्टार के लिए एक समान बॉट का अनावरण किया। ओपनएआई फाइव की तरह, अल्फास्टार ने सुदृढीकरण सीखने और आत्म-खेल का उपयोग किया। द वर्ज ने बताया कि "इस प्रकार के एआई अनुसंधान का लक्ष्य केवल विभिन्न खेलों में मनुष्यों को कुचलना नहीं है, बल्कि यह साबित करना है कि ऐसा किया जा सकता है। इसके बजाय, यह साबित करने के लिए है कि-पर्याप्त समय, प्रयास और संसाधनों के साथ-परिष्कृत AI सॉफ़्टवेयर लगभग किसी भी प्रतिस्पर्धी संज्ञानात्मक चुनौती में मनुष्यों को सर्वश्रेष्ठ बना सकता है, चाहे वह बोर्ड गेम हो या आधुनिक वीडियो गेम। उन्होंने कहा कि डीपमाइंड और ओपनएआई की जीत भी सुदृढीकरण सीखने के कुछ उपयोगों की शक्ति का प्रमाण थी। ओपनएआई को उम्मीद थी कि प्रौद्योगिकी के अनुप्रयोग डिजिटल क्षेत्र के बाहर हो सकते हैं। 2018 में, वे डैक्टिल के लिए ओपनएआई फाइव से समान सुदृढीकरण सीखने के एल्गोरिदम और प्रशिक्षण कोड का पुनः उपयोग करने में सक्षम थे, जो भौतिक वस्तुओं में हेरफेर करने के लिए बनाए गए तंत्रिका नेटवर्क के साथ एक मानव जैसे रोबोट हाथ है। 2019 में, डैक्टिल ने रूबिक क्यूब को हल किया। संदर्भ बाहरी लिंक 2017 सॉफ्टवेयर एप्लाइड मशीन लर्निंग एप्लीकेशन ऑफ आर्टिफिशियल इंटेलिजेंस डोटा ओपनएआई