OpenAI Five
ઓપનએઆઈ ફાઇવ એ ઓપનએઆઈનો કમ્પ્યુટર પ્રોગ્રામ છે જે ફાઇવ-ઓન-ફાઇવ વિડિયો ગેમ ડોટા 2 રમે છે. તેનો પ્રથમ જાહેર દેખાવ 2017 માં થયો હતો, જ્યાં તેને વ્યાવસાયિક ખેલાડી ડેન્ડી સામે જીવંત વન-ઓન-વન રમતમાં દર્શાવવામાં આવ્યો હતો, જે તેની સામે હારી ગયો હતો. તે પછીના વર્ષે, સિસ્ટમ પાંચની સંપૂર્ણ ટીમ તરીકે પ્રદર્શન કરવાના તબક્કે આગળ વધી હતી, અને વ્યાવસાયિક ટીમો સામે રમવાનું અને તેમને હરાવવાની ક્ષમતા બતાવવાનું શરૂ કર્યું હતું. મશીન લર્નિંગનો અભ્યાસ કરવા માટે ડોટા 2 જેવી જટિલ રમત પસંદ કરીને, ઓપનએઆઈએ વિચાર્યું કે તેઓ વાસ્તવિક દુનિયામાં જોવા મળતી અનિશ્ચિતતા અને સાતત્યને વધુ સચોટ રીતે પકડી શકે છે, આમ વધુ સામાન્ય સમસ્યા-નિરાકરણ પ્રણાલીઓનું નિર્માણ કરે છે. ઓપનએઆઈ ફાઇવ દ્વારા ઉપયોગમાં લેવાતા અલ્ગોરિધમ્સ અને કોડ આખરે કંપની દ્વારા વિકાસમાં અન્ય ન્યુરલ નેટવર્ક દ્વારા ઉધાર લેવામાં આવ્યા હતા, જે ભૌતિક રોબોટિક હાથને નિયંત્રિત કરતા હતા. ઓપનએઆઈ ફાઇવની સરખામણી આર્ટિફિશિયલ ઇન્ટેલિજન્સ (એઆઈ) ના મનુષ્યો સામે રમવા અને હરાવવા જેવા અન્ય સમાન કિસ્સાઓ સાથે કરવામાં આવી છે, જેમ કે વીડિયો ગેમ સ્ટારક્રાફ્ટ II માં આલ્ફાસ્ટાર, બોર્ડ ગેમ ગોમાં આલ્ફાગો, ચેસમાં ડીપ બ્લુ અને ટેલિવિઝન ગેમ શો જિયોપર્ડી પર વોટસન! બૉટો માટે ઉપયોગમાં લેવાતા અલ્ગોરિધમ્સ પર ઇતિહાસનો વિકાસ નવેમ્બર 2016માં શરૂ થયો હતો. ઓપનએઆઈએ લાઇવ સ્ટ્રીમિંગ પ્લેટફોર્મ ટ્વિચ પર લોકપ્રિય હોવાને કારણે, લિનક્સ માટે મૂળ સપોર્ટ હોવાને કારણે અને એપ્લિકેશન પ્રોગ્રામિંગ ઇન્ટરફેસ (API) ઉપલબ્ધ હોવાને કારણે, સ્પર્ધાત્મક પાંચ-થી-પાંચ વિડિયો ગેમ, ડોટા 2 નો આધાર તરીકે ઉપયોગ કરવાનું નક્કી કર્યું. પાંચની ટીમ બનતા પહેલા, પ્રથમ જાહેર પ્રદર્શન ઓગસ્ટમાં ધ ઇન્ટરનેશનલ 2017માં થયું હતું, જે રમત માટેની વાર્ષિક પ્રીમિયર ચેમ્પિયનશિપ ટુર્નામેન્ટ હતી, જ્યાં રમતના વ્યાવસાયિક યુક્રેનિયન ખેલાડી ડેન્ડી, ઓપનએઆઈ બોટ સામે જીવંત વન-ઓન-વન મેચમાં હારી ગયા હતા. મેચ પછી, સીટીઓ ગ્રેગ બ્રોકમેને સમજાવ્યું કે બોટ વાસ્તવિક સમયના બે અઠવાડિયા સુધી પોતાની સામે રમીને શીખ્યા હતા, અને તે શીખવાનું સોફ્ટવેર એ સોફ્ટવેર બનાવવાની દિશામાં એક પગલું હતું જે "સર્જન બનવા જેવા" જટિલ કાર્યોને સંભાળી શકે છે. ઓપનએઆઈએ રિઇન્ફોર્સમેન્ટ લર્નિંગ નામની પદ્ધતિનો ઉપયોગ કર્યો હતો, કારણ કે બૉટો મહિનાઓ સુધી દિવસમાં સેંકડો વખત પોતાની સામે રમીને સમય જતાં શીખે છે, જેમાં તેમને દુશ્મનને મારવા અને ટાવરનો નાશ કરવા જેવી ક્રિયાઓ માટે પુરસ્કાર આપવામાં આવે છે. જૂન 2018 સુધીમાં, બૉટોની ક્ષમતા પાંચની સંપૂર્ણ ટીમ તરીકે એકસાથે રમવા માટે વિસ્તૃત થઈ અને તેઓ કલાપ્રેમી અને અર્ધ-વ્યાવસાયિક ખેલાડીઓની ટીમોને હરાવવામાં સક્ષમ હતા. ઇન્ટરનેશનલ 2018માં, ઓપનએઆઈ ફાઇવ વ્યાવસાયિક ટીમો સામે બે રમતોમાં રમ્યું હતું, એક બ્રાઝિલ સ્થિત પાઈએન ગેમિંગ સામે અને બીજી ભૂતપૂર્વ ચીની ખેલાડીઓની ઓલ-સ્ટાર ટીમ સામે. બૉટો બંને મેચ હારી ગયા હોવા છતાં, ઓપનએઆઈએ હજુ પણ તેને એક સફળ સાહસ માન્યું હતું, એમ કહીને કે ડોટા 2 માં કેટલાક શ્રેષ્ઠ ખેલાડીઓ સામે રમવાથી તેઓ ભવિષ્યની રમતો માટે તેમના અલ્ગોરિધમ્સનું વિશ્લેષણ અને ગોઠવણ કરી શક્યા હતા. બૉટ્સનું અંતિમ જાહેર પ્રદર્શન એપ્રિલ 2019 માં થયું હતું, જ્યાં તેઓએ સાન ફ્રાન્સિસ્કોમાં લાઇવ ઇવેન્ટમાં ધ ઇન્ટરનેશનલ 2018 ચેમ્પિયન ઓજી સામે બેસ્ટ-ઓફ-થ્રી શ્રેણી જીતી હતી. બૉટો સામે રમવા માટે ચાર દિવસીય ઓનલાઇન કાર્યક્રમ, જે જાહેર જનતા માટે ખુલ્લો હતો, તે જ મહિને યોજાયો હતો. ત્યાં, બૉટો 42,729 જાહેર રમતોમાં રમ્યા અને તેમાંથી 99.4% જીતી ગયા. આર્કિટેક્ચર દરેક ઓપનએઆઈ ફાઇવ બોટ એ 4096-એકમ એલએસટીએમ સાથેનું એક સ્તર ધરાવતું ન્યુરલ નેટવર્ક છે જે ડોટા ડેવલપરના એપીઆઈમાંથી કાઢવામાં આવેલી વર્તમાન રમતની સ્થિતિનું નિરીક્ષણ કરે છે. ન્યુરલ નેટવર્ક અસંખ્ય સંભવિત એક્શન હેડ (કોઈ માનવ ડેટા સામેલ નથી) દ્વારા ક્રિયાઓનું સંચાલન કરે છે, અને દરેક હેડનો અર્થ હોય છે. દાખલા તરીકે, ક્રિયામાં વિલંબ કરવા માટે બગાઇની સંખ્યા, કઈ ક્રિયા પસંદ કરવી-એકમની આસપાસ ગ્રીડમાં આ ક્રિયાનું X અથવા Y સંકલન. વધુમાં, એક્શન હેડની ગણતરી સ્વતંત્ર રીતે કરવામાં આવે છે. AI સિસ્ટમ વિશ્વને 20,000 સંખ્યાઓની સૂચિ તરીકે જુએ છે અને આઠ ગણતરી મૂલ્યોની સૂચિ બનાવીને પગલાં લે છે. ઉપરાંત, તે દરેક ક્રિયાને કેવી રીતે એન્કોડ કરવી અને વિશ્વનું નિરીક્ષણ કરવું તે સમજવા માટે વિવિધ ક્રિયાઓ અને લક્ષ્યો પસંદ કરે છે. ઓપનએઆઈ ફાઇવને "ઝડપી" માળખા પર સામાન્ય હેતુના મજબૂતીકરણ શિક્ષણ તાલીમ પ્રણાલી તરીકે વિકસાવવામાં આવી છે. રેપિડમાં બે સ્તરો હોય છેઃ તે હજારો મશીનોને સ્પિન કરે છે અને તેમને એકબીજા સાથે 'વાત' કરવામાં મદદ કરે છે અને બીજો સ્તર સોફ્ટવેર ચલાવે છે. 2018 સુધીમાં, ઓપનએઆઈ ફાઇવે પ્રોક્સિમલ પોલિસી ઓપ્ટિમાઇઝેશન, એક પોલિસી ગ્રેડિયન્ટ પદ્ધતિનો ઉપયોગ કરીને 256 જીપીયુ અને 128,000 સીપીયુ કોર પર ચાલતા રિઇન્ફોર્સમેન્ટ લર્નિંગમાં લગભગ 180 વર્ષ જેટલી રમતો રમી હતી. અન્ય રમત AI પ્રણાલીઓ સાથે સરખામણીઓ ઓપનએઆઈ ફાઇવ પહેલા, અન્ય AI વિરુદ્ધ માનવ પ્રયોગો અને પ્રણાલીઓનો સફળતાપૂર્વક ઉપયોગ કરવામાં આવ્યો છે, જેમ કે સંકટ! વોટસન સાથે, ડીપ બ્લુ સાથે ચેસ, અને આલ્ફાગો સાથે જાઓ. માનવ ખેલાડીઓ સામે રમવા માટે AI સિસ્ટમનો ઉપયોગ કરતી અન્ય રમતોની તુલનામાં, ડોટા 2 નીચે સમજાવ્યા મુજબ અલગ પડે છેઃ લાંબા અંતરનું દૃશ્યઃ બૉટો 45 મિનિટના સરેરાશ મેચ સમય માટે 30 ફ્રેમ પ્રતિ સેકન્ડ પર ચાલે છે, જેના પરિણામે રમત દીઠ 80,000 ટીક્સ થાય છે. ઓપનએઆઈ ફાઇવ દર ચોથી ફ્રેમનું નિરીક્ષણ કરે છે, 20,000 ચાલ પેદા કરે છે. તુલનાત્મક રીતે, ચેસ સામાન્ય રીતે 40 ચાલ પહેલાં સમાપ્ત થાય છે, જ્યારે ગો 150 ચાલ પહેલાં સમાપ્ત થાય છે. રમતની આંશિક રીતે અવલોકન કરાયેલી સ્થિતિઃ ખેલાડીઓ અને તેમના સાથીઓ માત્ર તેમની આસપાસનો નકશો જોઈ શકે છે. તેનો બાકીનો ભાગ યુદ્ધના ધુમ્મસમાં ઢંકાયેલો છે જે દુશ્મનના એકમો અને તેમની હિલચાલને છુપાવે છે. આમ, ડોટા 2 રમવા માટે આ અપૂર્ણ માહિતીના આધારે અનુમાન લગાવવાની જરૂર છે, તેમજ તેમના પ્રતિસ્પર્ધી એક જ સમયે શું કરી શકે છે તેની આગાહી કરવાની જરૂર છે. તુલનાત્મક રીતે, ચેસ અને ગો "સંપૂર્ણ માહિતીની રમતો" છે, કારણ કે તેઓ વિરોધી ખેલાડી પાસેથી તત્વો છુપાવતા નથી. સતત એક્શન સ્પેસઃ ડોટા 2 રમતમાં દરેક વગાડી શકાય તેવું પાત્ર, જેને નાયક તરીકે ઓળખવામાં આવે છે, તે ડઝનેક ક્રિયાઓ કરી શકે છે જે અન્ય એકમ અથવા સ્થિતિને લક્ષ્ય બનાવે છે. ઓપનએઆઈ ફાઇવ ડેવલપર્સ હીરો દીઠ 170,000 સંભવિત ક્રિયાઓમાં જગ્યાને મંજૂરી આપે છે. રમતના શાશ્વત પાસાઓની ગણતરી કર્યા વિના, દરેક ટીકની સરેરાશ ~ 1,000 માન્ય ક્રિયાઓ હોય છે. તુલનાત્મક રીતે, ચેસમાં ક્રિયાઓની સરેરાશ સંખ્યા 35 અને ગોમાં 250 છે. સતત અવલોકનની જગ્યાઃ ડોટા 2 દસ નાયકો સાથે મોટા નકશા પર રમાય છે, દરેક ટીમમાં પાંચ, ડઝનેક ઇમારતો અને બિન-ખેલાડી પાત્ર (એનપીસી) એકમો સાથે. ઓપનએઆઈ સિસ્ટમ વિકાસકર્તાઓના બોટ એપીઆઈ દ્વારા રમતની સ્થિતિનું નિરીક્ષણ કરે છે, કારણ કે 20,000 સંખ્યાઓ કે જે તમામ માહિતીની રચના કરે છે જેને માણસને ઍક્સેસ કરવાની મંજૂરી છે. ચેસ બોર્ડને લગભગ 70 યાદીઓ તરીકે રજૂ કરવામાં આવે છે, જ્યારે ગો બોર્ડમાં લગભગ 400 ગણતરીઓ હોય છે. રિસેપ્શન ઓપનએઆઈ ફાઇવને એઆઈ, ટેક અને વીડિયો ગેમ સમુદાય તરફથી મોટા પાયે સ્વીકૃતિ મળી છે. માઇક્રોસોફ્ટના સ્થાપક બિલ ગેટ્સે તેને "મોટો સોદો" ગણાવ્યો હતો, કારણ કે તેમની જીત માટે "ટીમ વર્ક અને સહયોગની જરૂર હતી". 1997માં ડીપ બ્લુ AI સામે હારી ગયેલા ચેસ ખેલાડી ગેરી કાસ્પારોવે જણાવ્યું હતું કે આંતરરાષ્ટ્રીય 2018માં તેમના પ્રદર્શનમાં હાર છતાં, બૉટો આખરે "અપેક્ષા કરતા વહેલા ત્યાં પહોંચી જશે". એમઆઇટી ટેક્નોલોજી રિવ્યૂ સાથેની વાતચીતમાં, એઆઈ નિષ્ણાતોએ પણ ઓપનએઆઈ ફાઇવ સિસ્ટમને નોંધપાત્ર સિદ્ધિ ગણાવી હતી, કારણ કે તેઓએ નોંધ્યું હતું કે ડોટા 2 એક "અત્યંત જટિલ રમત" હતી, તેથી બિન-વ્યાવસાયિક ખેલાડીઓને હરાવવું પણ પ્રભાવશાળી હતું. પીસી ગેમરે લખ્યું હતું કે વ્યાવસાયિક ખેલાડીઓ સામેની તેમની જીત મશીન લર્નિંગમાં એક મહત્વપૂર્ણ ઘટના હતી. તેનાથી વિપરીત, મધરબોર્ડે લખ્યું હતું કે બંને બાજુના સરળ હીરો પૂલ્સને કારણે જીત "મૂળભૂત રીતે છેતરપિંડી" હતી, તેમજ એ હકીકત કે બૉટોને સ્ક્રીન પર પિક્સેલનું અર્થઘટન કરવા માટે કમ્પ્યુટર વિઝનનો ઉપયોગ કરવાના વિરોધમાં APIનો સીધો ઉપયોગ આપવામાં આવ્યો હતો. ધ વર્જે લખ્યું હતું કે બૉટો એ વાતનો પુરાવો છે કે મજબૂતીકરણ શીખવા માટે કંપનીનો અભિગમ અને AI વિશેની તેની સામાન્ય ફિલસૂફી "લક્ષ્યો હાંસલ કરી રહી છે". 2019 માં, ડીપમાઇન્ડે સ્ટારક્રાફ્ટ II, આલ્ફાસ્ટાર માટે સમાન બોટનું અનાવરણ કર્યું હતું. ઓપનએઆઈ ફાઇવની જેમ, આલ્ફાસ્ટારે રિઇન્ફોર્સમેન્ટ લર્નિંગ અને સેલ્ફ-પ્લેનો ઉપયોગ કર્યો. ધ વર્જે અહેવાલ આપ્યો હતો કે "આ પ્રકારના AI સંશોધનનો ધ્યેય માત્ર તે કરી શકાય છે તે સાબિત કરવા માટે વિવિધ રમતોમાં મનુષ્યને કચડી નાખવાનો નથી. તેના બદલે, તે સાબિત કરવા માટે છે કે-પૂરતા સમય, પ્રયત્નો અને સંસાધનો સાથે-અત્યાધુનિક AI સોફ્ટવેર વર્ચ્યુઅલ રીતે કોઈપણ સ્પર્ધાત્મક જ્ઞાનાત્મક પડકારમાં શ્રેષ્ઠ માનવીઓ કરી શકે છે, પછી ભલે તે બોર્ડ ગેમ હોય કે આધુનિક વિડિયો ગેમ. તેમણે ઉમેર્યું હતું કે ડીપમાઇન્ડ અને ઓપનએઆઈની જીત પણ મજબૂતીકરણ શિક્ષણના ચોક્કસ ઉપયોગોની શક્તિનો પુરાવો છે. તે ઓપનએઆઈની આશા હતી કે ટેકનોલોજી ડિજિટલ ક્ષેત્રની બહાર એપ્લિકેશન્સ હોઈ શકે છે. 2018 માં, તેઓ ડેક્ટિલ માટે ઓપનએઆઈ ફાઇવમાંથી સમાન રિઇન્ફોર્સમેન્ટ લર્નિંગ અલ્ગોરિધમ્સ અને તાલીમ કોડનો ફરીથી ઉપયોગ કરવામાં સક્ષમ હતા, જે ભૌતિક પદાર્થોને ચાલાકીથી ચલાવવા માટે બનાવવામાં આવેલા ન્યુરલ નેટવર્ક સાથે માનવ જેવા રોબોટ હાથ છે. 2019 માં, ડેક્ટિલે રુબિક ક્યુબ હલ કર્યું. સંદર્ભો બાહ્ય કડીઓ 2017 સોફ્ટવેર એપ્લાઇડ મશીન લર્નિંગ એપ્લિકેશન્સ ઓફ આર્ટિફિશિયલ ઇન્ટેલિજન્સ ડોટા ઓપનએઆઈ