Learning automaton
લર્નિંગ ઓટોમેટન એ એક પ્રકારનું મશીન લર્નિંગ અલ્ગોરિધમ છે જેનો અભ્યાસ 1970ના દાયકાથી કરવામાં આવે છે. ઓટોમેટા શીખવાથી પર્યાવરણમાંથી ભૂતકાળના અનુભવોના આધારે તેમની વર્તમાન ક્રિયા પસંદ કરવામાં આવે છે. જો વાતાવરણ અસ્થિર હોય અને માર્કોવ નિર્ણય પ્રક્રિયા (એમ. ડી. પી.) નો ઉપયોગ કરવામાં આવે તો તે મજબૂતીકરણ શિક્ષણની શ્રેણીમાં આવશે. ઓટોમેટા શીખવામાં ઇતિહાસ સંશોધન સોવિયત યુનિયનમાં 1960 ના દાયકાની શરૂઆતમાં માઇકલ લ્વોવિચ સેટલિનના કાર્યમાં શોધી શકાય છે. કેટલાક સાથીદારો સાથે મળીને, તેમણે ઓટોમેટા કાર્યોનું વર્ણન કરવા માટે મેટ્રિસીસનો ઉપયોગ કેવી રીતે કરવો તે અંગેના કાગળોનો સંગ્રહ પ્રકાશિત કર્યો. વધુમાં, ત્સેટલિને વાજબી અને સામૂહિક ઓટોમેટા વર્તણૂક અને ઓટોમેટા રમતો પર કામ કર્યું હતું. 1960ના દાયકામાં યુનાઇટેડ સ્ટેટ્સમાં સંશોધનો દ્વારા ઓટોમેટા શીખવાની પણ તપાસ કરવામાં આવી હતી. જો કે, લર્નિંગ ઓટોમેટન શબ્દનો ઉપયોગ ત્યાં સુધી કરવામાં આવ્યો ન હતો જ્યાં સુધી નરેન્દ્ર અને થાથાચારે તેને 1974 માં એક સર્વેક્ષણ પેપરમાં રજૂ કર્યો ન હતો. વ્યાખ્યા લર્નિંગ ઓટોમેટન એ અવ્યવસ્થિત વાતાવરણમાં સ્થિત અનુકૂલનશીલ નિર્ણય લેવાનું એકમ છે જે તેના પર્યાવરણ સાથે વારંવાર ક્રિયાપ્રતિક્રિયાઓ દ્વારા શ્રેષ્ઠ ક્રિયા શીખે છે. ક્રિયાઓ ચોક્કસ સંભાવના વિતરણ અનુસાર પસંદ કરવામાં આવે છે જે કોઈ ચોક્કસ ક્રિયા કરીને ઓટોમેટન દ્વારા મેળવવામાં આવતા પર્યાવરણીય પ્રતિસાદના આધારે અપડેટ કરવામાં આવે છે. રિઇન્ફોર્સમેન્ટ લર્નિંગના ક્ષેત્રના સંદર્ભમાં, ઓટોમેટા શીખવાનું નીતિ પુનરાવર્તકો તરીકે વર્ગીકૃત કરવામાં આવે છે. અન્ય મજબૂતીકરણ શીખનારાઓથી વિપરીત, નીતિ પુનરાવર્તકો સીધા નીતિમાં હેરફેર કરે છે. નીતિ પુનરાવર્તકો માટેનું બીજું ઉદાહરણ ઉત્ક્રાંતિ અલ્ગોરિધમ્સ છે. ઔપચારિક રીતે, નરેન્દ્ર અને થાથાચર સ્ટોકેસ્ટિક ઓટોમેટનને વ્યાખ્યાયિત કરે છે જેમાં નીચેનાનો સમાવેશ થાય છેઃ સંભવિત ઇનપુટ્સનો સમૂહ X, સંભવિત આંતરિક સ્થિતિઓનો સમૂહ φ = {φ1,.., સંભવિત આઉટપુટનો સમૂહ α = {α1,., αr} અથવા ક્રિયાઓ, r ≤ s સાથે, પ્રારંભિક સ્થિતિ સંભાવના વેક્ટર p (0) = ′p1 (0),., ps (0) ′, એક ગણતરીપાત્ર કાર્ય A જે દરેક સમયના પગલા પછી t, p (t), વર્તમાન ઇનપુટ અને વર્તમાન સ્થિતિમાંથી p (t + 1) ઉત્પન્ન કરે છે, અને એક કાર્ય G: φ → α જે દરેક સમયે આઉટપુટ ઉત્પન્ન કરે છે. તેમના પેપરમાં, તેઓ r = s અને G સાથે માત્ર સ્ટોકેસ્ટિક ઓટોમેટાની તપાસ કરે છે, જે તેમને ક્રિયાઓ અને સ્થિતિઓને મૂંઝવણમાં મૂકવાની મંજૂરી આપે છે. આવા ઓટોમેટનની સ્થિતિઓ "ડિસ્ક્રીટ-સ્ટેટ ડિસ્ક્રીટ-પેરામીટર માર્કોવ પ્રક્રિયા" ની સ્થિતિઓને અનુરૂપ છે. દરેક સમયે પગલું t = 0,1,2,3,., ઓટોમેટન તેના વાતાવરણમાંથી ઇનપુટ વાંચે છે, p (t) ને A દ્વારા p (t + 1) માં અપડેટ કરે છે, અવ્યવસ્થિત રીતે સંભાવનાઓ p (t + 1) અનુસાર અનુગામી સ્થિતિ પસંદ કરે છે અને અનુરૂપ ક્રિયાનું આઉટપુટ આપે છે. ઓટોમેટનનું વાતાવરણ, બદલામાં, ક્રિયાને વાંચે છે અને આગામી ઇનપુટ ઓટોમેટનને મોકલે છે. વારંવાર, ઇનપુટ સમૂહ X = {0,1} નો ઉપયોગ કરવામાં આવે છે, જેમાં 0 અને 1 અનુક્રમે બિન-દંડ અને પર્યાવરણના દંડ પ્રતિસાદને અનુરૂપ હોય છે; આ કિસ્સામાં, ઓટોમેટને દંડ પ્રતિસાદની સંખ્યાને ઘટાડવાનું શીખવું જોઈએ, અને ઓટોમેટોન અને પર્યાવરણના પ્રતિસાદ લૂપને "પી-મોડલ" કહેવામાં આવે છે. વધુ સામાન્ય રીતે, "ક્યૂ-મોડલ" મનસ્વી મર્યાદિત ઇનપુટ સમૂહ X ને મંજૂરી આપે છે, અને "એસ-મોડલ" વાસ્તવિક સંખ્યાઓના અંતરાલ [0,1] નો ઉપયોગ X તરીકે કરે છે. એક જ લર્નિંગ ઓટોમેટનનું વિઝ્યુઅલાઈઝ્ડ ડેમો/આર્ટ વર્ક ન્યૂકેસલ યુનિવર્સિટીના માઇક્રો સિસ્ટમ્સ રિસર્ચ ગ્રુપ દ્વારા વિકસાવવામાં આવ્યું હતું. ફાઈનાઈટ એક્શન-સેટ લર્નિંગ ઓટોમેટા (એફએએલએ) એ લર્નિંગ ઓટોમેટાનો એક વર્ગ છે, જેના માટે સંભવિત ક્રિયાઓની સંખ્યા મર્યાદિત હોય છે અથવા વધુ ગાણિતિક દ્રષ્ટિએ, જેના માટે એક્શન-સેટનું કદ મર્યાદિત હોય છે. રિઇન્ફોર્સમેન્ટ લર્નિંગ ગેમ થિયરી ઓટોમેટા થિયરી લિટરેચર ફિલિપ અરાન્ઝુલ્લા અને જ્હોન મેલોર (હોમ પેજ): મેલોર જે અને અરાન્ઝુલ્લા પી (2000): "યુઝિંગ એન એસ-મોડલ રિસ્પોન્સ એન્વાયર્નમેન્ટ વિથ લર્ન [એસઆઈસી] ઓટોમેટા બેઝ્ડ રાઉટીંગ સ્કીમ્સ ફોર આઇપી નેટવર્ક્સ", પ્રોસી. એટીએમ અને આઇપી નેટવર્ક્સના પ્રદર્શન મોડેલિંગ અને મૂલ્યાંકન પર આઠમી આઇએફઆઇપી વર્કશોપ, પીપી <આઇડી1> 12, ઇલ્કલે, યુકે. અરાન્ઝુલ્લા પી અને મેલોર જે (1997): "એટીએમ નેટવર્ક પર લાગુ કરવામાં આવે ત્યારે ઓછા સિગ્નલિંગની જરૂર હોય તેવા બે રૂટીંગ અલ્ગોરિધમ્સની સરખામણી", પ્રોસી. માહિતી પ્રણાલીઓમાં પ્રદર્શન ઇજનેરી પર ચૌદમું યુકે ટેલીટ્રેફિક સિમ્પોસિયમ, પીપી 20/1-20 4, યુએમઆઈએસટી, માન્ચેસ્ટર, યુકે. ત્સેટલિન એમ. એલ. ઓટોમેશન થિયરી અને જૈવિક પ્રણાલીઓનું મોડેલિંગ. એકેડેમિક પ્રેસ; 1973. સંદર્ભો મશીન લર્નિંગ નિયંત્રણ સિદ્ધાંત