Mountain car problem
માઉન્ટેન કાર, જે રિઇન્ફોર્સમેન્ટ લર્નિંગમાં પ્રમાણભૂત પરીક્ષણ ક્ષેત્ર છે, તે એક એવી સમસ્યા છે જેમાં ઓછી શક્તિવાળી કારને ઊભી ટેકરી ઉપર લઈ જવી પડે છે. કારના એન્જિન કરતાં ગુરુત્વાકર્ષણ વધુ મજબૂત હોવાથી, સંપૂર્ણ થ્રોટલ પર પણ, કાર સીધા ઢોળાવને વેગ આપી શકતી નથી. કાર ખીણમાં સ્થિત છે અને કાર જમણી બાજુની ટેકરીની ટોચ પર લક્ષ્ય સુધી પહોંચવામાં સક્ષમ થાય તે પહેલાં તેણે વિરુદ્ધ ટેકરી પર વાહન ચલાવીને સંભવિત ઊર્જાનો લાભ લેવાનું શીખવું જોઈએ. આ ડોમેનનો ઉપયોગ વિવિધ રિઇન્ફોર્સમેન્ટ લર્નિંગ પેપર્સમાં ટેસ્ટ બેડ તરીકે કરવામાં આવ્યો છે. માઉન્ટેન કારની સમસ્યા, એકદમ સરળ હોવા છતાં, સામાન્ય રીતે લાગુ કરવામાં આવે છે કારણ કે તેને બે સતત ચલો પર શીખવા માટે રિઇન્ફોર્સમેન્ટ લર્નિંગ એજન્ટની જરૂર છેઃ સ્થિતિ અને વેગ. કારની કોઈપણ સ્થિતિ (સ્થિતિ અને વેગ) માટે, એજન્ટને ડાબી બાજુએ વાહન ચલાવવાની, જમણી બાજુએ વાહન ચલાવવાની અથવા એન્જિનનો બિલકુલ ઉપયોગ ન કરવાની તક આપવામાં આવે છે. સમસ્યાના પ્રમાણભૂત સંસ્કરણમાં, જ્યારે લક્ષ્ય સુધી પહોંચવામાં ન આવે ત્યારે એજન્ટ દરેક સમયે નકારાત્મક પુરસ્કાર મેળવે છે; એજન્ટ પાસે પ્રારંભિક સફળતા સુધી લક્ષ્ય વિશે કોઈ માહિતી હોતી નથી. માઉન્ટેન કારની સમસ્યા સૌપ્રથમ એન્ડ્રુ મૂરેની પીએચડી થીસીસ (1990) માં જોવા મળી હતી. પાછળથી સિંહ અને સટનના રિઇન્ફોર્સમેન્ટ લીનિંગ પેપરમાં પાત્રતાના નિશાન સાથે તેને વધુ કડક રીતે વ્યાખ્યાયિત કરવામાં આવ્યું હતું. આ સમસ્યાનો વધુ વ્યાપક અભ્યાસ ત્યારે થયો જ્યારે સટન અને બાર્ટોએ તેને તેમના પુસ્તક રિઇન્ફોર્સમેન્ટ લર્નિંગઃ એન ઇન્ટ્રોડક્શન (1998) માં ઉમેર્યું. વર્ષો દરમિયાન સમસ્યાની ઘણી આવૃત્તિઓનો ઉપયોગ કરવામાં આવ્યો છે, જેમ કે જે પુરસ્કાર કાર્ય, સમાપ્તિ શરત અને/અથવા શરૂઆતની સ્થિતિમાં ફેરફાર કરે છે. માઉન્ટેન કાર ક્યૂ-લર્નિંગને ઉકેલવા માટે ઉપયોગમાં લેવાતી તકનીકો અને અસતત સ્થિતિઓને અસતત ક્રિયાઓ માટે મેપ કરવા માટેની સમાન તકનીકોને સમસ્યાના સતત સ્થિતિ અવકાશ સાથે વ્યવહાર કરવા માટે સક્ષમ થવા માટે વિસ્તૃત કરવાની જરૂર છે. અભિગમો ઘણીવાર બે શ્રેણીઓમાંથી એકમાં આવે છે, સ્ટેટ સ્પેસ ડિસ્ક્રીટાઈઝેશન અથવા ફંક્શન એપ્રોક્સીમેશન. વિવેકીકરણ આ અભિગમમાં, બે સતત સ્થિતિ ચલને દરેક સતત ચલને બહુવિધ અલગ સ્થિતિમાં મૂકીને અલગ સ્થિતિમાં ધકેલી દેવામાં આવે છે. આ અભિગમ યોગ્ય રીતે ટ્યુન કરેલા પરિમાણો સાથે કામ કરે છે પરંતુ ગેરલાભ એ છે કે એક રાજ્યમાંથી એકત્રિત કરવામાં આવેલી માહિતીનો ઉપયોગ બીજા રાજ્યનું મૂલ્યાંકન કરવા માટે થતો નથી. ટાઇલ કોડિંગનો ઉપયોગ ડિસ્ક્રીટાઈઝેશનને સુધારવા માટે થઈ શકે છે અને તેમાં એકબીજાથી સરભર કરાયેલી ડોલના સમૂહમાં સતત ચલોનું મેપિંગ સામેલ છે. તાલીમના દરેક પગલાની મૂલ્ય કાર્ય અંદાજ પર વ્યાપક અસર પડે છે કારણ કે જ્યારે ઓફસેટ ગ્રીડનો સરવાળો કરવામાં આવે છે, ત્યારે માહિતી ફેલાય છે. ફંકશન અંદાજ ફંકશન અંદાજ એ માઉન્ટેન કારને ઉકેલવાની બીજી રીત છે. પાયાના કાર્યોનો સમૂહ અગાઉથી પસંદ કરીને, અથવા તેમને કાર ડ્રાઇવ તરીકે ઉત્પન્ન કરીને, એજન્ટ દરેક રાજ્યમાં મૂલ્ય કાર્યનો અંદાજ લગાવી શકે છે. ડિસ્ક્રીટાઈઝેશન સાથે બનાવવામાં આવેલા મૂલ્ય કાર્યના પગલું મુજબના સંસ્કરણથી વિપરીત, કાર્ય અંદાજ માઉન્ટેન કાર ડોમેનના સાચા સરળ કાર્યનો વધુ સ્પષ્ટ રીતે અંદાજ લગાવી શકે છે. પાત્રતાના નિશાન સમસ્યાના એક રસપ્રદ પાસામાં વાસ્તવિક પુરસ્કારમાં વિલંબનો સમાવેશ થાય છે. એજન્ટ સફળતાપૂર્વક પૂર્ણ ન થાય ત્યાં સુધી ધ્યેય વિશે જાણી શકતો નથી. દરેક અજમાયશ માટે નિષ્કપટ અભિગમને જોતાં કાર માત્ર ગોલના પુરસ્કારનો થોડો બેકઅપ લઈ શકે છે. નિષ્કપટ વિવેકીકરણ માટે આ એક સમસ્યા છે કારણ કે દરેક સ્વતંત્ર સ્થિતિનો બેકઅપ માત્ર એક જ વાર લેવામાં આવશે, જે સમસ્યાને શીખવા માટે મોટી સંખ્યામાં એપિસોડ લેશે. આ સમસ્યાને પાત્રતાના નિશાનની પદ્ધતિ દ્વારા દૂર કરી શકાય છે, જે નાટ્યાત્મક રીતે શીખવાની ગતિમાં વધારો કરીને અગાઉ રાજ્યોને આપવામાં આવેલા પુરસ્કારનો આપમેળે બેકઅપ લેશે. લાયકાતના નિશાનને અસ્થાયી તફાવત શીખવાની પદ્ધતિઓથી મોન્ટે કાર્લો પદ્ધતિઓ સુધી એક સેતુ તરીકે જોઈ શકાય છે. તકનીકી વિગતો પર્વતીય કારની સમસ્યામાં ઘણા પુનરાવર્તનો થયા છે. આ વિભાગ સટન (2008) ના પ્રમાણભૂત સારી રીતે વ્યાખ્યાયિત સંસ્કરણ પર ધ્યાન કેન્દ્રિત કરશે. સ્થિતિ ચલ દ્વિ-પરિમાણીય સતત સ્થિતિ જગ્યા. ક્રિયાઓ એક-પરિમાણીય અલગ ક્રિયા જગ્યા. દરેક સમયના પગલા માટે પુરસ્કારઃ અપડેટ ફંક્શન દરેક સમયના પગલા માટેઃ પ્રારંભિક સ્થિતિ વૈકલ્પિક રીતે, ઘણા અમલીકરણમાં વધુ સારી રીતે સામાન્યીકૃત શિક્ષણ દર્શાવવા માટે બંને પરિમાણોમાં અવ્યવસ્થિતતાનો સમાવેશ થાય છે. સમાપ્તિ શરત સિમ્યુલેશનને ત્યારે સમાપ્ત કરો જ્યારેઃ ભિન્નતા પર્વતીય કારની ઘણી આવૃત્તિઓ છે જે પ્રમાણભૂત મોડેલથી અલગ રીતે વિચલિત થાય છે. જે ચલ બદલાય છે તેમાં સમસ્યાના સ્થિરાંકો (ગુરુત્વાકર્ષણ અને તીવ્રતા) બદલવાનો સમાવેશ થાય છે પરંતુ તે મર્યાદિત નથી તેથી ચોક્કસ નીતિઓ માટે ચોક્કસ ટ્યુનિંગ અપ્રસ્તુત બની જાય છે અને એજન્ટની અલગ રીતે શીખવાની ક્ષમતાને અસર કરવા માટે પુરસ્કાર કાર્યમાં ફેરફાર કરે છે. એક ઉદાહરણ એ છે કે પુરસ્કારને લક્ષ્યથી અંતરની બરાબર બદલવો, અથવા પુરસ્કારને દરેક જગ્યાએ શૂન્ય અને લક્ષ્ય પર એકમાં બદલવો. વધુમાં આપણે 4D સતત રાજ્ય જગ્યા સાથે 3D માઉન્ટેન કારનો ઉપયોગ કરી શકીએ છીએ. સંદર્ભો અમલીકરણ C + + માઉન્ટેન કાર સોફ્ટવેર. રિચાર્ડ એસ. સટન. આર. એલ. ગ્લુ પાયથોનના સમર્થન સાથે જાવા માઉન્ટેન કાર, સારી ચર્ચા સાથે (બ્લોગ પોસ્ટ-ડાઉન પેજ) માઉન્ટેન કારને બદલીને પાત્રતાના નિશાન સાથે માઉન્ટેન કાર મશીન લર્નિંગ સાથે ગૌસીયન પ્રક્રિયાઓનું વધુ વાંચન