Thompson sampling
થોમ્પસન સેમ્પલિંગ, જેનું નામ વિલિયમ આર. થોમ્પસનના નામ પરથી રાખવામાં આવ્યું છે, તે બહુ-સશસ્ત્ર ડાકુઓની સમસ્યામાં સંશોધન-શોષણની મૂંઝવણને સંબોધિત કરતી ક્રિયાઓ પસંદ કરવા માટે એક સંશોધનાત્મક છે. તેમાં એવી ક્રિયા પસંદ કરવાનો સમાવેશ થાય છે જે અવ્યવસ્થિત રીતે દોરવામાં આવેલી માન્યતાના સંદર્ભમાં અપેક્ષિત પુરસ્કારને મહત્તમ કરે છે. વર્ણન સંદર્ભોનો સમૂહ, ક્રિયાઓનો સમૂહ અને તેમાં મળેલા પુરસ્કારોનો વિચાર કરો. ખેલાડીનો ઉદ્દેશ વિવિધ સંદર્ભો હેઠળ ક્રિયાઓ રમવાનો હોય છે, જેમ કે સંચિત પારિતોષિકોને મહત્તમ કરવા. ખાસ કરીને, દરેક રાઉન્ડમાં, ખેલાડી સંદર્ભ મેળવે છે, ક્રિયા ભજવે છે અને વિતરણ પછી પુરસ્કાર મેળવે છે જે સંદર્ભ અને જારી કરેલી ક્રિયા પર આધારિત હોય છે. થોમ્પસન સેમ્પલિંગના ઘટકો નીચે મુજબ છેઃ સંભાવના કાર્ય; વિતરણના પરિમાણોનો સમૂહ; આ પરિમાણો પર પૂર્વ વિતરણ; ભૂતકાળના અવલોકનો ત્રણ ગણા; પશ્ચાદવર્તી વિતરણ, જ્યાં સંભાવના કાર્ય છે. થોમ્પસન સેમ્પલિંગમાં સંભાવના અનુસાર ક્રિયા રમવાનો સમાવેશ થાય છે કે તે અપેક્ષિત પુરસ્કારને મહત્તમ કરે છે; ક્રિયા સંભાવના સાથે પસંદ કરવામાં આવે છે જ્યાં સૂચક કાર્ય છે. વ્યવહારમાં, આ નિયમ નમૂના દ્વારા લાગુ કરવામાં આવે છે. દરેક રાઉન્ડમાં, પરિમાણોને પશ્ચાદવર્તીમાંથી નમૂના લેવામાં આવે છે, અને એક ક્રિયા પસંદ કરવામાં આવે છે જે મહત્તમ કરે છે, એટલે કે. નમૂનારૂપ પરિમાણો, ક્રિયા અને વર્તમાન સંદર્ભને ધ્યાનમાં રાખીને અપેક્ષિત પુરસ્કાર. વૈચારિક રીતે, આનો અર્થ એ છે કે ખેલાડી પશ્ચાદવર્તી વિતરણ અનુસાર દરેક રાઉન્ડમાં તેમની માન્યતાઓને અવ્યવસ્થિત રીતે ત્વરિત કરે છે, અને પછી તેમના અનુસાર શ્રેષ્ઠ રીતે કાર્ય કરે છે. મોટાભાગની વ્યવહારુ એપ્લિકેશનોમાં, મોડેલો પર પશ્ચાદવર્તી વિતરણમાંથી જાળવણી અને નમૂના લેવા માટે ગણતરીત્મક રીતે મુશ્કેલ છે. જેમ કે, થોમ્પસન નમૂનાનો ઉપયોગ ઘણીવાર અંદાજિત નમૂનાની તકનીકો સાથે કરવામાં આવે છે. થોમ્પસન નમૂનાનું મૂળ વર્ણન થોમ્પસન દ્વારા 1933માં કરવામાં આવ્યું હતું. તે પછી બહુ-સશસ્ત્ર ડાકુઓની સમસ્યાઓના સંદર્ભમાં સ્વતંત્ર રીતે ઘણી વખત તેની પુનઃ શોધ કરવામાં આવી હતી. ડાકુઓના કેસમાં સંમિશ્રણનો પ્રથમ પુરાવો 1997માં દર્શાવવામાં આવ્યો છે. માર્કોવ નિર્ણય પ્રક્રિયાઓ માટે પ્રથમ અરજી 2000 માં કરવામાં આવી હતી. સંબંધિત અભિગમ (જુઓ બાયેસિયન નિયંત્રણ નિયમ) 2010માં પ્રકાશિત કરવામાં આવ્યો હતો. 2010માં એવું પણ દર્શાવવામાં આવ્યું હતું કે થોમ્પસન સેમ્પલિંગ તાત્કાલિક સ્વ-સુધારણા છે. સંદર્ભિત ડાકુઓ માટે એસિમ્પ્ટોટિક કન્વર્જન્સ પરિણામો 2011 માં પ્રકાશિત કરવામાં આવ્યા હતા. થોમ્પસન સેમ્પલિંગનો ઉપયોગ વેબસાઇટ ડિઝાઇન અને ઓનલાઇન જાહેરાતમાં એ/બી પરીક્ષણ અને વિકેન્દ્રિત નિર્ણય લેવામાં ઝડપી શિક્ષણ સહિત ઘણી ઓનલાઇન શિક્ષણ સમસ્યાઓમાં વ્યાપકપણે કરવામાં આવે છે. ડાકુઓના દ્વંદ્વયુદ્ધ માટે ડબલ થોમ્પસન સેમ્પલિંગ (ડી-ટી. એસ.) અલ્ગોરિધમનો પ્રસ્તાવ મૂકવામાં આવ્યો છે, જે પરંપરાગત એમ. એ. બી. નો એક પ્રકાર છે, જ્યાં પ્રતિસાદ જોડી મુજબની સરખામણીના સ્વરૂપમાં આવે છે. અન્ય અભિગમો સાથે સંબંધ સંભાવના મેળ ખાતી સંભાવના મેળ ખાતી એ એક નિર્ણય વ્યૂહરચના છે જેમાં વર્ગ સભ્યપદની આગાહીઓ વર્ગના આધાર દરના પ્રમાણમાં હોય છે. આમ, જો તાલીમ સમૂહમાં 60 ટકા હકારાત્મક ઉદાહરણો જોવામાં આવે અને 40 ટકા નકારાત્મક ઉદાહરણો જોવામાં આવે, તો સંભાવના-મેળ ખાતી વ્યૂહરચનાનો ઉપયોગ કરીને નિરીક્ષક (લેબલ વગરના ઉદાહરણો માટે) 60 ટકા ઉદાહરણો પર "સકારાત્મક" ના વર્ગ લેબલની અને 40 ટકા ઉદાહરણો પર "નકારાત્મક" ના વર્ગ લેબલની આગાહી કરશે. બાયેસિયન નિયંત્રણ નિયમ મનસ્વી ગતિશીલ વાતાવરણ અને કારણભૂત માળખાઓમાં થોમ્પસન નમૂનાનું સામાન્યીકરણ, જેને બાયેસિયન નિયંત્રણ નિયમ તરીકે ઓળખવામાં આવે છે, તે ક્રિયાઓ અને અવલોકનો સાથે અનુકૂલનશીલ કોડિંગ સમસ્યાનો શ્રેષ્ઠ ઉકેલ હોવાનું દર્શાવવામાં આવ્યું છે. આ રચનામાં, એજન્ટને વર્તણૂકોના સમૂહ પર મિશ્રણ તરીકે કલ્પના કરવામાં આવે છે. જેમ એજન્ટ તેના પર્યાવરણ સાથે ક્રિયાપ્રતિક્રિયા કરે છે, તે કારણભૂત ગુણધર્મો શીખે છે અને વર્તનને અપનાવે છે જે પર્યાવરણના વર્તનની શ્રેષ્ઠ આગાહી સાથે વર્તનની સંબંધિત એન્ટ્રોપીને ઘટાડે છે. જો આ વર્તણૂકો મહત્તમ અપેક્ષિત ઉપયોગિતા સિદ્ધાંત અનુસાર પસંદ કરવામાં આવી હોય, તો પછી બાયેસિયન નિયંત્રણ નિયમની એસિમ્પ્ટોટિક વર્તણૂક સંપૂર્ણ તર્કસંગત એજન્ટના એસિમ્પ્ટોટિક વર્તણૂક સાથે મેળ ખાય છે. સેટઅપ નીચે મુજબ છે. એજન્ટ દ્વારા સમયાંતરે જારી કરાયેલી ક્રિયાઓ હોવી જોઈએ, અને એજન્ટ દ્વારા સમયાંતરે એકત્રિત કરવામાં આવેલા અવલોકનો હોવા જોઈએ. પછી, એજન્ટ સંભાવના સાથે ક્રિયાને રજૂ કરે છેઃ જ્યાં "ટોપી"-નોટેશન એ હકીકતને સૂચવે છે કે તે એક કારણભૂત હસ્તક્ષેપ છે (કારણ જુઓ), અને સામાન્ય નિરીક્ષણ નથી. જો એજન્ટ તેની વર્તણૂકો પર માન્યતા ધરાવે છે, તો પછી બાયેસિયન નિયંત્રણ નિયમ બની જાય છે, જ્યાં ક્રિયાઓ અને અવલોકનો આપવામાં આવેલા પરિમાણો પર પશ્ચાદવર્તી વિતરણ છે. વ્યવહારમાં, બાયેસિયન નિયંત્રણ નમૂનાને સમકક્ષ છે, દરેક સમયે, પશ્ચાદવર્તી વિતરણમાંથી એક પરિમાણ, જ્યાં પશ્ચાદવર્તી વિતરણની ગણતરી બેયસના નિયમનો ઉપયોગ કરીને માત્ર અવલોકનોની (કારણભૂત) શક્યતાઓને ધ્યાનમાં લઈને અને ક્રિયાઓની (કારણભૂત) શક્યતાઓને અવગણીને કરવામાં આવે છે, અને પછી ક્રિયા વિતરણમાંથી ક્રિયાના નમૂનાને આધારે કરવામાં આવે છે. અપર-કોન્ફિડન્સ-બાઉન્ડ (યુ. સી. બી.) એલ્ગોરિધમ્સ થોમ્પસન સેમ્પલિંગ અને અપર-કોન્ફિડન્સ બાઉન્ડ એલ્ગોરિધમ્સ મૂળભૂત ગુણધર્મને વહેંચે છે જે તેમની ઘણી સૈદ્ધાંતિક બાંયધરીઓને આધાર આપે છે. આશરે કહીએ તો, બંને અલ્ગોરિધમ્સ એવી ક્રિયાઓ માટે સંશોધનકારી પ્રયાસ ફાળવે છે જે શ્રેષ્ઠ હોઈ શકે છે અને આ અર્થમાં "આશાવાદી" છે. આ ગુણધર્મનો લાભ ઉઠાવીને, યુ. સી. બી. અલ્ગોરિધમ્સ માટે સ્થાપિત ખેદ મર્યાદાને થોમ્પસન સેમ્પલિંગ માટે બાયેસિયન ખેદ મર્યાદામાં અનુવાદિત કરી શકાય છે અથવા આ બંને અલ્ગોરિધમ્સ અને સમસ્યાઓના ઘણા વર્ગોમાં ખેદ વિશ્લેષણને એકીકૃત કરી શકાય છે. સંદર્ભો આર્ટિફિશિયલ ઇન્ટેલિજન્સ હ્યુરિસ્ટિક અલ્ગોરિધમ્સ ક્રમિક પદ્ધતિઓ ક્રમિક પ્રયોગો