Thompson sampling
উইলিয়াম আর. থম্পসনের নামে নামকরণ করা থম্পসন স্যাম্পলিং বহু-সশস্ত্র ডাকাত সমস্যার অনুসন্ধান-শোষণের দ্বিধাদ্বন্দ্বকে সম্বোধন করে এমন পদক্ষেপগুলি বেছে নেওয়ার জন্য একটি অনুসন্ধানমূলক। এটি এমন ক্রিয়া নির্বাচন করে যা এলোমেলোভাবে আঁকা বিশ্বাসের ক্ষেত্রে প্রত্যাশিত পুরস্কারকে সর্বাধিক করে তোলে। বিবরণ প্রসঙ্গের একটি সেট, ক্রিয়াগুলির একটি সেট এবং পুরস্কার বিবেচনা করুন। খেলোয়াড়ের লক্ষ্য হল বিভিন্ন প্রেক্ষাপটে অ্যাকশন খেলা, যেমন ক্রমবর্ধমান পুরষ্কারগুলি সর্বাধিক করা। বিশেষত, প্রতিটি রাউন্ডে, খেলোয়াড় একটি প্রসঙ্গ অর্জন করে, একটি ক্রিয়া খেলে এবং একটি বিতরণের পরে একটি পুরস্কার পায় যা প্রসঙ্গ এবং জারি করা ক্রিয়ার উপর নির্ভর করে। থম্পসন স্যাম্পলিংয়ের উপাদানগুলি নিম্নরূপঃ একটি সম্ভাব্যতা ফাংশন; বিতরণের পরামিতিগুলির একটি সেট; এই পরামিতিগুলির উপর একটি পূর্ববর্তী বিতরণ; অতীত পর্যবেক্ষণগুলি তিনগুণ; একটি পশ্চাদবর্তী বিতরণ, যেখানে সম্ভাব্যতা ফাংশন। থম্পসন স্যাম্পলিং সম্ভাব্যতা অনুযায়ী ক্রিয়াটি খেলতে নিয়ে গঠিত যে এটি প্রত্যাশিত পুরষ্কারকে সর্বাধিক করে তোলে; ক্রিয়াটি সম্ভাবনার সাথে বেছে নেওয়া হয় যেখানে সূচক ফাংশন। বাস্তবে, নিয়মটি নমুনা নেওয়ার মাধ্যমে প্রয়োগ করা হয়। প্রতিটি রাউন্ডে, প্যারামিটারগুলি পোস্টেরিয়র থেকে নমুনা নেওয়া হয় এবং একটি ক্রিয়া বেছে নেওয়া হয় যা সর্বাধিক হয়, অর্থাৎ। নমুনা প্যারামিটার, ক্রিয়া এবং বর্তমান প্রেক্ষাপটে প্রদত্ত প্রত্যাশিত পুরস্কার। ধারণাগতভাবে, এর অর্থ হল যে খেলোয়াড় পরবর্তী বন্টন অনুযায়ী প্রতিটি রাউন্ডে এলোমেলোভাবে তাদের বিশ্বাসকে তাৎক্ষণিকভাবে প্রমাণ করে এবং তারপর তাদের অনুযায়ী সর্বোত্তমভাবে কাজ করে। বেশিরভাগ ব্যবহারিক প্রয়োগগুলিতে, মডেলগুলির উপর পোস্টেরিয়র ডিস্ট্রিবিউশন থেকে রক্ষণাবেক্ষণ এবং নমুনা নেওয়া গণনামূলকভাবে কঠিন। যেমন, থম্পসন স্যাম্পলিং প্রায়শই আনুমানিক স্যাম্পলিং কৌশলগুলির সাথে ব্যবহার করা হয়। ইতিহাস থম্পসন স্যাম্পলিং মূলত 1933 সালে থম্পসন দ্বারা বর্ণনা করা হয়েছিল। পরবর্তীকালে বহু-সশস্ত্র ডাকাত সমস্যার প্রেক্ষাপটে এটি বহুবার স্বাধীনভাবে পুনরায় আবিষ্কৃত হয়। ডাকাত মামলার একত্রীকরণের প্রথম প্রমাণ 1997 সালে দেখানো হয়েছে। 2000 সালে মার্কভ সিদ্ধান্ত প্রক্রিয়ার প্রথম প্রয়োগ করা হয়। একটি সম্পর্কিত পদ্ধতি (বায়েসিয়ান নিয়ন্ত্রণ নিয়ম দেখুন) 2010 সালে প্রকাশিত হয়েছিল। 2010 সালে এটিও দেখানো হয়েছিল যে থম্পসন স্যাম্পলিং তাৎক্ষণিকভাবে স্ব-সংশোধন করছে। প্রাসঙ্গিক ডাকাতদের জন্য উপসর্গহীন অভিসারের ফলাফল 2011 সালে প্রকাশিত হয়েছিল। থম্পসন স্যাম্পলিং ওয়েবসাইট ডিজাইন এবং অনলাইন বিজ্ঞাপনে এ/বি পরীক্ষা এবং বিকেন্দ্রীভূত সিদ্ধান্ত গ্রহণে ত্বরান্বিত শিক্ষা সহ অনেক অনলাইন শিক্ষার সমস্যায় ব্যাপকভাবে ব্যবহৃত হয়েছে। ডাকাতদের দ্বন্দ্বযুদ্ধের জন্য একটি ডাবল থম্পসন স্যাম্পলিং (ডি-টিএস) অ্যালগরিদম প্রস্তাব করা হয়েছে, যা ঐতিহ্যবাহী এম. এ. বি-এর একটি রূপ, যেখানে প্রতিক্রিয়া জোড়া-ভিত্তিক তুলনার আকারে আসে। অন্যান্য পদ্ধতির সাথে সম্পর্ক সম্ভাব্যতা ম্যাচিং সম্ভাব্যতা ম্যাচিং একটি সিদ্ধান্ত কৌশল যেখানে শ্রেণী সদস্যতার ভবিষ্যদ্বাণী শ্রেণী বেস হারের সাথে আনুপাতিক। সুতরাং, যদি প্রশিক্ষণ সেটের ইতিবাচক উদাহরণগুলি 60 শতাংশ সময় পর্যবেক্ষণ করা হয় এবং নেতিবাচক উদাহরণগুলি 40 শতাংশ সময় পর্যবেক্ষণ করা হয়, তবে সম্ভাব্যতা-মিলনের কৌশল ব্যবহার করে পর্যবেক্ষক (লেবেলবিহীন উদাহরণের জন্য) 60 শতাংশ ক্ষেত্রে "ইতিবাচক" এর একটি শ্রেণী লেবেল এবং 40 শতাংশ ক্ষেত্রে "নেতিবাচক" এর একটি শ্রেণী লেবেলের পূর্বাভাস দেবেন। বায়েসিয়ান নিয়ন্ত্রণ নিয়ম ইচ্ছাকৃত গতিশীল পরিবেশ এবং কার্যকারণ কাঠামোতে থম্পসনের নমুনার একটি সাধারণীকরণ, যা বায়েসিয়ান নিয়ন্ত্রণ নিয়ম নামে পরিচিত, ক্রিয়া এবং পর্যবেক্ষণের সাথে অভিযোজিত কোডিং সমস্যার সর্বোত্তম সমাধান হিসাবে দেখানো হয়েছে। এই গঠনে, একটি এজেন্টকে আচরণের একটি সেটের উপর মিশ্রণ হিসাবে ধারণা করা হয়। এজেন্টটি যখন তার পরিবেশের সাথে মিথস্ক্রিয়া করে, তখন এটি কার্যকারণ বৈশিষ্ট্যগুলি শেখে এবং এমন আচরণ গ্রহণ করে যা পরিবেশের আচরণের সর্বোত্তম পূর্বাভাসের সাথে আচরণের আপেক্ষিক এনট্রপিকে হ্রাস করে। যদি এই আচরণগুলি সর্বাধিক প্রত্যাশিত উপযোগিতা নীতি অনুসারে বেছে নেওয়া হয়, তবে বায়েসিয়ান নিয়ন্ত্রণ নিয়মের অ্যাসিম্পটোটিক আচরণ নিখুঁত যুক্তিসঙ্গত এজেন্টের অ্যাসিম্পটোটিক আচরণের সাথে মেলে। সেটআপ নিম্নরূপ। কোনও এজেন্টের দ্বারা সময়মতো জারি করা পদক্ষেপগুলি হতে দিন, এবং এজেন্টের দ্বারা সময়মতো সংগৃহীত পর্যবেক্ষণগুলি হতে দিন। তারপরে, এজেন্ট সম্ভাব্যতা সহ ক্রিয়াটি ইস্যু করেঃ যেখানে "টুপি"-নোটেশনটি একটি কার্যকারণ হস্তক্ষেপকে বোঝায় (কার্যকারণ দেখুন), এবং একটি সাধারণ পর্যবেক্ষণ নয়। যদি এজেন্ট তার আচরণের উপর বিশ্বাস রাখে, তবে বায়েসিয়ান নিয়ন্ত্রণের নিয়মটি হয়ে যায়, প্রদত্ত ক্রিয়া এবং পর্যবেক্ষণগুলির উপর পরবর্তী বিতরণ কোথায়। বাস্তবে, বায়েসিয়ান নিয়ন্ত্রণ নমুনা সংগ্রহের সমান, প্রতিটি সময় ধাপে, পশ্চাৎ বণ্টন থেকে একটি পরামিতি, যেখানে কেবল পর্যবেক্ষণের (কার্যকারণ) সম্ভাবনা বিবেচনা করে এবং ক্রিয়াগুলির (কার্যকারণ) সম্ভাবনা উপেক্ষা করে বায়েসের নিয়ম ব্যবহার করে পশ্চাৎ বণ্টন গণনা করা হয়, এবং তারপর ক্রিয়া বণ্টন থেকে ক্রিয়াটির নমুনা সংগ্রহ করে। আপার-কনফিডেন্স-বাউন্ড (ইউসিবি) অ্যালগরিদম থম্পসন স্যাম্পলিং এবং আপার-কনফিডেন্স বাউন্ড অ্যালগরিদমগুলি একটি মৌলিক বৈশিষ্ট্য ভাগ করে নেয় যা তাদের অনেক তাত্ত্বিক গ্যারান্টির ভিত্তি। মোটামুটিভাবে বলতে গেলে, উভয় অ্যালগরিদমই এমন কর্মের জন্য অনুসন্ধানমূলক প্রচেষ্টা বরাদ্দ করে যা সর্বোত্তম হতে পারে এবং এই অর্থে "আশাবাদী"। এই বৈশিষ্ট্যটি কাজে লাগিয়ে, কেউ ইউসিবি অ্যালগরিদমের জন্য প্রতিষ্ঠিত অনুশোচনা সীমাকে থম্পসন স্যাম্পলিংয়ের জন্য বায়েসিয়ান অনুশোচনা সীমাতে অনুবাদ করতে পারে বা এই অ্যালগরিদম এবং অনেক শ্রেণীর সমস্যা উভয়ের মধ্যে অনুশোচনা বিশ্লেষণকে একত্রিত করতে পারে। তথ্যসূত্র কৃত্রিম বুদ্ধিমত্তা অনুসন্ধানমূলক অ্যালগরিদম ক্রমিক পদ্ধতি ক্রমিক পরীক্ষা-নিরীক্ষা