Thompson sampling
تھامسن سیمپلنگ، جس کا نام ولیم آر تھامسن کے نام پر رکھا گیا ہے، ایسے اقدامات کو منتخب کرنے کے لیے ایک تحقیق ہے جو کثیر مسلح ڈاکو کے مسئلے میں ایکسپلوریشن-استحصال کے مخمصے کو حل کرتا ہے۔ اس میں اس عمل کا انتخاب کرنا شامل ہے جو بے ترتیب طور پر تیار کردہ عقیدے کے حوالے سے متوقع انعام کو زیادہ سے زیادہ کرتا ہے۔ سیاق و سباق کے ایک سیٹ، اعمال کے ایک سیٹ، اور ان میں انعامات پر غور کریں۔ کھلاڑی کا مقصد مختلف سیاق و سباق کے تحت ایکشن کھیلنا ہے، جیسے کہ مجموعی انعامات کو زیادہ سے زیادہ کرنا۔ خاص طور پر، ہر راؤنڈ میں، کھلاڑی ایک سیاق و سباق حاصل کرتا ہے، ایک ایکشن کھیلتا ہے اور تقسیم کے بعد انعام حاصل کرتا ہے جو سیاق و سباق اور جاری کردہ ایکشن پر منحصر ہوتا ہے۔ تھامسن سیمپلنگ کے عناصر مندرجہ ذیل ہیں: ایک امکان فنکشن ؛ کی تقسیم کے پیرامیٹرز کا ایک مجموعہ ؛ ان پیرامیٹرز پر ایک پیشگی تقسیم ؛ ماضی کے مشاہدات تین گنا ؛ ایک پوسٹر ڈسٹری بیوشن، جہاں امکان فنکشن ہے۔ تھامسن سیمپلنگ اس امکان کے مطابق ایکشن کھیلنے پر مشتمل ہے کہ یہ متوقع انعام کو زیادہ سے زیادہ کرتا ہے۔ ایکشن کا انتخاب امکان کے ساتھ کیا جاتا ہے جہاں انڈیکیٹر فنکشن ہے۔ عملی طور پر اس اصول کو نمونے لے کر نافذ کیا جاتا ہے۔ ہر دور میں، پیرامیٹرز کا نمونہ پوسٹرئیر سے لیا جاتا ہے، اور ایک ایسا عمل منتخب کیا جاتا ہے جو زیادہ سے زیادہ ہوتا ہے، یعنی۔ نمونے کے پیرامیٹرز، عمل اور موجودہ سیاق و سباق کو دیکھتے ہوئے متوقع انعام۔ تصوراتی طور پر، اس کا مطلب یہ ہے کہ کھلاڑی پوسٹر ڈسٹری بیوشن کے مطابق ہر راؤنڈ میں تصادفی طور پر اپنے عقائد کو فوری کرتا ہے، اور پھر ان کے مطابق بہتر طریقے سے کام کرتا ہے۔ زیادہ تر عملی ایپلی کیشنز میں، ماڈلز پر پوسٹر ڈسٹری بیوشن کو برقرار رکھنا اور نمونے لینا کمپیوٹیشنل طور پر مشکل ہے۔ اس طرح، تھامسن سیمپلنگ اکثر تقریبا سیمپلنگ تکنیک کے ساتھ مل کر استعمال کی جاتی ہے۔ تھامسن نمونے لینے کی تاریخ کو اصل میں تھامسن نے 1933 میں بیان کیا تھا۔ اس کے بعد اسے کثیر مسلح ڈاکوؤں کے مسائل کے تناظر میں آزادانہ طور پر متعدد بار دوبارہ دریافت کیا گیا۔ ڈاکو کے معاملے میں ہم آہنگی کا پہلا ثبوت 1997 میں دکھایا گیا ہے۔ مارکوف کے فیصلہ سازی کے عمل کے لیے پہلی درخواست 2000 میں تھی۔ ایک متعلقہ نقطہ نظر (بیسیئن کنٹرول رول دیکھیں) 2010 میں شائع ہوا تھا۔ 2010 میں یہ بھی دکھایا گیا کہ تھامسن سیمپلنگ فوری طور پر خود کو درست کر رہی ہے۔ سیاق و سباق سے متعلق ڈاکوؤں کے لیے غیر علامتی کنورجنس کے نتائج 2011 میں شائع کیے گئے تھے۔ تھامسن سیمپلنگ کو آن لائن سیکھنے کے بہت سے مسائل میں بڑے پیمانے پر استعمال کیا گیا ہے جن میں ویب سائٹ ڈیزائن اور آن لائن اشتہارات میں اے/بی ٹیسٹنگ، اور وکندریقرت فیصلہ سازی میں تیز تر سیکھنا شامل ہیں۔ ڈاکوؤں کے دوہرانے کے لیے ایک ڈبل تھامسن سیمپلنگ (ڈی-ٹی ایس) الگورتھم تجویز کیا گیا ہے، جو روایتی ایم اے بی کی ایک قسم ہے، جہاں فیڈ بیک جوڑی کے لحاظ سے موازنہ کی شکل میں آتا ہے۔ دیگر نقطہ نظر سے تعلق ممکنہ مماثلت ایک فیصلہ کی حکمت عملی ہے جس میں کلاس کی رکنیت کی پیش گوئیاں کلاس کی بنیادی شرحوں کے متناسب ہوتی ہیں۔ اس طرح، اگر ٹریننگ سیٹ میں مثبت مثالوں کا 60 فیصد وقت مشاہدہ کیا جاتا ہے، اور منفی مثالوں کا 40 فیصد وقت مشاہدہ کیا جاتا ہے، تو امکان سے ملنے والی حکمت عملی کا استعمال کرتے ہوئے مبصر (غیر لیبل شدہ مثالوں کے لیے) 60 فیصد مثالوں پر "مثبت" کے کلاس لیبل کی پیش گوئی کرے گا، اور 40 فیصد مثالوں پر "منفی" کے کلاس لیبل کی پیش گوئی کرے گا۔ بایسیئن کنٹرول رول صوابدیدی متحرک ماحول اور کازل ڈھانچوں کے لیے تھامسن کے نمونے لینے کی عمومی شکل، جسے بایسیئن کنٹرول رول کے نام سے جانا جاتا ہے، کو اعمال اور مشاہدات کے ساتھ انکولی کوڈنگ کے مسئلے کا بہترین حل دکھایا گیا ہے۔ اس تشکیل میں، ایک ایجنٹ کو طرز عمل کے ایک سیٹ پر مرکب کے طور پر تصور کیا جاتا ہے۔ جیسے جیسے ایجنٹ اپنے ماحول کے ساتھ تعامل کرتا ہے، یہ وجہ کی خصوصیات کو سیکھتا ہے اور اس رویے کو اپناتا ہے جو ماحول کے رویے کی بہترین پیش گوئی کے ساتھ رویے سے متعلق اینٹروپی کو کم کرتا ہے۔ اگر ان طرز عمل کو زیادہ سے زیادہ متوقع افادیت کے اصول کے مطابق منتخب کیا گیا ہے، تو بایسیئن کنٹرول رول کا غیر علامتی طرز عمل بالکل عقلی ایجنٹ کے غیر علامتی طرز عمل سے میل کھاتا ہے۔ ترتیب حسب ذیل ہے۔ کسی ایجنٹ کے ذریعہ وقتا فوقتا جاری کردہ اقدامات ہونے دیں، اور ایجنٹ کے ذریعہ وقتا فوقتا جمع کیے گئے مشاہدات ہونے دیں۔ پھر، ایجنٹ عمل کو امکان کے ساتھ جاری کرتا ہے: جہاں "ٹوپی"-اشارہ اس حقیقت کی نشاندہی کرتا ہے کہ یہ ایک وجہ مداخلت ہے (وجہ دیکھیں)، نہ کہ ایک عام مشاہدہ۔ اگر ایجنٹ اپنے طرز عمل پر یقین رکھتا ہے، تو بایسیئن کنٹرول رول بن جاتا ہے، جہاں دی گئی کارروائیوں اور مشاہدات کے پیرامیٹر پر پوسٹر ڈسٹری بیوشن ہے۔ عملی طور پر، بایسیئن کنٹرول نمونے لینے کے مترادف ہے، ہر وقت کے مرحلے پر، پوسٹر ڈسٹری بیوشن کا ایک پیرامیٹر، جہاں پوسٹر ڈسٹری بیوشن کا حساب بایس کے اصول کا استعمال کرتے ہوئے صرف مشاہدات کے (وجہ) امکانات پر غور کرکے اور اعمال کے (وجہ) امکانات کو نظر انداز کرکے کیا جاتا ہے، اور پھر عمل کی تقسیم سے عمل کا نمونہ لے کر۔ اپر کنفیڈنس باؤنڈ (یو سی بی) الگورتھم تھامسن سیمپلنگ اور اپر کنفیڈنس باؤنڈ الگورتھم ایک بنیادی خاصیت کا اشتراک کرتے ہیں جو ان کی بہت سی نظریاتی ضمانتوں کی بنیاد ہے۔ موٹے طور پر، دونوں الگورتھم ایسے اعمال کے لیے تحقیقی کوشش مختص کرتے ہیں جو زیادہ سے زیادہ ہو سکتے ہیں اور اس لحاظ سے "پر امید" ہیں۔ اس خاصیت کا فائدہ اٹھاتے ہوئے، کوئی بھی یو سی بی الگورتھم کے لیے قائم افسوس کی حدود کا ترجمہ تھامسن سیمپلنگ کے لیے بایسیئن افسوس کی حدود میں کر سکتا ہے یا ان دونوں الگورتھم اور مسائل کی بہت سی کلاسوں میں افسوس کے تجزیے کو یکجا کر سکتا ہے۔ حوالہ جات مصنوعی ذہانت ہیورسٹک الگورتھم ترتیب وار طریقے ترتیب وار تجربات