Mountain car problem
ماؤنٹین کار، جو کہ کمک سیکھنے میں ایک معیاری ٹیسٹنگ ڈومین ہے، ایک ایسا مسئلہ ہے جس میں کم طاقت والی کار کو کھڑی پہاڑی پر چلنا پڑتا ہے۔ چونکہ کشش ثقل کار کے انجن سے زیادہ مضبوط ہوتی ہے، یہاں تک کہ مکمل تھروٹل پر بھی، کار سیدھی ڈھلوان کو تیز نہیں کر سکتی۔ کار ایک وادی میں واقع ہے اور اسے مخالف پہاڑی پر گاڑی چلا کر ممکنہ توانائی سے فائدہ اٹھانا سیکھنا چاہیے اس سے پہلے کہ کار دائیں طرف کی پہاڑی کی چوٹی پر گول تک پہنچ سکے۔ ڈومین کو مختلف کمک سیکھنے کے کاغذات میں ٹیسٹ بیڈ کے طور پر استعمال کیا گیا ہے۔ پہاڑی کار کا مسئلہ، اگرچہ کافی آسان ہے، عام طور پر لاگو ہوتا ہے کیونکہ اس میں دو مسلسل متغیرات پر سیکھنے کے لیے ایک کمک سیکھنے والے ایجنٹ کی ضرورت ہوتی ہے: پوزیشن اور رفتار۔ کار کی کسی بھی دی گئی حالت (پوزیشن اور رفتار) کے لیے، ایجنٹ کو بائیں طرف گاڑی چلانے، دائیں طرف گاڑی چلانے، یا انجن کا بالکل استعمال نہ کرنے کا امکان دیا جاتا ہے۔ مسئلہ کے معیاری ورژن میں، ایجنٹ کو ہر وقت قدم پر منفی انعام ملتا ہے جب مقصد تک نہیں پہنچتا ہے۔ ایجنٹ کے پاس ابتدائی کامیابی تک مقصد کے بارے میں کوئی معلومات نہیں ہوتی ہے۔ ماؤنٹین کار کا مسئلہ سب سے پہلے اینڈریو مور کی پی ایچ ڈی تھیسس (1990) میں سامنے آیا۔ بعد میں سنگھ اور سوٹن کے کمک جھکاؤ کے مقالے میں اہلیت کے نشانات کے ساتھ اس کی مزید سختی سے وضاحت کی گئی۔ اس مسئلے کا زیادہ وسیع پیمانے پر مطالعہ اس وقت ہوا جب سوٹن اور بارٹو نے اسے اپنی کتاب رینفورمیشن لرننگ: این انٹروڈکشن (1998) میں شامل کیا۔ سالوں کے دوران مسئلہ کے بہت سے ورژن استعمال کیے گئے ہیں، جیسے کہ وہ جو ریوارڈ فنکشن، اختتامی حالت، اور/یا اسٹارٹ اسٹیٹ میں ترمیم کرتے ہیں۔ ماؤنٹین کار کیو لرننگ کو حل کرنے کے لیے استعمال ہونے والی تکنیکوں اور مجرد ریاستوں کی نقشہ سازی کے لیے اسی طرح کی تکنیکوں کو مجرد اعمال تک بڑھانے کی ضرورت ہے تاکہ مسئلے کی مسلسل ریاستی جگہ سے نمٹا جا سکے۔ نقطہ نظر اکثر دو زمروں میں سے ایک میں آتے ہیں، اسٹیٹ اسپیس ڈسکریٹائزیشن یا فنکشن کا تخمینہ۔ ڈسکریٹائزیشن اس نقطہ نظر میں، دو مسلسل حالت متغیرات کو ہر مسلسل متغیر کو متعدد مجرد حالتوں میں ڈال کر مجرد حالتوں میں دھکیل دیا جاتا ہے۔ یہ نقطہ نظر مناسب طریقے سے ترتیب شدہ پیرامیٹرز کے ساتھ کام کرتا ہے لیکن ایک نقصان یہ ہے کہ ایک ریاست سے جمع کی گئی معلومات کو دوسری ریاست کا اندازہ کرنے کے لیے استعمال نہیں کیا جاتا ہے۔ ٹائل کوڈنگ کو ڈسکریٹائزیشن کو بہتر بنانے کے لیے استعمال کیا جا سکتا ہے اور اس میں بالٹیوں کے سیٹوں میں مسلسل متغیرات کی نقشہ سازی شامل ہوتی ہے جو ایک دوسرے سے آفسیٹ ہوتے ہیں۔ تربیت کے ہر مرحلے کا ویلیو فنکشن کے تخمینے پر وسیع اثر پڑتا ہے کیونکہ جب آفسیٹ گرڈ کا خلاصہ کیا جاتا ہے تو معلومات پھیل جاتی ہیں۔ فنکشن کا تخمینہ فنکشن کا تخمینہ پہاڑی کار کو حل کرنے کا ایک اور طریقہ ہے۔ بیس افعال کے ایک سیٹ کو پہلے سے منتخب کرکے، یا انہیں کار ڈرائیو کے طور پر تیار کرکے، ایجنٹ ہر ریاست میں ویلیو فنکشن کا تخمینہ لگا سکتا ہے۔ ڈسکریٹائزیشن کے ساتھ بنائے گئے ویلیو فنکشن کے مرحلہ وار ورژن کے برعکس، فنکشن کا تخمینہ ماؤنٹین کار ڈومین کے حقیقی ہموار فنکشن کا زیادہ صاف انداز میں اندازہ لگا سکتا ہے۔ اہلیت کے نشانات مسئلہ کے ایک دلچسپ پہلو میں اصل انعام میں تاخیر شامل ہے۔ ایجنٹ کامیاب تکمیل تک مقصد کے بارے میں جاننے کے قابل نہیں ہوتا ہے۔ ہر آزمائش کے لیے ایک بے وقوفانہ نقطہ نظر کو دیکھتے ہوئے کار صرف گول کے انعام کا تھوڑا سا بیک اپ لے سکتی ہے۔ یہ بے وقوف ڈسکریٹائزیشن کے لیے ایک مسئلہ ہے کیونکہ ہر مجرد ریاست کا بیک اپ صرف ایک بار لیا جائے گا، اس مسئلے کو سیکھنے کے لیے بڑی تعداد میں اقساط درکار ہوں گی۔ اس مسئلے کو اہلیت کے نشانات کے طریقہ کار کے ذریعے دور کیا جا سکتا ہے، جو خود بخود ریاستوں کو پہلے دیے گئے انعام کا بیک اپ لے گا، جس سے سیکھنے کی رفتار میں ڈرامائی طور پر اضافہ ہوگا۔ اہلیت کے نشانات کو عارضی فرق سیکھنے کے طریقوں سے لے کر مونٹی کارلو طریقوں تک ایک پل کے طور پر دیکھا جا سکتا ہے۔ تکنیکی تفصیلات پہاڑی کار کا مسئلہ بہت سے تکرار سے گزرا ہے۔ یہ سیکشن سوٹن (2008) کے معیاری اچھی طرح سے بیان کردہ ورژن پر توجہ مرکوز کرے گا۔ ریاستی متغیر دو جہتی مسلسل ریاستی جگہ۔ ایکشن ایک جہتی مجرد ایکشن اسپیس۔ ہر وقت کے مرحلے کے لیے انعام: فنکشن کو اپ ڈیٹ کریں ہر وقت کے مرحلے کے لیے: ابتدائی حالت اختیاری طور پر، بہت سے نفاذ میں بہتر عمومی سیکھنے کو ظاہر کرنے کے لیے دونوں پیرامیٹرز میں بے ترتیب پن شامل ہوتا ہے۔ اختتامی حالت تخروپن کو اس وقت ختم کرتی ہے جب: تغیرات پہاڑی کار کے بہت سے ورژن ہوتے ہیں جو معیاری ماڈل سے مختلف طریقوں سے ہٹ جاتے ہیں۔ متغیرات جو مختلف ہوتے ہیں ان میں شامل ہیں لیکن وہ مسئلے کے مستقل (کشش ثقل اور کھڑی) کو تبدیل کرنے تک محدود نہیں ہیں لہذا مخصوص پالیسیوں کے لیے مخصوص ٹیوننگ غیر متعلقہ ہو جاتی ہے اور ایجنٹ کی مختلف انداز میں سیکھنے کی صلاحیت کو متاثر کرنے کے لیے ریوارڈ فنکشن کو تبدیل کر دیتی ہے۔ ایک مثال انعام کو گول سے فاصلے کے برابر تبدیل کرنا، یا انعام کو ہر جگہ صفر اور گول پر ایک میں تبدیل کرنا ہے۔ مزید برآں ہم 4 ڈی مسلسل ریاستی جگہ کے ساتھ تھری ڈی ماؤنٹین کار استعمال کر سکتے ہیں۔ حوالہ جات کا نفاذ C + + ماؤنٹین کار سافٹ ویئر۔ رچرڈ ایس۔ سوٹن۔ جاوا ماؤنٹین کار آر ایل گلو ازگر کی حمایت کے ساتھ، اچھی بحث کے ساتھ (بلاگ پوسٹ-ڈاؤن پیج) مزید پڑھنے کے لیے ماؤنٹین کار کو اہلیت کے نشانات کے ساتھ ماؤنٹین کار مشین لرننگ کے ساتھ تبدیل کرنا۔