Automatic basis function construction
مشین لرننگ میں، آٹومیٹک بیس فنکشن کنسٹرکشن (یا بیس ڈسکوری) ٹاسک-انڈیپینڈنٹ بیس فنکشنز کے ایک سیٹ کو تلاش کرنے کا ریاضیاتی طریقہ ہے جو اسٹیٹ اسپیس کو کم جہتی ایمبیڈنگ میں نقشہ بناتا ہے، جبکہ اب بھی ویلیو فنکشن کی درست نمائندگی کرتا ہے۔ خودکار بنیاد کی تعمیر ڈومین کے پہلے علم سے آزاد ہے، جو اسے اچھی کارکردگی کا مظاہرہ کرنے کی اجازت دیتی ہے جہاں ماہر ساختہ بنیاد کے افعال بنانا مشکل یا ناممکن ہے۔ کمک سیکھنے (آر ایل) میں، زیادہ تر حقیقی دنیا کے مارکوف فیصلہ عمل (ایم ڈی پی) کے مسائل میں بڑی یا مسلسل ریاستی جگہیں ہوتی ہیں، جن کی مؤثر طریقے سے نمائندگی کے لیے عام طور پر کسی قسم کے تخمینے کی ضرورت ہوتی ہے۔ لکیری فنکشن لگ بھگ (ایل ایف اے) کو ان کی کم نظریاتی پیچیدگی کے لیے بڑے پیمانے پر اپنایا جاتا ہے۔ بہتر تخمینہ کے لیے دو ذیلی مسائل کو حل کرنے کی ضرورت ہے: وزن کی اصلاح اور بنیاد کی تعمیر۔ دوسرے مسئلے کو حل کرنے کا ایک طریقہ خصوصی بنیادی افعال کو ڈیزائن کرنا ہے۔ وہ بنیادی افعال مخصوص کاموں میں اچھی طرح سے کام کرتے ہیں لیکن نمایاں طور پر ڈومینز تک محدود ہیں۔ اس طرح وسیع تر ایپلی کیشنز کے لیے خود بخود بنیاد پر تعمیراتی افعال کی تعمیر کو ترجیح دی جاتی ہے۔ دشواری کی تعریف محدود ریاستی جگہ اور فکسڈ پالیسی کے ساتھ مارکوف کے فیصلے کے عمل کو 5-ٹپل کے ساتھ بیان کیا گیا ہے، جس میں محدود ریاستی جگہ، محدود ایکشن اسپیس، ریوارڈ فنکشن، ڈسکاؤنٹ فیکٹر، اور ٹرانزیشن ماڈل شامل ہیں۔ بیلمین مساوات کی تعریف اس طرح کی گئی ہے: جب عناصر کی تعداد کم ہوتی ہے، تو اسے عام طور پر ٹیبلولر شکل کے طور پر برقرار رکھا جاتا ہے۔ جبکہ اس قسم کی نمائندگی کے لیے بہت بڑا ہوتا ہے۔ عام طور پر بیس فنکشن کے لکیری امتزاج کے ذریعے تخمینہ لگایا جا رہا ہے، تاکہ ہمارے پاس: یہاں ایک میٹرکس ہے جس میں ہر قطار میں متعلقہ قطار کے لیے ایک فیچر ویکٹر ہوتا ہے، ایک وزن ویکٹر ہوتا ہے جس میں عام طور پر n پیرامیٹرز ہوتے ہیں۔ بیس کی تعمیر خود بخود بہتر بیس فنکشن کی تعمیر کے طریقوں کی تلاش کرتی ہے جو ویلیو فنکشن کی اچھی طرح سے نمائندگی کر سکتی ہے۔ ایک اچھے تعمیراتی طریقہ کار میں درج ذیل خصوصیات ہونی چاہئیں: تخمینہ اور حقیقی قدر فنکشن کے درمیان چھوٹی غلطی کی حدود ویلیو فنکشن کی جگہ میں آرتھوگنل بنیاد بناتی ہے اسٹیشنری ویلیو فنکشن میں تیزی سے ضم ہوتے ہیں مقبول طریقے پروٹو ویلیو کی بنیاد اس نقطہ نظر میں، مہادیون بنیادی افعال کے سیٹ کا تعین کرنے کے لیے ریاستوں کے درمیان رابطے کے گراف کا تجزیہ کرتا ہے۔ نارملائزڈ گراف لیپلاسیئن کی تعریف اس طرح کی گئی ہے: یہاں ڈبلیو ایک ملحقہ میٹرکس ہے جو فکسڈ پالیسی ایم ڈی پی کی حالتوں کی نمائندگی کرتا ہے جو ایک غیر ہدایت شدہ گراف (این، ای) بناتا ہے۔ D نوڈس کی ڈگریوں سے متعلق ایک اخترن میٹرکس ہے۔ ڈسکریٹ اسٹیٹ اسپیس میں، ملحقہ میٹرکس کو صرف یہ جانچ کر کے بنایا جا سکتا ہے کہ آیا دو ریاستیں جڑی ہوئی ہیں، اور D کا حساب W کی ہر قطار کا خلاصہ کر کے لگایا جا سکتا ہے۔ مسلسل ریاستی جگہ میں، ہم W کا بے ترتیب واک لیپلاسیئن لے سکتے ہیں۔ یہ سپیکٹرم فریم ورک ویلیو فنکشن اپروکسیمیشن (VFA) کے لیے استعمال کیا جا سکتا ہے۔ مقررہ پالیسی کو دیکھتے ہوئے، کنارے کے وزن کا تعین متعلقہ ریاستوں کے منتقلی کے امکان سے کیا جاتا ہے۔ ہموار قدر کا تخمینہ حاصل کرنے کے لیے، ڈفیوژن ویولیٹس کا استعمال کیا جاتا ہے۔ کریلوف بیسڈ کریلوف بیسڈ کنسٹرکشن بے ترتیب واک لیپلاسیئن کے بجائے حقیقی ٹرانزیشن میٹرکس کا استعمال کرتی ہے۔ اس طریقہ کار کا مفروضہ یہ ہے کہ ٹرانزیشن ماڈل P اور ریوارڈ r دستیاب ہیں۔ نیومن سیریز میں ویکٹروں کو سب کے لیے ظاہر کیا جاتا ہے۔ اس سے پتہ چلتا ہے کہ Krylov اسپیس کسی بھی ویلیو فنکشن کی نمائندگی کرنے کے لیے کافی ہے، اور m کی کم از کم کثیر الجہتی کی ڈگری ہے۔ فرض کریں کہ کم سے کم کثیر الجہتی ہے، اور ہمارے پاس ہے، ویلیو فنکشن کو اس طرح لکھا جاسکتا ہے: الگورتھم آگمینٹڈ کریلوف طریقہ پی کے ٹاپ ریئل آئجین ویکٹر ہیں اگر کریں تو ؛ اینڈ اگر ڈو اینڈ کے لیے اگر تو بریک ؛ اینڈ اگر اینڈ کے کے لیے: بیس l میں آئجین ویکٹرز کی تعداد: ویکٹرز کی کل تعداد بیلمین ایرر بیس بیلمین ایرر (یا بی ای بی ایف) کی تعریف اس طرح کی گئی ہے: نرمی سے بات کرتے ہوئے، بیل مین ایرر بہترین ویلیو فنکشن کی طرف اشارہ کرتی ہے۔ بی ای بی ایف کی ترتیب ایک بیس اسپیس بناتی ہے جو حقیقی ویلیو فنکشن اسپیس کے لیے آرتھوگنل ہوتی ہے۔ اس طرح بی ای بی ایف کی کافی تعداد کے ساتھ، کسی بھی ویلیو فنکشن کی بالکل نمائندگی کی جا سکتی ہے۔ الگورتھم بی ای بی ایف اسٹیج اسٹیج i = 1، ؛ اسٹیج موجودہ بیس فنکشن کے مطابق ویٹ ویکٹر کا حساب لگائیں ؛ نئی بیل مین ایرر کا حساب لگائیں ؛ نئی بیس فنکشن بنانے کے لیے بیل مین ایرر شامل کریں: ؛ N کنورجنس تک تکرار کی تعداد کی نمائندگی کرتا ہے۔ ":" کا مطلب ہے جوکس ٹیپوزنگ میٹرکس یا ویکٹر۔ بیل مین اوسط انعامی بیس بیل مین اوسط انعامی بیس (یا بی اے آر بی) کریلوف بیس سے ملتا جلتا ہے، لیکن انعامی فنکشن کو اوسط ایڈجسٹ ٹرانزیشن میٹرکس کے ذریعے پھیلایا جا رہا ہے۔ یہاں بہت سے طریقوں سے حساب لگایا جا سکتا ہے۔ 1 کے قریب ہونے پر بی اے آر بی بی ای بی ایف اور کریلوف سے زیادہ تیزی سے یکجا ہوتے ہیں۔ الگورتھم BARBs اسٹیج اسٹیج i = 1، ؛ اسٹیج موجودہ بیس فنکشن کے مطابق ویٹ ویکٹر کا حساب لگائیں ؛ نئی بیس کا حساب لگائیں:، اور اسے نئے بیس میٹرکس بنانے کے لیے شامل کریں ؛ N کنورجنس تک تکرار کی تعداد کی نمائندگی کرتا ہے۔ ":" کا مطلب ہے جوکس ٹیپوزنگ میٹرکس یا ویکٹر۔ بحث اور تجزیہ بنیادی تعمیر کے طریقوں کی دو بنیادی قسمیں ہیں۔ پہلی قسم کے طریقے انعام کے لیے حساس ہوتے ہیں، جیسے کریلوف اور بی ای بی ایف۔ وہ ٹرانزیشن میٹرکس کے ذریعے ریوارڈ فنکشن کو ہندسی طور پر پھیلاتے ہیں۔ تاہم، جب ڈسکاؤنٹ فیکٹر 1 کے قریب آتا ہے، تو کریلوف اور بی ای بی ایف آہستہ آہستہ یکجا ہوتے ہیں۔ اس کی وجہ یہ ہے کہ غلطی کریلوف پر مبنی طریقے چیبیشیف کثیر الجہتی پابند کے ذریعہ محدود ہیں۔ اس مسئلے کو حل کرنے کے لیے بی اے آر بی جیسے طریقے تجویز کیے گئے ہیں۔ بی اے آر بیز ڈریزن اڈوں کا ایک اضافی قسم ہے، اور بڑے ہونے پر کریلوف اور بی ای بی ایف سے زیادہ تیزی سے یکجا ہوتا ہے۔ ایک اور قسم انعام-غیر حساس پروٹو ویلیو بیس فنکشن ہے جو گراف لیپالیشین سے ماخوذ ہے۔ یہ طریقہ گراف کی معلومات کا استعمال کرتا ہے، لیکن ملحقہ میٹرکس کی تعمیر اس طریقہ کو تجزیہ کرنے میں مشکل بناتی ہے۔ متحرک پروگرامنگ بیلمین مساوات بہترین کنٹرول حوالہ جات بیرونی لنکس UMASS ALL لیب بہترین فیصلے متحرک پروگرامنگ اسٹاکاسٹک کنٹرول بھی دیکھیں۔