Proto-value function
اطلاقی ریاضی میں، پروٹو ویلیو فنکشنز (پی وی ایفز) خود بخود سیکھی جانے والی بنیادی افعال ہیں جو ٹاسک مخصوص ویلیو فنکشنز کا تخمینہ لگانے میں مفید ہیں، جو ٹرانزیشن میٹرکس کی طاقتوں کی ایک کمپیکٹ نمائندگی فراہم کرتے ہیں۔ وہ کریڈٹ اسائنمنٹ کے مسئلے کو حل کرنے کے لیے ایک نیا فریم ورک فراہم کرتے ہیں۔ یہ فریم ورک ملٹی اسکیل سپیکٹرل اور کئی گنا سیکھنے کے طریقوں کا استعمال کرتے ہوئے مارکوف فیصلہ سازی کے عمل (ایم ڈی پی) اور کمک سیکھنے کے مسائل کو حل کرنے کے لیے ایک نیا نقطہ نظر متعارف کراتا ہے۔ پروٹو ویلیو فنکشن گراف لیپلاسیئن کا استعمال کرتے ہوئے گراف کے سپیکٹرم تجزیہ کے ذریعے تیار کیے جاتے ہیں۔ پروٹو ویلیو فنکشنز کو سب سے پہلے سریدھر مہادیون نے اپنے مقالے، پروٹو ویلیو فنکشنز: ڈویلپمنٹل رینفورمیشن لرننگ ایٹ آئی سی ایم ایل 2005 میں کمک سیکھنے کے تناظر میں متعارف کرایا تھا۔ محرک ویلیو فنکشن کا تخمینہ ایک مسلسل ریاستی جگہ پر بیان کردہ مارکوف فیصلہ کے عمل (ایم ڈی پیز) کو حل کرنے کے لیے ایک اہم جزو ہے۔ ایک اچھا فنکشن اپروکسیمیٹر ایک کمک سیکھنے (آر ایل) ایجنٹ کو اس کی قدر کو واضح طور پر ذخیرہ کیے بغیر، کسی بھی حالت کی قدر کی درست نمائندگی کرنے کی اجازت دیتا ہے جس کا اس نے تجربہ کیا ہے۔ بنیادی افعال کا استعمال کرتے ہوئے لکیری فنکشن کا تخمینہ قدر فنکشن کا تخمینہ بنانے کا ایک عام طریقہ ہے، جیسے ریڈیل بیس افعال، کثیر الجہتی ریاستی انکوڈنگ، اور سی ایم اے سی۔ تاہم، ان بنیادی افعال سے وابستہ پیرامیٹرز کے لیے اکثر اہم ڈومین مخصوص ہینڈ انجینئرنگ کی ضرورت ہوتی ہے۔ پروٹو ویلیو فنکشن مسئلہ ڈومین کے بنیادی کئی گنا ڈھانچے کا حساب لگا کر اس مطلوبہ ہینڈ انجینئرنگ کو حل کرنے کی کوشش کرتے ہیں۔ جائزہ پروٹو ویلیو فنکشن ٹاسک سے آزاد عالمی بنیاد کے فنکشن ہیں جو اجتماعی طور پر کسی دی گئی اسٹیٹ اسپیس کے لیے ممکنہ ویلیو فنکشن کی پوری جگہ کو پھیلاتے ہیں۔ وہ ماحول کے لیے اندرونی ہندسی رکاوٹوں کو شامل کرتے ہیں۔ مثال کے طور پر، یوکلڈین فاصلے میں قریب ریاستیں (جیسے دیوار کے مخالف اطراف کی ریاستیں) کئی گنا خلا میں بہت دور ہو سکتی ہیں۔ اس غیر لکیری مسئلے کے پچھلے طریقوں میں ایک وسیع نظریاتی فریم ورک کی کمی تھی، اور اس کے نتیجے میں صرف مجرد ایم ڈی پیز کے تناظر میں تلاش کیا گیا ہے۔ پروٹو ویلیو فنکشنز ویلیو فنکشن کے تخمینے کے مسئلے کو گراف یا کئی گنا پر حقیقی قدر والے فنکشن کے تخمینے کے طور پر اصلاح کرنے سے پیدا ہوتے ہیں۔ اس کے نتیجے میں سیکھے ہوئے اڈوں کا وسیع تر اطلاق ہوتا ہے اور سیکھنے کے الگورتھم کی ایک نئی کلاس کو قابل بناتا ہے، جو ایک ہی وقت میں نمائندگی اور پالیسیاں سیکھتے ہیں۔ گراف لیپلاسیئن سے بنیادی افعال یہ نقطہ نظر گراف لیپلاسیئن کے سپیکٹرم تجزیہ کے ذریعے بنیادی افعال کی تعمیر کرتا ہے، جو گراف پر افعال کی جگہ پر ایک سیلف ایڈجائنٹ (یا سمیٹرک) آپریٹر ہے، جو بے ترتیب واک آپریٹر سے قریب سے متعلق ہے۔ سادگی کی خاطر، فرض کریں کہ بنیادی اسٹیٹ اسپیس کو غیر ہدایت شدہ غیر وزنی گراف کے طور پر پیش کیا جاسکتا ہے۔ مشترکہ لیپلاسیئن کو آپریٹر کے طور پر بیان کیا گیا ہے، جہاں ایک اخترن میٹرکس ہے جسے ڈگری میٹرکس کہا جاتا ہے اور یہ ملحقہ میٹرکس ہے۔ گراف پر لیپلیس آپریٹر کا سپیکٹرم تجزیہ آئجین ویلیوز اور آئجین فنکشنز کو تلاش کرنے پر مشتمل ہوتا ہے جو اس مساوات کو حل کرتا ہے جہاں مشترکہ لیپلاسیئن، آئجین ویلیو سے وابستہ ایک آئجین فنکشن ہے۔ یہاں "آئجین فنکشن" کی اصطلاح اس بات کی نشاندہی کرنے کے لیے استعمال کی جاتی ہے جسے روایتی طور پر لکیری الجبرا میں آئجین ویکٹر کہا جاتا ہے، کیونکہ لیپلاسیئن آئجین ویکٹر کو قدرتی طور پر ایسے افعال کے طور پر دیکھا جا سکتا ہے جو ہر ورٹیکس کو ایک حقیقی نمبر پر نقش کرتے ہیں۔ گراف پر منتخب کرنے کے لیے مشترکہ لیپلاشین واحد آپریٹر نہیں ہے۔ دیگر ممکنہ گراف آپریٹرز میں شامل ہیں: مجرد ریاستی جگہ پر نارملائزڈ لیپلاسیئن رینڈم واک گراف کی تعمیر ایک محدود ریاستی جگہ کے لیے اوپر بیان کردہ گراف کو ریاستوں کے درمیان رابطوں کی جانچ کر کے آسانی سے بنایا جا سکتا ہے۔ کوئی بھی دو ریاستیں ہونے دیں۔ پھر یہ نوٹ کرنا ضروری ہے کہ یہ صرف اس صورت میں کیا جا سکتا ہے جب ریاستی جگہ محدود اور مناسب سائز کی ہو۔ مسلسل یا بڑی ریاستی جگہ پر گراف کی تعمیر ایک مسلسل ریاستی جگہ یا محض ایک بہت بڑی مجرد ریاستی جگہ کے لیے، ریاستی جگہ میں کئی گنا سے نمونہ لینا ضروری ہے۔ پھر نمونوں کی بنیاد پر گراف بنانا۔ یہاں غور کرنے کے لیے کچھ مسائل ہیں: کئی گنا بے ترتیب واک یا گائیڈڈڈ ایکسپلوریشن کا نمونہ کیسے لیا جائے اس بات کا تعین کیسے کیا جائے کہ آیا دو نمونوں کو جوڑا جانا چاہیے۔ ایک بار پی وی ایف تیار ہو جانے کے بعد، انہیں روایتی فنکشن کے تخمینے کے فریم ورک میں شامل کیا جا سکتا ہے۔ ایسا ہی ایک طریقہ کم سے کم مربع تخمینہ ہے۔ پروٹو ویلیو فنکشنز کا استعمال کرتے ہوئے کم سے کم مربع تخمینہ آئیے پی وی ایف کا بنیادی مجموعہ بنیں، جہاں ہر ایک گراف میں تمام ریاستوں پر بیان کردہ آئجن فنکشن ہے۔ ٹارگٹ ویلیو فنکشن ہونے دیں جو صرف ریاستوں کے ذیلی سیٹ کے لیے جانا جاتا ہے۔ گرام میٹرکس کی وضاحت کریں یہاں ریاستوں پر پی وی ایف کا جزو وار پروجیکشن ہے۔ لہذا، گرام میٹرکس کا ہر اندراج ہے۔ وہ کوفشنٹس جو کم سے کم مربع کی غلطی کو کم کرتے ہیں پھر مساوات کے ذریعے بیان کیے جاتے ہیں۔ ایک غیر لکیری کم سے کم مربع نقطہ نظر ممکن ہے کہ سب سے بڑے مطلق کوفشنٹس کے ساتھ کے پی وی ایف کا استعمال کرتے ہوئے تخمینہ کا حساب لگایا جائے۔ مزید دیکھیں کمک سیکھنا مارکوف فیصلہ عمل کی بنیاد فنکشن آئجین فنکشن لیپلاسیئن میٹرکس حوالہ جات سپیکٹرم تھیوری افعال کی اقسام