Empirical risk minimization
تجرباتی رسک منیمائزیشن (ای آر ایم) شماریاتی سیکھنے کے نظریہ میں ایک اصول ہے جو سیکھنے کے الگورتھم کے ایک خاندان کی وضاحت کرتا ہے اور ان کی کارکردگی پر نظریاتی حدود دینے کے لیے استعمال ہوتا ہے۔ بنیادی خیال یہ ہے کہ ہم بالکل ٹھیک نہیں جان سکتے کہ ایک الگورتھم عملی طور پر کتنی اچھی طرح کام کرے گا (حقیقی "رسک") کیونکہ ہم اعداد و شمار کی صحیح تقسیم نہیں جانتے جس پر الگورتھم کام کرے گا، لیکن اس کے بجائے ہم اس کی کارکردگی کی پیمائش ٹریننگ ڈیٹا ("تجرباتی" رسک) کے معروف سیٹ پر کر سکتے ہیں۔ پس منظر مندرجہ ذیل صورتحال پر غور کریں، جو کہ بہت سے زیر نگرانی سیکھنے کے مسائل کی عمومی ترتیب ہے۔ ہمارے پاس اشیاء کی دو جگہیں ہیں اور ہم ایک فنکشن سیکھنا چاہیں گے (جسے اکثر مفروضہ کہا جاتا ہے) جو کسی شے کو آؤٹ پٹ کرتا ہے، دیا گیا ہے۔ ایسا کرنے کے لیے، ہمارے پاس مثالوں کا ایک تربیتی مجموعہ موجود ہے جہاں ایک ان پٹ ہے اور اسی طرح کا جواب ہے جس سے ہم حاصل کرنا چاہتے ہیں۔ مزید رسمی طور پر، ہم فرض کرتے ہیں کہ اور پر مشترکہ امکان کی تقسیم ہے، اور یہ کہ ٹریننگ سیٹ تیار کردہ مثالوں پر مشتمل ہے یعنی ڈی۔ سے۔ نوٹ کریں کہ مشترکہ امکان کی تقسیم کا مفروضہ ہمیں پیش گوئیوں میں غیر یقینی صورتحال کا نمونہ بنانے کی اجازت دیتا ہے (مثال کے طور پر۔ اعداد و شمار میں شور سے) کیونکہ یہ ایک تعیناتی فعل نہیں ہے بلکہ ایک مقررہ کے لیے مشروط تقسیم کے ساتھ ایک بے ترتیب متغیر ہے۔ ہم یہ بھی فرض کرتے ہیں کہ ہمیں ایک غیر منفی حقیقی قدر والا نقصان فنکشن دیا گیا ہے جو اس بات کی پیمائش کرتا ہے کہ کسی مفروضے کی پیش گوئی حقیقی نتائج سے کتنی مختلف ہے۔ درجہ بندی کے کاموں کے لیے یہ نقصان کے افعال اسکورنگ کے اصول ہو سکتے ہیں۔ اس کے بعد مفروضے سے وابستہ رسک کو لاس فنکشن کی توقع کے طور پر بیان کیا جاتا ہے: نظریہ میں عام طور پر استعمال ہونے والا لاس فنکشن 0-1 لاس فنکشن ہے: سیکھنے کے الگورتھم کا حتمی مقصد افعال کی ایک مقررہ کلاس کے درمیان ایک مفروضہ تلاش کرنا ہے جس کے لیے خطرہ کم سے کم ہے: درجہ بندی کے مسائل کے لیے، بیس درجہ بندی کو درجہ بندی کے طور پر بیان کیا گیا ہے جو 0-1 نقصان فنکشن کے ساتھ بیان کردہ خطرے کو کم کرتا ہے۔ تجرباتی خطرے کو کم کرنا عام طور پر خطرے کا حساب نہیں لگایا جا سکتا کیونکہ تقسیم سیکھنے کے الگورتھم سے ناواقف ہے (اس صورتحال کو اگنوسٹک لرننگ کہا جاتا ہے)۔ تاہم، ہم ایک تخمینہ کا حساب لگا سکتے ہیں، جسے تجرباتی رسک کہا جاتا ہے، ٹریننگ سیٹ پر نقصان کی تقریب کا اوسط بنا کر ؛ زیادہ رسمی طور پر، تجرباتی پیمائش کے حوالے سے توقع کا حساب لگانا: تجرباتی رسک کم کرنے کے اصول میں کہا گیا ہے کہ سیکھنے کے الگورتھم کو ایک مفروضہ کا انتخاب کرنا چاہیے جو تجرباتی رسک کو کم سے کم کرے: اس طرح ای آر ایم اصول کے ذریعے بیان کردہ سیکھنے کا الگورتھم مذکورہ بالا اصلاح کے مسئلے کو حل کرنے پر مشتمل ہے۔ 0-1 نقصان فنکشن کے ساتھ درجہ بندی کے مسئلے کے لیے تجرباتی رسک کو کم کرنا ایک NP-سخت مسئلہ کے طور پر جانا جاتا ہے یہاں تک کہ لینیر کلاسیفائرز جیسے افعال کی نسبتا سادہ کلاس کے لیے بھی۔ اس کے باوجود، اسے مؤثر طریقے سے حل کیا جا سکتا ہے جب کم سے کم تجرباتی خطرہ صفر ہو، یعنی ڈیٹا لکیری طور پر علیحدہ ہو۔ عملی طور پر، مشین لرننگ الگورتھم اس مسئلے سے نمٹتے ہیں یا تو 0-1 نقصان فنکشن (جیسے ایس وی ایم کے لیے قبضہ نقصان) کے لیے ایک کنویکس تخمینہ لگا کر، جسے بہتر بنانا آسان ہے، یا تقسیم پر مفروضے مسلط کر کے (اور اس طرح اگنوسٹک لرننگ الگورتھم بننا بند کر دیتے ہیں جس پر مذکورہ نتیجہ لاگو ہوتا ہے)۔ کنویکسفیکیشن کے معاملے میں، ژانگ کا لیما کنویکسفائیڈ مسئلے کے اضافی خطرے کا استعمال کرتے ہوئے اصل مسئلے کا زیادہ خطرہ مول لیتا ہے۔ بعد میں کنویکس آپٹیمائزیشن کا استعمال کرتے ہوئے کم سے کم کرنا بھی سابقہ کو کنٹرول کرنے کی اجازت دیتا ہے۔ ٹیلٹڈ امپیریکل رسک منیمائزیشن (ٹی ای آر ایم) ایک مشین لرننگ تکنیک ہے جو ٹیلٹ پیرامیٹر متعارف کروا کر اسکوائرڈ ایرر جیسے معیاری نقصان کے افعال میں ترمیم کرنے کے لیے استعمال ہوتی ہے۔ یہ پیرامیٹر تربیت کے دوران ڈیٹا پوائنٹس کے وزن کو متحرک طور پر ایڈجسٹ کرتا ہے، جس سے الگورتھم کو ڈیٹا کی تقسیم کے مخصوص علاقوں یا خصوصیات پر توجہ مرکوز کرنے کی اجازت ملتی ہے۔ TERM خاص طور پر غیر متوازن ڈیٹا والے منظرناموں میں یا جب پیشن گوئی کی جگہ کے کچھ حصوں میں غلطیوں پر زور دینے کی ضرورت ہو تو مفید ہے۔ زیادہ سے زیادہ امکانات کا تخمینہ ایم-تخمینہ حوالہ جات مزید پڑھنا مشین لرننگ بھی دیکھیں۔