Training, validation, and test data sets
مشین لرننگ میں، ایک عام کام الگورتھم کا مطالعہ اور تعمیر ہے جو ڈیٹا سے سیکھ سکتا ہے اور پیش گوئیاں کر سکتا ہے۔ اس طرح کے الگورتھم ان پٹ ڈیٹا سے ریاضیاتی ماڈل بنا کر ڈیٹا پر مبنی پیش گوئیاں یا فیصلے کر کے کام کرتے ہیں۔ ماڈل بنانے کے لیے استعمال ہونے والے ان پٹ ڈیٹا کو عام طور پر متعدد ڈیٹا سیٹوں میں تقسیم کیا جاتا ہے۔ خاص طور پر، ماڈل کی تخلیق کے مختلف مراحل میں عام طور پر تین ڈیٹا سیٹ استعمال کیے جاتے ہیں: تربیت، توثیق، اور ٹیسٹ سیٹ۔ ماڈل ابتدائی طور پر ٹریننگ ڈیٹا سیٹ پر فٹ ہوتا ہے، جو پیرامیٹرز کو فٹ کرنے کے لیے استعمال ہونے والی مثالوں کا ایک مجموعہ ہے (جیسے۔ نمونے کے مصنوعی عصبی نیٹ ورک میں نیوران کے درمیان رابطوں کا وزن)۔ ماڈل (مثلا۔ ایک بے وقوف بائز کلاسیفائر) کو زیر نگرانی سیکھنے کے طریقہ کار کا استعمال کرتے ہوئے تربیتی ڈیٹا سیٹ پر تربیت دی جاتی ہے، مثال کے طور پر گریڈیئنٹ ڈیسنٹ یا سٹوچسٹک گریڈیئنٹ ڈیسنٹ جیسے اصلاح کے طریقوں کا استعمال کرتے ہوئے۔ عملی طور پر، ٹریننگ ڈیٹا سیٹ اکثر ان پٹ ویکٹر (یا اسکیلر) اور متعلقہ آؤٹ پٹ ویکٹر (یا اسکیلر) کے جوڑوں پر مشتمل ہوتا ہے، جہاں جوابی کلید کو عام طور پر ہدف (یا لیبل) کے طور پر ظاہر کیا جاتا ہے۔ موجودہ ماڈل ٹریننگ ڈیٹا سیٹ کے ساتھ چلایا جاتا ہے اور ایک نتیجہ پیدا کرتا ہے، جس کے بعد ٹریننگ ڈیٹا سیٹ میں ہر ان پٹ ویکٹر کے لیے ہدف کے ساتھ موازنہ کیا جاتا ہے۔ موازنہ کے نتیجے اور استعمال کیے جانے والے مخصوص سیکھنے کے الگورتھم کی بنیاد پر، ماڈل کے پیرامیٹرز کو ایڈجسٹ کیا جاتا ہے۔ ماڈل فٹنگ میں متغیر انتخاب اور پیرامیٹر تخمینہ دونوں شامل ہو سکتے ہیں۔ یکے بعد دیگرے، فٹ شدہ ماڈل کا استعمال دوسرے ڈیٹا سیٹ میں مشاہدات کے ردعمل کی پیش گوئی کے لیے کیا جاتا ہے جسے توثیق ڈیٹا سیٹ کہا جاتا ہے۔ توثیق ڈیٹا سیٹ ماڈل کے ہائپر پیرامیٹرز کو ٹیون کرتے ہوئے ٹریننگ ڈیٹا سیٹ پر فٹ ماڈل کی غیر جانبدارانہ تشخیص فراہم کرتا ہے (مثال کے طور پر۔ عصبی نیٹ ورک میں چھپی ہوئی اکائیوں کی تعداد-تہوں اور پرت کی چوڑائی)۔ توثیق ڈیٹا سیٹ کو جلد روک کر باقاعدگی کے لیے استعمال کیا جا سکتا ہے (توثیق ڈیٹا سیٹ پر غلطی بڑھنے پر تربیت کو روکنا، کیونکہ یہ تربیتی ڈیٹا سیٹ میں زیادہ فٹ ہونے کی علامت ہے)۔ یہ آسان طریقہ کار عملی طور پر اس حقیقت کی وجہ سے پیچیدہ ہے کہ توثیق ڈیٹا سیٹ کی غلطی تربیت کے دوران اتار چڑھاؤ کا شکار ہو سکتی ہے، جس سے متعدد مقامی منیما پیدا ہوتے ہیں۔ اس پیچیدگی کی وجہ سے یہ فیصلہ کرنے کے لیے بہت سے ایڈہاک قوانین کی تخلیق ہوئی ہے کہ اوور فٹنگ واقعی کب شروع ہوئی ہے۔ آخر میں، ٹیسٹ ڈیٹا سیٹ ایک ڈیٹا سیٹ ہے جو ٹریننگ ڈیٹا سیٹ پر فٹ ہونے والے حتمی ماڈل کی غیر جانبدارانہ تشخیص فراہم کرنے کے لیے استعمال ہوتا ہے۔ اگر ٹیسٹ ڈیٹا سیٹ میں موجود ڈیٹا کو ٹریننگ میں کبھی استعمال نہیں کیا گیا ہے (مثال کے طور پر کراس ویلڈیشن میں)، تو ٹیسٹ ڈیٹا سیٹ کو ہولڈ آؤٹ ڈیٹا سیٹ بھی کہا جاتا ہے۔ بعض اوقات بعض ادب میں "ٹیسٹ سیٹ" کے بجائے "توثیق سیٹ" کی اصطلاح استعمال کی جاتی ہے (مثال کے طور پر، اگر اصل ڈیٹا سیٹ کو صرف دو ذیلی سیٹوں میں تقسیم کیا گیا تھا، تو ٹیسٹ سیٹ کو توثیق سیٹ کہا جا سکتا ہے)۔ تربیت، ٹیسٹ اور توثیق سیٹ میں ڈیٹا سیٹ ڈویژن کے لیے سائز اور حکمت عملی کا فیصلہ کرنا دستیاب مسئلے اور ڈیٹا پر بہت زیادہ منحصر ہے۔ ٹریننگ ڈیٹا سیٹ سیکھنے کے عمل کے دوران استعمال ہونے والی مثالوں کا ڈیٹا سیٹ ہے اور مثال کے طور پر، درجہ بندی کے پیرامیٹرز (مثال کے طور پر، وزن) کو فٹ کرنے کے لیے استعمال ہوتا ہے۔ درجہ بندی کے کاموں کے لیے، ایک سپروائزڈ لرننگ الگورتھم متغیرات کے زیادہ سے زیادہ امتزاج کا تعین کرنے یا سیکھنے کے لیے ٹریننگ ڈیٹا سیٹ کو دیکھتا ہے جو ایک اچھا پیشن گوئی ماڈل تیار کرے گا۔ مقصد ایک تربیت یافتہ (فٹ شدہ) ماڈل تیار کرنا ہے جو نئے، نامعلوم ڈیٹا کو اچھی طرح سے عام کرتا ہے۔ فٹ شدہ ماڈل کا اندازہ نئے ڈیٹا کی درجہ بندی میں ماڈل کی درستگی کا اندازہ لگانے کے لیے ہولڈ آؤٹ ڈیٹا سیٹس (توثیق اور ٹیسٹ ڈیٹا سیٹس) سے "نئی" مثالوں کا استعمال کرتے ہوئے کیا جاتا ہے۔ اوور فٹنگ جیسے مسائل کے خطرے کو کم کرنے کے لیے، توثیق اور ٹیسٹ ڈیٹا سیٹ میں موجود مثالوں کو ماڈل کی تربیت کے لیے استعمال نہیں کیا جانا چاہیے۔ زیادہ تر نقطہ نظر جو تجرباتی تعلقات کے لیے تربیتی ڈیٹا کے ذریعے تلاش کرتے ہیں وہ ڈیٹا کو زیادہ فٹ کرتے ہیں، مطلب یہ ہے کہ وہ تربیتی ڈیٹا میں ظاہری تعلقات کی شناخت اور استحصال کر سکتے ہیں جو عام طور پر نہیں رکھتے ہیں۔ توثیق ڈیٹا سیٹ ایک توثیق ڈیٹا سیٹ ہائپر پیرامیٹرز کو ٹیون کرنے کے لیے استعمال ہونے والی مثالوں کا ڈیٹا سیٹ ہے۔ فن تعمیر) ایک درجہ بندی کا۔ اسے بعض اوقات ڈویلپمنٹ سیٹ یا "دیو سیٹ" بھی کہا جاتا ہے۔ مصنوعی عصبی نیٹ ورک کے لیے ہائپر پیرامیٹر کی ایک مثال میں ہر پرت میں چھپی ہوئی اکائیوں کی تعداد شامل ہے۔ اس کے ساتھ ساتھ ٹیسٹنگ سیٹ (جیسا کہ نیچے بتایا گیا ہے)، ٹریننگ ڈیٹا سیٹ کی طرح ہی امکان کی تقسیم کی پیروی کرنا چاہئے۔ زیادہ فٹ ہونے سے بچنے کے لیے، جب کسی درجہ بندی کے پیرامیٹر کو ایڈجسٹ کرنے کی ضرورت ہو، تو ٹریننگ اور ٹیسٹ ڈیٹا سیٹس کے علاوہ توثیق کا ڈیٹا سیٹ ہونا ضروری ہے۔ مثال کے طور پر، اگر مسئلے کے لیے سب سے موزوں درجہ بندی طلب کی جاتی ہے، تو تربیتی ڈیٹا سیٹ کا استعمال مختلف امیدوار درجہ بندی کرنے والوں کو تربیت دینے کے لیے کیا جاتا ہے، توثیق ڈیٹا سیٹ کا استعمال ان کی کارکردگی کا موازنہ کرنے اور یہ فیصلہ کرنے کے لیے کیا جاتا ہے کہ کون سا لینا ہے اور آخر میں، ٹیسٹ ڈیٹا سیٹ کا استعمال کارکردگی کی خصوصیات جیسے درستگی، حساسیت، خاصیت، ایف پیمائش وغیرہ حاصل کرنے کے لیے کیا جاتا ہے۔ توثیق ڈیٹا سیٹ ایک ہائبرڈ کے طور پر کام کرتا ہے: یہ تربیتی ڈیٹا ہے جو جانچ کے لیے استعمال ہوتا ہے، لیکن نہ تو نچلی سطح کی تربیت کے حصے کے طور پر اور نہ ہی حتمی جانچ کے حصے کے طور پر۔ ماڈل کے انتخاب کے لیے توثیق ڈیٹا سیٹ کا استعمال کرنے کا بنیادی عمل (ٹریننگ ڈیٹا سیٹ، توثیق ڈیٹا سیٹ، اور ٹیسٹ ڈیٹا سیٹ کے حصے کے طور پر) یہ ہے: اس عمل کی ایک درخواست ابتدائی طور پر رک جاتی ہے، جہاں امیدوار ماڈل اسی نیٹ ورک کے مسلسل تکرار ہوتے ہیں، اور توثیق سیٹ پر غلطی بڑھنے پر ٹریننگ رک جاتی ہے، پچھلے ماڈل کا انتخاب کرتے ہوئے (کم سے کم غلطی والا)۔ ٹیسٹ ڈیٹا سیٹ ایک ڈیٹا سیٹ ہے جو ٹریننگ ڈیٹا سیٹ سے آزاد ہے، لیکن یہ ٹریننگ ڈیٹا سیٹ کی طرح ہی امکانات کی تقسیم کی پیروی کرتا ہے۔ اگر ٹریننگ ڈیٹا سیٹ پر فٹ ہونے والا ماڈل بھی ٹیسٹ ڈیٹا سیٹ پر اچھی طرح فٹ بیٹھتا ہے، تو کم سے کم اوورفٹنگ ہوئی ہے (نیچے کی شکل دیکھیں)۔ ٹیسٹ ڈیٹا سیٹ کے برعکس ٹریننگ ڈیٹا سیٹ کی بہتر فٹنگ عام طور پر زیادہ فٹنگ کی طرف اشارہ کرتی ہے۔ لہذا ٹیسٹ سیٹ مثالوں کا ایک مجموعہ ہے جو صرف کارکردگی کا اندازہ لگانے کے لیے استعمال ہوتا ہے (یعنی۔ مکمل طور پر مخصوص درجہ بندی کی عمومی کاری)۔ ایسا کرنے کے لیے، حتمی ماڈل کا استعمال ٹیسٹ سیٹ میں مثالوں کی درجہ بندی کی پیش گوئی کے لیے کیا جاتا ہے۔ ماڈل کی درستگی کا اندازہ لگانے کے لیے ان پیش گوئیوں کا موازنہ مثالوں کی حقیقی درجہ بندی سے کیا جاتا ہے۔ ایسے منظر نامے میں جہاں توثیق اور ٹیسٹ ڈیٹا سیٹ دونوں استعمال کیے جاتے ہیں، ٹیسٹ ڈیٹا سیٹ عام طور پر توثیق کے عمل کے دوران منتخب کردہ حتمی ماڈل کا اندازہ کرنے کے لیے استعمال ہوتا ہے۔ اس صورت میں جہاں اصل ڈیٹا سیٹ کو دو ذیلی سیٹوں (ٹریننگ اور ٹیسٹ ڈیٹا سیٹس) میں تقسیم کیا گیا ہے، ٹیسٹ ڈیٹا سیٹ صرف ایک بار ماڈل کا اندازہ لگا سکتا ہے (مثال کے طور پر، ہولڈ آؤٹ طریقہ میں)۔ نوٹ کریں کہ کچھ ذرائع اس طرح کے طریقہ کار کے خلاف مشورہ دیتے ہیں۔ تاہم، کراس توثیق جیسے طریقہ کار کا استعمال کرتے وقت، دو پارٹیشن کافی اور موثر ہو سکتے ہیں کیونکہ تعصب اور تغیر کو کم کرنے میں مدد کے لیے ماڈل کی تربیت اور جانچ کے بار بار دور کے بعد نتائج کا اوسط کیا جاتا ہے۔ اصطلاحات میں الجھن جانچ اس کے بارے میں کچھ جاننے کی کوشش کرنا ہے (انگریزی کی باہمی تعاون پر مبنی بین الاقوامی لغت کے مطابق "ثبوت پیش کرنا ؛ تجربے کے ذریعے سچائی، صداقت یا معیار کو ثابت کرنا") اور توثیق کرنا یہ ثابت کرنا ہے کہ کچھ درست ہے ("تصدیق کرنا ؛ درست پیش کرنا" انگریزی کی باہمی تعاون پر مبنی بین الاقوامی لغت)۔ اس نقطہ نظر کے ساتھ، ٹیسٹ سیٹ اور توثیق سیٹ کی اصطلاحات کا سب سے عام استعمال وہ ہے جو یہاں بیان کیا گیا ہے۔ تاہم، صنعت اور تعلیمی شعبے دونوں میں، بعض اوقات ان کا آپس میں تبادلہ کیا جاتا ہے، اس بات پر غور کرتے ہوئے کہ اندرونی عمل بہتر بنانے کے لیے مختلف ماڈلز کی جانچ کر رہا ہے (ترقیاتی سیٹ کے طور پر ٹیسٹ سیٹ) اور حتمی ماڈل وہ ہے جس کی حقیقی استعمال سے پہلے توثیق کرنے کی ضرورت ہے۔ ایک غیر مرئی ڈیٹا (توثیق سیٹ) کے ساتھ۔ مشین لرننگ پر ادب اکثر 'توثیق' اور 'ٹیسٹ' سیٹوں کے معنی کو الٹ دیتا ہے۔ یہ مصنوعی ذہانت کی تحقیق میں پھیلی اصطلاحاتی الجھن کی سب سے واضح مثال ہے۔ " بہر حال، اہم تصور جسے برقرار رکھنا ضروری ہے وہ یہ ہے کہ حتمی سیٹ، چاہے اسے ٹیسٹ کہا جائے یا توثیق، صرف حتمی تجربے میں استعمال کیا جانا چاہیے۔ کراس توثیق زیادہ مستحکم نتائج حاصل کرنے اور تربیت کے لیے تمام قیمتی ڈیٹا کو استعمال کرنے کے لیے، ڈیٹا سیٹ کو بار بار کئی ٹریننگ اور توثیق ڈیٹا سیٹس میں تقسیم کیا جا سکتا ہے۔ اسے کراس ویلڈیشن کہا جاتا ہے۔ ماڈل کی کارکردگی کی تصدیق کے لیے، عام طور پر کراس ویلڈیشن سے باہر رکھا گیا ایک اضافی ٹیسٹ ڈیٹا سیٹ استعمال کیا جاتا ہے۔ مشین لرننگ ریسرچ کے لیے ڈیٹا سیٹس کی شماریاتی درجہ بندی کی فہرست بھی دیکھیں۔ درجہ بندی حوالہ جات ڈیٹا سیٹس ان مشین لرننگ ویلڈیٹی (شماریات)