Hyperparameter (machine learning)
مشین لرننگ میں، ہائپر پیرامیٹر ایک پیرامیٹر ہے جس کی قدر سیکھنے کے عمل کو کنٹرول کرنے کے لیے استعمال ہوتی ہے۔ اس کے برعکس، دیگر پیرامیٹرز (عام طور پر نوڈ وزن) کی اقدار تربیت کے ذریعے حاصل کی جاتی ہیں۔ ہائپر پیرامیٹرز کو ماڈل ہائپر پیرامیٹرز کے طور پر درجہ بند کیا جا سکتا ہے، جن کا ٹریننگ سیٹ پر مشین کو فٹ کرتے وقت اندازہ نہیں لگایا جا سکتا کیونکہ وہ ماڈل سلیکشن ٹاسک، یا الگورتھم ہائپر پیرامیٹرز کا حوالہ دیتے ہیں، جو اصولی طور پر ماڈل کی کارکردگی پر کوئی اثر نہیں ڈالتے لیکن سیکھنے کے عمل کی رفتار اور معیار کو متاثر کرتے ہیں۔ ماڈل ہائپر پیرامیٹر کی ایک مثال عصبی نیٹ ورک کی ٹوپولوجی اور سائز ہے۔ الگورتھم ہائپر پیرامیٹرز کی مثالیں سیکھنے کی شرح اور بیچ سائز کے ساتھ ساتھ منی بیچ سائز بھی ہیں۔ بیچ کا سائز مکمل ڈیٹا نمونے کا حوالہ دے سکتا ہے جہاں منی بیچ کا سائز ایک چھوٹا نمونہ سیٹ ہوگا۔ مختلف ماڈل ٹریننگ الگورتھم کے لیے مختلف ہائپر پیرامیٹرز کی ضرورت ہوتی ہے، کچھ سادہ الگورتھم (جیسے کہ عام کم سے کم مربع رجعت) کے لیے کسی کی ضرورت نہیں ہوتی ہے۔ ان ہائپر پیرامیٹرز کو دیکھتے ہوئے، ٹریننگ الگورتھم ڈیٹا سے پیرامیٹرز سیکھتا ہے۔ مثال کے طور پر، لاسو ایک الگورتھم ہے جو عام کم سے کم مربع رجعت میں ایک ریگولرائزیشن ہائپر پیرامیٹر کا اضافہ کرتا ہے، جسے ٹریننگ الگورتھم کے ذریعے پیرامیٹرز کا اندازہ لگانے سے پہلے سیٹ کرنا ہوتا ہے۔ غور کسی ماڈل کی تربیت اور جانچ کے لیے درکار وقت اس کے ہائپر پیرامیٹرز کے انتخاب پر منحصر ہو سکتا ہے۔ ہائپر پیرامیٹر عام طور پر مسلسل یا انٹیجر قسم کا ہوتا ہے، جس کی وجہ سے مخلوط قسم کی اصلاح کے مسائل پیدا ہوتے ہیں۔ کچھ ہائپر پیرامیٹرز کا وجود دوسروں کی قدر پر مشروط ہے، جیسے۔ عصبی نیٹ ورک میں ہر چھپی ہوئی پرت کا سائز تہوں کی تعداد پر مشروط ہو سکتا ہے۔ مشکل سیکھنے کے قابل پیرامیٹرز عام طور پر، لیکن ہمیشہ نہیں، ہائپر پیرامیٹرز کو معروف گریڈینٹ پر مبنی طریقوں (جیسے گریڈینٹ ڈیسنٹ، ایل بی ایف جی ایس) کا استعمال کرتے ہوئے نہیں سیکھا جا سکتا-جو عام طور پر پیرامیٹرز سیکھنے کے لیے استعمال ہوتے ہیں۔ یہ ہائپر پیرامیٹر وہ پیرامیٹرز ہیں جو ماڈل کی نمائندگی کو بیان کرتے ہیں جو عام اصلاح کے طریقوں سے نہیں سیکھے جا سکتے لیکن اس کے باوجود نقصان کی تقریب کو متاثر کرتے ہیں۔ سپورٹ ویکٹر مشینوں میں غلطیوں کے لیے ٹالرنس ہائپر پیرامیٹر ایک مثال ہوگی۔ غیر تربیت یافتہ پیرامیٹرز بعض اوقات، ہائپر پیرامیٹرز کو تربیتی ڈیٹا سے نہیں سیکھا جا سکتا کیونکہ وہ جارحانہ طور پر کسی ماڈل کی صلاحیت میں اضافہ کرتے ہیں اور نقصان کے فنکشن کو غیر مطلوبہ کم سے کم (ڈیٹا میں زیادہ فٹ ہونے اور شور اٹھانے) کی طرف دھکیل سکتے ہیں، جیسا کہ ڈیٹا میں ڈھانچے کی دولت کی صحیح نقشہ سازی کے برخلاف ہے۔ مثال کے طور پر، اگر ہم رجعت ماڈل کو فٹ کرنے والی کثیر الجہتی مساوات کی ڈگری کو قابل تربیت پیرامیٹر سمجھتے ہیں، تو ڈگری اس وقت تک بڑھے گی جب تک کہ ماڈل ڈیٹا کو مکمل طور پر فٹ نہ کر لے، جس سے کم تربیتی غلطی ہوتی ہے، لیکن عمومی کارکردگی خراب ہوتی ہے۔ زیادہ تر کارکردگی کی تغیرات کو صرف چند ہائپر پیرامیٹرز سے منسوب کیا جا سکتا ہے۔ کسی الگورتھم، ہائپر پیرامیٹر، یا انٹرایکٹنگ ہائپر پیرامیٹرز کی ٹیون ایبلٹی اس بات کی پیمائش ہے کہ اسے ٹیون کرکے کتنی کارکردگی حاصل کی جا سکتی ہے۔ ایل ایس ٹی ایم کے لیے، جب کہ سیکھنے کی شرح کے بعد نیٹ ورک کا سائز اس کے سب سے اہم ہائپر پیرامیٹر ہوتے ہیں، بیچنگ اور مومنٹم کا اس کی کارکردگی پر کوئی خاص اثر نہیں پڑتا ہے۔ اگرچہ کچھ تحقیقوں نے ہزاروں میں چھوٹے بیچ کے سائز کے استعمال کی وکالت کی ہے، لیکن دوسرے کام میں 2 اور 32 کے درمیان چھوٹے بیچ کے سائز کے ساتھ بہترین کارکردگی پائی گئی ہے۔ مضبوطی سیکھنے میں ایک موروثی اسٹاکاسٹی کا براہ راست مطلب یہ ہے کہ تجرباتی ہائپر پیرامیٹر کی کارکردگی ضروری نہیں کہ اس کی حقیقی کارکردگی ہو۔ ایسے طریقے جو ہائپر پیرامیٹرز، بے ترتیب بیجوں، یا یہاں تک کہ ایک ہی الگورتھم کے مختلف نفاذ میں سادہ تبدیلیوں کے لیے مضبوط نہیں ہیں، انہیں اہم آسان کاری اور مضبوطی کے بغیر مشن کریٹیکل کنٹرول سسٹم میں ضم نہیں کیا جا سکتا۔ کمک سیکھنے کے الگورتھم، خاص طور پر، بے ترتیب بیجوں کی ایک بڑی تعداد پر ان کی کارکردگی کی پیمائش کرنے اور ہائپر پیرامیٹرز کے انتخاب کے لیے ان کی حساسیت کی پیمائش کرنے کی ضرورت ہوتی ہے۔ بے ترتیب بیجوں کی ایک چھوٹی سی تعداد کے ساتھ ان کی تشخیص اعلی تغیر کی وجہ سے کارکردگی کو مناسب طریقے سے نہیں پکڑتی ہے۔ کمک سیکھنے کے کچھ طریقے، جیسے۔ ڈی ڈی پی جی (ڈیپ ڈیٹرمینیسٹک پالیسی گریڈینٹ)، دوسروں کے مقابلے میں ہائپر پیرامیٹر کے انتخاب کے لیے زیادہ حساس ہیں۔ آپٹیمائزیشن ہائپر پیرامیٹر آپٹیمائزیشن ہائپر پیرامیٹرز کا ایک ٹپل ڈھونڈتی ہے جو ایک بہترین ماڈل پیش کرتا ہے جو دیئے گئے ٹیسٹ ڈیٹا پر پہلے سے طے شدہ نقصان کی تقریب کو کم کرتا ہے۔ آبجیکٹیو فنکشن ہائپر پیرامیٹرز کا ایک ٹپل لیتا ہے اور متعلقہ نقصان کو واپس کرتا ہے۔ پنروتپادن ہائپر پیرامیٹرز کو ٹیون کرنے کے علاوہ، مشین لرننگ میں پیرامیٹرز اور نتائج کو ذخیرہ کرنا اور منظم کرنا، اور اس بات کو یقینی بنانا شامل ہے کہ وہ دوبارہ پیش کیے جا سکیں۔ اس مقصد کے لیے مضبوط بنیادی ڈھانچے کی عدم موجودگی میں، تحقیقی ضابطہ اکثر تیزی سے تیار ہوتا ہے اور حساب کتاب اور تولیدی صلاحیت جیسے ضروری پہلوؤں سے سمجھوتہ کرتا ہے۔ مشین لرننگ کے لیے آن لائن تعاون کے پلیٹ فارم سائنسدانوں کو تجربات، ڈیٹا اور الگورتھم کو خود بخود شیئر کرنے، منظم کرنے اور ان پر تبادلہ خیال کرنے کی اجازت دے کر آگے بڑھتے ہیں۔ گہری سیکھنے کے نمونوں کے لیے تولیدی صلاحیت خاص طور پر مشکل ہو سکتی ہے۔ ہائپر ہیورسٹک ریپلیکیشن بحران حوالہ جات مشین لرننگ ماڈل کا انتخاب بھی دیکھیں۔