Backtracking line search
(غیر محدود) ریاضیاتی اصلاح میں، بیک ٹریکنگ لائن سرچ ایک لائن سرچ کا طریقہ ہے جو کسی دی گئی تلاش کی سمت میں جانے کے لیے رقم کا تعین کرتا ہے۔ اس کے استعمال کے لیے ضروری ہے کہ آبجیکٹیو فنکشن تفریق پذیر ہو اور اس کا میلان معلوم ہو۔ اس طریقہ کار میں لائن سرچ کی سمت کے ساتھ حرکت کے لیے قدم کے سائز کے نسبتا بڑے تخمینے سے شروع کرنا، اور قدم کے سائز کو بار بار سکڑنا (یعنی "بیک ٹریکنگ") شامل ہے جب تک کہ آبجیکٹیو فنکشن میں کمی کا مشاہدہ نہیں کیا جاتا ہے جو قدم کے سائز اور آبجیکٹیو فنکشن کے مقامی میلان کی بنیاد پر متوقع کمی کی مقدار سے مناسب طور پر مطابقت رکھتا ہے۔ رکنے کا ایک عام معیار آرمیجو-گولڈسٹین حالت ہے۔ بیک ٹریکنگ لائن سرچ عام طور پر گریڈینٹ ڈیسنٹ (جی ڈی) کے لیے استعمال ہوتی ہے، لیکن اسے دوسرے سیاق و سباق میں بھی استعمال کیا جا سکتا ہے۔ مثال کے طور پر، اسے نیوٹن کے طریقہ کار کے ساتھ استعمال کیا جا سکتا ہے اگر ہیسیئن میٹرکس مثبت قطعی ہو۔ محرک ایک ابتدائی پوزیشن اور تلاش کی سمت کو دیکھتے ہوئے، لائن سرچ کا کام ایک قدم کے سائز کا تعین کرنا ہے جو معروضی فنکشن کو کافی حد تک کم کر دیتا ہے (فرض کیا جاتا ہے کہ یعنی۔ مسلسل تفریق پذیر)، یعنی، اس کی قیمت تلاش کرنے کے لیے جو اس کے مقابلے میں کم ہو جاتی ہے۔ تاہم، یہ عام طور پر ناپسندیدہ ہے کہ مناسب طریقے سے کم کرنے کی قیمت تلاش کرنے کے لیے خاطر خواہ وسائل کو وقف کیا جائے۔ اس کی وجہ یہ ہے کہ ایک مخصوص سمت کے ساتھ زیادہ درست کم از کم تلاش کرنے کے لیے درکار کمپیوٹنگ وسائل کو بہتر تلاش کی سمت کی شناخت کے لیے استعمال کیا جا سکتا ہے۔ ایک بار جب لائن سرچ کے ذریعے ایک بہتر نقطہ آغاز کی نشاندہی ہو جاتی ہے، تو اس کے بعد ایک اور لائن سرچ عام طور پر ایک نئی سمت میں کی جائے گی۔ اس کے بعد، مقصد صرف اس قدر کی نشاندہی کرنا ہے جو آبجیکٹیو فنکشن میں معقول مقدار میں بہتری فراہم کرتی ہے، بجائے اس کے کہ اس کی اصل کم سے کم قیمت تلاش کی جائے۔ بیک ٹریکنگ لائن سرچ ایک بڑے تخمینے کے ساتھ شروع ہوتی ہے اور اسے بار بار سکڑتی ہے۔ سکڑنا اس وقت تک جاری رہتا ہے جب تک کہ کوئی ایسی قدر نہ مل جائے جو معروضی فنکشن میں کمی فراہم کرنے کے لیے کافی چھوٹی ہو جو مقامی فنکشن میلان کی بنیاد پر حاصل ہونے والی متوقع کمی سے مناسب طور پر میل کھاتی ہو۔ تلاش کی سمت کے ساتھ فنکشن کی مقامی ڈھلوان کی وضاحت کریں (جہاں ڈاٹ پروڈکٹ کی نشاندہی ہوتی ہے)۔ یہ فرض کیا جاتا ہے کہ یہ ایک ویکٹر ہے جس کے لیے کچھ مقامی کمی ممکن ہے، یعنی یہ فرض کیا جاتا ہے کہ۔ ایک منتخب کنٹرول پیرامیٹر کی بنیاد پر، آرمیجو-گولڈسٹین حالت اس بات کی جانچ کرتی ہے کہ آیا موجودہ پوزیشن سے ترمیم شدہ پوزیشن کی طرف قدم وار حرکت معروضی فنکشن میں مناسب طور پر اسی طرح کی کمی حاصل کرتی ہے۔ شرط پوری ہو گئی ہے، دیکھیں، اگر یہ شرط، جب لائن سرچ کے حصے کے طور پر مناسب طریقے سے استعمال کی جاتی ہے، تو اس بات کو یقینی بناتی ہے کہ قدم کا سائز زیادہ بڑا نہیں ہے۔ تاہم، یہ شرط اپنے آپ میں اس بات کو یقینی بنانے کے لیے کافی نہیں ہے کہ قدم کا سائز تقریبا زیادہ سے زیادہ ہو، کیونکہ اس کی کوئی بھی قیمت کافی حد تک چھوٹی ہو تو وہ شرط کو پورا کرے گی۔ اس طرح، بیک ٹریکنگ لائن سرچ کی حکمت عملی نسبتا بڑے قدم کے سائز سے شروع ہوتی ہے، اور بار بار اسے ایک عنصر سے سکڑتی ہے جب تک کہ آرمیجو-گولڈسٹین کی شرط پوری نہ ہو جائے۔ تلاش 1 سے کم کی کسی بھی مثبت اقدار کے لیے مراحل کی ایک محدود تعداد کے بعد ختم ہو جائے گی۔ مثال کے طور پر، آرمیجو اور ان دونوں کے لیے استعمال ہوتا ہے۔ الگورتھم یہ حالت سے ہے۔ زیادہ سے زیادہ امیدوار قدم سائز کی قیمت سے شروع کرتے ہوئے، سرچ کنٹرول پیرامیٹرز کا استعمال کرتے ہوئے اور بیک ٹریکنگ لائن سرچ الگورتھم کا اظہار اس طرح کیا جا سکتا ہے: سیٹ اور تکرار کاؤنٹر۔ جب تک شرط پوری نہ ہو جائے کہ بار بار اضافہ کریں اور حل کے طور پر ریٹرن سیٹ کریں۔ دوسرے لفظوں میں، ہر تکرار میں ایک عنصر سے کم کریں جب تک کہ آرمیجو-گولڈسٹین شرط پوری نہ ہو جائے۔ عملی طور پر بیک ٹریکنگ لائن سرچ کا استعمال کرتے ہوئے فنکشن کو کم سے کم کرنا عملی طور پر، مندرجہ بالا الگورتھم کو عام طور پر ایک ترتیب تیار کرنے کے لیے دہرایا جاتا ہے، کم سے کم کنورج کرنے کے لیے، بشرطیکہ ایسا کم سے کم موجود ہو اور ہر مرحلے میں مناسب طریقے سے منتخب کیا جائے۔ گریڈینٹ ڈیسنٹ کے لیے، کے طور پر منتخب کیا جاتا ہے۔ آرمیجو-گولڈسٹین شرط کو پورا کرنے والے کی قیمت اور پر منحصر ہے، اور اس طرح اسے ذیل میں اس کے ذریعہ ظاہر کیا گیا ہے۔ یہ اس پر بھی منحصر ہے، اور یقینا، اگرچہ ان انحصار کو مضمر چھوڑ دیا جا سکتا ہے اگر یہ فرض کیا جائے کہ وہ اصلاح کے مسئلے کے حوالے سے طے شدہ ہیں۔ تفصیلی مراحل اس طرح ہیں، دیکھیں،: ایک ابتدائی نقطہ آغاز کا انتخاب کریں اور تکرار کاؤنٹر سیٹ کریں۔ جب تک کہ کچھ رکنے کی شرط پوری نہ ہو جائے، نزول کی سمت کا انتخاب کریں، پوزیشن کو اپ ڈیٹ کریں، اور اضافہ کریں۔ کم سے کم پوزیشن کے طور پر اور کم سے کم فنکشن کے طور پر واپس جائیں۔ اچھے رویے کو یقینی بنانے کے لیے، یہ ضروری ہے کہ کچھ شرائط کو پورا کیا جائے۔ تقریبا بولنا اس سے بہت دور نہیں ہونا چاہیے۔ ایک عین مطابق ورژن مندرجہ ذیل ہے (مثال کے طور پر دیکھیں۔ )۔ مستقل ہوتے ہیں تاکہ درج ذیل دو شرائط پوری ہوں: تمام n کے لیے،۔ یہاں، کا یوکلیڈین معیار ہے۔ (یہ یقین دلاتا ہے کہ اگر، تو بھی۔ زیادہ عام طور پر، اگر، پھر بھی۔) ایک زیادہ سخت ورژن کے لیے الٹا عدم مساوات کی بھی ضرورت ہوتی ہے: ایک مثبت مستقل کے لیے۔ تمام این کے لیے۔ (یہ شرط اس بات کو یقینی بناتی ہے کہ کی اور کی سمتیں ایک جیسی ہوں۔) سیکھنے کی شرحوں کے لیے کم پابند یہ اس سوال کو حل کرتا ہے کہ آیا مثبت نمبر تلاش کرنے کا کوئی منظم طریقہ ہے-فنکشن f، نقطہ اور نزول کی سمت پر منحصر ہے-تاکہ سیکھنے کی تمام شرحیں ارمیجو کی حالت کو پورا کریں۔ کب، ہم اس ترتیب میں انتخاب کر سکتے ہیں کہ نقطہ کے قریب میلان کے لیے مقامی لپشٹز مستقل کہاں ہے (لپشٹز تسلسل دیکھیں)۔ اگر فنکشن ہے، تو نقطہ پر فنکشن کے ہیسیئن کے قریب ہے۔ مزید تفصیل کے لیے دیکھیں۔ سیکھنے کی شرحوں کے لیے بالائی حد اسی صورت حال میں جہاں، ایک دلچسپ سوال یہ ہے کہ ارمیجو کی حالت میں سیکھنے کی بڑی شرحوں کا انتخاب کیسے کیا جا سکتا ہے (یعنی، جب کسی کی کوئی حد نہیں ہے جیسا کہ سیکشن میں بیان کیا گیا ہے "عملی طور پر بیک ٹریکنگ لائن سرچ کا استعمال کرتے ہوئے فنکشن کو کم سے کم کرنا")، کیونکہ سیکھنے کی بڑی شرح جب حد کے قریب ہوتی ہے (اگر موجود ہو) تو کنورجنس کو تیز کر سکتی ہے۔ مثال کے طور پر، وولف کے حالات میں، اس کا کوئی ذکر نہیں ہے لیکن ایک اور حالت متعارف کرائی گئی ہے جسے منحنی حالت کہا جاتا ہے۔ سیکھنے کی شرحوں کے لیے ایک اوپری حد موجود دکھائی دیتی ہے اگر کوئی چاہتا ہے کہ تعمیر شدہ ترتیب ایک غیر انحطاط پذیر اہم نقطہ پر یکجا ہو جائے، دیکھیں: سیکھنے کی شرحوں کو اوپر سے تقریبا اس سے محدود ہونا چاہیے۔ یہاں H حد نقطہ پر فنکشن کا ہیسیئن ہے، اس کا الٹا ہے، اور لکیری آپریٹر کا معیار ہے۔ اس طرح، یہ نتیجہ مثال کے طور پر لاگو ہوتا ہے جب کوئی مورس افعال کے لیے بیک ٹریکنگ لائن سرچ کا استعمال کرتا ہے۔ نوٹ کریں کہ طول و عرض 1 میں، ایک عدد ہے اور اس لیے یہ اوپری حد اسی سائز کی ہے جو "سیکھنے کی شرحوں کے لیے نچلی حد" کے حصے میں ہے۔ دوسری طرف، اگر حد نقطہ انحطاط پذیر ہے، تو سیکھنے کی شرح بے حد ہو سکتی ہے۔ مثال کے طور پر، بیک ٹریکنگ لائن سرچ کی ترمیم جسے ان باؤنڈ بیک ٹریکنگ گریڈینٹ ڈیسنٹ کہا جاتا ہے (دیکھیں) سیکھنے کی شرح کو نصف سائز کی اجازت دیتا ہے، جہاں مستقل ہے۔ سادہ افعال کے ساتھ تجربات جیسے کہ یہ ظاہر کرتے ہیں کہ غیر محدود بیک ٹریکنگ گریڈینٹ نزول "عملی طور پر بیک ٹریکنگ لائن سرچ کا استعمال کرتے ہوئے فنکشن منیمائزیشن" سیکشن میں بیان کردہ بنیادی ورژن کے مقابلے میں بہت تیزی سے یکجا ہوتا ہے۔ وقت کی کارکردگی بیک ٹریکنگ لائن سرچ کے استعمال کے خلاف ایک دلیل، خاص طور پر بڑے پیمانے پر اصلاح میں، یہ ہے کہ ارمیجو کی حالت کو مطمئن کرنا مہنگا ہے۔ اچھی نظریاتی ضمانتوں کے ساتھ گھومنے پھرنے کا ایک طریقہ (نام نہاد دو طرفہ بیک ٹریکنگ) ہے اور گہرے عصبی نیٹ ورکس پر اچھے نتائج کے ساتھ اس کا تجربہ کیا گیا ہے، دیکھیں۔ (وہاں، کوئی بھی ارمیجو کی حالت کے اچھے/مستحکم نفاذ اور کچھ مقبول الگورتھم جیسے مومنٹم اور این اے جی کے ساتھ اس کے امتزاج کو سیفار 10 اور سیفار 100 جیسے ڈیٹا سیٹس پر بھی تلاش کر سکتا ہے۔) کوئی مشاہدہ کرتا ہے کہ اگر ترتیب یکجا ہوتی ہے (جیسا کہ جب کوئی تکراری اصلاح کا طریقہ استعمال کرتا ہے)، تو جب n کافی بڑا ہو تو سیکھنے کی شرحوں کی ترتیب میں بہت کم فرق ہونا چاہیے۔ لہذا، تلاش میں، اگر کوئی ہمیشہ شروع کرتا ہے، تو کوئی بہت وقت ضائع کرے گا اگر یہ پتہ چلتا ہے کہ ترتیب اس سے بہت دور ہے۔ اس کے بجائے، کسی کو شروع سے تلاش کرنا چاہیے۔ دوسرا مشاہدہ یہ ہے کہ یہ اس سے بڑا ہو سکتا ہے، اور اس لیے کسی کو سیکھنے کی شرح بڑھانے کی اجازت دینی چاہیے (اور نہ صرف سیکشن الگورتھم کی طرح کم ہونا چاہیے)۔ یہاں دو طرفہ بیک ٹریکنگ کے لیے تفصیلی الگورتھم ہے: مرحلہ n سیٹ پر۔ سیٹ اور تکرار کاؤنٹر۔ (اگر ارمیجو کی حالت مطمئن ہے تو سیکھنے کی شرح میں اضافہ کریں۔) اگر، پھر جب کہ یہ شرط اور وہ شرط جو مطمئن ہیں، بار بار سیٹ کریں اور جے میں اضافہ کریں۔ (بصورت دیگر، اگر ارمیجو کی حالت مطمئن نہیں ہے تو سیکھنے کی شرح کو کم کریں۔) اگر اس کے برعکس، تو جب تک شرط پوری نہ ہو جائے کہ بار بار اضافہ کریں اور سیکھنے کی شرح کے لیے ریٹرن سیٹ کریں۔ (اوپر 1)، 3) اور 4 کے ساتھ ایک الگورتھم کی تفصیل مل سکتی ہے، جس کا حوالہ شدہ کاغذ سے پہلے ڈیپ نیورل نیٹ ورکس میں تجربہ نہیں کیا گیا تھا۔) دو طرفہ بیک ٹریکنگ اور بنیادی معیاری گریڈینٹ ڈیسنٹ الگورتھم کے درمیان ہائبرڈ مرکب کے ذریعے وقت کی مزید بچت کی جا سکتی ہے۔ اس طریقہ کار میں اچھی نظریاتی ضمانت اور اچھی جانچ کی کارکردگی بھی ہے۔ تقریبا بولتے ہوئے، ہم چند بار دو طرفہ بیک ٹریکنگ چلاتے ہیں، پھر سیکھنے کی شرح کا استعمال کرتے ہیں جو ہمیں اس کے بعد سے ملتی ہے بغیر کسی تبدیلی کے، سوائے اس کے کہ فنکشن ویلیو میں اضافہ ہو۔ یہاں بالکل واضح ہے کہ یہ کیسے کیا جاتا ہے۔ پہلے سے ایک نمبر اور ایک نمبر کا انتخاب کریں۔ تکرار کاؤنٹر ج = 0 سیٹ کریں۔ مراحل پر، دو طرفہ بیک ٹریکنگ کا استعمال کریں۔ سیٹ میں ہر قدم k پر: سیٹ کریں۔ اگر، پھر منتخب کریں اور۔ (لہذا، اس صورت میں، بغیر کسی تبدیلی کے سیکھنے کی شرح کا استعمال کریں۔) ورنہ، اگر، تو دو طرفہ بیک ٹریکنگ کا استعمال کریں۔ k کو 1 سے بڑھائیں اور دہرائیں۔ جے میں 1 کا اضافہ کریں۔ نظریاتی ضمانت (میلان کے نزول کے لیے) وولف کے حالات کے مقابلے میں، جو کہ زیادہ پیچیدہ ہے، ارمیجو کی حالت کی بہتر نظریاتی ضمانت ہے۔ درحقیقت، اب تک بیک ٹریکنگ لائن سرچ اور اس کی تبدیلیاں تمام عددی اصلاح کے الگورتھم میں سب سے زیادہ نظریاتی طور پر ضمانت شدہ طریقے ہیں جو اہم نکات میں ہم آہنگی اور سیڈل پوائنٹس سے بچنے سے متعلق ہیں، ذیل میں دیکھیں۔ تنقیدی نکات وہ نکات ہوتے ہیں جہاں معروضی فعل کا میلان 0 ہوتا ہے۔ مقامی منیما اہم نکات ہیں، لیکن ایسے اہم نکات ہیں جو مقامی منیما نہیں ہیں۔ ایک مثال سیڈل پوائنٹس ہیں۔ سیڈل پوائنٹس اہم نکات ہوتے ہیں، جن پر کم از کم ایک سمت ہوتی ہے جہاں فنکشن (مقامی) زیادہ سے زیادہ ہوتا ہے۔ لہذا، یہ نکات مقامی منیما ہونے سے دور ہیں۔ مثال کے طور پر، اگر کسی فنکشن میں کم از کم ایک سیڈل پوائنٹ ہے، تو وہ کنویکس نہیں ہو سکتا۔ اصلاح کے الگورتھم کے لیے سیڈل پوائنٹس کی مطابقت یہ ہے کہ بڑے پیمانے پر (یعنی۔ اعلی جہتی) اصلاح، ممکنہ طور پر منیما سے زیادہ سیڈل پوائنٹس نظر آتے ہیں، دیکھیں۔ لہذا، ایک اچھا اصلاحاتی الگورتھم سیڈل پوائنٹس سے بچنے کے قابل ہونا چاہیے۔ گہری سیکھنے کی ترتیب میں، سیڈل پوائنٹس بھی رائج ہیں، دیکھیں۔ اس طرح، گہری تعلیم میں لاگو کرنے کے لیے، کسی کو غیر کنویکس افعال کے لیے نتائج کی ضرورت ہوتی ہے۔ اہم نکات پر ہم آہنگی کے لیے: مثال کے طور پر، اگر لاگت فنکشن ایک حقیقی تجزیاتی فنکشن ہے، تو یہ اس میں دکھایا جاتا ہے کہ ہم آہنگی کی ضمانت ہے۔ بنیادی خیال یہ ہے کہ لاجاسیویکس عدم مساوات کا استعمال کیا جائے جس سے حقیقی تجزیاتی فعل لطف اندوز ہوتا ہے۔ لاجاسویچز عدم مساوات کو مطمئن کرنے والے غیر ہموار افعال کے لیے، مندرجہ بالا کنورجنس گارنٹی میں توسیع کی گئی ہے، دیکھیں۔ اس میں، اس بات کا ثبوت موجود ہے کہ بیک ٹریکنگ لائن سرچ کے ذریعے بنائے گئے ہر ترتیب کے لیے، ایک کلسٹر پوائنٹ (یعنی۔ ایک تسلسل کی حد، اگر تسلسل یکجا ہوتا ہے) ایک اہم نقطہ ہے۔ کسی فنکشن کے معاملے میں جس میں زیادہ سے زیادہ قابل شمار اہم نکات (جیسے مورس فنکشن) اور کمپیکٹ ذیلی سطحوں کے ساتھ ساتھ لپشٹز مسلسل میلان کے ساتھ جہاں کوئی سیکھنے کی شرح <1/L کے ساتھ معیاری جی ڈی کا استعمال کرتا ہے (سیکشن "اسٹوچسٹک میلان نزول" دیکھیں)، پھر ہم آہنگی کی ضمانت دی جاتی ہے، مثال کے طور پر باب 12 میں دیکھیں۔ یہاں کمپیکٹ ذیلی سطحوں کے بارے میں مفروضہ یہ یقینی بنانا ہے کہ کوئی صرف یوکلڈین اسپیس کے کمپیکٹ سیٹوں سے نمٹتا ہے۔ عام صورت میں، جہاں صرف فرض کیا جاتا ہے اور زیادہ سے زیادہ قابل شمار بہت سے اہم نکات ہوتے ہیں، کنورجنس کی ضمانت دی جاتی ہے، دیکھیں۔ اسی حوالہ میں، بیک ٹریکنگ لائن سرچ کی دیگر ترامیم کے لیے اسی طرح کنورجنس کی ضمانت دی جاتی ہے (جیسے کہ "سیکھنے کی شرحوں کے لیے اپر باؤنڈ" سیکشن میں مذکور ان باؤنڈڈ بیک ٹریکنگ گریڈینٹ ڈیسنٹ)، اور یہاں تک کہ اگر فنکشن میں بے شمار بہت سے اہم نکات ہیں پھر بھی کنورجنس رویے کے بارے میں کچھ غیر معمولی حقائق کا اندازہ لگایا جا سکتا ہے۔ اسٹوکاسٹک ترتیب میں، اسی مفروضے کے تحت کہ گریڈینٹ لپشٹز مسلسل ہے اور کوئی بھی سیکھنے کی شرح میں کمی کی اسکیم کا ایک زیادہ پابند ورژن استعمال کرتا ہے (اس کے علاوہ اس بات کی ضرورت ہوتی ہے کہ سیکھنے کی شرحوں کا مجموعہ لامحدود ہو اور سیکھنے کی شرحوں کے مربعوں کا مجموعہ محدود ہو) اور اس کے علاوہ فنکشن سختی سے کنویکس ہے، پھر معروف نتیجہ میں کنورجنس قائم ہوتی ہے، کم ہوتی ہوئی سیکھنے کی شرح اسکیم کے کم پابند ورژن کو عام کرنے کے لیے دیکھیں۔ ان میں سے کوئی بھی نتیجہ (غیر کنویکس افعال کے لیے) اب تک کسی دوسرے اصلاحاتی الگورتھم کے لیے ثابت نہیں ہوا ہے۔ سیڈل پوائنٹس سے بچنے کے لیے: مثال کے طور پر، اگر لاگت فنکشن کا میلان لپشٹز مسلسل ہے اور کوئی سیکھنے کی شرح <1/L کے ساتھ معیاری جی ڈی کا انتخاب کرتا ہے، تو ابتدائی پوائنٹ کے بے ترتیب انتخاب کے ساتھ (زیادہ واضح طور پر، لیبسگیو پیمائش صفر کے سیٹ کے باہر)، تعمیر شدہ ترتیب غیر انحطاط شدہ سیڈل پوائنٹ (ثابت شدہ) میں تبدیل نہیں ہوگی، اور زیادہ عام طور پر یہ بھی سچ ہے کہ تعمیر شدہ ترتیب انحطاط شدہ سیڈل پوائنٹ (ثابت شدہ) میں تبدیل نہیں ہوگی۔ اسی مفروضے کے تحت کہ میلان لپشٹز مسلسل ہے اور کوئی کم ہوتی ہوئی سیکھنے کی شرح اسکیم کا استعمال کرتا ہے (سیکشن "اسٹوچسٹک میلان نزول" دیکھیں)، پھر سیڈل پوائنٹس سے بچنا قائم کیا جاتا ہے۔ ایک خاص معاملہ: (معیاری) سٹوچسٹک گریڈیئنٹ ڈیسنٹ (ایس جی ڈی) اگرچہ یہ ذکر کرنا معمولی بات ہے، اگر کسی لاگت فنکشن کا گریڈیئنٹ لپشٹز مسلسل ہے، لپشٹز مستقل ایل کے ساتھ، تو سیکھنے کی شرح کو مستقل اور سائز کا منتخب کرنے کے ساتھ، بیک ٹریکنگ لائن سرچ (گریڈیئنٹ ڈیسنٹ کے لیے) کا ایک خاص معاملہ ہوتا ہے۔ یہ کم از کم میں استعمال کیا گیا ہے. تاہم اس اسکیم کے لیے ضروری ہے کہ کسی کے پاس ایل کے لیے ایک اچھا تخمینہ ہو، بصورت دیگر اگر سیکھنے کی شرح بہت زیادہ ہے (1/ایل کے مقابلے میں) تو اس اسکیم میں ہم آہنگی کی کوئی ضمانت نہیں ہے۔ کوئی یہ دیکھ سکتا ہے کہ اگر لاگت فنکشن فنکشن f (t) = |t | کا ہموار (نقطہ 0 کے قریب) ہے تو کیا غلط ہوگا۔ تاہم، اس طرح کا ایک اچھا تخمینہ بڑی جہتوں میں مشکل اور محنت طلب ہے۔ نیز، اگر فنکشن کا میلان عالمی سطح پر لپشٹز مسلسل نہیں ہے، تو اس اسکیم میں کنورجنس کی کوئی ضمانت نہیں ہے۔ مثال کے طور پر، یہ لاگت فنکشن کے لیے ایک مشق سے ملتا جلتا ہے اور جو بھی مستقل سیکھنے کی شرح کوئی بھی منتخب کرتا ہے، بے ترتیب ابتدائی نقطہ کے ساتھ اس خصوصی اسکیم کے ذریعے بنائی گئی ترتیب عالمی کم از کم 0 میں تبدیل نہیں ہوتی ہے۔ اگر کسی کو اس شرط کی پرواہ نہیں ہے کہ سیکھنے کی شرح 1/ایل سے محدود ہونی چاہیے، تو یہ خصوصی اسکیم بہت پرانی ہے، کم از کم 1847 سے کاچی کے ذریعہ، جسے معیاری جی ڈی کہا جا سکتا ہے (اسٹوچسٹک گریڈینٹ نزول کے ساتھ الجھن میں نہ پڑنا، جسے یہاں ایس جی ڈی کے طور پر مختصر کیا گیا ہے)۔ اسٹوکاسٹک ترتیب میں (جیسے ڈیپ لرننگ میں منی بیچ کی ترتیب میں)، معیاری جی ڈی کو اسٹوکاسٹک گریڈینٹ ڈیسنٹ، یا ایس جی ڈی کہا جاتا ہے۔ یہاں تک کہ اگر لاگت فنکشن میں عالمی سطح پر مسلسل میلان ہے، گہرے عصبی نیٹ ورک کے بہت زیادہ طول و عرض کو دیکھتے ہوئے، گہری تعلیم میں لاگت کے افعال کے لیے لپشٹز مستقل کا اچھا تخمینہ ممکن یا مطلوب نہیں ہو سکتا ہے۔ لہذا، معیاری جی ڈی یا ایس جی ڈی کو لاگو کرنے میں سیکھنے کی شرحوں کو ٹھیک کرنے کی ایک تکنیک ہے۔ ایک طریقہ یہ ہے کہ گرڈ سرچ سے سیکھنے کی بہت سی شرحوں کا انتخاب کیا جائے، اس امید کے ساتھ کہ سیکھنے کی کچھ شرحیں اچھے نتائج دے سکتی ہیں۔ (تاہم، اگر لاس فنکشن میں گلوبل لپشٹز مسلسل میلان نہیں ہے، تو اوپر کی مثال سے پتہ چلتا ہے کہ گرڈ سرچ مدد نہیں کر سکتی۔) ایک اور طریقہ نام نہاد انکولی معیاری جی ڈی یا ایس جی ڈی ہے، کچھ نمائندے ایڈم، اڈڈیلٹا، آر ایم ایس پروپ وغیرہ ہیں، اسٹوچسٹک گریڈینٹ نزول پر مضمون دیکھیں۔ انکولی معیاری جی ڈی یا ایس جی ڈی میں، سیکھنے کی شرحوں کو ہر تکرار مرحلے n پر مختلف ہونے کی اجازت ہے، لیکن گریڈینٹ نزول کے لیے بیک ٹریکنگ لائن سرچ سے مختلف انداز میں۔ بظاہر، گریڈینٹ ڈیسنٹ کے لیے بیک ٹریکنگ لائن سرچ کا استعمال کرنا زیادہ مہنگا ہوگا، کیونکہ کسی کو اس وقت تک لوپ سرچ کرنے کی ضرورت ہے جب تک کہ آرمیجو کی حالت مطمئن نہ ہو جائے، جبکہ انکولی معیاری جی ڈی یا ایس جی ڈی کے لیے کسی لوپ سرچ کی ضرورت نہیں ہے۔ ان میں سے زیادہ تر انکولی معیاری جی ڈی یا ایس جی ڈی کے پاس نزول کی خاصیت نہیں ہے، تمام این کے لیے، جیسا کہ گریڈینٹ نزول کے لیے بیک ٹریکنگ لائن سرچ ہے۔ صرف چند ہی لوگوں کے پاس یہ خاصیت ہے، اور جن میں اچھی نظریاتی خصوصیات ہیں، لیکن وہ بیک ٹریکنگ لائن سرچ یا زیادہ عام طور پر آرمیجو کی حالت کے خاص معاملات ثابت ہوتے ہیں۔ پہلا یہ ہے کہ جب کوئی سیکھنے کی شرح کو مستقل <1/L کے طور پر منتخب کرتا ہے، جیسا کہ اوپر بتایا گیا ہے، اگر کوئی L کا اچھا تخمینہ لگا سکتا ہے۔ دوسرا نام نہاد کم ہوتی ہوئی سیکھنے کی شرح ہے، جسے معروف مقالے میں استعمال کیا جاتا ہے، اگر دوبارہ فنکشن میں عالمی سطح پر Lipschitz مسلسل میلان ہے (لیکن Lipschitz مستقل نامعلوم ہو سکتا ہے) اور سیکھنے کی شرح 0 پر یکجا ہو جاتی ہے۔ خلاصہ خلاصہ، بیک ٹریکنگ لائن سرچ (اور اس کی تبدیلیاں) ایک ایسا طریقہ ہے جسے نافذ کرنا آسان ہے، بہت عام افعال کے لیے لاگو ہوتا ہے، اس کی بہت اچھی نظریاتی ضمانت ہوتی ہے (اہم نکات پر ہم آہنگی اور سیڈل پوائنٹس سے بچنے دونوں کے لیے) اور عملی طور پر اچھی طرح سے کام کرتا ہے۔ کئی دوسرے طریقے جن کی اچھی نظریاتی ضمانت ہوتی ہے، جیسے کہ سیکھنے کی شرح میں کمی یا سیکھنے کی شرح <1/L کے ساتھ معیاری GD-دونوں کے لیے معروضی فنکشن کے میلان کو لپشٹز مسلسل ہونا ضروری ہے، یہ بیک ٹریکنگ لائن سرچ کا ایک خاص معاملہ ثابت ہوتا ہے یا آرمیجو کی حالت کو پورا کرتا ہے۔ اگرچہ کسی ترجیحی شخص کو اس طریقہ کو لاگو کرنے کے لیے لاگت فنکشن کو مسلسل تفریق پذیر ہونے کی ضرورت ہوتی ہے، لیکن عملی طور پر کوئی بھی اس طریقہ کو ان افعال کے لیے بھی کامیابی سے لاگو کر سکتا ہے جو گھنے کھلے ذیلی سیٹ جیسے یا پر مسلسل تفریق پذیر ہوتے ہیں۔ گریڈیئنٹ ڈیسنٹ اسٹوچسٹک گریڈیئنٹ ڈیسنٹ وولف کنڈیشنز حوالہ جات ریاضیاتی اصلاح اصلاح الگورتھم اور طریقے بھی دیکھیں۔