Coordinate descent
کوآرڈینیٹ ڈیسنٹ ایک آپٹیمائزیشن الگورتھم ہے جو کم سے کم فنکشن تلاش کرنے کے لیے کوآرڈینیٹ سمتوں کے ساتھ ساتھ کم سے کم کرتا ہے۔ ہر تکرار پر، الگورتھم ایک کوآرڈینیٹ سلیکشن رول کے ذریعے ایک کوآرڈینیٹ یا کوآرڈینیٹ بلاک کا تعین کرتا ہے، پھر دوسرے تمام کوآرڈینیٹ یا کوآرڈینیٹ بلاکس کو فکس کرتے ہوئے متعلقہ کوآرڈینیٹ ہائپرپلین پر بالکل یا غیر واضح طور پر کم سے کم کرتا ہے۔ مناسب قدم کے سائز کا تعین کرنے کے لیے موجودہ تکرار پر مربوط سمت کے ساتھ لائن سرچ کی جا سکتی ہے۔ مربوط نزول تفریق پذیر اور مشتق سے پاک دونوں سیاق و سباق میں لاگو ہوتا ہے۔ کوآرڈینیٹ ڈیسنٹ اس خیال پر مبنی ہے کہ ملٹی ویری ایبل فنکشن کو ایک وقت میں ایک سمت کے ساتھ کم سے کم کرکے حاصل کیا جاسکتا ہے، یعنی لوپ میں غیر متغیر (یا کم از کم بہت آسان) اصلاح کے مسائل کو حل کرنا۔ سائیکلک کوآرڈینیٹ نزول کے آسان ترین معاملے میں، ایک وقت میں ہر ایک کوآرڈینیٹ سمت کے حوالے سے معروضی فنکشن کو کم سے کم کرتے ہوئے، ایک وقت میں ایک، سائکلک طور پر سمتوں کے ذریعے دہرایا جاتا ہے۔ یعنی، ابتدائی متغیر اقدار سے شروع کرتے ہوئے، 1 سے لے کر 1 تک کے ہر متغیر کے لیے واحد متغیر اصلاح کے مسائل کو بار بار حل کرکے راؤنڈ کی وضاحت کی جاتی ہے۔ اس طرح، ایک مقامی کم از کم کے ابتدائی اندازے سے شروع ہوتا ہے، اور بار بار ایک ترتیب حاصل کرتا ہے۔ ہر تکرار میں لائن سرچ کرنے سے، کسی کے پاس خود بخود یہ ہوتا ہے کہ یہ دکھایا جا سکتا ہے کہ اس ترتیب میں سب سے تیز نزول کی طرح ہم آہنگی کی خصوصیات ہیں۔ مربوط سمتوں کے ساتھ لائن سرچ کے ایک چکر کے بعد کوئی بہتری نہیں ہونے کا مطلب ہے کہ ایک اسٹیشنری پوائنٹ تک پہنچ گیا ہے۔ اس عمل کی وضاحت ذیل میں کی گئی ہے۔ تفریق کے قابل معاملہ مسلسل تفریق کے قابل فنکشن کی صورت میں، ایک کوآرڈینیٹ ڈیسنٹ الگورتھم کو اس طرح خاکہ بنایا جا سکتا ہے: ابتدائی پیرامیٹر ویکٹر کا انتخاب کریں۔ جب تک کنورجنس تک نہ پہنچ جائے، یا کچھ مقررہ تعداد میں تکرار کے لیے: سے ایک انڈیکس کا انتخاب کریں۔ ایک قدم کا سائز منتخب کریں۔ اپ ڈیٹ کریں۔ قدم کے سائز کا انتخاب مختلف طریقوں سے کیا جا سکتا ہے، مثال کے طور پر، (یعنی تمام متغیرات کے ساتھ لیکن مقررہ)، یا روایتی لائن سرچ کے معیار کے عین مطابق کم سے کم کے لیے حل کر کے۔ حدود کوآرڈینیٹ نزول میں دو مسائل ہیں۔ ان میں سے ایک غیر ہموار کثیر متغیر فنکشن ہے۔ مندرجہ ذیل تصویر سے پتہ چلتا ہے کہ اگر کسی فنکشن کے سطح کے منحنی خطوط ہموار نہ ہوں تو مربوط نزول کی تکرار غیر مستحکم نقطہ پر پھنس سکتی ہے۔ فرض کریں کہ الگورتھم نقطہ پر ہے۔ پھر دو محور سے منسلک ہدایات ہیں جن پر یہ ایک قدم اٹھانے کے لیے غور کر سکتا ہے، جو سرخ تیروں سے ظاہر ہوتی ہیں۔ تاہم، ان دونوں سمتوں کے ساتھ ہر قدم آبجیکٹیو فنکشن کی قدر میں اضافہ کرے گا (کم سے کم مسئلہ فرض کرتے ہوئے)، لہذا الگورتھم کوئی قدم نہیں اٹھائے گا، حالانکہ دونوں اقدامات مل کر الگورتھم کو زیادہ سے زیادہ قریب لائیں گے۔ اگرچہ اس مثال سے پتہ چلتا ہے کہ کوآرڈینیٹ نزول لازمی طور پر زیادہ سے زیادہ کنورجنٹ نہیں ہے، لیکن معقول حالات میں رسمی کنورجنس ظاہر کرنا ممکن ہے۔ دوسرا مسئلہ متوازی میں دشواری ہے۔ چونکہ کوآرڈینیٹ نزول کی نوعیت سمتوں کے ذریعے چکر لگانا اور ہر کوآرڈینیٹ سمت کے حوالے سے معروضی فنکشن کو کم کرنا ہے، اس لیے کوآرڈینیٹ نزول بڑے پیمانے پر متوازییت کے لیے ایک واضح امیدوار نہیں ہے۔ حالیہ تحقیقی کاموں سے پتہ چلتا ہے کہ ہر مربوط سمت کے حوالے سے معروضی فنکشن کی تبدیلی میں نرمی کرکے مربوط نزول کے لیے بڑے پیمانے پر متوازییت لاگو ہوتی ہے۔ ایپلی کیشنز کوآرڈینیٹ ڈیسنٹ الگورتھم پریکٹیشنرز میں ان کی سادگی کی وجہ سے مقبول ہیں، لیکن اسی خاصیت نے اصلاح کے محققین کو زیادہ دلچسپ (پیچیدہ) طریقوں کے حق میں بڑی حد تک نظر انداز کرنے پر مجبور کیا ہے۔ کوآرڈینیٹ ڈیسنٹ آپٹیمائزیشن کا ابتدائی اطلاق کمپیوٹڈ ٹومگرافی کے شعبے میں تھا جہاں اس میں تیزی سے کنورجنس پایا گیا ہے اور بعد میں اسے کلینیکل ملٹی سلائس ہیلیکل اسکین سی ٹی کی تعمیر نو کے لیے استعمال کیا گیا۔ پروٹین کی ساخت کی پیشن گوئی میں ایک سائیکلک کوآرڈینیٹ ڈیسنٹ الگورتھم (سی سی ڈی) کا اطلاق کیا گیا ہے۔ مزید برآں، مشین لرننگ میں بڑے پیمانے کے مسائل کی آمد کے ساتھ کوآرڈینیٹ ڈیسنٹ کے استعمال میں دلچسپی میں اضافہ ہوا ہے، جہاں کوآرڈینیٹ ڈیسنٹ کو دوسرے طریقوں سے مسابقتی دکھایا گیا ہے جب اس طرح کے مسائل پر لاگو کیا جاتا ہے جیسے ٹریننگ لینیر سپورٹ ویکٹر مشینیں (دیکھیں LIBLINEAR) اور غیر منفی میٹرکس فیکٹرائزیشن۔ وہ ان مسائل کے لیے پرکشش ہیں جہاں کمپیوٹنگ گریڈینٹس ناقابل عمل ہیں، شاید اس وجہ سے کہ ایسا کرنے کے لیے درکار ڈیٹا کمپیوٹر نیٹ ورکس میں تقسیم کیا جاتا ہے۔ ایڈاپٹو کوآرڈینیٹ ڈیسنٹ کنجوگیٹ گریڈینٹ ڈیسنٹ لائن سرچ ریاضیاتی اصلاح نیوٹن کا طریقہ اسٹوچسٹک گریڈینٹ ڈیسنٹ بھی دیکھیں-ایک وقت میں ایک مثال استعمال کرتا ہے، بجائے اس کے کہ ایک کوآرڈینیٹ حوالہ جات برٹسیکاس، دیمیتری پی۔ (1999)۔ غیر لکیری پروگرامنگ، دوسرا ایڈیشن ایتینا سائنٹیفک، بیلمونٹ، میساچوسٹس۔ ۔ ۔ ۔ ۔ ۔ گریڈینٹ طریقے