Coordinate descent
কোঅর্ডিনেট ডিসেন্ট হল একটি অপ্টিমাইজেশন অ্যালগরিদম যা একটি ফাংশনের ন্যূনতম খুঁজে বের করার জন্য পর্যায়ক্রমে স্থানাঙ্কের দিকনির্দেশগুলি হ্রাস করে। প্রতিটি পুনরাবৃত্তিতে, অ্যালগরিদম একটি স্থানাঙ্ক নির্বাচন নিয়মের মাধ্যমে একটি স্থানাঙ্ক বা স্থানাঙ্ক ব্লক নির্ধারণ করে, তারপরে অন্যান্য সমস্ত স্থানাঙ্ক বা স্থানাঙ্ক ব্লক স্থির করার সময় সংশ্লিষ্ট স্থানাঙ্ক হাইপারপ্লেনের উপর ঠিক বা অযৌক্তিকভাবে হ্রাস করে। উপযুক্ত ধাপের আকার নির্ধারণের জন্য বর্তমান পুনরাবৃত্তিতে স্থানাঙ্কের দিক বরাবর একটি লাইন অনুসন্ধান করা যেতে পারে। কোঅর্ডিনেট ডিসেন্ট ডিফারেনশিয়েবল এবং ডেরিভেটিভ-মুক্ত উভয় প্রসঙ্গেই প্রযোজ্য। কোঅর্ডিনেট ডিসেন্ট এই ধারণার উপর ভিত্তি করে যে একটি মাল্টিভ্যারিয়েবল ফাংশনের মিনিমাইজেশন একটি সময়ে একটি দিক বরাবর কমিয়ে অর্জন করা যেতে পারে, অর্থাৎ, একটি লুপে ইউনিভ্যারিয়েট (বা কমপক্ষে অনেক সহজ) অপ্টিমাইজেশান সমস্যা সমাধান করা যেতে পারে। চক্রীয় স্থানাঙ্ক অবতরণের সহজতম ক্ষেত্রে, একটি সময়ে প্রতিটি স্থানাঙ্কের দিকের সাপেক্ষে উদ্দেশ্যমূলক ক্রিয়াকে ন্যূনতম করে, একটি পর্যায়ক্রমে দিকগুলির মধ্য দিয়ে পুনরাবৃত্তি করে। অর্থাৎ, প্রাথমিক পরিবর্তনশীল মান থেকে শুরু করে, 1 থেকে 1 পর্যন্ত প্রতিটি পরিবর্তনশীলের জন্য একক পরিবর্তনশীল অপ্টিমাইজেশান সমস্যাগুলি পুনরাবৃত্তভাবে সমাধান করে বৃত্তাকার সংজ্ঞায়িত করা হয়। সুতরাং, একজন স্থানীয় ন্যূনতমের প্রাথমিক অনুমান দিয়ে শুরু করে এবং পুনরাবৃত্তভাবে একটি ক্রম পায়। প্রতিটি পুনরাবৃত্তিতে লাইন অনুসন্ধান করার মাধ্যমে, একটি স্বয়ংক্রিয়ভাবে থাকে এটি দেখানো যেতে পারে যে এই ক্রমটির স্টিপেস্ট ডিসেন্টের মতো অনুরূপ অভিসরণ বৈশিষ্ট্য রয়েছে। সমন্বিত দিক বরাবর লাইন অনুসন্ধানের একটি চক্রের পরে কোনও উন্নতি বোঝায় না যে একটি স্থির বিন্দুতে পৌঁছেছে। এই প্রক্রিয়াটি নীচে চিত্রিত করা হয়েছে। অবিচ্ছিন্নভাবে পৃথকীকরণযোগ্য ফাংশনের ক্ষেত্রে, একটি স্থানাঙ্ক অবতরণ অ্যালগরিদমকে এইভাবে স্কেচ করা যেতে পারেঃ একটি প্রাথমিক পরামিতি ভেক্টর বেছে নিন। যতক্ষণ না অভিসারে পৌঁছানো যায়, অথবা কিছু নির্দিষ্ট সংখ্যক পুনরাবৃত্তির জন্যঃ থেকে থেকে একটি সূচক বেছে নিন। একটি ধাপের আকার বেছে নিন। আপডেট করুন। ধাপের আকার বিভিন্ন উপায়ে বেছে নেওয়া যেতে পারে, উদাহরণস্বরূপ, সঠিক মিনিমাইজারের জন্য সমাধান করে (অর্থাৎ, সমস্ত পরিবর্তনশীল কিন্তু স্থির), অথবা ঐতিহ্যবাহী লাইন অনুসন্ধানের মানদণ্ড দ্বারা। সীমাবদ্ধতা সমন্বিত অবতরণের দুটি সমস্যা রয়েছে। এর মধ্যে একটি হল নন-স্মুথ মাল্টিভ্যারিয়েবল ফাংশন। নিম্নলিখিত চিত্রটি দেখায় যে কোনও ফাংশনের স্তরের বক্ররেখা মসৃণ না হলে স্থানাঙ্ক অবতরণ পুনরাবৃত্তি একটি অ-স্থির বিন্দুতে আটকে যেতে পারে। ধরুন যে অ্যালগরিদমটি বিন্দুতে রয়েছে; তারপরে দুটি অক্ষ-সারিবদ্ধ দিক রয়েছে যা এটি একটি পদক্ষেপ নেওয়ার জন্য বিবেচনা করতে পারে, যা লাল তীর দ্বারা নির্দেশিত। যাইহোক, এই দুটি দিক বরাবর প্রতিটি পদক্ষেপ উদ্দেশ্যমূলক ফাংশনের মান বৃদ্ধি করবে (একটি ন্যূনতম সমস্যা ধরে নিয়ে), তাই অ্যালগরিদম কোনও পদক্ষেপ নেবে না, যদিও উভয় পদক্ষেপ একসাথে অ্যালগরিদমকে সর্বোত্তমের কাছাকাছি নিয়ে আসবে। যদিও এই উদাহরণটি দেখায় যে স্থানাঙ্ক অবতরণ অগত্যা সর্বোত্তমের সাথে অভিসারী নয়, যুক্তিসঙ্গত পরিস্থিতিতে আনুষ্ঠানিক অভিসরণ দেখানো সম্ভব। অন্য সমস্যাটি হল সমান্তরালতার অসুবিধা। যেহেতু স্থানাঙ্ক অবতরণের প্রকৃতি হল দিকগুলির মধ্য দিয়ে চক্র করা এবং প্রতিটি স্থানাঙ্ক দিকের সাপেক্ষে উদ্দেশ্যমূলক ক্রিয়াকে হ্রাস করা, স্থানাঙ্ক অবতরণ বিশাল সমান্তরালতার জন্য একটি সুস্পষ্ট প্রার্থী নয়। সাম্প্রতিক গবেষণাগুলি দেখিয়েছে যে প্রতিটি স্থানাঙ্কের দিকের সাপেক্ষে উদ্দেশ্যমূলক ক্রিয়ার পরিবর্তনকে শিথিল করে সমন্বিত অবতরণের ক্ষেত্রে ব্যাপক সমান্তরালতা প্রযোজ্য। অ্যাপ্লিকেশন কোঅর্ডিনেট ডিসেন্ট অ্যালগরিদমগুলি তাদের সরলতার কারণে অনুশীলনকারীদের কাছে জনপ্রিয়, তবে একই বৈশিষ্ট্য অপ্টিমাইজেশন গবেষকদের আরও আকর্ষণীয় (জটিল) পদ্ধতির পক্ষে তাদের ব্যাপকভাবে উপেক্ষা করতে পরিচালিত করেছে। কোঅর্ডিনেট ডিসেন্ট অপ্টিমাইজেশনের একটি প্রাথমিক প্রয়োগ ছিল কম্পিউটড টমোগ্রাফির ক্ষেত্রে যেখানে এটির দ্রুত অভিসরণ পাওয়া গেছে এবং পরবর্তীকালে ক্লিনিকাল মাল্টি-স্লাইস হেলিকাল স্ক্যান সিটি পুনর্গঠনের জন্য ব্যবহৃত হয়েছিল। প্রোটিন কাঠামোর পূর্বাভাসে একটি সাইক্লিক কোঅর্ডিনেট ডিসেন্ট অ্যালগরিদম (সিসিডি) প্রয়োগ করা হয়েছে। উপরন্তু, মেশিন লার্নিং-এ বড় আকারের সমস্যার আবির্ভাবের সাথে স্থানাঙ্ক অবতরণের ব্যবহারে আগ্রহ বৃদ্ধি পেয়েছে, যেখানে প্রশিক্ষণ রৈখিক সমর্থন ভেক্টর মেশিন (LIBLINEAR দেখুন) এবং অ-নেতিবাচক ম্যাট্রিক্স ফ্যাক্টরাইজেশনের মতো সমস্যার ক্ষেত্রে প্রয়োগ করা হলে স্থানাঙ্ক অবতরণ অন্যান্য পদ্ধতির সাথে প্রতিযোগিতামূলক দেখানো হয়েছে। এগুলি এমন সমস্যাগুলির জন্য আকর্ষণীয় যেখানে কম্পিউটিং গ্রেডিয়েন্টগুলি অসম্ভব, সম্ভবত এটি করার জন্য প্রয়োজনীয় ডেটা কম্পিউটার নেটওয়ার্কগুলিতে বিতরণ করা হয়। এছাড়াও দেখুন অ্যাডাপটিভ কোঅর্ডিনেট ডিসেন্ট কনজুগেট গ্রেডিয়েন্ট ডিসেন্ট লাইন সার্চ গাণিতিক অপ্টিমাইজেশন নিউটনের পদ্ধতি স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট-একটি সমন্বিত রেফারেন্স বার্টসেকাস, দিমিত্রি পি. (1999)-এর পরিবর্তে একটি সময়ে একটি উদাহরণ ব্যবহার করে। ননলাইনার প্রোগ্রামিং, দ্বিতীয় সংস্করণ অ্যাথেনা সায়েন্টিফিক, বেলমন্ট, ম্যাসাচুসেটস। । । । । । গ্রেডিয়েন্ট পদ্ধতি