Differential dynamic programming
ডিফারেনশিয়াল ডায়নামিক প্রোগ্রামিং (ডিডিপি) হল ট্র্যাজেক্টরি অপ্টিমাইজেশন ক্লাসের একটি সর্বোত্তম নিয়ন্ত্রণ অ্যালগরিদম। অ্যালগরিদমটি 1966 সালে মায়েন দ্বারা প্রবর্তিত হয়েছিল এবং পরবর্তীকালে জ্যাকবসন এবং মায়নের একই নামের বইয়ে বিশ্লেষণ করা হয়েছিল। অ্যালগরিদম গতিবিদ্যা এবং খরচ ফাংশন স্থানীয়ভাবে-চতুর্ভুজ মডেল ব্যবহার করে, এবং চতুর্ভুজ অভিসরণ প্রদর্শন করে। এটি প্যান্টোজার ধাপে ধাপে নিউটনের পদ্ধতির সাথে ঘনিষ্ঠভাবে সম্পর্কিত। সীমাবদ্ধ-দিগন্ত বিচ্ছিন্ন-সময়ের সমস্যা গতিবিদ্যা সময়ে সময়ে নিয়ন্ত্রণ দেওয়া অবস্থার বিবর্তন বর্ণনা করে। মোট খরচ হল চলমান খরচ এবং চূড়ান্ত খরচের সমষ্টি, যা রাজ্য থেকে শুরু করে এবং দিগন্তে না পৌঁছানো পর্যন্ত নিয়ন্ত্রণ ক্রম প্রয়োগ করার সময় ব্যয় করা হয়ঃ যেখানে, এবং জন্য দ্বারা দেওয়া হয়। সর্বোত্তম নিয়ন্ত্রণ সমস্যার সমাধান হল ন্যূনতম নিয়ন্ত্রণ ক্রম ট্র্যাজেক্টরি অপ্টিমাইজেশান মানে সমস্ত সম্ভাব্য প্রাথমিক অবস্থার পরিবর্তে একটি নির্দিষ্ট অবস্থার সন্ধান করা। গতিশীল প্রোগ্রামিং আংশিক নিয়ন্ত্রণ ক্রম হতে দিন এবং খরচ-থেকে-যেতে-কে ব্যয়ের আংশিক যোগফল হিসাবে সংজ্ঞায়িত করুনঃ সর্বোত্তম খরচ-থেকে-যেতে বা সময়ে মূল্য ফাংশন হল ন্যূনতম নিয়ন্ত্রণ ক্রম দেওয়া খরচ-থেকে-যেতেঃ সেটিং, গতিশীল প্রোগ্রামিং নীতি নিয়ন্ত্রণের একটি সম্পূর্ণ ক্রমের উপর ন্যূনতমকরণকে একক নিয়ন্ত্রণের উপর ন্যূনতমকরণের ক্রমের মধ্যে হ্রাস করে, সময়ের পিছনে এগিয়ে যায়ঃ এটি বেলম্যান সমীকরণ। ডিফারেনশিয়াল ডায়নামিক প্রোগ্রামিং ডিডিপি একটি নতুন নিয়ন্ত্রণ ক্রম তৈরি করতে নামমাত্র ট্র্যাজেক্টোরিতে পুনরাবৃত্তভাবে একটি ব্যাকওয়ার্ড পাস সম্পাদন করে এবং তারপরে একটি নতুন নামমাত্র ট্র্যাজেক্টোরি গণনা ও মূল্যায়ন করার জন্য একটি ফরোয়ার্ড-পাস দিয়ে এগিয়ে যায়। আমরা ব্যাকওয়ার্ড পাস দিয়ে শুরু করি। যদি অপারেটরের যুক্তি হয়, তবে-তম জুটির চারপাশে এই পরিমাণের বৈচিত্র্য হতে দিনঃ এবং দ্বিতীয় ক্রমে প্রসারিত করুন এখানে ব্যবহৃত স্বরলিপিটি মোরিমোটো স্বরলিপির একটি বৈকল্পিক যেখানে সাবস্ক্রিপ্টগুলি হর বিন্যাসে পার্থক্যকে বোঝায়। পঠনযোগ্যতার জন্য সূচকটি বাদ দেওয়া, মৌলিক সংখ্যাগুলি পরবর্তী সময়-পদক্ষেপকে নির্দেশ করে, সম্প্রসারণ সহগগুলি হল শেষ তিনটি সমীকরণের শেষ পদগুলি একটি টেনসর সহ একটি ভেক্টরের সংকোচনকে নির্দেশ করে। আমরা একটি ওপেন-লুপ টার্ম এবং একটি ফিডব্যাক গেইন টার্ম প্রদান করছি। ফলাফলটি আবার যুক্ত করলে, আমাদের কাছে এখন সময়ের মানের একটি দ্বিঘাত মডেল রয়েছেঃ স্থানীয় দ্বিঘাত মডেলগুলি পুনরাবৃত্তিমূলকভাবে গণনা করা এবং নিয়ন্ত্রণ পরিবর্তনগুলি, নীচে থেকে, পশ্চাদগামী পাস গঠন করে। উপরে যেমন বলা হয়েছে, মানটি দিয়ে শুরু করা হয়। একবার ব্যাকওয়ার্ড পাস সম্পন্ন হয়ে গেলে, একটি ফরোয়ার্ড পাস একটি নতুন গতিপথ গণনা করেঃ ব্যাকওয়ার্ড পাস এবং ফরোয়ার্ড পাসগুলি একত্রিত না হওয়া পর্যন্ত পুনরাবৃত্তি করা হয়। নিয়মিতকরণ এবং লাইন-অনুসন্ধান ডিফারেনশিয়াল ডায়নামিক প্রোগ্রামিং নিউটনের পদ্ধতির মতো একটি দ্বিতীয়-ক্রমের অ্যালগরিদম। তাই এটি ন্যূনতমের দিকে বড় পদক্ষেপ নেয় এবং প্রায়শই সমন্বয় অর্জনের জন্য নিয়মিতকরণ এবং/অথবা লাইন-অনুসন্ধানের প্রয়োজন হয়। ডি. ডি. পি প্রসঙ্গে নিয়মিতকরণের অর্থ হল নিশ্চিত করা যে ম্যাট্রিক্সটি ধনাত্মক নির্দিষ্ট। ডিডিপিতে লাইন-সার্চ করার অর্থ হল ওপেন-লুপ নিয়ন্ত্রণ পরিবর্তনকে স্কেল করা। মন্টে কার্লো সংস্করণ স্যাম্পল্ড ডিফারেনশিয়াল ডায়নামিক প্রোগ্রামিং (এসএডিডিপি) হল ডিফারেনশিয়াল ডায়নামিক প্রোগ্রামিংয়ের একটি মন্টে কার্লো সংস্করণ। এটি ডিফারেনশিয়াল ডাইনামিক প্রোগ্রামিংয়ের দ্বিঘাত ব্যয়কে বোল্টজম্যান বিতরণের শক্তি হিসাবে বিবেচনা করার উপর ভিত্তি করে। এইভাবে ডিডিপির পরিমাণ একটি বহুমাত্রিক স্বাভাবিক বণ্টনের পরিসংখ্যানের সাথে মিলিত হতে পারে। পরিসংখ্যানগুলি পৃথকীকরণ ছাড়াই নমুনাকৃত গতিপথ থেকে পুনরায় গণনা করা যেতে পারে। নমুনাকৃত ডিফারেনশিয়াল ডায়নামিক প্রোগ্রামিংকে ডিফারেনশিয়াল ডায়নামিক প্রোগ্রামিং সহ পাথ ইন্টিগ্রাল পলিসি ইমপ্রুভমেন্টে প্রসারিত করা হয়েছে। এটি ডিফারেনশিয়াল ডাইনামিক প্রোগ্রামিং এবং পাথ ইন্টিগ্রাল কন্ট্রোলের মধ্যে একটি যোগসূত্র তৈরি করে, যা স্টোকাস্টিক অপ্টিমাল কন্ট্রোলের একটি কাঠামো। সীমাবদ্ধ সমস্যা ইন্টেরিয়র পয়েন্ট ডিফারেনশিয়াল ডায়নামিক প্রোগ্রামিং (আই. পি. ডি. ডি. পি) হল ডি. ডি. পি-র একটি অভ্যন্তরীণ-বিন্দু পদ্ধতি সাধারণীকরণ যা অরৈখিক অবস্থা এবং ইনপুট সীমাবদ্ধতার সাথে সর্বোত্তম নিয়ন্ত্রণ সমস্যার সমাধান করতে পারে। আরও দেখুন সর্বোত্তম নিয়ন্ত্রণ রেফারেন্স বাহ্যিক লিঙ্ক ডিডিপি-র একটি পাইথন বাস্তবায়ন ডিডিপি ডায়নামিক প্রোগ্রামিংয়ের একটি ম্যাটল্যাব বাস্তবায়ন