Differential dynamic programming
ڈفریشنل ڈائنامک پروگرامنگ (ڈی ڈی پی) ٹریجیکٹوری آپٹیمائزیشن کلاس کا ایک بہترین کنٹرول الگورتھم ہے۔ الگورتھم کو 1966 میں مے نے متعارف کرایا تھا اور اس کے بعد جیکبسن اور مے کی اسی نام کی کتاب میں اس کا تجزیہ کیا گیا تھا۔ الگورتھم حرکیات اور لاگت کے افعال کے مقامی طور پر کواڈریٹک ماڈل کا استعمال کرتا ہے، اور کواڈریٹک کنورجنس کو ظاہر کرتا ہے۔ اس کا پانٹوجا کے مرحلہ وار نیوٹن کے طریقہ کار سے گہرا تعلق ہے۔ محدود-افق مجرد-وقت کے مسائل حرکیات وقتا فوقتا قابو پانے والی ریاست کے ارتقاء کو بیان کرتی ہیں۔ کل لاگت چلانے کے اخراجات اور حتمی لاگت کا مجموعہ ہے، جو ریاست سے شروع کرتے وقت اور کنٹرول سیکوئنس کا اطلاق کرتے وقت ہوتا ہے جب تک کہ افق تک نہ پہنچ جائے: کہاں، اور فار کے ذریعے دیا جاتا ہے۔ زیادہ سے زیادہ کنٹرول کے مسئلے کا حل کم سے کم کنٹرول سیکوینس ٹریجیکٹری آپٹیمائزیشن کا مطلب ہے کہ تمام ممکنہ ابتدائی حالتوں کے بجائے کسی خاص کے لیے تلاش کرنا۔ متحرک پروگرامنگ کو جزوی کنٹرول سیکوئنس ہونے دیں اور لاگت سے جانے کو لاگت کی جزوی رقم کے طور پر بیان کریں: وقت پر جانے کے لیے زیادہ سے زیادہ لاگت یا ویلیو فنکشن کم سے کم کنٹرول سیکوئنس کو دیکھتے ہوئے جانے کے لیے لاگت ہے: ترتیب، متحرک پروگرامنگ کا اصول کنٹرول کی پوری ترتیب پر کم سے کم کو ایک ہی کنٹرول پر کم سے کم کرنے کی ترتیب تک کم کر دیتا ہے، وقت میں پیچھے کی طرف بڑھتا ہے: یہ بیل مین مساوات ہے۔ تفریقی متحرک پروگرامنگ ڈی ڈی پی ایک نیا کنٹرول سیکوئنس پیدا کرنے کے لیے برائے نام ٹریجیکٹوری پر بار بار بیکورڈ پاس انجام دے کر آگے بڑھتا ہے، اور پھر ایک نئے برائے نام ٹریجیکٹوری کا حساب لگانے اور اس کا اندازہ کرنے کے لیے فارورڈ پاس کرتا ہے۔ ہم بیکورڈ پاس سے شروع کرتے ہیں۔ اگر آپریٹر کی دلیل ہے، تو اس مقدار کی تغیر کو-th جوڑی کے ارد گرد ہونے دیں: اور دوسرے آرڈر تک پھیلائیں یہاں استعمال شدہ اشارے موریموٹو کے اشارے کی ایک قسم ہے جہاں سبسکرپٹ ڈینومینیٹر لے آؤٹ میں تفریق کی نشاندہی کرتے ہیں۔ پڑھنے کے قابل ہونے کے لیے اشاریہ کو چھوڑنا، اگلے وقت کے مرحلے کی نشاندہی کرنے والے پرائم، توسیعی گتانک ہیں۔ آخری تین مساوات میں آخری اصطلاحات ٹینسر کے ساتھ ویکٹر کے سکڑنے کی نشاندہی کرتی ہیں۔ اس حوالے سے کواڈریٹک تخمینہ کو کم سے کم کرتے ہوئے ہم نے ایک اوپن لوپ ٹرم اور فیڈ بیک گین ٹرم دی ہے۔ نتیجہ کو دوبارہ پلگ ان کرتے ہوئے، اب ہمارے پاس وقت پر ویلیو کا ایک کواڈریٹک ماڈل ہے: مقامی کواڈریٹک ماڈلز کا بار بار حساب لگانا اور کنٹرول میں تبدیلیاں، نیچے سے، بیکورڈ پاس تشکیل دیتی ہیں۔ جیسا کہ اوپر بتایا گیا ہے، ویلیو کو اس کے ساتھ شروع کیا جاتا ہے۔ ایک بار بیکورڈ پاس مکمل ہونے کے بعد، ایک فارورڈ پاس ایک نئی رفتار کا حساب لگاتا ہے: بیکورڈ پاس اور فارورڈ پاس کو کنورجنس تک دہرایا جاتا ہے۔ ریگولیرائزیشن اور لائن سرچ ڈفریٚنشل ڈائنامک پروگرامنگ نیوٹن کے طریقہ کار کی طرح سیکنڈ آرڈر الگورتھم ہے۔ اس لیے یہ کم سے کم کی طرف بڑے قدم اٹھاتا ہے اور اکثر ہم آہنگی حاصل کرنے کے لیے باقاعدگی اور/یا لائن سرچ کی ضرورت ہوتی ہے۔ ڈی ڈی پی کے تناظر میں باقاعدگی کا مطلب یہ یقینی بنانا ہے کہ میٹرکس مثبت قطعی ہے۔ ڈی ڈی پی میں لائن سرچ کچھ لوگوں کے ذریعہ اوپن لوپ کنٹرول ترمیم کو اسکیل کرنے کے مترادف ہے۔ مونٹی کارلو ورژن سیمپلڈ ڈفینشل ڈائنامک پروگرامنگ (ایس اے ڈی ڈی پی) ڈفینشل ڈائنامک پروگرامنگ کا مونٹی کارلو ورژن ہے۔ یہ تفریقی متحرک پروگرامنگ کی کواڈریٹک لاگت کو بولٹزمین کی تقسیم کی توانائی کے طور پر استعمال کرنے پر مبنی ہے۔ اس طرح ڈی ڈی پی کی مقدار کو کثیر جہتی عام تقسیم کے اعداد و شمار سے ملایا جا سکتا ہے۔ اعداد و شمار کو بغیر کسی تفریق کے نمونے کے راستوں سے دوبارہ شمار کیا جا سکتا ہے۔ نمونے والے تفریقی متحرک پروگرامنگ کو تفریقی متحرک پروگرامنگ کے ساتھ پاتھ انٹیگرل پالیسی میں بہتری تک بڑھا دیا گیا ہے۔ یہ تفریقی متحرک پروگرامنگ اور پاتھ انٹیگرل کنٹرول کے درمیان ایک ربط پیدا کرتا ہے، جو اسٹاکسٹک آپٹیمل کنٹرول کا ایک فریم ورک ہے۔ محدود مسائل انٹیر پوائنٹ ڈفریٚنشل ڈائنامک پروگرامنگ (آئی پی ڈی ڈی پی) ڈی ڈی پی کا ایک اندرونی نقطہ طریقہ عام ہے جو غیر لکیری حالت اور ان پٹ رکاوٹوں کے ساتھ زیادہ سے زیادہ کنٹرول کے مسئلے کو حل کر سکتا ہے۔ بہترین کنٹرول حوالہ جات بیرونی لنکس ڈی ڈی پی کا ازگر نفاذ اے ڈی ڈی پی متحرک پروگرامنگ کا ایم اے ٹی ایل اے بی نفاذ بھی دیکھیں۔