Differential dynamic programming
विभेदक गतिशील प्रोग्रामिंग (डी. डी. पी.) प्रक्षेपवक्र अनुकूलन वर्ग का एक इष्टतम नियंत्रण एल्गोरिथ्म है। एल्गोरिथ्म को 1966 में मेयने द्वारा पेश किया गया था और बाद में जैकबसन और मेयने की नामित पुस्तक में इसका विश्लेषण किया गया था। एल्गोरिथ्म गतिशीलता और लागत कार्यों के स्थानीय रूप से-वर्गात्मक मॉडल का उपयोग करता है, और वर्गात्मक अभिसरण प्रदर्शित करता है। यह पंतोजा की चरणबद्ध न्यूटन की विधि से निकटता से संबंधित है। परिमित-क्षितिज असतत-समय की समस्याएं गतिशीलता समय-समय पर नियंत्रण दिए गए राज्य के विकास का वर्णन करती है। कुल लागत संचालन लागत और अंतिम लागत का योग है, जो राज्य से शुरू करते समय और नियंत्रण अनुक्रम को लागू करते समय तब तक किया जाता है जब तक कि क्षितिज तक नहीं पहुंच जाताः कहाँ, और के लिए द्वारा दिए जाते हैं। इष्टतम नियंत्रण समस्या का समाधान न्यूनतम नियंत्रण अनुक्रम है-प्रक्षेपवक्र अनुकूलन का अर्थ है सभी संभावित प्रारंभिक अवस्थाओं के बजाय किसी विशेष के लिए खोजना। गतिशील प्रोग्रामिंग को आंशिक नियंत्रण अनुक्रम होने दें और लागत-से-जाने को लागतों के आंशिक योग के रूप में परिभाषित करेंः समय पर इष्टतम लागत-से-जाने या मूल्य कार्य न्यूनतम नियंत्रण अनुक्रम को देखते हुए लागत-से-जाने के लिए हैः सेटिंग, गतिशील प्रोग्रामिंग सिद्धांत नियंत्रणों के एक पूरे अनुक्रम पर न्यूनतमकरण को एक एकल नियंत्रण पर न्यूनतमकरण के अनुक्रम तक कम कर देता है, जो समय में पीछे की ओर बढ़ता हैः यह बेलमैन समीकरण है। विभेदक गतिशील प्रोग्रामिंग डी. डी. पी. एक नया नियंत्रण अनुक्रम उत्पन्न करने के लिए नाममात्र प्रक्षेपवक्र पर एक बैकवर्ड पास का पुनरावृत्ति प्रदर्शन करके आगे बढ़ता है, और फिर एक नए नाममात्र प्रक्षेपवक्र की गणना और मूल्यांकन करने के लिए एक फॉरवर्ड-पास। हम बैकवर्ड पास से शुरू करते हैं। यदि प्रचालक का तर्क है, तो-th जोड़ी के आसपास इस मात्रा की भिन्नता होने देंः और दूसरे क्रम में विस्तार करें यहाँ उपयोग किया गया संकेतन मोरिमोटो के संकेतन का एक प्रकार है जहाँ अभिलिखितियाँ भाजक लेआउट में अंतर को दर्शाती हैं। पठनीयता के लिए सूचकांक को छोड़ना, अगले समय-चरण को दर्शाने वाले अभाज्य अंक, विस्तार गुणांक हैं अंतिम तीन समीकरणों में अंतिम शब्द एक टेंसर के साथ एक वेक्टर के संकुचन को दर्शाते हैं। इसके संबंध में द्विघात सन्निकटन को कम करने के लिए हमने एक ओपन-लूप शब्द और एक प्रतिक्रिया लाभ शब्द दिया है। परिणाम को वापस जोड़ते हुए, अब हमारे पास समय पर मूल्य का एक द्विघात मॉडल हैः स्थानीय द्विघात मॉडल की पुनरावर्ती गणना और नियंत्रण संशोधन, नीचे से, बैकवर्ड पास का गठन करते हैं। ऊपर के रूप में, मूल्य के साथ आरंभ किया जाता है। एक बार बैकवर्ड पास पूरा हो जाने के बाद, एक फॉरवर्ड पास एक नए प्रक्षेपवक्र की गणना करता हैः बैकवर्ड पास और फॉरवर्ड पास को अभिसरण तक दोहराया जाता है। नियमितकरण और रेखा-खोज विभेदक गतिशील प्रोग्रामिंग न्यूटन की विधि की तरह एक द्वितीय-क्रम एल्गोरिथ्म है। इसलिए यह न्यूनतम की दिशा में बड़े कदम उठाता है और अक्सर अभिसरण प्राप्त करने के लिए नियमितकरण और/या लाइन-खोज की आवश्यकता होती है। डी. डी. पी. संदर्भ में नियमितीकरण का अर्थ है यह सुनिश्चित करना कि मैट्रिक्स सकारात्मक रूप से निश्चित है। डी. डी. पी. में लाइन-सर्च कुछ लोगों द्वारा ओपन-लूप नियंत्रण संशोधन को बढ़ाने के बराबर है। मोंटे कार्लो संस्करण नमूना विभेदक गतिशील प्रोग्रामिंग (एसएडीडीपी) विभेदक गतिशील प्रोग्रामिंग का मोंटे कार्लो संस्करण है। यह विभेदक गतिशील प्रोग्रामिंग की द्विघात लागत को बोल्ट्जमैन वितरण की ऊर्जा के रूप में मानने पर आधारित है। इस तरह डी. डी. पी. की मात्राओं का बहुआयामी सामान्य वितरण के आंकड़ों से मिलान किया जा सकता है। सांख्यिकी को बिना भेदभाव के नमूने के प्रक्षेपवक्र से फिर से गणना की जा सकती है। नमूना विभेदक गतिशील प्रोग्रामिंग को विभेदक गतिशील प्रोग्रामिंग के साथ पथ समाकलन नीति सुधार तक बढ़ाया गया है। यह विभेदक गतिशील प्रोग्रामिंग और पथ अभिन्न नियंत्रण के बीच एक कड़ी बनाता है, जो यादृच्छिक इष्टतम नियंत्रण का एक ढांचा है। बाधित समस्याएं आंतरिक बिंदु विभेदक गतिशील प्रोग्रामिंग (आई. पी. डी. डी. पी.) डी. डी. पी. का एक आंतरिक-बिंदु विधि सामान्यीकरण है जो गैर-रैखिक स्थिति और इनपुट बाधाओं के साथ इष्टतम नियंत्रण समस्या का समाधान कर सकता है। इष्टतम नियंत्रण संदर्भ भी देखें बाहरी लिंक डी. डी. पी. का एक पायथन कार्यान्वयन डी. डी. पी. गतिशील प्रोग्रामिंग का एक मैटलैब कार्यान्वयन