Differential dynamic programming
વિભેદક ગતિશીલ પ્રોગ્રામિંગ (ડી. ડી. પી.) એ પ્રક્ષેપવક્ર ઓપ્ટિમાઇઝેશન વર્ગનું શ્રેષ્ઠ નિયંત્રણ અલ્ગોરિધમ છે. આ અલ્ગોરિધમ 1966માં મેઈન દ્વારા રજૂ કરવામાં આવ્યું હતું અને ત્યારબાદ જેકોબસન અને મેઈનની નામસ્ત્રોતીય પુસ્તકમાં તેનું વિશ્લેષણ કરવામાં આવ્યું હતું. અલ્ગોરિધમ ગતિશીલતા અને ખર્ચ કાર્યોના સ્થાનિક-ચતુર્થાંશ મોડેલોનો ઉપયોગ કરે છે, અને દ્વિઘાત અભિસરણ દર્શાવે છે. તે પંતોજાની તબક્કાવાર ન્યુટનની પદ્ધતિ સાથે નજીકથી સંબંધિત છે. મર્યાદિત-ક્ષિતિજ અલગ-સમયની સમસ્યાઓ ગતિશીલતા સમયાંતરે નિયંત્રણ આપવામાં આવતી સ્થિતિની ઉત્ક્રાંતિનું વર્ણન કરે છે. કુલ ખર્ચ એ ચાલી રહેલા ખર્ચ અને અંતિમ ખર્ચનો સરવાળો છે, જે રાજ્યમાંથી શરૂ થાય છે અને ક્ષિતિજ સુધી પહોંચે ત્યાં સુધી નિયંત્રણ ક્રમ લાગુ કરતી વખતે થાય છેઃ જ્યાં, અને માટે દ્વારા આપવામાં આવે છે. શ્રેષ્ઠતમ નિયંત્રણ સમસ્યાનો ઉકેલ લઘુતમ નિયંત્રણ ક્રમ છે, ટ્રેજેક્ટરી ઓપ્ટિમાઇઝેશન એટલે તમામ સંભવિત પ્રારંભિક સ્થિતિઓને બદલે કોઈ ચોક્કસ માટે શોધવું. ડાયનેમિક પ્રોગ્રામિંગ ચાલો આંશિક નિયંત્રણ ક્રમ બનીએ અને ખર્ચ-થી-જવાને ખર્ચની આંશિક રકમ તરીકે વ્યાખ્યાયિત કરીએઃ સમય પર શ્રેષ્ઠ ખર્ચ-થી-જાવ અથવા મૂલ્ય કાર્ય એ લઘુતમ નિયંત્રણ ક્રમને ધ્યાનમાં રાખીને ખર્ચ-થી-જાવ છેઃ સેટિંગ, ડાયનેમિક પ્રોગ્રામિંગ સિદ્ધાંત નિયંત્રણના સમગ્ર ક્રમમાં લઘુતમકરણને એક જ નિયંત્રણ પર લઘુતમકરણના ક્રમમાં ઘટાડે છે, સમયની પાછળ આગળ વધે છેઃ આ બેલમેન સમીકરણ છે. વિભેદક ગતિશીલ પ્રોગ્રામિંગ ડી. ડી. પી. નવો નિયંત્રણ ક્રમ પેદા કરવા માટે પુનરાવર્તિત રીતે નજીવા માર્ગ પર પછાત પાસ કરીને આગળ વધે છે, અને પછી નવા નજીવા માર્ગની ગણતરી અને મૂલ્યાંકન કરવા માટે ફોરવર્ડ-પાસ કરે છે. અમે બેકવર્ડ પાસથી શરૂઆત કરીએ છીએ. જો ઓપરેટરની દલીલ હોય, તો ચાલો-th જોડીની આસપાસ આ જથ્થાની વિવિધતા હોઈઃ અને બીજા ક્રમમાં વિસ્તૃત કરો અહીં વપરાયેલ નોટેશન મોરિમોટોના નોટેશનનો એક પ્રકાર છે જ્યાં સબસ્ક્રિપ્ટ્સ છેદ લેઆઉટમાં તફાવત સૂચવે છે. વાંચનક્ષમતા માટે અનુક્રમણિકા છોડવી, આગામી સમય-પગલાને સૂચવતા અવિભાજ્ય, વિસ્તરણ ગુણાંક છે છેલ્લા ત્રણ સમીકરણોમાં છેલ્લા શબ્દો ટેન્સર સાથે વેક્ટરના સંકોચનને સૂચવે છે. તેના સંદર્ભમાં ચતુર્ભુજ અંદાજને ઓછો કરીને આપણે ઓપન-લૂપ ટર્મ અને ફીડબેક ગેઇન ટર્મ આપી છે. પરિણામને પાછું પ્લગ કરીને, હવે આપણી પાસે તે સમયે મૂલ્યનું દ્વિઘાત મોડેલ છેઃ સ્થાનિક દ્વિઘાત મોડેલોની પુનરાવર્તિત ગણતરી અને નિયંત્રણ ફેરફારો, નીચેથી, પછાત પાસની રચના કરે છે. ઉપરની જેમ, મૂલ્ય સાથે પ્રારંભ કરવામાં આવે છે. એકવાર બેકવર્ડ પાસ પૂર્ણ થઈ જાય પછી, ફોરવર્ડ પાસ એક નવા માર્ગની ગણતરી કરે છેઃ બેકવર્ડ પાસ અને ફોરવર્ડ પાસ કન્વર્જન્સ સુધી પુનરાવર્તિત થાય છે. નિયમિતકરણ અને રેખા-શોધ વિભેદક ગતિશીલ પ્રોગ્રામિંગ એ ન્યૂટનની પદ્ધતિની જેમ સેકન્ડ ઓર્ડર અલ્ગોરિધમ છે. તેથી તે લઘુત્તમ તરફ મોટા પગલાં લે છે અને ઘણીવાર અભિસરણ પ્રાપ્ત કરવા માટે નિયમિતકરણ અને/અથવા રેખા-શોધની જરૂર પડે છે. ડી. ડી. પી. સંદર્ભમાં નિયમિતકરણનો અર્થ એ સુનિશ્ચિત કરવાનો છે કે મેટ્રિક્સ સકારાત્મક ચોક્કસ છે. ડી. ડી. પી. માં લાઇન-સર્ચ કેટલાક લોકો દ્વારા ઓપન-લૂપ નિયંત્રણ ફેરફારને માપવા સમાન છે. મોન્ટે કાર્લો વર્ઝન સેમ્પલ્ડ ડિફરન્શિયલ ડાયનેમિક પ્રોગ્રામિંગ (એસએડીડીપી) એ ડિફરન્શિયલ ડાયનેમિક પ્રોગ્રામિંગનું મોન્ટે કાર્લો વર્ઝન છે. તે વિભેદક ગતિશીલ પ્રોગ્રામિંગના વર્ગાત્મક ખર્ચને બોલ્ટ્ઝમેન વિતરણની ઊર્જા તરીકે ગણવા પર આધારિત છે. આ રીતે ડી. ડી. પી. ની માત્રાને બહુ-પરિમાણીય સામાન્ય વિતરણના આંકડા સાથે સરખાવી શકાય છે. આંકડાની ગણતરી નમૂનાના માર્ગમાંથી તફાવત વિના કરી શકાય છે. નમૂનારૂપ વિભેદક ગતિશીલ પ્રોગ્રામિંગને વિભેદક ગતિશીલ પ્રોગ્રામિંગ સાથે પાથ ઇન્ટિગ્રલ પોલિસી ઇમ્પ્રૂવમેન્ટ સુધી વિસ્તૃત કરવામાં આવ્યું છે. આ વિભેદક ગતિશીલ પ્રોગ્રામિંગ અને પાથ અભિન્ન નિયંત્રણ વચ્ચેની કડી બનાવે છે, જે સ્ટોકેસ્ટિક શ્રેષ્ઠ નિયંત્રણનું માળખું છે. મર્યાદિત સમસ્યાઓ આંતરિક બિંદુ વિભેદક ગતિશીલ પ્રોગ્રામિંગ (આઇ. પી. ડી. ડી. પી.) એ ડી. ડી. પી. નું આંતરિક બિંદુ પદ્ધતિનું સામાન્યીકરણ છે જે બિનરેખીય સ્થિતિ અને ઇનપુટ અવરોધો સાથે શ્રેષ્ઠ નિયંત્રણ સમસ્યાનું સમાધાન કરી શકે છે. શ્રેષ્ઠ નિયંત્રણ સંદર્ભો બાહ્ય કડીઓ એ પાયથોન અમલીકરણ DDP A MATLAB અમલીકરણ DDP ડાયનેમિક પ્રોગ્રામિંગ