human
Veuillez expliquer ce qu'est "l'équation de Bellman"
gpt
Une équation de Bellman, nommée d'après Richard E. Bellman, est une condition nécessaire à l'optimalité associée à la méthode d'optimisation mathématique connue sous le nom de programmation dynamique. Il écrit la "valeur" d'un problème de décision à un certain moment en termes de gain de certains choix initiaux et de "valeur" du problème de décision restant qui résulte de ces choix initiaux. [citation nécessaire] Cela brise une dynamique problème d'optimisation en une séquence de sous-problèmes plus simples, comme le prescrit le "principe d'optimalité" de Bellman. L'équation s'applique aux structures algébriques avec un ordre total ; pour les structures algébriques avec un ordre partiel, l'équation générique de Bellman peut être utilisée.
L'équation de Bellman a d'abord été appliquée à la théorie du contrôle technique et à d'autres sujets de mathématiques appliquées, puis est devenue un outil important de la théorie économique ; bien que les concepts de base de la programmation dynamique soient préfigurés dans la théorie des jeux et du comportement économique de John von Neumann et Oskar Morgenstern et dans l'analyse séquentielle d'Abraham Wald. problèmes d'optimisation. Dans les problèmes d'optimisation en temps continu, l'équation analogue est une équation aux dérivées partielles appelée équation de Hamilton – Jacobi – Bellman.
En temps discret, tout problème d'optimisation à plusieurs étapes peut être résolu en analysant l'équation de Bellman appropriée. L'équation de Bellman appropriée peut être trouvée en introduisant de nouvelles variables d'état (augmentation d'état). Cependant, le problème d'optimisation multi-étapes à états augmentés qui en résulte a un espace d'états dimensionnel plus élevé que le problème d'optimisation multi-étapes d'origine - un problème qui peut potentiellement rendre le problème augmenté insoluble en raison de la "malédiction de la dimensionnalité". Alternativement, il a été montré que si la fonction de coût du problème d'optimisation à plusieurs étapes satisfait une structure "séparable en arrière", alors l'équation de Bellman appropriée peut être trouvée sans augmentation d'état.