human
Veuillez expliquer ce qu'est "l'itération de valeur"
gpt
En mathématiques, un processus de décision de Markov (MDP) est un processus de contrôle stochastique en temps discret. Il fournit un cadre mathématique pour modéliser la prise de décision dans des situations où les résultats sont en partie aléatoires et en partie sous le contrôle d'un décideur. Les MDP sont utiles pour étudier les problèmes d'optimisation résolus via la programmation dynamique. Les MDP étaient connus au moins dès les années 1950; un noyau de recherche sur les processus de décision de Markov est issu du livre de Ronald Howard de 1960, Dynamic Programming and Markov Processes. Ils sont utilisés dans de nombreuses disciplines, notamment la robotique, le contrôle automatique, l'économie et la fabrication. Le nom des MDP vient du mathématicien russe Andrey Markov car ils sont une extension des chaînes de Markov.
A chaque pas de temps, le processus est dans un état



s


{\displaystyle s}

, et le décideur peut choisir n'importe quelle action



un


{\displaystyle a}

 qui est disponible dans l'état



s


{\displaystyle s}

. Le processus répond au pas de temps suivant en passant aléatoirement dans un nouvel état




s
′



{\displaystyle s'}

, et donnant au décideur une récompense correspondante




R

un


(
s
,

s
′

)


{\displaystyle R_{a}(s,s')}

.
La probabilité que le processus passe à son nouvel état




s
′



{\displaystyle s'}

 est influencé par l'action choisie. Plus précisément, il est donné par la fonction de transition d'état




P

un


(
s
,

s
′

)


{\displaystyle P_{a}(s,s')}

. Ainsi, l'état suivant




s
′



{\displaystyle s'}

 dépend de l'état actuel



s


{\displaystyle s}

 et l'action du décideur



un


{\displaystyle a}

. Mais étant donné



s


{\displaystyle s}

 et



un


{\displaystyle a}

, il est conditionnellement indépendant de tous les états et actions précédents ; en d'autres termes, les transitions d'état d'un MDP satisfont la propriété de Markov.
Les processus de décision de Markov sont une extension des chaînes de Markov ; la différence est l'addition d'actions (permettant le choix) et de récompenses (donnant la motivation). Inversement, s'il n'existe qu'une seule action pour chaque état (par exemple "attendre") et que toutes les récompenses sont identiques (par exemple "zéro"), un processus de décision de Markov se réduit à une chaîne de Markov.