human
Veuillez expliquer ce qu'est la "différence temporelle"
gpt
L'apprentissage par différence temporelle (TD) fait référence à une classe de méthodes d'apprentissage par renforcement sans modèle qui apprennent en s'amorçant à partir de l'estimation actuelle de la fonction de valeur. Ces méthodes échantillonnent à partir de l'environnement, comme les méthodes de Monte Carlo, et effectuent des mises à jour basées sur les estimations actuelles, comme les méthodes de programmation dynamique.
Alors que les méthodes de Monte Carlo n'ajustent leurs estimations qu'une fois le résultat final connu, les méthodes TD ajustent les prédictions pour qu'elles correspondent à des prédictions ultérieures plus précises sur l'avenir avant que le résultat final ne soit connu. Il s'agit d'une forme d'amorçage, comme l'illustre l'exemple suivant :
Les méthodes de différence temporelle sont liées au modèle de différence temporelle de l'apprentissage animal.