human
Veuillez expliquer ce qu'est un "bandit multi-armé"
gpt
En théorie des probabilités et en apprentissage automatique , le problème du bandit à plusieurs bras (parfois appelé problème du bandit à bras K ou N ) est un problème dans lequel un ensemble limité fixe de ressources doit être alloué entre des choix concurrents (alternatifs) d'une manière qui maximise leur gain attendu, lorsque les propriétés de chaque choix ne sont que partiellement connues au moment de l'allocation, et peuvent être mieux comprises au fil du temps ou en allouant des ressources au choix. Il s'agit d'un problème d'apprentissage par renforcement classique qui illustre le dilemme du compromis exploration-exploitation. Le nom vient de l'imagination d'un joueur devant une rangée de machines à sous (parfois appelées "bandits manchots"), qui doit décider sur quelles machines jouer, combien de fois jouer sur chaque machine et dans quel ordre les jouer, et s'il faut continuer avec la machine actuelle ou essayer une autre machine. Le problème du bandit multi-armé entre également dans la grande catégorie de l'ordonnancement stochastique.
Dans le problème, chaque machine fournit une récompense aléatoire à partir d'une distribution de probabilité spécifique à cette machine, qui n'est pas connue a priori. L'objectif du joueur est de maximiser la somme des récompenses gagnées grâce à une séquence de leviers. Le compromis crucial auquel le joueur est confronté à chaque essai est entre "l'exploitation" de la machine qui a le gain attendu le plus élevé et "l'exploration" pour obtenir plus d'informations sur les gains attendus des autres machines. Le compromis entre l'exploration et l'exploitation est également rencontré dans l'apprentissage automatique. Dans la pratique, les bandits à plusieurs bras ont été utilisés pour modéliser des problèmes tels que la gestion de projets de recherche dans une grande organisation, comme une fondation scientifique ou une société pharmaceutique. Dans les premières versions du problème, le joueur commence sans aucune connaissance initiale des machines.
Herbert Robbins en 1952, réalisant l'importance du problème, a construit des stratégies de sélection de population convergentes dans "certains aspects de la conception séquentielle des expériences". Un théorème, l'indice de Gittins, publié pour la première fois par John C. Gittins, donne une politique optimale pour maximiser la récompense actualisée attendue.