human
Veuillez expliquer ce qu'est le "taux d'apprentissage"
gpt
Dans l'apprentissage automatique et les statistiques, le taux d'apprentissage est un paramètre de réglage dans un algorithme d'optimisation qui détermine la taille du pas à chaque itération tout en se déplaçant vers un minimum d'une fonction de perte. Puisqu'il influence dans quelle mesure les informations nouvellement acquises remplacent les anciennes informations, il représente métaphoriquement la vitesse à laquelle un modèle d'apprentissage automatique "apprend". Dans la littérature sur le contrôle adaptatif, le taux d'apprentissage est communément appelé gain.
En fixant un taux d'apprentissage, il y a un compromis entre le taux de convergence et le dépassement. Alors que la direction de descente est généralement déterminée à partir du gradient de la fonction de perte, le taux d'apprentissage détermine la taille d'un pas dans cette direction. Un taux d'apprentissage trop élevé fera sauter l'apprentissage par-dessus les minima, mais un taux d'apprentissage trop faible mettra trop de temps à converger ou restera coincé dans un minimum local indésirable.
Afin d'obtenir une convergence plus rapide, d'éviter les oscillations et de rester coincé dans des minima locaux indésirables, le taux d'apprentissage est souvent modifié pendant la formation, soit conformément à un calendrier de taux d'apprentissage, soit en utilisant un taux d'apprentissage adaptatif. Le taux d'apprentissage et ses ajustements peuvent également différer par paramètre, auquel cas il s'agit d'une matrice diagonale qui peut être interprétée comme une approximation de l'inverse de la matrice hessienne dans la méthode de Newton. Le taux d'apprentissage est lié à la longueur de pas déterminée par la recherche de ligne inexacte dans les méthodes quasi-Newton et les algorithmes d'optimisation associés.
Lors de la recherche de lignes, le sous-échantillonnage par mini-lots (MBSS) affecte les caractéristiques de la fonction de perte le long de laquelle le taux d'apprentissage doit être résolu. Le MBSS statique maintient le mini-lot fixe le long d'une direction de recherche, ce qui entraîne une fonction de perte lisse le long de la direction de recherche. Le MBSS dynamique met à jour le mini-lot à chaque évaluation de fonction, ce qui entraîne une fonction de perte discontinue ponctuelle le long de la direction de recherche. Les recherches de ligne qui résolvent de manière adaptative les taux d'apprentissage pour les fonctions de perte MBSS statiques incluent la recherche de ligne d'approximation parabolique (PAL). Les recherches de ligne qui résolvent de manière adaptative les taux d'apprentissage pour les fonctions de perte MBSS dynamiques comprennent les recherches de ligne probabilistes,[10] les recherches de ligne de gradient uniquement (GOLS)[11] et les approximations quadratiques.[12]