human
Veuillez expliquer ce qu'est la "régularisation (mathématiques)"
gpt
En mathématiques, en statistiques, en finance, en informatique, en particulier dans l'apprentissage automatique et les problèmes inverses, la régularisation est un processus qui modifie le résultat de la réponse pour qu'elle soit "plus simple". Il est souvent utilisé pour obtenir des résultats pour des problèmes mal posés ou pour éviter le surapprentissage.
Bien que les procédures de régularisation puissent être divisées de plusieurs manières, la délimitation suivante est particulièrement utile :
Dans la régularisation explicite, indépendamment du problème ou du modèle, il y a toujours un terme de données, qui correspond à une vraisemblance de la mesure et un terme de régularisation qui correspond à un a priori. En combinant les deux à l'aide de statistiques bayésiennes, on peut calculer une a posteriori, qui inclut les deux sources d'information et stabilise donc le processus d'estimation. En échangeant les deux objectifs, on choisit d'être plus dépendant des données ou d'imposer la généralisation (pour éviter le surajustement). Il y a toute une branche de recherche qui s'occupe de toutes les régularisations possibles. Le flux de travail consiste généralement à essayer une régularisation spécifique, puis à déterminer la densité de probabilité qui correspond à cette régularisation pour justifier le choix. Il peut aussi être physiquement motivé par le bon sens ou l'intuition.
En machine learning, le terme de données correspond aux données d'apprentissage et la régularisation est soit le choix du modèle soit des modifications de l'algorithme. Il est toujours destiné à réduire l'erreur de généralisation, c'est-à-dire le score d'erreur avec le modèle entraîné sur l'ensemble d'évaluation et non les données d'entraînement.
L'une des premières utilisations de la régularisation est la régularisation de Tikhonov, liée à la méthode des moindres carrés.