human
Veuillez expliquer ce que sont les "données d'entraînement"
gpt
Dans l'apprentissage automatique, une tâche courante est l'étude et la construction d'algorithmes capables d'apprendre et de faire des prédictions sur les données. Ces algorithmes fonctionnent en faisant des prédictions ou des décisions basées sur les données, en construisant un modèle mathématique à partir des données d'entrée. Ces données d'entrée utilisées pour construire le modèle sont généralement divisées en plusieurs ensembles de données. En particulier, trois ensembles de données sont couramment utilisés à différentes étapes de la création du modèle : ensembles d'apprentissage, de validation et de test.
Le modèle est initialement ajusté sur un ensemble de données d'apprentissage, qui est un ensemble d'exemples utilisés pour ajuster les paramètres (par exemple, les poids des connexions entre les neurones dans les réseaux de neurones artificiels) du modèle. Le modèle (par exemple un classificateur naïf de Bayes) est entraîné sur l'ensemble de données d'entraînement à l'aide d'une méthode d'apprentissage supervisé, par exemple à l'aide de méthodes d'optimisation telles que la descente de gradient ou la descente de gradient stochastique. En pratique, l'ensemble de données d'apprentissage se compose souvent de paires d'un vecteur d'entrée (ou scalaire) et du vecteur de sortie correspondant (ou scalaire), où la clé de réponse est généralement désignée comme cible (ou étiquette). Le modèle actuel est exécuté avec l'ensemble de données d'apprentissage et produit un résultat, qui est ensuite comparé à la cible, pour chaque vecteur d'entrée dans l'ensemble de données d'apprentissage. En fonction du résultat de la comparaison et de l'algorithme d'apprentissage spécifique utilisé, les paramètres du modèle sont ajustés. L'ajustement du modèle peut inclure à la fois la sélection des variables et l'estimation des paramètres.
Successivement, le modèle ajusté est utilisé pour prédire les réponses pour les observations dans un deuxième ensemble de données appelé ensemble de données de validation. L'ensemble de données de validation fournit une évaluation impartiale de l'ajustement d'un modèle sur l'ensemble de données d'apprentissage tout en ajustant les hyperparamètres du modèle (par exemple, le nombre d'unités cachées (couches et largeurs de couche) dans un réseau de neurones). Les ensembles de données de validation peuvent être utilisés pour la régularisation par arrêt précoce (arrêt de la formation lorsque l'erreur sur l'ensemble de données de validation augmente, car cela est un signe de sur-ajustement à l'ensemble de données de formation).
Cette procédure simple est compliquée en pratique par le fait que l'erreur de l'ensemble de données de validation peut fluctuer pendant la formation, produisant plusieurs minima locaux. Cette complication a conduit à la création de nombreuses règles ad hoc pour décider quand le sur-ajustement a vraiment commencé.
Enfin, l'ensemble de données de test est un ensemble de données utilisé pour fournir une évaluation impartiale d'un ajustement final du modèle sur l'ensemble de données d'apprentissage. Si les données de l'ensemble de données de test n'ont jamais été utilisées dans la formation (par exemple dans la validation croisée), l'ensemble de données de test est également appelé ensemble de données d'exclusion. Le terme « ensemble de validation » est parfois utilisé à la place de « ensemble de test » dans certaines publications (par exemple, si l'ensemble de données d'origine a été divisé en deux sous-ensembles seulement, l'ensemble de test peut être appelé ensemble de validation).
Décider des tailles et des stratégies de division des ensembles de données dans les ensembles d'apprentissage, de test et de validation dépend fortement du problème et des données disponibles.