L'overfitting dans l'apprentissage automatique

Le surajustement dans l'apprentissage automatique est un terme utilisé pour décrire une situation dans laquelle un modèle d'apprentissage automatique fonctionne bien sur des données d'apprentissage mais ne parvient pas à se généraliser à de nouvelles données. Cette situation se produit lorsque le modèle est trop complexe et comporte de nombreux paramètres, chacun d'entre eux étant spécifiquement adapté à l'ensemble des données d'apprentissage. Le surajustement peut également se produire lorsque le modèle est trop simple et ne parvient pas à capturer la structure des données.

En général, il y a surajustement lorsqu'un modèle est trop complexe et qu'il apprend les modèles exacts ou le bruit présent dans les données d'apprentissage. Il a un effet négatif sur les performances du modèle dans les données hors échantillon, car il a été formé sur un sous-ensemble limité de données et a tendance à mémoriser les modèles plutôt que de les généraliser.

Le surajustement des modèles d'apprentissage automatique résulte généralement d'une combinaison de facteurs. Il s'agit notamment d'un manque ou d'un excès de données, d'une complexité du modèle supérieure à ce qui est nécessaire pour expliquer le comportement cible, ou d'un trop grand nombre de variables explicatives contenant des informations redondantes.

Pour éviter l'ajustement excessif, les données d'entraînement doivent être sélectionnées correctement et un modèle approprié doit être construit. Les techniques couramment utilisées pour améliorer la précision de la généralisation comprennent des méthodes de régularisation telles que le rétrécissement, la sélection de sous-ensembles et les techniques basées sur la parcimonie. En outre, des vérifications post-estimation doivent être effectuées pour s'assurer que le modèle n'est pas surajusté. Enfin, l'utilisation de techniques puissantes de visualisation des données pour aider à élucider la structure des données et du modèle peut également réduire les risques de surajustement.