Lissage des étiquettes

Le lissage des étiquettes est une technique utilisée dans l'apprentissage profond pour régulariser le processus de formation d'un réseau neuronal. Cette technique permet d'éviter le surajustement en réduisant la confiance du modèle dans les étiquettes correctes au cours du processus de formation. Elle fonctionne en augmentant la confiance du modèle dans les "mauvaises" étiquettes.

Au cours de la formation, un réseau neuronal produit une distribution de probabilités sur les étiquettes correctes pour une entrée donnée. Le lissage des étiquettes ajoute une légère confusion à la sortie du réseau. Cette confusion encourage le modèle à prendre également en compte les étiquettes "incorrectes", réduisant ainsi la probabilité d'un surajustement.

Le lissage des étiquettes est particulièrement utile lors de la formation d'un réseau sur des données présentant de grandes différences entre les classes. Par exemple, un réseau formé sur un ensemble de données comportant 100 échantillons positifs et 1 échantillon négatif serait susceptible de devenir très suradapté à l'échantillon positif après quelques passes de formation. L'application d'un lissage des étiquettes réduirait la certitude avec laquelle le modèle choisit l'étiquette positive, augmentant ainsi sa généralisation.

Le lissage des étiquettes peut être appliqué de deux manières. La première consiste à appliquer une quantité constante de lissage sur chaque étiquette. Pour ce faire, une petite partie de la distribution uniforme est ajoutée à chaque étiquette. L'autre méthode consiste à appliquer différents niveaux de lissage à chaque étiquette, en fonction du degré de certitude du réseau quant à la classification correcte. Par exemple, une étiquette très certaine sera lissée fortement, tandis qu'une étiquette plus incertaine sera moins lissée.

Le lissage des étiquettes est une technique couramment utilisée pour améliorer les performances des modèles d'apprentissage profond. Son utilisation en combinaison avec d'autres techniques de régularisation, comme l'arrêt précoce et le dropout, peut contribuer à réduire davantage l'overfitting et à améliorer la généralisation du modèle.