Suavizado de etiquetas

El suavizado de etiquetas es una técnica utilizada en el aprendizaje profundo para regularizar el proceso de entrenamiento de una red neuronal. La técnica se utiliza para evitar el sobreajuste reduciendo la confianza del modelo en las etiquetas correctas durante el proceso de entrenamiento. Funciona aumentando la confianza del modelo en las etiquetas "erróneas".

Durante el entrenamiento, una red neuronal producirá una distribución de probabilidad sobre las etiquetas correctas para una entrada dada. El suavizado de etiquetas añade una pequeña cantidad de confusión a la salida de la red. Esta confusión anima al modelo a considerar también las etiquetas "incorrectas", reduciendo la probabilidad de sobreajuste.

El suavizado de etiquetas es especialmente útil cuando se entrena una red con datos que presentan grandes discrepancias entre clases. Por ejemplo, una red entrenada en un conjunto de datos con 100 muestras positivas y 1 muestra negativa probablemente se ajustaría en exceso a la muestra positiva tras unos pocos pases de entrenamiento. Aplicar el suavizado de etiquetas reduciría la certeza con la que el modelo elige la etiqueta positiva, aumentando su generalización.

El suavizado de etiquetas puede aplicarse de dos maneras. La primera consiste en aplicar una cantidad constante de suavizado en cada etiqueta. Esto se consigue añadiendo una pequeña porción de la distribución uniforme a cada etiqueta. La otra consiste en aplicar distintos niveles de suavizado a cada etiqueta, en función del grado de certeza de la red sobre la clasificación correcta. Por ejemplo, a una etiqueta muy segura se le aplicaría un alto nivel de suavizado, mientras que a una etiqueta más incierta se le aplicaría menos suavizado.

El suavizado de etiquetas es una técnica comúnmente utilizada para mejorar el rendimiento de los modelos de aprendizaje profundo. Su uso en combinación con otras técnicas de regularización, como la detención temprana y el abandono, puede ayudar a reducir aún más el sobreajuste y mejorar la generalización del modelo.