Lisciatura delle etichette

Il label smoothing è una tecnica utilizzata nel deep learning per regolarizzare il processo di training di una rete neurale. La tecnica viene utilizzata per evitare l'adattamento eccessivo riducendo la dipendenza del modello dalle etichette corrette durante il processo di addestramento. Funziona aumentando la fiducia del modello nelle etichette “sbagliate”.

Durante l'addestramento, una rete neurale produrrà una distribuzione di probabilità sulle etichette corrette per un dato input. Il livellamento delle etichette aggiunge un po' di confusione all'output della rete. Questa confusione incoraggia il modello a considerare anche le etichette “errate”, riducendo la probabilità di overfitting.

Il livellamento delle etichette è particolarmente utile quando si addestra una rete su dati che presentano grandi discrepanze tra le classi. Ad esempio, una rete addestrata su un set di dati con 100 campioni positivi e 1 campione negativo probabilmente diventerebbe molto adattata al campione positivo dopo alcuni passaggi di addestramento. L’applicazione del label smoothing ridurrebbe la certezza con cui il modello sceglie l’etichetta positiva, aumentandone la generalizzazione.

La levigatura delle etichette può essere applicata in due modi. Il primo consiste nell'applicare una quantità costante di levigatura su ogni etichetta. Ciò si ottiene aggiungendo una piccola porzione della distribuzione uniforme su ogni etichetta. L'altro modo consiste nell'applicare diversi livelli di livellamento su ciascuna etichetta, a seconda della certezza della classificazione corretta della rete. Ad esempio, a un'etichetta molto certa verrà applicato un livello elevato di livellamento, mentre a un'etichetta più incerta verrà applicato un livello di livellamento inferiore.

Lo smoothing delle etichette è una tecnica comunemente utilizzata per migliorare le prestazioni dei modelli di deep learning. Il suo utilizzo in combinazione con altre tecniche di regolarizzazione, come l’arresto anticipato e il dropout, può aiutare a ridurre ulteriormente l’overfitting e migliorare la generalizzazione del modello.