Afvlakken van labels

Label smoothing is een techniek die bij deep learning wordt gebruikt om het trainingsproces van een neuraal netwerk te regulariseren. De techniek wordt gebruikt om overfitting te voorkomen door de afhankelijkheid van het model van de juiste labels tijdens het trainingsproces te verminderen. Het werkt door het vertrouwen van het model in ‘verkeerde’ labels te vergroten.

Tijdens de training zal een neuraal netwerk een waarschijnlijkheidsverdeling produceren over de juiste labels voor een bepaalde invoer. Label smoothing voegt een kleine hoeveelheid verwarring toe aan de uitvoer van het netwerk. Deze verwarring moedigt het model aan om ook rekening te houden met ‘onjuiste’ labels, waardoor de kans op overfitting kleiner wordt.

Het gladmaken van labels is vooral handig bij het trainen van een netwerk op gegevens met grote verschillen tussen klassen. Een netwerk dat bijvoorbeeld is getraind op een dataset met 100 positieve monsters en 1 negatief monster, zou na een paar trainingspassages waarschijnlijk erg overmatig geschikt zijn voor het positieve monster. Het toepassen van label smoothing zou de zekerheid waarmee het model het positieve label kiest verminderen, waardoor de generalisatie ervan toeneemt.

Etikettenvereffening kan op twee manieren worden toegepast. De eerste is om op elk etiket een constante hoeveelheid egalisatie aan te brengen. Dit wordt bereikt door op elk etiket een klein deel van de uniforme verdeling toe te voegen. De andere manier is om op elk label verschillende niveaus van afvlakking toe te passen, afhankelijk van hoe zeker het netwerk is van de juiste classificatie. Op een label dat zeer zeker is, wordt bijvoorbeeld een hoog niveau van afvlakking toegepast, terwijl op een label dat onzekerder is, minder afvlakking wordt toegepast.

Label smoothing is een veelgebruikte techniek om de prestaties van deep learning-modellen te verbeteren. Het gebruik ervan in combinatie met andere regularisatietechnieken, zoals vroegtijdig stoppen en uitval, kan helpen om overfitting verder te verminderen en de modelgeneralisatie te verbeteren.