Wygładzanie etykiet

Wygładzanie etykiet to technika stosowana w głębokim uczeniu się w celu uregulowania procesu uczenia sieci neuronowej. Technikę tę stosuje się, aby uniknąć nadmiernego dopasowania poprzez zmniejszenie zależności modelu od prawidłowych etykiet podczas procesu uczenia. Działa poprzez zwiększenie pewności modelu w „niewłaściwych” etykietach.

Podczas uczenia sieć neuronowa wygeneruje rozkład prawdopodobieństwa dla odpowiednich etykiet dla danych wejściowych. Wygładzanie etykiet dodaje niewielką ilość zamieszania do wyników sieci. To zamieszanie zachęca model do uwzględnienia również „nieprawidłowych” etykiet, co zmniejsza prawdopodobieństwo nadmiernego dopasowania.

Wygładzanie etykiet jest szczególnie przydatne podczas uczenia sieci na danych, które mają duże rozbieżności między klasami. Na przykład sieć trenowana na zbiorze danych zawierającym 100 próbek pozytywnych i 1 próbkę ujemną prawdopodobnie po kilku przejściach szkoleniowych zostanie bardzo nadmiernie dopasowana do próbki pozytywnej. Zastosowanie wygładzania etykiet zmniejszyłoby pewność, z jaką model wybiera etykietę pozytywną, zwiększając jej uogólnienie.

Wygładzanie etykiet można zastosować na dwa sposoby. Pierwszym z nich jest zastosowanie stałej ilości wygładzania na każdej etykiecie. Osiąga się to poprzez dodanie niewielkiej części równomiernego rozkładu na każdej etykiecie. Innym sposobem jest zastosowanie różnych poziomów wygładzenia każdej etykiety, w zależności od tego, jak pewna jest poprawna klasyfikacja sieci. Na przykład do etykiety, która jest bardzo pewna, zostanie zastosowany wysoki poziom wygładzenia, podczas gdy etykieta, która jest bardziej niepewna, będzie wymagała mniejszego wygładzenia.

Wygładzanie etykiet jest powszechnie stosowaną techniką poprawiającą wydajność modeli głębokiego uczenia się. Jego użycie w połączeniu z innymi technikami regularyzacji, takimi jak wczesne zatrzymanie i porzucenie, może pomóc w dalszym ograniczeniu nadmiernego dopasowania i ulepszeniu generalizacji modelu.