Vyhlazení štítků

Label smoothing je technika používaná v hlubokém učení k regularizaci tréninkového procesu neuronové sítě. Tato technika se používá k tomu, aby se zabránilo nadměrnému vybavení tím, že se během tréninkového procesu sníží spoléhání modelu na správné štítky. Funguje tak, že zvyšuje důvěru modelu ve „špatné“ štítky.

Během tréninku neuronová síť vytvoří rozdělení pravděpodobnosti přes správné štítky pro daný vstup. Vyhlazování štítků přidává do výstupu sítě malé množství zmatku. Tento zmatek povzbuzuje model, aby zvážil také „nesprávné“ štítky, čímž se snižuje pravděpodobnost přemontování.

Vyhlazování štítků je užitečné zejména při trénování sítě na datech, která mají velké rozdíly mezi třídami. Například síť trénovaná na datové sadě se 100 pozitivními vzorky a 1 negativním vzorkem bude pravděpodobně po několika trénovacích průchodech velmi přerostlá pozitivním vzorkem. Použití vyhlazování štítků by snížilo jistotu, se kterou model vybírá pozitivní štítek, a zvýšilo by jeho zobecnění.

Vyhlazení etiket lze aplikovat dvěma způsoby. První je aplikovat konstantní množství vyhlazování na každý štítek. Toho je dosaženo přidáním malé části rovnoměrného rozložení na každý štítek. Druhým způsobem je aplikovat různé úrovně vyhlazování na každý štítek v závislosti na tom, jak jistá je síť na správné klasifikaci. Například štítek, který je velmi jistý, by měl použitou vysokou úroveň vyhlazení, zatímco štítek, který je nejistější, by měl vyhlazení méně.

Label smoothing je běžně používaná technika pro zlepšení výkonu modelů hlubokého učení. Jeho použití v kombinaci s jinými regularizačními technikami, jako je předčasné zastavení a vypadnutí, může pomoci dále snížit nadměrné přizpůsobení a zlepšit zobecnění modelu.