Suavização de rótulos

A suavização de rótulos é uma técnica usada na aprendizagem profunda para regularizar o processo de treinamento de uma rede neural. A técnica é usada para evitar o ajuste excessivo, reduzindo a confiança do modelo em rótulos corretos durante o processo de treinamento. Ela funciona aumentando a confiança do modelo em rótulos "errados".

Durante o treinamento, uma rede neural produzirá uma distribuição de probabilidade sobre os rótulos corretos para uma determinada entrada. A suavização de rótulos acrescenta uma pequena quantidade de confusão à saída da rede. Essa confusão incentiva o modelo a considerar também os rótulos "incorretos", reduzindo a probabilidade de ajuste excessivo.

A suavização de rótulos é especialmente útil ao treinar uma rede em dados com grandes discrepâncias entre as classes. Por exemplo, uma rede treinada em um conjunto de dados com 100 amostras positivas e 1 amostra negativa provavelmente se tornaria muito ajustada à amostra positiva após algumas passagens de treinamento. A aplicação da suavização de rótulos reduziria a certeza com que o modelo escolhe o rótulo positivo, aumentando sua generalização.

A suavização de rótulos pode ser aplicada de duas maneiras. A primeira é aplicar uma quantidade constante de suavização em cada rótulo. Isso é feito adicionando-se uma pequena parte da distribuição uniforme em cada rótulo. A outra maneira é aplicar níveis variados de suavização em cada rótulo, dependendo do grau de certeza da rede quanto à classificação correta. Por exemplo, um rótulo muito certo teria um alto nível de suavização aplicado, enquanto um rótulo mais incerto teria menos suavização.

A suavização de rótulos é uma técnica comumente usada para melhorar o desempenho dos modelos de aprendizagem profunda. Seu uso em combinação com outras técnicas de regularização, como parada antecipada e abandono, pode ajudar a reduzir ainda mais o excesso de ajuste e melhorar a generalização do modelo.