Etiket yumuşatma

Etiket yumuşatma, bir sinir ağının eğitim sürecini düzenlemek için derin öğrenmede kullanılan bir tekniktir. Bu teknik, eğitim süreci sırasında modelin doğru etiketlere bağımlılığını azaltarak aşırı uyumu önlemek için kullanılır. Modelin “yanlış” etiketlere olan güvenini artırarak çalışır.

Eğitim sırasında bir sinir ağı, belirli bir girdi için doğru etiketler üzerinde bir olasılık dağılımı üretecektir. Etiket yumuşatma, ağın çıktısına az miktarda karışıklık ekler. Bu karışıklık, modeli "yanlış" etiketleri de dikkate almaya teşvik ederek aşırı uyum olasılığını azaltır.

Etiket yumuşatma özellikle sınıflar arasında büyük farklılıklar olan veriler üzerinde bir ağ eğitilirken faydalıdır. Örneğin, 100 pozitif örnek ve 1 negatif örnek içeren bir veri kümesi üzerinde eğitilen bir ağın birkaç eğitim geçişinden sonra pozitif örneğe aşırı uyum sağlaması muhtemeldir. Etiket yumuşatma uygulamak, modelin pozitif etiketi seçme kesinliğini azaltarak genelleştirmesini artıracaktır.

Etiket yumuşatma iki şekilde uygulanabilir. Birincisi, her etikete sabit miktarda yumuşatma uygulamaktır. Bu, her etikete eşit dağılımın küçük bir kısmının eklenmesiyle elde edilir. Diğer yol ise ağın doğru sınıflandırmadan ne kadar emin olduğuna bağlı olarak her etikete farklı düzeylerde yumuşatma uygulamaktır. Örneğin, çok kesin olan bir etikete yüksek düzeyde yumuşatma uygulanırken, daha belirsiz olan bir etikette daha az yumuşatma uygulanacaktır.

Etiket yumuşatma, derin öğrenme modellerinin performansını artırmak için yaygın olarak kullanılan bir tekniktir. Erken durdurma ve bırakma gibi diğer düzenlileştirme teknikleriyle birlikte kullanılması, aşırı uyumu daha da azaltmaya ve model genellemesini iyileştirmeye yardımcı olabilir.