Penghalusan label

Pemulusan label adalah teknik yang digunakan dalam pembelajaran mendalam untuk mengatur proses pelatihan jaringan saraf. Teknik ini digunakan untuk menghindari overfitting dengan mengurangi ketergantungan model pada label yang benar selama proses pelatihan. Ini bekerja dengan meningkatkan kepercayaan model pada label yang “salah”.

Selama pelatihan, jaringan saraf akan menghasilkan distribusi probabilitas pada label yang benar untuk masukan tertentu. Pemulusan label menambahkan sedikit kebingungan pada keluaran jaringan. Kebingungan ini mendorong model untuk mempertimbangkan label yang “salah” juga, sehingga mengurangi kemungkinan overfitting.

Pemulusan label sangat berguna saat melatih jaringan pada data yang memiliki perbedaan besar antar kelas. Misalnya, jaringan yang dilatih pada kumpulan data dengan 100 sampel positif dan 1 sampel negatif kemungkinan besar akan terlalu cocok dengan sampel positif setelah beberapa pelatihan berlalu. Menerapkan pemulusan label akan mengurangi kepastian model memilih label positif, sehingga meningkatkan generalisasinya.

Penghalusan label dapat diterapkan dengan dua cara. Yang pertama adalah menerapkan penghalusan dalam jumlah yang konstan pada setiap label. Hal ini dicapai dengan menambahkan sebagian kecil pemerataan pada setiap label. Cara lainnya adalah dengan menerapkan tingkat penghalusan yang berbeda-beda pada setiap label, bergantung pada seberapa yakin jaringan tersebut berada pada klasifikasi yang benar. Misalnya, label yang sangat pasti akan memiliki tingkat penghalusan yang tinggi, sedangkan label yang lebih tidak pasti akan memiliki tingkat penghalusan yang lebih sedikit.

Pemulusan label adalah teknik yang umum digunakan untuk meningkatkan performa model pembelajaran mendalam. Penggunaannya dalam kombinasi dengan teknik regularisasi lainnya, seperti penghentian dini dan dropout, dapat membantu mengurangi overfitting dan meningkatkan generalisasi model.