Kelengkapan berlebihan dalam pembelajaran mesin

Overfitting dalam Pembelajaran Mesin ialah istilah yang digunakan untuk menggambarkan situasi di mana model pembelajaran mesin berprestasi baik pada data latihan tetapi gagal untuk digeneralisasikan kepada data baharu. Ia berlaku apabila model terlalu kompleks dan mempunyai banyak parameter, setiap satunya ditala secara khusus kepada set data latihan. Pemasangan lampau juga boleh berlaku apabila model terlalu mudah dan gagal menangkap struktur data.

Secara umum, overfitting berlaku apabila model terlalu kompleks dan mempelajari corak atau bunyi yang tepat yang terdapat dalam data latihan. Ia mempunyai kesan negatif ke atas prestasi model dalam data luar sampel, kerana ia telah dilatih pada subset data yang terhad dan cenderung untuk menghafal corak dan bukannya membuat generalisasi daripadanya.

Pemasangan berlebihan dalam model Pembelajaran Mesin biasanya timbul daripada gabungan faktor. Ini termasuk kekurangan data, atau terlalu banyak data, kerumitan model yang lebih tinggi daripada yang diperlukan untuk menerangkan gelagat sasaran, atau terlalu banyak pembolehubah penjelasan dengan maklumat berlebihan.

Untuk mengelakkan overfitting, data latihan mesti dipilih dengan betul dan model yang sesuai mesti dibina. Teknik yang biasa digunakan untuk meningkatkan ketepatan generalisasi termasuk kaedah regularisasi seperti pengecutan, pemilihan subset dan teknik berasaskan parsimoni. Selain itu, semakan pasca anggaran juga perlu dijalankan untuk memastikan model itu tidak terlalu muat. Akhir sekali, menggunakan teknik visualisasi data yang berkuasa untuk membantu menjelaskan struktur data dan model juga boleh mengurangkan kemungkinan pemasangan berlebihan.