Penurunan gradien

Penurunan gradien adalah pendekatan algoritmik berulang yang digunakan dalam Pembelajaran Mesin untuk meminimalkan fungsi tujuan atau biaya. Ini digunakan untuk mengoptimalkan parameter model, seperti dalam Regresi Penurunan Gradien, untuk mencapai titik maksimum atau minimum sehubungan dengan kumpulan parameter. Dengan kata lain, tujuannya adalah menemukan parameter yang meminimalkan fungsi biaya.

Penurunan Gradien bekerja dengan menghitung gradien suatu fungsi di setiap titik, lalu menyesuaikan parameternya. Gradien adalah turunan dari fungsi biaya terhadap parameter. Jika turunannya bernilai negatif, maka parameter optimalnya menurun. Hal sebaliknya berlaku jika turunannya bernilai positif. Saat algoritme mengikuti gradien menurun, algoritme akhirnya mencapai titik di mana gradiennya nol. Pada saat itu, parameternya akan mencapai titik minimum lokalnya.

Secara umum, Gradient Descent adalah pendekatan yang cocok untuk mengoptimalkan fungsi nonlinier. Ia bekerja dalam kumpulan data kecil maupun kumpulan data besar yang kompleks. Hal ini juga mudah diterapkan karena mengikuti pendekatan matematika yang lugas.

Bagian penting dari algoritma Gradient Descent adalah kecepatan pembelajaran. Parameter ini menentukan seberapa cepat algoritma akan menyesuaikan parameter. Kecepatan pemelajaran yang lebih tinggi dapat menyebabkan algoritme menyimpang atau terombang-ambing alih-alih menyatu ke titik minimum lokal. Oleh karena itu, memilih kecepatan pemelajaran yang tepat adalah bagian penting dari proses pengoptimalan Gradient Descent.

Gradient Descent banyak digunakan dalam aplikasi Machine Learning seperti Neural Networks atau Support Vector Machines. Ini juga digunakan di bidang lain seperti Mesin Pencari atau Pemrosesan Bahasa Alami.