Hamiltonian Monte Carlo

Hamiltonian Monte Carlo (HMC) adalah jenis metode Markov Chain Monte Carlo (MCMC) untuk pengambilan sampel secara efisien dari distribusi probabilitas. Ini dikembangkan oleh Radford M. Neal pada tahun 1990-an. HMC bekerja dengan memperkenalkan variabel momentum ekstra ke dalam proses pengambilan sampel, yang memungkinkan pengambilan sampel lebih efisien sepanjang arah dimana distribusi mempunyai perubahan nilai yang relatif besar, serta memungkinkan untuk 'memantul' ke wilayah di mana distribusi berubah dengan cepat. Biasanya digunakan dalam inferensi Bayesian, tetapi juga dapat digunakan dalam jenis tugas pembelajaran atau pengoptimalan lainnya.

HMC secara khusus berguna dalam kasus di mana distribusi probabilitas bersifat multi-modal (yaitu, terdapat lebih dari satu wilayah distribusi yang berbeda) atau memiliki kelengkungan yang kuat. Hal ini juga berguna jika distribusi probabilitas berubah dengan cepat di beberapa area. HMC sangat berguna dalam kasus di mana distribusi probabilitas merupakan fungsi dari beberapa variabel kontinu, karena hal ini dapat mempersulit pengambilan sampel secara efisien menggunakan metode MCMC seperti pengambilan sampel Gibbs.

Secara umum, HMC kurang efisien dibandingkan metode MCMC lainnya dalam hal jumlah sampel yang perlu diambil untuk mendapatkan estimasi distribusi probabilitas posterior yang akurat; namun, dalam praktiknya seringkali lebih cepat karena tidak memerlukan banyak langkah untuk mengambil sampel dari wilayah distribusi probabilitas tertentu.

Istilah “Hamiltonian” dalam Hamiltonian Monte Carlo berasal dari fakta bahwa dinamika Rantai Markov dapat dinyatakan sebagai sistem Hamiltonian dalam ruang fase yang berpotensi berdimensi tinggi. Hal ini memungkinkan representasi sampel yang lebih efisien dibandingkan dengan representasi MCMC biasa, karena dinamika rantai dinyatakan sebagai persamaan diferensial.