Hamiltonian Monte Carlo

Hamiltonian Monte Carlo (HMC), olasılık dağılımlarından verimli bir şekilde örneklemeye yönelik bir Markov Zinciri Monte Carlo (MCMC) yöntemidir. 1990'lı yıllarda Radford M. Neal tarafından geliştirilmiştir. HMC, örnekleme sürecine ekstra momentum değişkenleri katarak çalışır; bu, dağılımın değer açısından nispeten büyük değişikliklere sahip olduğu yönler boyunca daha verimli örnekleme yapılmasına ve ayrıca dağılımın hızlı bir şekilde değiştiği bölgelerden 'geri dönmesine' olanak tanır. Genellikle Bayes çıkarımında kullanılır, ancak diğer öğrenme veya optimizasyon görevlerinde de kullanılabilir.

HMC, olasılık dağılımının çok modlu olduğu (yani, dağılımın birden fazla farklı bölgesinin bulunduğu) veya güçlü eğriliğe sahip olduğu durumlarda özellikle faydalıdır. Bazı alanlarda olasılık dağılımının hızla değiştiği durumlarda da yararlı olabilir. HMC özellikle olasılık dağılımının çeşitli sürekli değişkenlerin bir fonksiyonu olduğu durumlarda kullanışlıdır çünkü bu, Gibbs örneklemesi gibi MCMC yöntemleri kullanılarak verimli bir şekilde örnekleme yapmayı zorlaştırabilir.

Genel olarak HMC, sonsal olasılık dağılımının doğru bir tahminini elde etmek için alınması gereken örnek sayısı açısından diğer MCMC yöntemlerinden daha az verimlidir; ancak olasılık dağılımının belirli bir bölgesinden örnekleme yapmak için çok fazla adım atmayı gerektirmediğinden pratikte genellikle daha hızlı olabilir.

Hamiltonian Monte Carlo'daki "Hamiltonian" terimi, bir Markov Zincirinin dinamiğinin, potansiyel olarak yüksek boyutlu bir faz uzayında bir Hamilton sistemi olarak ifade edilebileceği gerçeğinden kaynaklanmaktadır. Bu, zincirin dinamikleri bir diferansiyel denklem olarak ifade edildiğinden, normal bir MCMC temsiliyle karşılaştırıldığında örneklerin daha verimli bir şekilde temsil edilmesine olanak tanır.