ハミルトニアンモンテカルロ

ハミルトニアン モンテカルロ (HMC) は、確率分布から効率的にサンプリングするマルコフ連鎖モンテカルロ (MCMC) 法の一種です。 1990 年代にラドフォード M. ニールによって開発されました。 HMC は、サンプリング プロセスに追加の運動量変数を導入することによって機能します。これにより、分布の値の変化が比較的大きい方向に沿ったより効率的なサンプリングが可能になるだけでなく、分布が急速に変化する領域での「跳ね返り」も可能になります。通常、ベイズ推論で使用されますが、他のタイプの学習または最適化タスクでも使用できます。

HMC は、確率分布が多峰性である場合 (つまり、分布に複数の異なる領域がある場合)、または強い曲率がある場合に特に役立ちます。また、一部の領域で確率分布が急速に変化する場合にも役立ちます。 HMC は、ギブズ サンプリングなどの MCMC 手法を使用して効率的にサンプリングすることが困難になる可能性があるため、確率分布が複数の連続変数の関数である場合に特に役立ちます。

一般に、HMC は、事後確率分布の正確な推定値を取得するために取得する必要があるサンプルの数の点で、他の MCMC 手法よりも効率が低くなります。ただし、確率分布の特定の領域からサンプリングするために多くの手順を実行する必要がないため、実際にはより高速になることがよくあります。

ハミルトニアン モンテカルロにおける「ハミルトニアン」という用語は、マルコフ連鎖のダイナミクスが潜在的に高次元の位相空間内のハミルトニアン システムとして表現できるという事実に由来しています。これにより、チェーンのダイナミクスが微分方程式として表現されるため、通常の MCMC 表現と比較してサンプルをより効率的に表現できます。