해밀턴 몬테카를로

HMC(Hamiltonian Monte Carlo)는 확률 분포에서 효율적으로 샘플링하기 위한 MCMC(Markov Chain Monte Carlo) 방법의 한 유형입니다. 1990년대 Radford M. Neal이 개발했습니다. HMC는 샘플링 프로세스에 추가 운동량 변수를 도입하여 작동합니다. 이를 통해 분포 값이 상대적으로 큰 변화가 있는 방향을 따라 보다 효율적인 샘플링을 허용할 뿐만 아니라 분포가 빠르게 변경되는 영역에서 '반향'할 수 있습니다. 일반적으로 베이지안 추론에 사용되지만 다른 유형의 학습이나 최적화 작업에도 사용할 수 있습니다.

HMC는 확률 분포가 다중 모드이거나(즉, 분포에 두 개 이상의 뚜렷한 영역이 있는 경우) 곡률이 강한 경우에 특히 유용합니다. 또한 확률 분포가 일부 영역에서 빠르게 변화하는 경우에도 유용할 수 있습니다. 확률 분포가 여러 연속 변수의 함수인 경우, 깁스 샘플링과 같은 MCMC 방법을 사용하여 효율적으로 샘플링하기 어려울 수 있으므로 HMC는 특히 유용합니다.

일반적으로 HMC는 사후 확률 분포의 정확한 추정치를 얻기 위해 필요한 샘플 수 측면에서 다른 MCMC 방법보다 효율성이 떨어지지만, 확률 분포의 특정 영역에서 샘플을 추출하기 위해 많은 단계를 거칠 필요가 없으므로 실제로는 더 빠를 수 있습니다.

해밀턴 몬테카를로의 "해밀턴"이라는 용어는 마르코프 체인의 동역학이 잠재적으로 고차원 위상 공간에서 해밀턴 시스템으로 표현될 수 있다는 사실에서 유래했습니다. 이는 체인의 동역학이 미분 방정식으로 표현되기 때문에 일반 MCMC 표현에 비해 샘플을 더 효율적으로 표현할 수 있습니다.