Monte Carlo hamiltoniano

Hamiltonian Monte Carlo (HMC) è un tipo di metodo Markov Chain Monte Carlo (MCMC) per campionare in modo efficiente da distribuzioni di probabilità. È stato sviluppato da Radford M. Neal negli anni Novanta. L'HMC funziona introducendo nel processo di campionamento variabili di slancio aggiuntive, che consentono un campionamento più efficiente lungo le direzioni in cui la distribuzione presenta variazioni di valore relativamente ampie, oltre a consentire il "rimbalzo" dalle regioni in cui la distribuzione cambia rapidamente. Viene solitamente utilizzato nell'inferenza bayesiana, ma può essere impiegato anche in altri tipi di apprendimento o di ottimizzazione.

L'HMC è particolarmente utile nei casi in cui la distribuzione di probabilità è multimodale (cioè, c'è più di una regione distinta della distribuzione) o ha una forte curvatura. Può essere utile anche nei casi in cui la distribuzione di probabilità cambia rapidamente in alcune aree. L'HMC è particolarmente utile nei casi in cui la distribuzione di probabilità è una funzione di diverse variabili continue, poiché ciò può rendere difficile un campionamento efficiente con metodi MCMC come il campionamento di Gibbs.

In generale, l'HMC è meno efficiente di altri metodi MCMC in termini di numero di campioni da prelevare per ottenere una stima accurata della distribuzione di probabilità posteriore; tuttavia, spesso può essere più veloce nella pratica, poiché non richiede di eseguire molti passi per campionare da una particolare regione della distribuzione di probabilità.

Il termine "hamiltoniano" in Hamiltonian Monte Carlo deriva dal fatto che la dinamica di una catena di Markov può essere espressa come un sistema hamiltoniano in uno spazio di fase potenzialmente ad alta dimensionalità. Ciò consente una rappresentazione più efficiente dei campioni rispetto a una normale rappresentazione MCMC, poiché la dinamica della catena è espressa come un'equazione differenziale.