Optimización de la política de proximidad

La optimización de política proximal (PPO) es una familia de algoritmos de aprendizaje de refuerzo de gradiente de política utilizados en inteligencia artificial. Fue inventada en 2017 por John Schulman, Filip Wolski, Prafulla Dhariwal, AlecRadford y Oleg Klimov. PPO es una aproximación del gradiente de política natural que simplifica y acelera el procedimiento de entrenamiento.

Los algoritmos PPO funcionan aplicando un gradiente de política estocástico para actualizar la política de un agente en una dirección que mejore la recompensa esperada y estabilice el entrenamiento. Para ello se utiliza una técnica de optimización llamada optimización de política proximal, que permite a un agente ajustar los parámetros de su función acción-valor considerando únicamente funciones acción-valor dentro de una pequeña región de la mejor actual. Esto garantiza que sólo se realicen pequeños cambios en cualquier paso de entrenamiento, lo que permite un aprendizaje más fácil y estable.

En comparación con otros algoritmos de aprendizaje por refuerzo, se ha demostrado que la PPO requiere menos muestras e iteraciones para alcanzar la convergencia, al tiempo que consigue valores óptimos de recompensa más elevados. Además, el ajuste de hiperparámetros necesario para los algoritmos PPO es significativamente más sencillo que con otros algoritmos de aprendizaje por refuerzo.

En general, se considera que los algoritmos PPO son más eficientes desde el punto de vista de las muestras que otros algoritmos de gradiente de políticas, como la optimización de políticas por regiones de confianza (TRPO). También se sabe que son más estables, lo que los hace adecuados para aplicaciones del mundo real. Por ello, los algoritmos PPO han tenido un gran éxito en robótica, videojuegos y conducción autónoma.