Aprendizaje por refuerzo

¿Qué es?

Fórmulas

$$V(s) = \max_a\Big(r(s,a) + \gamma\sum_{s'}P(s'\mid s,a)\,V(s')\Big)$$

ecuación de optimalidad de Bellman

$$\nabla_\theta J = \E_{\pi_\theta}\big[\nabla_\theta\log\pi_\theta(a\mid s)\,G_t\big]$$

teorema del gradiente de política

Las matemáticas que hay detrás

• Serie geométrica★★★★★fundamental

  Descontar con $\gamma < 1$ convierte el retorno infinito en una serie convergente de tipo geométrico.

• Esperanza★★★★★fundamental

  Los agentes maximizan el retorno descontado esperado; los gradientes de política derivan una esperanza.

• Iteración de punto fijo★★★★★fundamental

  La iteración de valores converge porque el operador de Bellman es una contracción de razón $\gamma$.