Inferencia bayesiana

Nivel AvanzadoDificultad ★★★★★Aplicación⌖ Ver en el mapa

¿Qué es?

Tratar los parámetros como aleatorios y actualizar una densidad a priori en una a posteriori con la regla de Bayes. La integral normalizadora es intratable en general, así que en la práctica se usa MCMC (muestreo) o inferencia variacional (optimización).

Fórmulas

$p(\theta\mid D) = \frac{p(D\mid\theta)\,p(\theta)}{\int p(D\mid\theta')\,p(\theta')\,\dd\theta'}$; $\log p(D) \ge \E_{q}\big[\log p(D,\theta) - \log q(\theta)\big]$
cota inferior de la evidencia (ELBO)

Las matemáticas que hay detrás

Función de densidad de probabilidad★★★★★fundamental
Las priors, verosimilitudes y posteriores sobre parámetros continuos son densidades.
Integrales impropias★★★★★fundamental
La evidencia $p(D) = \int p(D\mid\theta)\,p(\theta)\,\dd\theta$ es una integral sobre todo el espacio de parámetros.
Integración numérica (cuadratura)★★★★★frecuente
Las posteriores y verosimilitudes marginales de dimensión baja se pueden calcular por cuadratura.

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

ℒ IA y machine learning

Modelos generativos★★★★★

Qué depende de él

Modelos generativos

Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.