Matriz hessiana

La matriz de segundas derivadas parciales $\partial^2 f/\partial x_i\partial x_j$: la curvatura de $f$ en todas las direcciones. Sus valores propios clasifican los puntos críticos (mínimo, máximo, silla) y controlan lo deprisa que pueden ir los optimizadores.

El gradiente dice hacia dónde es cuesta abajo, pero no cómo cambia la pendiente: si el valle es un cuenco suave, un barranco estrecho o una silla de montar. Esa información de segundo orden decide si un punto crítico es un mínimo y qué tamaño de paso es seguro.

Cerca de un punto crítico, $f(x + h) \approx f(x) + \tfrac12 h^{\mathsf T}Hh$: un cuenco cuadrático cuyos ejes son los vectores propios de $H$ y cuya inclinación en cada eje es el valor propio. Todos positivos: un cuenco (mínimo). Todos negativos: una cúpula. Signos mezclados: una silla. Valores propios muy distintos: un barranco estrecho donde el descenso de gradiente rebota de pared a pared.

Para $f \in C^2$, $H_f(x) = \nabla^2 f(x) = \big(\partial_i\partial_j f(x)\big)_{ij}$, simétrica por Schwarz. En un punto crítico $a$: $H \succ 0$ (definida positiva) ⇒ mínimo local estricto; $H \prec 0$ ⇒ máximo local estricto; $H$ indefinida ⇒ punto de silla.

$f(x, y) = x^2 - y^2$: $\nabla f = 0$ en el origen, $H = \operatorname{diag}(2, -2)$, indefinida: una silla (una patata Pringles). El descenso de gradiente iniciado justo sobre el eje $x$ converge a ella; cualquier perturbación mínima en $y$ escapa. Por eso los puntos de silla ralentizan el entrenamiento pero rara vez lo atrapan.

El método de Newton usa $H^{-1}\nabla f$; los métodos cuasi-Newton (BFGS, L-BFGS) la aproximan; Adam y otros optimizadores adaptativos se pueden leer como aproximaciones diagonales baratas de la curvatura. En deep learning la «nitidez» (el mayor valor propio del hessiano) está ligada a la generalización y al fenómeno del borde de la estabilidad. La hessiana completa de un modelo de mil millones de parámetros nunca se forma, pero los productos hessiana–vector son baratos con diferenciación automática.