Puntos críticos y criterios de la derivada

Donde $f'(x) = 0$ (o no existe). Fermat: un extremo interior de una función derivable es un punto crítico. El signo de $f''$ dice después si es mínimo ($f'' > 0$), máximo ($f'' < 0$) o «hay que mirar más» ($f'' = 0$).

Comprobar todos los puntos para encontrar el más bajo es imposible en un continuo. La observación de Fermat reduce la búsqueda a resolver una ecuación, $f'(x) = 0$, que suele tener un número finito de soluciones. Los algoritmos de optimización son, en el fondo, métodos para resolver esa ecuación cuando no se puede a mano.

En el fondo de un valle o en la cima de una colina la tangente es horizontal. Pero una tangente horizontal también puede ser un punto de inflexión ($x^3$ en 0) y, en varias dimensiones, una silla de montar: mínimo en una dirección y máximo en otra. En los paisajes de pérdida de muchas dimensiones, la mayoría de puntos críticos son sillas.

Fermat. Si $f$ tiene un extremo local en un punto interior $c$ y $f'(c)$ existe, entonces $f'(c) = 0$.

Criterio de la segunda derivada. Si $f'(c) = 0$ y $f''(c) > 0$, $c$ es un mínimo local estricto; si $f''(c) < 0$, un máximo local estricto.

1. Calcula $f'$ y resuelve $f'(x) = 0$; añade los puntos donde $f'$ no existe.
2. Clasifica cada uno con el signo de $f''$ (o el cambio de signo de $f'$).
3. Para extremos globales en $[a,b]$, compara también los valores en los extremos del intervalo. Si el paso 1 no tiene solución cerrada, itera: descenso de gradiente o método de Newton sobre $f'$.

Ajusta $y \approx w x$ a los puntos $(1, 2), (2, 3), (3, 7)$. Pérdida $L(w) = (2 - w)^2 + (3 - 2w)^2 + (7 - 3w)^2$. $L'(w) = -2(2 - w) - 4(3 - 2w) - 6(7 - 3w) = 28w - 58 = 0 \Rightarrow w = 58/28 \approx 2{,}07$, y $L'' = 28 > 0$: un mínimo. Es la regresión lineal en una línea.

«Anular la derivada» es la receta más reutilizada de las matemáticas aplicadas: mínimos cuadrados, máxima verosimilitud, control óptimo y economía empiezan todos ahí. El entrenamiento por gradiente es esa receta ejecutada numéricamente cuando la ecuación es demasiado grande para resolverla.