Gradiente

$\nabla f = \left(\frac{\partial f}{\partial x_1}, \dots, \frac{\partial f}{\partial x_n}\right)$: el vector de todas las derivadas parciales. Apunta en la dirección de máximo ascenso, su longitud es esa pendiente máxima y es perpendicular a los conjuntos de nivel. Si caminas en contra bajas lo más deprisa posible.

Queremos un objeto que responda a «¿hacia dónde es cuesta arriba, y cuánto?» para una función de muchas variables. Las derivadas parciales son $n$ números sueltos; juntos en un vector adquieren un significado geométrico que no depende del sistema de coordenadas, y que convierte la optimización en «seguir una flecha».

Estás en una ladera con niebla. El gradiente es la flecha en el suelo que apunta directamente cuesta arriba; las curvas de nivel van perpendiculares a ella. Su longitud es la pendiente en esa dirección. El descenso de gradiente es: mira la flecha, da un paso en sentido contrario, repite.

               ∇f
               ↑
               │
       ╭───────●───────╮   ← curva de nivel f = c
     ╭─┴───────────────┴─╮

Para $f : \R^n \to \R$ diferenciable en $a$, $\nabla f(a)$ es el único vector tal que

La derivada direccional en una dirección unitaria $u$ es $D_u f(a) = \nabla f(a)\cdot u$, que se maximiza con $u = \nabla f/\norm{\nabla f}$ (Cauchy–Schwarz) y vale como máximo $\norm{\nabla f(a)}$. Si $\nabla f(a) \ne 0$, es ortogonal al conjunto de nivel $\{f = f(a)\}$.

A mano: todas las derivadas parciales. En software, para una pérdida escalar de $n$ parámetros, la diferenciación automática en modo inverso calcula el gradiente completo por una pequeña constante por el coste de evaluar $f$ (Baur–Strassen), mientras que las diferencias finitas necesitarían $n + 1$ evaluaciones.

$f(x, y) = x^2 + 4y^2$ (un cuenco alargado). $\nabla f = (2x, 8y)$. En $(2, 1)$: $\nabla f = (4, 8)$, que no apunta hacia el mínimo $(0, 0)$: apunta a través del valle estrecho. Por eso el descenso de gradiente simple zigzaguea en problemas mal condicionados (pruébalo en la demo de Descenso de gradiente).

El gradiente es el puente del cálculo a la IA moderna: todo modelo entrenado por descenso de gradiente, de la regresión lineal a los grandes modelos de lenguaje, sigue $-\nabla L$. También es como los renderizadores obtienen normales de formas implícitas, como los detectores de bordes encuentran fronteras y como la física deduce fuerzas de potenciales ($F = -\nabla U$).