Multiplicadores de Lagrange

En un óptimo de $f$ con la restricción $g = 0$, los gradientes son paralelos: $\nabla f = \lambda\nabla g$. El multiplicador $\lambda$ mide cuánto mejoraría el óptimo si se relajara la restricción.

Sustituir la restricción para eliminar una variable solo funciona en casos fáciles. El método de Lagrange conserva todas las variables y añade una incógnita por restricción, convirtiendo un problema con restricciones en un sistema de ecuaciones sin ellas, y las nuevas incógnitas resultan tener significado económico y físico.

Camina por la curva $g = 0$ mirando los conjuntos de nivel de $f$. Mientras la curva cruza conjuntos de nivel, todavía puedes bajar. En el óptimo la curva es tangente a un conjunto de nivel de $f$, así que sus normales ($\nabla f$ y $\nabla g$) apuntan en la misma recta.

Si $x^\ast$ es un extremo local de $f$ sobre $\{g = 0\}$, con $f, g$ de clase $C^1$ y $\nabla g(x^\ast) \ne 0$, entonces existe $\lambda$ con $\nabla f(x^\ast) = \lambda\,\nabla g(x^\ast)$. Equivalentemente, $(x^\ast, \lambda)$ es un punto crítico del lagrangiano

Maximiza la entropía $H(p) = -\sum_i p_i\ln p_i$ sujeta a $\sum_i p_i = 1$. $\partial_{p_i}\big(H - \lambda(\sum p - 1)\big) = -\ln p_i - 1 - \lambda = 0$, así que todos los $p_i$ son iguales: la distribución uniforme. Añade una restricción sobre la energía esperada y el mismo cálculo produce la distribución softmax o de Boltzmann $p_i \propto e^{-\beta E_i}$.

Las máquinas de vectores soporte se deducen a través de su dual lagrangiano (donde aparece el truco del núcleo). El entrenamiento con restricciones, las restricciones de equidad, la justificación de la softmax por máxima entropía y la dualidad en investigación operativa usan la misma idea. En física, la otra gran idea de Lagrange (el lagrangiano de la mecánica) gobierna la dinámica de los robots.