min

Extremos y optimización

Encontrar lo mejor: máximos, mínimos, convexidad y optimización con restricciones. Las matemáticas detrás de entrenar modelos, planificar rutas y asignar recursos.

6 conceptos

Casi todo problema de aprendizaje automático, investigación operativa, robótica o diseño de ingeniería se puede escribir como minimizar $f(x)$ sujeto a ciertas restricciones. El cálculo da las condiciones necesarias (la derivada se anula, o el gradiente es combinación de los gradientes de las restricciones), la convexidad dice cuándo esas condiciones son también suficientes, y los métodos numéricos (descenso de gradiente, Newton) encuentran los puntos que las cumplen.

Conceptos

Máximos y mínimos

Un mínimo global es el valor más bajo de $f$ en todo su dominio; uno local solo lo es en un entorno. En optimización la diferencia entre ambos es la diferencia entre un buen modelo y uno atascado.

Fundamental

Puntos críticos y criterios de la derivada

Donde $f'(x) = 0$ (o no existe). Fermat: un extremo interior de una función derivable es un punto crítico. El signo de $f''$ dice después si es mínimo ( $f'' > 0$ ), máximo ( $f'' < 0$ ) o «hay que mirar más» ( $f'' = 0$ ).

Fundamental

Convexidad y concavidad

$f$ es convexa si la cuerda entre dos puntos cualesquiera de su gráfica queda por encima de la gráfica; para $f$ suave, equivalentemente, si $f'' \ge 0$ . En las funciones convexas todo mínimo local es global, y por eso los problemas convexos son los que la optimización resuelve de forma fiable.

Universitario

Optimización con restricciones

Minimizar $f(x)$ solo sobre los puntos que cumplen restricciones $g(x) = 0$ o $h(x) \le 0$ : un presupuesto, un límite físico, unas probabilidades que deben sumar 1. El mínimo puede estar ahora en la frontera, donde $\nabla f \ne 0$ .

Universitario

Multiplicadores de Lagrange

En un óptimo de $f$ con la restricción $g = 0$ , los gradientes son paralelos: $\nabla f = \lambda\nabla g$ . El multiplicador $\lambda$ mide cuánto mejoraría el óptimo si se relajara la restricción.

Universitario

Condiciones KKT

Multiplicadores de Lagrange para restricciones de desigualdad $h_j(x) \le 0$ : los multiplicadores son no negativos y cada uno es cero salvo que su restricción esté activa (holgura complementaria). En problemas convexos las condiciones KKT son necesarias y suficientes.

Avanzado

A dónde lleva esta área en informática

Conceptos

Máximos y mínimos

Puntos críticos y criterios de la derivada

Convexidad y concavidad

Optimización con restricciones

Multiplicadores de Lagrange

Condiciones KKT

A dónde lleva esta área en informática

ℒ IA y machine learning ★★★★★

⚙ Robótica y control ★★★★★

⇄ Optimización y sistemas ★★★★★