Extremos en varias variables

Nivel UniversitarioDificultad ★★★★★Concepto⌖ Ver en el mapa

¿Qué es?

Resuelve $\nabla f = 0$ y clasifica con la hessiana. Para mínimos cuadrados $\norm{Xw - y}^2$ esto da las ecuaciones normales $X^{\mathsf T}Xw = X^{\mathsf T}y$ : la regresión lineal en forma cerrada.

Fórmulas

\nabla_w \norm{Xw - y}^2 = 2X^{\mathsf T}(Xw - y) = 0 \iff X^{\mathsf T}X\,w = X^{\mathsf T}y

Dónde aparece en IA

Regresión lineal★★★★★fundamentalIA y machine learning
Los mínimos cuadrados ordinarios se resuelven anulando el gradiente: las ecuaciones normales.
Paisaje de la pérdida (loss landscape)★★★★★frecuenteIA y machine learning
En dimensión alta, la mayoría de puntos críticos de una pérdida de aspecto aleatorio son sillas, no mínimos.

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

ℒ IA y machine learning

Regresión lineal★★★★★
Regresión lineal→Regresión logística★★★★★
Regresión lineal→Regresión logística→Redes neuronales★★★★★
Regresión lineal→Regresión logística→Redes neuronales→Retropropagación (backpropagation)★★★★★
Regresión lineal→Regresión logística→Redes neuronales→Paisaje de la pérdida (loss landscape)★★★★★
Regresión lineal→Regresión logística→Redes neuronales→Retropropagación (backpropagation)→Deep learning (aprendizaje profundo)★★★★★
+1

Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.