Calculus×Computing
EN

Cálculo multivariable

Funciones de muchas variables: derivadas parciales, gradiente, jacobianas y hessianas. El idioma en el que se entrena una red neuronal de mil millones de parámetros.

13 conceptos

Los problemas reales tienen muchas entradas: los píxeles de una imagen, las articulaciones de un robot, los pesos de una red. La derivada se generaliza a un vector (el gradiente) o a una matriz (la jacobiana), y las segundas derivadas a una matriz (la hessiana). La cadena más importante de la informática actual empieza aquí:

∇f  →  descenso de gradiente  →  función de pérdida  →  retropropagación  →  redes neuronales  →  deep learning

Conceptos

Funciones de varias variables

f:ℝn→ℝf : \R^n \to \R (o ℝm\R^m): muchas entradas, una (o muchas) salidas. Con dos entradas la gráfica es una superficie sobre el plano; con un millón de entradas (los pesos de un modelo) se razona con sus conjuntos de nivel y su gradiente.

Universitario

Superficies y conjuntos de nivel

Tres formas de describir una superficie: una gráfica z=f(x,y)z = f(x,y), un conjunto de nivel F(x,y,z)=cF(x,y,z) = c (implícita) o una parametrización r(u,v)r(u,v). Los mapas de contorno de las funciones de pérdida y las isosuperficies de la imagen médica son conjuntos de nivel.

Universitario

Límites y continuidad en varias variables

La misma definición ε\varepsilon–δ\delta con ∥x−a∥\norm{x - a} en vez de ∣x−a∣|x - a|. Sutileza nueva: al punto se puede llegar por infinitas trayectorias, y el límite debe coincidir en todas.

Universitario

Derivadas parciales

∂f∂xi\frac{\partial f}{\partial x_i}: la derivada respecto de una variable, dejando fijas las demás. Cada una responde a «¿cuánto depende la salida de esta entrada?»; en una red neuronal, de este peso.

Universitario

Gradiente

∇f=(∂f∂x1,…,∂f∂xn)\nabla f = \left(\frac{\partial f}{\partial x_1}, \dots, \frac{\partial f}{\partial x_n}\right): el vector de todas las derivadas parciales. Apunta en la dirección de máximo ascenso, su longitud es esa pendiente máxima y es perpendicular a los conjuntos de nivel. Si caminas en contra bajas lo más deprisa posible.

Universitario

Derivada direccional

La tasa de cambio de ff al moverse en una dirección unitaria uu: Duf=∇f⋅uD_u f = \nabla f\cdot u. Demuestra que −∇f-\nabla f es la dirección de máximo descenso, y es lo que calcula la diferenciación automática en modo directo (un producto jacobiana–vector).

Universitario

Diferencial total y linealización

Cerca de un punto, una función diferenciable es aproximadamente lineal: df=∑i∂f∂xidxi\dd f = \sum_i \frac{\partial f}{\partial x_i}\dd x_i. La gráfica tiene plano tangente, y los errores pequeños de entrada se propagan linealmente.

Universitario

Regla de la cadena multivariable

Cuando una variable influye en la salida por varios caminos, se suman las aportaciones de cada camino, cada una producto de las derivadas locales a lo largo de él: ∂z∂x=∑i∂z∂ui∂ui∂x\frac{\partial z}{\partial x} = \sum_i \frac{\partial z}{\partial u_i}\frac{\partial u_i}{\partial x}. En forma matricial, las jacobianas se multiplican. Es exactamente lo que calcula la retropropagación sobre el grafo de una red.

Universitario

Matriz jacobiana

Para F:ℝn→ℝmF : \R^n \to \R^m, la matriz m×nm \times n de todas las derivadas parciales ∂Fi/∂xj\partial F_i/\partial x_j: la mejor aproximación lineal de FF cerca de un punto. Su determinante mide cómo estira FF los volúmenes.

Universitario

Matriz hessiana

La matriz de segundas derivadas parciales ∂2f/∂xi∂xj\partial^2 f/\partial x_i\partial x_j: la curvatura de ff en todas las direcciones. Sus valores propios clasifican los puntos críticos (mínimo, máximo, silla) y controlan lo deprisa que pueden ir los optimizadores.

Universitario

Extremos en varias variables

Resuelve ∇f=0\nabla f = 0 y clasifica con la hessiana. Para mínimos cuadrados ∥Xw−y∥2\norm{Xw - y}^2 esto da las ecuaciones normales X𝖳Xw=X𝖳yX^{\mathsf T}Xw = X^{\mathsf T}y: la regresión lineal en forma cerrada.

Universitario

Integrales múltiples y cambio de variables

Integrales sobre regiones de ℝn\R^n: volúmenes, masas, probabilidades de vectores aleatorios. Se calculan como integrales iteradas (Fubini) y se transforman con el determinante jacobiano: dx=∣det⁡J∣ du\dd x = |\det J|\,\dd u.

Universitario

Curvatura (geometría diferencial básica)

Lo deprisa que gira una curva (κ=1/radio\kappa = 1/\text{radio} de la circunferencia que mejor se ajusta) o cómo se dobla una superficie (curvatura media y de Gauss). Los gráficos y el CAD la usan para juzgar la suavidad, suavizar mallas y diseñar carreteras y vías.

Avanzado

A dónde lleva esta área en informática

λ Computación científica y algoritmos ★★★★★

ℒ IA y machine learning ★★★★★

3D Gráficos por computador ★★★★★

⚙ Robótica y control ★★★★★

⚛ Física y simulación ★★★★★

∿ Señales, multimedia y visión ★★★★★

↑ ↓ para navegar · ↵ · Esc