Derivadas parciales

$\frac{\partial f}{\partial x_i}$: la derivada respecto de una variable, dejando fijas las demás. Cada una responde a «¿cuánto depende la salida de esta entrada?»; en una red neuronal, de este peso.

Con muchas entradas, «la» tasa de cambio depende de la dirección en que te muevas. Las direcciones más sencillas son los ejes: mover una variable y congelar el resto. Las derivadas parciales son esas tasas a lo largo de los ejes y (para funciones razonables) determinan la tasa en cualquier otra dirección.

Corta la superficie $z = f(x, y)$ con el plano $y = y_0$: sale una curva, y $\partial f/\partial x$ es su pendiente. Corta con $x = x_0$ para $\partial f / \partial y$. En una montaña: $\partial f/\partial x$ es lo empinado que está caminando hacia el este y $\partial f/\partial y$ hacia el norte.

donde $e_i$ es el $i$-ésimo vector unitario. Si todas las parciales existen y son continuas cerca de $a$ ($f \in C^1$), $f$ es diferenciable en $a$; si $f \in C^2$, las parciales cruzadas conmutan: $\partial_x\partial_y f = \partial_y\partial_x f$ (Schwarz).

Deriva respecto de $x_i$ tratando las demás variables como constantes; valen todas las reglas de una variable.

Error cuadrático de un modelo lineal con dos pesos: $L(w, b) = (wx + b - y)^2$. Entonces $\partial L/\partial w = 2(wx + b - y)\,x$ y $\partial L/\partial b = 2(wx + b - y)$. El factor común $2(\hat y - y)$ es la «señal de error» que la retropropagación envía a cada peso.

Entrenar es calcular $\partial L / \partial\theta_i$ para cada parámetro $\theta_i$; el procesado de imagen calcula $\partial I/\partial x$ y $\partial I/\partial y$ para encontrar bordes; la física escribe sus leyes (calor, ondas, fluidos, electromagnetismo, mecánica cuántica) como ecuaciones entre derivadas parciales.