Regla de la cadena multivariable

Cuando una variable influye en la salida por varios caminos, se suman las aportaciones de cada camino, cada una producto de las derivadas locales a lo largo de él: $\frac{\partial z}{\partial x} = \sum_i \frac{\partial z}{\partial u_i}\frac{\partial u_i}{\partial x}$. En forma matricial, las jacobianas se multiplican. Es exactamente lo que calcula la retropropagación sobre el grafo de una red.

Los cálculos reales se ramifican y se juntan: un peso afecta a muchas neuronas, que afectan todas a la pérdida. La regla de la cadena de una variable trata un único camino; la versión multivariable trata cualquier grafo acíclico dirigido de operaciones: cualquier programa sin bucles, o con ellos desenrollados.

Dibuja el cálculo como un grafo: entradas abajo, la salida arriba, y cada arista etiquetada con una derivada parcial local. $\partial(\text{salida})/\partial(\text{entrada})$ es la suma, sobre todos los caminos, de los productos de las etiquetas del camino. La retropropagación calcula todas esas sumas a la vez recorriendo el grafo desde arriba y acumulando en cada nodo «cuánto le importo a la salida» (el adjunto).

Si $g : \R^n \to \R^m$ es diferenciable en $x$ y $f : \R^m \to \R^p$ en $g(x)$, entonces

Para $z = f(u_1, \dots, u_m)$ escalar con $u_i = u_i(x)$: $\frac{\partial z}{\partial x_j} = \sum_{i=1}^{m}\frac{\partial z}{\partial u_i}\frac{\partial u_i}{\partial x_j}$.

El producto $J_L\cdots J_1$ se puede evaluar de derecha a izquierda (modo directo: coste ∝ número de entradas) o de izquierda a derecha (modo inverso: coste ∝ número de salidas). Una pérdida tiene una salida y millones de entradas, así que el modo inverso gana por un factor de millones: esa elección es la retropropagación.

$z = xy + \sin x$ con $x = t^2$, $y = e^t$. Dos caminos de $t$ a $z$ (por $x$ y por $y$): $\frac{\dd z}{\dd t} = (y + \cos x)\cdot 2t + x\cdot e^t = (e^t + \cos t^2)\,2t + t^2e^t$.

Es el contenido matemático de la retropropagación y de toda librería de diferenciación automática (PyTorch, JAX, TensorFlow). También da las velocidades de un robot a través de la cadena cinemática y las sensibilidades del diseño de ingeniería (los métodos adjuntos en CFD y predicción meteorológica son la misma idea del modo inverso).