Regla de la cadena

La derivada de una composición es el producto de las derivadas: $(g\circ f)'(x) = g'(f(x))\,f'(x)$. Las tasas de cambio se multiplican a lo largo de una cadena, y la retropropagación es esta regla aplicada, de forma muy eficiente, a una red neuronal.

Casi todas las funciones que encontramos se construyen componiendo otras más simples. Sin la regla de la cadena habría que volver a los límites con cada fórmula nueva; con ella, conocer las derivadas de unas pocas primitivas basta para derivar todo lo construido con ellas, incluido un programa.

Engranajes. Si $u$ gira 3 veces más rápido que $x$ e $y$ gira 2 veces más rápido que $u$, entonces $y$ gira $2 \times 3 = 6$ veces más rápido que $x$. En notación de Leibniz la regla parece una simplificación de fracciones: $\frac{\dd y}{\dd x} = \frac{\dd y}{\dd u}\cdot\frac{\dd u}{\dd x}$. A lo largo de una cadena de $n$ funciones se multiplican $n$ tasas locales, y si todas son menores que 1 el producto se desvanece (ese es el problema del desvanecimiento del gradiente).

Si $f$ es derivable en $x$ y $g$ es derivable en $f(x)$, entonces $g \circ f$ es derivable en $x$ y

Escribe $g(f(x+h)) - g(f(x)) = \big(g'(f(x)) + \eta(k)\big)\,k$ con $k = f(x+h) - f(x)$ y $\eta(k) \to 0$; divide entre $h$ y haz $h \to 0$. (Multiplicar y dividir por $k$ directamente falla cuando $k = 0$, y por eso hace falta la función auxiliar $\eta$.)

Pon nombre a los valores intermedios: $u_1 = f_1(x)$, $u_2 = f_2(u_1)$, … Calcula las derivadas locales $f_k'(u_{k-1})$ y multiplica. El orden en que multiplicas no cambia el resultado, pero sí el coste cuando las funciones tienen muchas entradas y salidas: de izquierda a derecha es el modo directo, de derecha a izquierda el modo inverso (retropropagación).

$y = \sigma(wx + b)$ con $\sigma$ la sigmoide. Sea $z = wx + b$. Entonces $\frac{\partial y}{\partial w} = \sigma'(z)\cdot x = \sigma(z)(1 - \sigma(z))\,x$. Es literalmente el gradiente que calcula una red neuronal para un peso de una neurona.

La retropropagación (Rumelhart, Hinton y Williams, 1986; la diferenciación automática en modo inverso de Linnainmaa, 1970) es la regla de la cadena organizada para que el gradiente respecto de todos los pesos cueste más o menos lo mismo que una evaluación de la red. Sin ese truco sería imposible entrenar los modelos actuales.