Laboratorio

$f'(a)$ es la tasa de cambio instantánea de $f$ en $a$: la pendiente de la recta tangente a la gráfica, definida como el límite de las pendientes de las rectas secantes.

Aproxima el área bajo una curva con $n$ rectángulos finos, $\sum f(x_i^\ast)\,\Delta x$. Cuando $n \to \infty$ la suma converge a la integral: despacio con la regla izquierda/derecha ($O(1/n)$), más deprisa con la del punto medio ($O(1/n^2)$).

Para resolver $f(x) = 0$, sustituye $f$ por su recta tangente en la aproximación actual y salta a donde la tangente corta el cero: $x_{k+1} = x_k - f(x_k)/f'(x_k)$. Cerca de una raíz simple el número de cifras correctas se duplica en cada paso.

El polinomio de grado $n$ que coincide con $f$ y sus $n$ primeras derivadas en un punto $a$. Grado 1 es la recta tangente y grado 2 añade la curvatura; cuanto mayor el grado, más amplia la zona en que aproxima bien. En $a = 0$ se llama polinomio de Maclaurin.

Repetir $\theta \leftarrow \theta - \eta\,\nabla L(\theta)$: dar un paso pequeño en contra del gradiente. Cauchy lo propuso en 1847; hoy (con sus variantes estocásticas y adaptativas) entrena prácticamente todas las redes neuronales.

El algoritmo que calcula $\partial L/\partial W$ y $\partial L/\partial b$ para cada capa de una red: una pasada hacia delante guardando los valores intermedios y otra hacia atrás aplicando la regla de la cadena desde la pérdida hasta las entradas. Coste: unas dos veces la pasada hacia delante, sea cual sea el número de parámetros.