Bajar la montaña a ciegas

En 1847 Augustin-Louis Cauchy presentó ante la Academia de Ciencias de París una nota de tres páginas titulada «Método general para la resolución de sistemas de ecuaciones simultáneas». Le interesaban los cálculos astronómicos: determinar la órbita de un cuerpo celeste a partir de observaciones lleva a sistemas de ecuaciones que no se pueden resolver de forma exacta. Su propuesta fue convertir el problema en minimizar una función que mide el error y bajar por ella paso a paso, siempre en la dirección de mayor pendiente. Había inventado el descenso de gradiente.

§El algoritmo

Partimos de unos parámetros ${\theta }_0$ cualesquiera y repetimos:

El gradiente, que la retropropagación calcula de forma barata, indica la dirección de máxima subida, así que avanzamos en sentido contrario. El número $\eta >0$ es la tasa de aprendizaje (learning rate): el tamaño del paso. Es el hiperparámetro más importante de cualquier entrenamiento.

§¿Cuándo funciona? Convexidad y suavidad

Para garantizar que el algoritmo funciona hacen falta dos condiciones sobre el paisaje. Una función es convexa si el segmento entre dos puntos cualesquiera de su gráfica queda por encima de ella, es decir, si tiene forma de cuenco. Es $\beta$-suave si su gradiente no cambia más deprisa que $\beta$: $\Vert \nabla f(x)-\nabla f(y)\Vert \le \beta \Vert x-y\Vert$.

El caso cuadrático, donde todo se ve

Tomemos $f(\theta )=\frac{1}{2}{\theta }^{\top }A\theta$ con $A$ simétrica y valores propios $0<{\lambda }_{min}\le \dots \le {\lambda }_{max}$. Como $\nabla f=A\theta$, el algoritmo hace ${\theta }_{t+1}=(I-\eta A){\theta }_t$. En la base de vectores propios, cada coordenada evoluciona por separado:

$${\theta }_t^{(i)}=(1-\eta {\lambda }_i{)}^t{\theta }_0^{(i)}.$$

Converge si y solo si $|1-\eta {\lambda }_i|<1$ para todo $i$, es decir, si $0<\eta <2/{\lambda }_{max}$. Si $\eta {\lambda }_i>1$, esa coordenada cambia de signo en cada paso (el zigzag). La dirección más lenta es la de ${\lambda }_{min}$, y con el mejor $\eta$ el error se reduce por paso en un factor $\frac{\kappa -1}{\kappa +1}$, donde $\kappa ={\lambda }_{max}/{\lambda }_{min}$ es el número de condición. Los valles estrechos y alargados ($\kappa$ grande) son lentos.

Las redes neuronales no son convexas: su paisaje de pérdida está lleno de mínimos locales, mesetas y puntos de silla. Ningún teorema clásico garantiza que el descenso de gradiente encuentre allí un buen mínimo, y aun así lo encuentra una y otra vez. Algunas explicaciones parciales: en dimensión alta casi todos los puntos críticos son puntos de silla y no mínimos (Dauphin et al., 2014), y en redes muy sobreparametrizadas la mayoría de los mínimos locales son casi tan buenos como el global. Es una de las grandes preguntas abiertas del campo.

§Inercia: momento y aceleración

En un valle alargado, el gradiente apunta casi siempre hacia las paredes y no hacia el fondo. Boris Polyak propuso en 1964 el método de la bola pesada: acumular una velocidad que promedia los gradientes anteriores,

Las oscilaciones se cancelan y el avance en la dirección buena se acumula. En 1983 Yurii Nesterov encontró una variante que alcanza error $O(1/k^2)$ en lugar de $O(1/k)$ para funciones convexas suaves, y demostró que es lo mejor posible:

§Descenso de gradiente estocástico

La pérdida de un LLM es una media sobre billones de palabras de entrenamiento: $ℒ(\theta )=\frac{1}{N}\sum _{i=1}^N{\ell }_i(\theta )$. Calcular el gradiente exacto en cada paso exigiría recorrer todos los datos. La alternativa es estimarlo con un minilote aleatorio $B$ de unos pocos ejemplos:

La estimación es ruidosa pero insesgada: en media apunta bien. Herbert Robbins y Sutton Monro demostraron en 1951 que este tipo de procedimiento converge si la tasa de aprendizaje decrece al ritmo adecuado.

Por eso en la práctica se usan siempre lotes pequeños: muchos pasos baratos y ruidosos ganan a pocos pasos caros y exactos. Además, el ruido parece ayudar a escapar de mínimos «afilados» y a encontrar otros más «planos», que suelen generalizar mejor.

§Adam: una tasa de aprendizaje para cada parámetro

Los parámetros de una red no se parecen entre sí: algunos reciben gradientes enormes y otros diminutos. En 2014 Diederik Kingma y Jimmy Ba propusieron Adam, que combina el momento con una normalización por la magnitud reciente de cada gradiente:

Aquí ${\widehat{m}}_t$ y ${\widehat{v}}_t$ son las medias corregidas por el sesgo inicial. Su variante con decaimiento de pesos desacoplado, AdamW (2017), es el optimizador con el que se entrenan prácticamente todos los LLM actuales, casi siempre con una tasa que sube durante un calentamiento inicial y después decae, en la línea de lo que pedían Robbins y Monro.

Ya tenemos un procedimiento general para ajustar parámetros. La pregunta siguiente es qué familia de funciones parametrizar, y ahí aparece la idea más antigua de la IA: imitar a las neuronas.

§Referencias

1. A.-L. Cauchy (1847). «Méthode générale pour la résolution des systèmes d'équations simultanées». Comptes Rendus de l'Académie des Sciences, 25.
2. H. Robbins y S. Monro (1951). «A Stochastic Approximation Method». Annals of Mathematical Statistics, 22(3).
3. B. T. Polyak (1964). «Some methods of speeding up the convergence of iteration methods». USSR Computational Mathematics and Mathematical Physics, 4(5).
4. Y. Nesterov (1983). «A method for solving the convex programming problem with convergence rate O(1/k²)». Doklady Akademii Nauk SSSR, 269.
5. Y. Dauphin et al. (2014). «Identifying and attacking the saddle point problem in high-dimensional non-convex optimization». NeurIPS.
6. D. P. Kingma y J. Ba (2015). «Adam: A Method for Stochastic Optimization». ICLR.
7. I. Loshchilov y F. Hutter (2019). «Decoupled Weight Decay Regularization». ICLR.
8. S. Bubeck (2015). «Convex Optimization: Algorithms and Complexity». Foundations and Trends in Machine Learning, 8(3–4).