Álgebra lineal: Palabras convertidas en flechas

Si se abre por dentro un modelo de lenguaje, lo que aparece son números organizados en matrices: cientos de miles de millones de ellos. Responder una pregunta consiste, casi por entero, en multiplicar vectores por matrices. Por eso las GPU, chips diseñados para multiplicar matrices al dibujar videojuegos, se convirtieron en el motor de la IA.

El álgebra lineal es el idioma en el que los modelos representan el mundo. Hermann Grassmann formuló en 1844 la idea de un espacio de dimensión arbitraria y Arthur Cayley definió en 1858 el producto de matrices. Ninguno podía imaginar que estaban escribiendo el lenguaje de la IA.

Vectores y producto escalar

Un vector $𝐮 = (u_{1}, \dots, u_{d}) \in ℝ^{d}$ es una lista de $d$ números que se puede ver como un punto o como una flecha desde el origen. La operación clave es el producto escalar:

𝐮 \cdot 𝐯 = \sum_{i = 1}^{d} u_{i} v_{i} = ‖ 𝐮 ‖ ‖ 𝐯 ‖ \cos θ .

Mide cuánto «apuntan en la misma dirección» dos vectores. Si se divide por las longitudes queda la similitud coseno, $\cos θ$ , que vale 1 para vectores paralelos, 0 para perpendiculares y −1 para opuestos. Que nunca se salga de ese rango lo garantiza un clásico:

Teorema (desigualdad de Cauchy-Schwarz)

Para todo $𝐮, 𝐯 \in ℝ^{d}$ , $| 𝐮 \cdot 𝐯 | \leq ‖ 𝐮 ‖ ‖ 𝐯 ‖$ , con igualdad si y solo si son proporcionales.

Demostración

Si $𝐯 = 𝟎$ es trivial. Si no, para todo $λ \in ℝ$ , $0 \leq ‖ 𝐮 - λ 𝐯 ‖^{2} = ‖ 𝐮 ‖^{2} - 2 λ 𝐮 \cdot 𝐯 + λ^{2} ‖ 𝐯 ‖^{2}$ . Un polinomio de grado 2 en $λ$ que nunca es negativo tiene discriminante $\leq 0$ : $4 (𝐮 \cdot 𝐯)^{2} - 4 ‖ 𝐮 ‖^{2} ‖ 𝐯 ‖^{2} \leq 0$ .

Esta operación tan sencilla, multiplicar y sumar, es la que usa el mecanismo de atención para decidir qué palabras de una frase deben fijarse en cuáles.

Embeddings: el significado como geometría

¿Cómo se convierte una palabra en un vector? La respuesta viene de la lingüística. En 1954 Zellig Harris formuló la hipótesis distribucional: las palabras que aparecen en contextos parecidos tienen significados parecidos. John R. Firth lo resumió en 1957: «conocerás una palabra por la compañía que tiene».

Un embedding asigna a cada palabra un vector de forma que las palabras con contextos parecidos quedan cerca. En 2003 Yoshua Bengio y sus colaboradores entrenaron por primera vez estos vectores junto con una red neuronal que predecía la palabra siguiente. En 2013 Tomas Mikolov y su equipo en Google publicaron word2vec, que entrenaba embeddings con miles de millones de palabras en pocas horas, y descubrieron algo inesperado: las relaciones entre conceptos se convierten en direcciones.

𝐯_{rey} - 𝐯_{hombre} + 𝐯_{mujer} \approx 𝐯_{reina} .

Un espacio de embeddings de juguete en dos dimensiones. Los reales tienen entre cientos y miles, y se aprenden de los datos en lugar de colocarse a mano. Elige tres palabras: la flecha discontinua es

B \to A

trasladada a

C

, y el resultado se compara con todas las palabras para encontrar la más cercana. Si la diferencia «rey − hombre» codifica algo parecido a «realeza», sumarla a «mujer» debería llevar a «reina».

Matrices: funciones que transforman el espacio

Una matriz $W$ de tamaño $m \times d$ define una transformación lineal $𝐱 \mapsto W 𝐱$ de $ℝ^{d}$ en $ℝ^{m}$ . Se entiende de un vistazo mirando sus columnas: la columna $j$ es el destino del vector unitario $𝐞_{j}$ . Como la transformación respeta sumas y escalados, conocer el destino de la base basta para conocerlo todo:

W 𝐱 = x_{1} (columna 1) + x_{2} (columna 2) + \dots + x_{d} (columna d) .

La matriz

(\begin{matrix} a & b \\ c & d \end{matrix})

transforma la cuadrícula. Las flechas de colores son las columnas de la matriz, es decir, los destinos de

𝐞_{1}

𝐞_{2}

. El determinante

a d - b c

es el factor por el que se multiplican las áreas. Si es negativo el plano se refleja, y si es cero se aplasta sobre una recta y la información perdida ya no se puede recuperar.

Multiplicar matrices equivale a componer transformaciones: $W_{2} (W_{1} 𝐱) = (W_{2} W_{1}) 𝐱$ . De esta propiedad tan inocente sale una consecuencia decisiva para las redes neuronales:

Observación (las capas lineales se colapsan)

Una composición de transformaciones lineales es lineal: $W_{L} \dots W_{2} W_{1} = W$ . Apilar cien capas lineales no da más poder expresivo que una sola.

Por eso cada capa de una red neuronal aplica, después de la matriz, una función no lineal $σ$ :

𝐡 = σ (W 𝐱 + 𝐛) .

Deformar, doblar, deformar, doblar… Con esa receta se puede aproximar cualquier función continua, como veremos con el teorema de aproximación universal.

La sorprendente amplitud de las dimensiones altas

Los embeddings de un LLM moderno tienen entre unas mil y unas veinte mil dimensiones. ¿Es eso mucho o poco para representar todos los conceptos que maneja un modelo? La intuición tridimensional engaña: en dimensión alta hay muchísimo espacio.

Teorema (lema de Johnson-Lindenstrauss, 1984)

Para todo $0 < ε < 1$ y todo conjunto de $n$ puntos de $ℝ^{D}$ existe una aplicación lineal $f : ℝ^{D} \to ℝ^{k}$ con $k = O (ε^{- 2} \log n)$ tal que, para cada par de puntos,

(1 - ε) ‖ 𝐮 - 𝐯 ‖^{2} \leq ‖ f (𝐮) - f (𝐯) ‖^{2} \leq (1 + ε) ‖ 𝐮 - 𝐯 ‖^{2} .

Además, una proyección aleatoria sirve con alta probabilidad.

La dimensión necesaria crece solo con el logaritmo del número de puntos. La otra cara de la misma geometría: en $ℝ^{k}$ caben exponencialmente muchas direcciones casi perpendiculares entre sí. La hipótesis de la superposición, que investigan los equipos de interpretabilidad, sostiene que los modelos aprovechan esto para codificar muchos más conceptos que dimensiones tienen, cada uno en una dirección casi ortogonal a las demás.

Rango bajo: la esencia de una matriz

Toda matriz real, por grande que sea, se descompone en tres transformaciones sencillas: un giro, un estiramiento a lo largo de los ejes y otro giro.

Teorema (descomposición en valores singulares)

Toda $W \in ℝ^{m \times d}$ se escribe como $W = U Σ V^{⊤}$ , con $U, V$ ortogonales y $Σ$ diagonal, cuyos elementos $σ_{1} \geq σ_{2} \geq \dots \geq 0$ son los valores singulares. Según el teorema de Eckart-Young (1936), quedarse con los $r$ mayores da la mejor aproximación de rango $r$ de $W$ .

Muchas matrices reales tienen casi toda su «información» concentrada en unos pocos valores singulares. Esta idea sostiene técnicas actuales como LoRA (2021), que adapta un LLM enorme a una tarea nueva entrenando solo una corrección de rango bajo, $W + B A$ , con $B$ y $A$ diminutas, en lugar de reentrenar los miles de millones de parámetros de $W$ .

Ya tenemos dónde guardar el conocimiento: en los números de las matrices. Falta el procedimiento para elegir esos números, y para eso hay que saber cómo cambia el error cuando se mueve cada uno. Eso es el cálculo.

Referencias

A. Cayley (1858). «A Memoir on the Theory of Matrices». Philosophical Transactions of the Royal Society, 148.
Z. Harris (1954). «Distributional Structure». Word, 10(2–3).
W. B. Johnson y J. Lindenstrauss (1984). «Extensions of Lipschitz mappings into a Hilbert space». Contemporary Mathematics, 26.
Y. Bengio, R. Ducharme, P. Vincent y C. Jauvin (2003). «A Neural Probabilistic Language Model». JMLR, 3.
T. Mikolov, K. Chen, G. Corrado y J. Dean (2013). «Efficient Estimation of Word Representations in Vector Space». arXiv:1301.3781.
E. J. Hu et al. (2021). «LoRA: Low-Rank Adaptation of Large Language Models». arXiv:2106.09685.
N. Elhage et al. (2022). «Toy Models of Superposition». Transformer Circuits Thread.

§Vectores y producto escalar

§Embeddings: el significado como geometría

§Matrices: funciones que transforman el espacio

§La sorprendente amplitud de las dimensiones altas

§Rango bajo: la esencia de una matriz