Paisaje de la pérdida (loss landscape)

¿Qué es?

Fórmulas

$$S(\theta) = \lambda_{\max}\big(\nabla^2 L(\theta)\big)$$

nitidez (sharpness)

$$\eta\,\lambda_{\max} \approx 2$$

el borde de la estabilidad, donde tiende a asentarse el entrenamiento con lote completo

¿Por qué importa?

Las matemáticas que hay detrás

• Matriz hessiana★★★★★fundamental

  Los valores propios del hessiano miden la nitidez, detectan sillas y fijan el learning rate estable $\eta < 2/\lambda_{\max}$.

• Puntos críticos y criterios de la derivada★★★★★fundamental

  Mínimos, máximos y (sobre todo) puntos de silla dan forma al paisaje que deben cruzar los optimizadores.

• Convexidad y concavidad★★★★★frecuente

  Las pérdidas de las redes profundas no son convexas: muchos mínimos y sillas, aunque en la práctica es fácil encontrar mínimos buenos.

• Condicionamiento★★★★★frecuente

  Un hessiano con número de condición grande hace zigzaguear al descenso de gradiente; el precondicionamiento (Adam, capas de normalización) ayuda.

• Superficies y conjuntos de nivel★★★★★frecuente

  Los mapas de contorno de una pérdida a lo largo de dos direcciones son la forma estándar de visualizar su paisaje.

• Extremos en varias variables★★★★★frecuente

  En dimensión alta, la mayoría de puntos críticos de una pérdida de aspecto aleatorio son sillas, no mínimos.

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

Qué depende de él

• Optimización de segundo orden (con hessiano)