Regularización

Nivel AvanzadoDificultad ★★★★★Aplicación⌖ Ver en el mapa

¿Qué es?

Añadir una penalización a la pérdida, $L + \lambda\norm\theta^2$ (decaimiento de pesos) o $\lambda\norm\theta_1$ (dispersión), para preferir modelos más sencillos y reducir el sobreajuste. Su gradiente $2\lambda\theta$ encoge un poco cada peso en cada paso.

Fórmulas

$\nabla\big(L + \lambda\norm\theta^2\big) = \nabla L + 2\lambda\theta$; $w^\ast_{\text{ridge}} = (X^{\mathsf T}X + \lambda I)^{-1}X^{\mathsf T}y$
la regresión ridge también cura el mal condicionamiento

Las matemáticas que hay detrás

Multiplicadores de Lagrange★★★★★avanzada
Entrenar con penalización $L + \lambda\norm w^2$ es el lagrangiano de entrenar con una restricción de norma $\norm w \le r$ .

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

ℒ IA y machine learning

Deep learning (aprendizaje profundo)★★★★★
Deep learning (aprendizaje profundo)→Redes convolucionales (CNN)★★★★★
Deep learning (aprendizaje profundo)→Modelos generativos★★★★★
Deep learning (aprendizaje profundo)→Neural ODE★★★★★

Qué depende de él

Deep learning (aprendizaje profundo)

Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.