Deep learning (aprendizaje profundo)

Nivel AvanzadoDificultad ★★★★★Aplicación⌖ Ver en el mapa

¿Qué es?

Entrenar redes muy profundas (CNN, transformers) con retropropagación y SGD adaptativo sobre conjuntos de datos enormes. El cálculo es el mismo que para una neurona; lo que cambió es la escala, la arquitectura (conexiones residuales, normalización, atención) y el hardware.

Fórmulas

xℓ+1=xℓ+Fℓ(xℓ)  ⟹  ∂xℓ+1∂xℓ=I+∂Fℓ∂xℓx_{\ell+1} = x_\ell + F_\ell(x_\ell) \implies \frac{\partial x_{\ell+1}}{\partial x_\ell} = I + \frac{\partial F_\ell}{\partial x_\ell}
las conexiones residuales mantienen la cadena de jacobianas cerca de la identidad

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

Qué depende de él

Para seguir

Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.

↑ ↓ para navegar · ↵ · Esc