Neural ODE

Nivel EspecializaciónDificultad ★★★★★Aplicación⌖ Ver en el mapa

¿Qué es?

Una red residual $x_{\ell+1} = x_\ell + hF(x_\ell)$ es el método de Euler; con $h \to 0$ la red se convierte en una EDO $\dot x = F_\theta(x, t)$ , que se evalúa con un resolvedor de EDO y se entrena con el método adjunto (el modo inverso de la diferenciación automática en tiempo continuo).

Fórmulas

\frac{\dd h}{\dd t} = f_\theta(h, t), \qquad \frac{\dd a}{\dd t} = -a^{\mathsf T}\frac{\partial f_\theta}{\partial h}, \quad a = \frac{\partial L}{\partial h}

Las matemáticas que hay detrás

Ecuaciones diferenciales ordinarias (EDO)★★★★★fundamental
Una neural ODE define el estado oculto con $h'(t) = f_\theta(h, t)$ y usa un resolvedor de EDO como capa.
Métodos de Runge–Kutta★★★★★frecuente
Las librerías de neural ODE (torchdiffeq, Diffrax) usan por defecto resolvedores de Runge–Kutta adaptativos.

Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.