¿Qué es?
Una función es derivable en cuando las dos derivadas laterales existen y coinciden. Derivable implica continua, pero no al revés: y son continuas con un pico en 0.
Fórmulas
- subdiferencial: el conjunto de pendientes en un pico
Dónde aparece en IA
ReLU tiene ; los frameworks simplemente eligen un valor (normalmente 0) en el pico.
Las pérdidas L1 y hinge no son derivables en un punto y se optimizan con subgradientes.
¿Dónde se utiliza?
Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:
λ Computación científica y algoritmos
- Teorema de Rolle→Teorema del valor medio→Teorema de Taylor y resto→Cálculo científico★★★★★
- Teorema de Rolle→Teorema del valor medio→Teorema fundamental del cálculo→Función de distribución acumulada→Métodos de Monte Carlo★★★★★
- Teorema de Rolle→Teorema del valor medio→Teorema fundamental del cálculo→Computación simbólica (CAS)★★★★★
- Teorema de Rolle→Teorema del valor medio→Teorema de Taylor y resto→Coma flotante (IEEE 754)★★★★★
- Teorema de Rolle→Teorema del valor medio→Teorema del valor medio de Cauchy→Regla de L'Hôpital→Análisis de algoritmos y complejidad★★★★★
ℒ IA y machine learning
- Teorema de Rolle→Teorema del valor medio→Continuidad de Lipschitz→Descenso de gradiente★★★★★
- Teorema de Rolle→Teorema del valor medio→Continuidad de Lipschitz→Descenso de gradiente→Learning rate (tasa de aprendizaje)★★★★★
- Teorema de Rolle→Teorema del valor medio→Continuidad de Lipschitz→Descenso de gradiente→Retropropagación (backpropagation)★★★★★
- Teorema de Rolle→Teorema del valor medio→Continuidad de Lipschitz→Descenso de gradiente→Descenso de gradiente estocástico (SGD)★★★★★
- Teorema de Rolle→Teorema del valor medio→Continuidad de Lipschitz→Descenso de gradiente→Paisaje de la pérdida (loss landscape)★★★★★
- Teorema de Rolle→Teorema del valor medio→Continuidad de Lipschitz→Descenso de gradiente→Aprendizaje por refuerzo★★★★★
- +12
⚛ Física y simulación
- Teorema de Rolle→Teorema del valor medio→Teorema fundamental del cálculo→Motores físicos★★★★★
- Teorema de Rolle→Teorema del valor medio→Teorema fundamental del cálculo→Motores físicos→Simulación gravitatoria de N cuerpos★★★★★
- Teorema de Rolle→Teorema del valor medio→Teorema fundamental del cálculo→Motores físicos→Dinámica de fluidos y CFD★★★★★
Qué depende de él
Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.