Derivada direccional

Nivel UniversitarioDificultad ★★★★★Concepto⌖ Ver en el mapa

¿Qué es?

La tasa de cambio de $f$ al moverse en una dirección unitaria $u$ : $D_u f = \nabla f\cdot u$ . Demuestra que $-\nabla f$ es la dirección de máximo descenso, y es lo que calcula la diferenciación automática en modo directo (un producto jacobiana–vector).

Fórmulas

D_u f(a) = \lim_{t\to0}\frac{f(a + t u) - f(a)}{t} = \nabla f(a)\cdot u

Dónde aparece en IA

Descenso de gradiente★★★★★fundamentalIA y machine learning
Entre los pasos unitarios, $u = -\nabla f/\norm{\nabla f}$ minimiza $D_u f$ : la justificación del método.
Diferenciación automática★★★★★frecuenteIA y machine learning
La diferenciación automática en modo directo con números duales calcula $D_u f$ (un JVP) en una pasada.

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

ℒ IA y machine learning

Descenso de gradiente★★★★★
Diferenciación automática★★★★★
Descenso de gradiente→Learning rate (tasa de aprendizaje)★★★★★
Diferenciación automática→Retropropagación (backpropagation)★★★★★
Descenso de gradiente→Descenso de gradiente estocástico (SGD)★★★★★
Descenso de gradiente→Paisaje de la pérdida (loss landscape)★★★★★
+7

⇄ Optimización y sistemas

Descenso de gradiente→Sistemas de recomendación★★★★★

Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.