Saltar al contenido

Derivadas de funciones elementales

Nivel FundamentalDificultad ★★★★★Concepto⌖ Ver en el mapa

¿Qué es?

La tabla de la que parte todo motor de derivación: potencias, exponenciales, logaritmos, funciones trigonométricas e hiperbólicas, y las funciones de activación construidas con ellas.

Fórmulas

$(x^r)' = r x^{r-1}, \quad (a^x)' = a^x \ln a, \quad (\log_a x)' = \frac{1}{x \ln a}$; $(\tan x)' = 1 + \tan^2 x, \quad (\arctan x)' = \frac{1}{1 + x^2}$; $\sigma(x) = \frac{1}{1 + e^{-x}} \implies \sigma'(x) = \sigma(x)\,\big(1 - \sigma(x)\big)$
la sigmoide: su derivada sale gratis de su valor

Dónde aparece en IA

Funciones de activación★★★★★fundamentalIA y machine learning
$\sigma' = \sigma(1 - \sigma)$ y $\tanh' = 1 - \tanh^2$ : la retropropagación reutiliza el valor calculado hacia delante.
Diferenciación automática★★★★★fundamentalIA y machine learning
Todo sistema de diferenciación automática incluye una tabla de derivadas de sus operaciones primitivas.

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

λ Computación científica y algoritmos

Primitivas e integral indefinida→Computación simbólica (CAS)★★★★★
Primitivas e integral indefinida→Teorema fundamental del cálculo→Función de distribución acumulada→Métodos de Monte Carlo★★★★★
Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Método de Euler→Métodos de Runge–Kutta→Cálculo científico★★★★★
Primitivas e integral indefinida→Teorema fundamental del cálculo→Integrales impropias→Criterio de la integral→Análisis de algoritmos y complejidad★★★★★

ℒ IA y machine learning

Funciones de activación★★★★★
Funciones de activación→Redes neuronales★★★★★
Funciones de activación→Redes neuronales→Retropropagación (backpropagation)★★★★★
Funciones de activación→Redes neuronales→Paisaje de la pérdida (loss landscape)★★★★★
Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Neural ODE★★★★★
Funciones de activación→Redes neuronales→Retropropagación (backpropagation)→Deep learning (aprendizaje profundo)★★★★★
+11

3D Gráficos por computador

Primitivas e integral indefinida→Teorema fundamental del cálculo→Función de distribución acumulada→Métodos de Monte Carlo→La ecuación de renderizado★★★★★

∿ Señales, multimedia y visión

Primitivas e integral indefinida→Cambio de variable→Integrales trigonométricas→Series de Fourier→Procesamiento de señales★★★★★
Primitivas e integral indefinida→Teorema fundamental del cálculo→Integrales impropias→Transformada de Fourier→Teorema de muestreo (Nyquist–Shannon)★★★★★
Primitivas e integral indefinida→Teorema fundamental del cálculo→Integrales impropias→Transformada de Fourier→Transformada rápida de Fourier (FFT)★★★★★
Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Transformada de Laplace→Transformada Z→Filtros digitales★★★★★
Primitivas e integral indefinida→Teorema fundamental del cálculo→Integrales impropias→Transformada de Fourier→Telecomunicaciones (modulación, OFDM)★★★★★
Primitivas e integral indefinida→Teorema fundamental del cálculo→Integrales impropias→Transformada de Fourier→Procesamiento de imagen y visión artificial★★★★★
+1

ψ Computación y física cuántica

Primitivas e integral indefinida→Teorema fundamental del cálculo→Integrales impropias→Transformada de Fourier→Principio de incertidumbre★★★★★

⇄ Optimización y sistemas

Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Método de Euler→Descenso de gradiente→Sistemas de recomendación★★★★★
Primitivas e integral indefinida→Teorema fundamental del cálculo→Función de distribución acumulada→Teoría de colas y rendimiento★★★★★

Qué depende de él

Primitivas e integral indefinida

Ejercicios

1Demostración

Demuestra que $\sigma'(x) = \sigma(x)(1 - \sigma(x))$ para $\sigma(x) = 1/(1 + e^{-x})$ . ¿Cuál es el máximo de $\sigma'$ ?

Solución

$\sigma'(x) = \frac{e^{-x}}{(1 + e^{-x})^2} = \frac{1}{1 + e^{-x}}\cdot\frac{e^{-x}}{1 + e^{-x}} = \sigma(1 - \sigma)$ . Como $s(1 - s) \le \frac14$ , el máximo es $\frac14$ en $x = 0$ : cada capa sigmoide encoge los gradientes al menos por 4, una de las causas del desvanecimiento del gradiente.

Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.