Funciones de activación

¿Qué es?

Fórmulas

$$\sigma(z) = \frac{1}{1 + e^{-z}}, \quad \tanh z, \quad \operatorname{ReLU}(z) = \max(0, z), \quad \operatorname{GELU}(z) = z\,\Phi(z)$$

$$\sigma' = \sigma(1-\sigma) \le \tfrac14, \qquad \operatorname{ReLU}'(z) = \mathbf 1[z > 0]$$

¿Por qué importa?

Las matemáticas que hay detrás

• Derivadas de funciones elementales★★★★★fundamental

  $\sigma' = \sigma(1 - \sigma)$ y $\tanh' = 1 - \tanh^2$: la retropropagación reutiliza el valor calculado hacia delante.

• Funciones exponenciales★★★★★frecuente

  La sigmoide, la softmax y la tanh se construyen con $e^x$.

• Continuidad★★★★★fundamental

  Las activaciones deben ser continuas (y derivables casi en todas partes) para que funcione el entrenamiento por gradiente.

• Discontinuidades★★★★★histórica

  La activación escalón del perceptrón es discontinua; sustituirla por la sigmoide hizo posible la retropropagación.

• Derivabilidad y derivadas laterales★★★★★fundamental

  ReLU tiene $f'_-(0) = 0 \ne 1 = f'_+(0)$; los frameworks simplemente eligen un valor (normalmente 0) en el pico.

• Funciones hiperbólicas★★★★★frecuente

  $\tanh$ comprime a $(-1,1)$ y su derivada $1 - \tanh^2$ se calcula barato a partir de la salida.

• Dominio y recorrido★★★★★frecuente

  El recorrido de la sigmoide, $(0,1)$, es lo que permite leer su salida como una probabilidad.

• Límites en el infinito★★★★★frecuente

  La sigmoide se satura: cuando $|x| \to \infty$ su pendiente tiende a 0, la raíz del desvanecimiento del gradiente.

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

Qué depende de él

• Redes neuronales