Saltar al contenido

Funciones logarítmicas

Nivel FundamentalDificultad ★★★★★Concepto⌖ Ver en el mapa

¿Qué es?

La inversa de la exponencial: $\log_a x$ es la potencia a la que hay que elevar $a$ para obtener $x$ . Los logaritmos convierten productos en sumas, y por eso aparecen en el coste de los algoritmos, en la teoría de la información y en toda función de pérdida basada en la verosimilitud.

Intuición

$\log_2 n$ cuenta cuántas veces se puede partir $n$ por la mitad hasta llegar a 1: los pasos de una búsqueda binaria, la profundidad de un árbol equilibrado, los bits necesarios para escribir $n$ .

Fórmulas

$\log(xy) = \log x + \log y, \qquad \frac{\dd}{\dd x}\ln x = \frac1x$; $\log \prod_i p(x_i) = \sum_i \log p(x_i)$
productos de probabilidades se vuelven sumas

Aplicaciones en informática

Análisis de algoritmos y complejidad★★★★★fundamentalComputación científica y algoritmos
La búsqueda binaria es $O(\log n)$ y la ordenación por comparaciones $\Theta(n \log n)$ .
Coma flotante (IEEE 754)★★★★★frecuenteComputación científica y algoritmos
Multiplicar muchas probabilidades pequeñas da 0 por desbordamiento inferior; sumar sus logaritmos (log-sum-exp) no.

Dónde aparece en IA

Función de pérdida★★★★★fundamentalIA y machine learning
La entropía cruzada es una log-verosimilitud negativa; el log convierte el producto sobre muestras en una suma.

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

λ Computación científica y algoritmos

Análisis de algoritmos y complejidad★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Computación simbólica (CAS)★★★★★
Órdenes de magnitud→Notación asintótica (O, o, Ω, Θ)→Orden y velocidad de convergencia→Cálculo científico★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Teorema fundamental del cálculo→Función de distribución acumulada→Métodos de Monte Carlo★★★★★
Coma flotante (IEEE 754)★★★★★

ℒ IA y machine learning

Función de pérdida★★★★★
Función de pérdida→Descenso de gradiente★★★★★
Estimación por máxima verosimilitud→Regresión logística★★★★★
Derivadas de funciones elementales→Funciones de activación★★★★★
Función de pérdida→Regularización★★★★★
Función de pérdida→Máquinas de vectores soporte (SVM)★★★★★
+14

⚙ Robótica y control

Derivadas de funciones elementales→Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Teoría de control★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Teoría de control→Optimización de trayectorias y MPC★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Transformada de Laplace→Control PID★★★★★

⚛ Física y simulación

Derivadas de funciones elementales→Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Mecánica clásica★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Motores físicos★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Modelos de poblaciones y epidemias★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Integración por partes→Método de los elementos finitos★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Motores físicos→Simulación gravitatoria de N cuerpos★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Ecuaciones en derivadas parciales (EDP)→Ecuación del calor y difusión★★★★★
+2

⇄ Optimización y sistemas

Función de pérdida→Descenso de gradiente→Sistemas de recomendación★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Teorema fundamental del cálculo→Función de distribución acumulada→Teoría de colas y rendimiento★★★★★

∿ Señales, multimedia y visión

Derivadas de funciones elementales→Primitivas e integral indefinida→Fracciones simples→Filtros digitales★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Cambio de variable→Integrales trigonométricas→Procesamiento de señales★★★★★
Derivadas de funciones elementales→Primitivas e integral indefinida→Ecuaciones diferenciales ordinarias (EDO)→Ecuaciones en derivadas parciales (EDP)→Procesamiento de imagen y visión artificial★★★★★

Qué depende de él

Ejercicios

1Informática

¿Por qué las librerías de ML calculan $\log \sum_i e^{z_i}$ como $m + \log\sum_i e^{z_i - m}$ con $m = \max_i z_i$ ?

Solución

Son iguales porque $e^{z_i} = e^m e^{z_i - m}$ . Pero $e^{1000}$ desborda un doble, mientras que todo $e^{z_i - m} \le 1$ y al menos uno vale 1, así que la suma está en $[1, n]$ y es segura.