Ejercicios

Supón $\sqrt 2 = p/q$ irreducible y mira la paridad.

Si $p^2 = 2q^2$, entonces $p^2$ es par, luego $p$ es par: $p = 2k$. Así $4k^2 = 2q^2$, de modo que $q^2 = 2k^2$ y $q$ también es par, en contra de que $p/q$ fuera irreducible.

$0{,}1$, $0{,}2$ y $0{,}3$ tienen desarrollos binarios infinitos, así que cada uno se redondea al doble más cercano. El $0{,}1$ redondeado más el $0{,}2$ redondeado, redondeado otra vez, cae en un doble distinto del $0{,}3$ redondeado. Hay que comparar con tolerancia: $|a - b| \le \varepsilon \max(|a|, |b|)$.

$-5 < 2x - 3 < 5 \iff -1 < x < 4$, es decir, $x \in (-1, 4)$.

Dominio: $4 - x^2 > 0 \iff x \in (-2, 2)$. Ahí $4 - x^2 \in (0, 4]$, así que el recorrido es $(-\infty, \ln 4]$.

No: la misma entrada (vacía) da salidas distintas. Se convierte en función matemática si el tiempo pasa a ser una entrada explícita, $f(t)$, que es justo lo que hace testeable el código.

Ingenuamente $4 + 3 + 1 = 8$ (calculando cada potencia desde cero). Horner: $(((3x - 2)x + 0)x + 1)x - 7$, 4 multiplicaciones.

$2^{t/1{,}5} = 100 \Rightarrow t = 1{,}5 \log_2 100 \approx 1{,}5 \cdot 6{,}64 \approx 10$ años.

Son iguales porque $e^{z_i} = e^m e^{z_i - m}$. Pero $e^{1000}$ desborda un doble, mientras que todo $e^{z_i - m} \le 1$ y al menos uno vale 1, así que la suma está en $[1, n]$ y es segura.

$|\frac{3n+1}{n} - 3| = \frac1n < \varepsilon$ siempre que $n > 1/\varepsilon$; toma $N = \lfloor 1/\varepsilon \rfloor + 1$.

$2 \cdot 2^{-k} < 10^{-3} \iff k > \log_2 2000 \approx 10{,}97$, luego 11 épocas. El error se reduce en un factor constante: convergencia lineal (geométrica).

Multiplica y divide por $\sqrt{1+x} + 1$.

$\frac{(1+x) - 1}{x(\sqrt{1+x} + 1)} = \frac{1}{\sqrt{1+x}+1} \to \frac12$.

La gráfica oscila entre $-1$ y $1$ infinitas veces cerca de 0. Por $x_n = \frac{1}{2\pi n}$ los valores son $0$; por $x_n = \frac{1}{2\pi n + \pi/2}$ son $1$. Dos sucesiones, dos límites distintos.

Límite por la izquierda $k + 1$, valor $f(1) = 4$. La continuidad exige $k + 1 = 4$, luego $k = 3$.

$H$ es constante salvo en 0, así que su derivada es 0 casi en todas partes (y no existe en 0). Todo gradiente que pase por ella es cero: los pesos no se mueven nunca.

$\frac{1}{h}\left(\frac{1}{x+h} - \frac1x\right) = \frac{-h}{h\,x(x+h)} = \frac{-1}{x(x+h)} \to -\frac{1}{x^2}$.

$f'(x) = 3x^2 - 3$: se anula en $x = \pm1$ (máximo local en $-1$, mínimo local en $1$), negativa en $(-1,1)$ donde $f$ decrece y positiva fuera.

$L'(w) = 2(w - 3)$. $w_1 = 0 - 0{,}1\cdot(-6) = 0{,}6$; $w_2 = 0{,}6 - 0{,}1\cdot(-4{,}8) = 1{,}08$. Cada paso cierra un 20 % de la distancia al mínimo $w = 3$.

$f'(x) = \frac{(2x + x^2)e^x(1 + x) - x^2 e^x}{(1+x)^2} = \frac{x e^x (x^2 + 2x + 2)}{(1 + x)^2}$.

$\sigma'(x) = \frac{e^{-x}}{(1 + e^{-x})^2} = \frac{1}{1 + e^{-x}}\cdot\frac{e^{-x}}{1 + e^{-x}} = \sigma(1 - \sigma)$. Como $s(1 - s) \le \frac14$, el máximo es $\frac14$ en $x = 0$: cada capa sigmoide encoge los gradientes al menos por 4, una de las causas del desvanecimiento del gradiente.

$h'(x) = \frac{1}{1 + e^{3x}}\cdot 3e^{3x} = 3\,\sigma(3x)$: la derivada de la softplus es una sigmoide.

Cada $\sigma' \le \frac14$, así que el producto es como mucho $4^{-20} \approx 9 \cdot 10^{-13}$: desvanecimiento del gradiente. ReLU (derivada 1 cuando está activa) y las conexiones residuales lo evitan.

$f'(x) = 4x^2(x - 3)$: puntos críticos 0 y 3. $f'(x) = 12x^2 - 24x$; $f'(3) = 36 > 0$ → mínimo. En 0, $f' = 0$ y $f'$ no cambia de signo (negativa a ambos lados): no es extremo.

$c'(n) = -100/n^2 + 4 = 0 \Rightarrow n = 5$; $c'(n) = 200/n^3 > 0$, así que es un mínimo, $c(5) = 40$.

$2^{-(k+1)} < 10^{-6} \iff k + 1 > 6\log_2 10 \approx 19{,}9$: $k = 19$ pasos.

En cada franja el rectángulo del punto medio se pasa y se queda corto en cantidades casi iguales en las dos mitades, así que los errores de primer orden se cancelan y solo sobrevive un término de curvatura $O(\Delta x^3)$ por franja: en total $O(1/n^2)$ en vez de $O(1/n)$.

$[x^3 - x^2]_0^2 = 8 - 4 = 4$. Positiva: el área sobre el eje (para $x > 2/3$) supera la pequeña parte negativa en $(0, 2/3)$.

$\pi = 4\int_0^1\sqrt{1 - x^2}\,\dd x \approx \frac4N\sum\sqrt{1 - u_i^2}$ con $u_i$ uniformes. El error típico es del orden de $0{,}9/\sqrt N$; para $\pm 0{,}0005$ hacen falta $N \approx 3\cdot10^6$. Monte Carlo es sencillo pero lento.

No: $\frac{k}{k^2+1} \ge \frac{1}{2k}$ para $k \ge 1$, y $\sum\frac1{2k}$ diverge (comparación con la armónica).

$H_{10^6} \approx \ln 10^6 + 0{,}577 \approx 14{,}39$, así que unas $2\cdot10^6\cdot14{,}39 - 4\cdot10^6 \approx 2{,}5\cdot10^7$ comparaciones ($\approx 1{,}39\,n\log_2 n$).

$\sum 0{,}99^k = \frac{1}{0{,}01} = 100$. Las recompensas más allá de unos $\frac{1}{1-\gamma} = 100$ pasos aportan poco: el horizonte efectivo es de unos 100 pasos.

$1 + i = \sqrt 2\, e^{i\pi/4}$, así que $(1+i)^8 = 2^4 e^{2\pi i} = 16$.

En $e^{2\pi i k/6}$, $k = 0,\dots,5$: los vértices de un hexágono regular inscrito en la circunferencia unidad.

$(\log n)^{10} \ll n\log^2 n \ll n^{3/2} \ll n^{\log n} \ll 2^{\sqrt n}$ (compara logaritmos: $10\log\log n$, $\log n$, $1{,}5\log n$, $\log^2 n$, $\sqrt n$).

$\Theta(n^2)$: factor $10^6$ → unos 11,6 días. $\Theta(n\log n)$: factor $1000 \cdot \frac{\log 10^6}{\log 10^3} = 2000$ → unos 33 minutos.

$\sqrt{4{,}1} \approx 2 + \frac{1}{2\sqrt4}\cdot 0{,}1 = 2{,}025$ (valor real $2{,}02485…$).

$\sin x - \sin y = \cos(c)\,(x - y)$ para algún $c$, y $|\cos c| \le 1$.

Velocidad media $= 10 / (5/60) = 120$ km/h. Por el TVM, en algún instante $s'(t) = 120 > 110$.

Por el TFC y la regla de la cadena: $e^{-x^4}\cdot 2x$.

La posición es $s(0) + \int_0^T v$ (TFC). Con muestras, la integral se aproxima con una suma, por ejemplo la regla del trapecio $\sum \frac{v_k + v_{k+1}}{2}\,0{,}1$. Los errores se acumulan (deriva), y por eso las IMU se fusionan con el GPS.

Aplicándola tres veces: $\frac{1 - \cos x}{3x^2} \to \frac{\sin x}{6x} \to \frac{\cos x}{6} \to \frac16$.

$f'(x) = \sigma(x)$ y $f'(x) = \sigma(x)(1 - \sigma(x)) > 0$.

No. Intercambiar dos neuronas ocultas (y sus pesos de salida) da otro vector de pesos con la misma pérdida. Si $\theta_1 \ne \theta_2$ son ambos mínimos, la convexidad haría que su punto medio fuera igual de bueno, pero el punto medio promedia las dos neuronas en dos idénticas, en general peor. Los mínimos simétricos impiden la convexidad.

$x_{k+1} = x_k - \frac{x_k^3 - 2x_k - 5}{3x_k^2 - 2}$. $x_1 = 2 - \frac{-1}{10} = 2{,}1$, $x_2 = 2{,}1 - \frac{0{,}061}{11{,}23} \approx 2{,}094568$ (raíz $2{,}0945515$).

$x_1 = 0 - \frac{2}{-2} = 1$, $x_2 = 1 - \frac{1}{1} = 0$: un ciclo de periodo 2. Las tangentes rebotan entre 0 y 1 para siempre; la raíz real ($\approx -1{,}77$) está en otra cuenca.

Toma $f(x) = \frac1x - a$: $x_{k+1} = x_k - \frac{1/x_k - a}{-1/x_k^2} = x_k(2 - a x_k)$. Sin divisiones: así dividen muchos procesadores.

$T_4 = 1 - \frac{x^2}{2} + \frac{x^4}{24}$; $T_4(0{,}5) = 0{,}8776041\overline{6}$ frente a $\cos 0{,}5 = 0{,}8775826$ (error $2 \cdot 10^{-5}$).

$L(w + h) \approx L + L'h + \frac12 L''h^2$; anulando la derivada en $h$ sale $h = -L'/L''$. Es el método de Newton para optimización.

$|R_n| \le \frac{e}{(n+1)!} < \frac{3}{(n+1)!}$. $(n+1)! > 3 \cdot 10^{10}$ exige $n + 1 = 14$ ($14! \approx 8{,}7 \cdot 10^{10}$), luego $n = 13$.

$\frac{1}{1+x^2} = \sum (-1)^k x^{2k}$; integrando, $\arctan x = \sum\frac{(-1)^k x^{2k+1}}{2k+1}$. En $x = 1$: $\frac\pi4 = 1 - \frac13 + \frac15 - \dots$ (Leibniz; muy lenta).

$f_x = ye^{xy}$, $f_y = xe^{xy}$, $f_{xx} = y^2e^{xy}$, $f_{yy} = x^2e^{xy}$, $f_{xy} = f_{yx} = (1 + xy)e^{xy}$.

$\frac{\partial L}{\partial\hat y} = \frac{\hat y - y}{\hat y(1 - \hat y)}$, $\frac{\partial\hat y}{\partial z} = \hat y(1 - \hat y)$, $\frac{\partial z}{\partial w_1} = x_1$. El producto se simplifica a $(\hat y - y)x_1$: sigmoide y entropía cruzada se cancelan de maravilla.

$\nabla f = (2xy, x^2 + z^3, 3yz^2) = (4, 0, 6)$. $D_u f = (4 + 0 + 6)/\sqrt3 = 10/\sqrt3 \approx 5{,}77$; el máximo posible es $\norm{\nabla f} = \sqrt{52} \approx 7{,}21$.

Las curvas de nivel son elipses, más anchas en $x$. El gradiente $(4, 8)$ es perpendicular a la elipse que pasa por $(2,1)$, y esa no es la dirección radial $(2, 1)$ porque la elipse no es una circunferencia.

Las diferencias finitas perturban un parámetro cada vez. El modo inverso ejecuta el programa una vez hacia delante y otra hacia atrás propagando $\partial L/\partial(\text{intermedio})$; cada intermedio se visita una vez, así que el coste es un múltiplo constante de la pasada hacia delante, independiente del número de parámetros (con una única salida escalar).

$(y, x) = \lambda(1, 1)$ da $x = y = \lambda$, y $x + y = 10$ da $x = y = 5$, $f = 25$, $\lambda = 5$.

$\partial_{p_i}\big[-\sum p\ln p - \lambda(\sum p - 1) - \beta(\sum pE - \bar E)\big] = -\ln p_i - 1 - \lambda - \beta E_i = 0$, así que $p_i = e^{-1-\lambda}e^{-\beta E_i}$: una softmax de $-\beta E$.

$w_r = f_x\cos\theta + f_y\sin\theta$, $w_\theta = -f_x r\sin\theta + f_y r\cos\theta$.

Sea $z_1 = W_1x$, $a = \sigma(z_1)$, $z_2 = W_2a$. Con $g = \partial\ell/\partial z_2$: $\partial L/\partial W_2 = g\,a^{\mathsf T}$ y $\partial L/\partial W_1 = \big((W_2^{\mathsf T}g)\odot\sigma'(z_1)\big)x^{\mathsf T}$. El gradiente que llega desde arriba, $g$, se calcula una vez y se reutiliza: ese reaprovechamiento es lo que hace barata la retropropagación.

$J = \begin{pmatrix}2x & -2y\\ 2y & 2x\end{pmatrix}$, $\det J = 4(x^2 + y^2)$. Solo en el origen ($F$ es $z \mapsto z^2$ en forma compleja).

$\det J = \ell_1\ell_2\sin q_2$: cero cuando $q_2 = 0$ o $\pi$, con el brazo totalmente estirado o plegado. Ahí la mano no se puede mover en dirección radial.

$\nabla f = (3x^2 - 3, 2y) = 0$ en $(\pm1, 0)$. $H = \operatorname{diag}(6x, 2)$: en $(1,0)$ definida positiva → mínimo; en $(-1, 0)$ indefinida → silla.

$H = \operatorname{diag}(1, 100)$, así que $\eta < 2/100 = 0{,}02$. En $x$ cada paso multiplica el error por $1 - \eta \approx 0{,}98$: $0{,}98^k = 10^{-3} \Rightarrow k \approx 342$. El número de condición 100 lo hace lento.

$2xy - 2xy + 1 = 1$.

Con $y_1 = y$, $y_2 = y'$: $y_1' = y_2$, $y_2' = \sin t - 2y_1 - 3y_2$.

$T - 20 = 15e^{-kt}$; $10 = 15e^{-10k} \Rightarrow k = \ln(1{,}5)/10$. $2 = 15e^{-kt} \Rightarrow t = 10\ln 7{,}5/\ln 1{,}5 \approx 49{,}7$ min.

$y_1 = 1 + 0{,}5(0 - 1) = 0{,}5$; $y_2 = 0{,}5 + 0{,}5(0{,}5 - 0{,}5) = 0{,}5$; $y_3 = 0{,}5 + 0{,}5(1 - 0{,}5) = 0{,}75$ (exacta $y(1{,}5) = 1{,}5 - 1 + 2e^{-1{,}5} \approx 0{,}946$).

Cada paso explícito avanza por la tangente, fuera de la circunferencia: el radio y la energía crecen en cada paso y el planeta sale en espiral. Euler semiimplícito es simpléctico: conserva una energía ligeramente perturbada, así que la órbita sigue cerrada durante muchísimo tiempo.

Cerca de un mínimo $\nabla L \approx H(\theta - \theta^\ast)$, así que el descenso de gradiente es Euler sobre $\dot e = -He$. En el vector propio dominante, $e_{k+1} = (1 - \eta\lambda_{\max})e_k$, que crece cuando $|1 - \eta\lambda_{\max}| > 1$, es decir, $\eta > 2/\lambda_{\max}$.

$\int_0^1 x(1-x)\,\dd x = \frac16$, luego $c = 6$. Por simetría, $P(X > 0{,}5) = 0{,}5$.

Por partes: $\int_0^\infty x\lambda e^{-\lambda x}\,\dd x = \big[-xe^{-\lambda x}\big]_0^\infty + \int_0^\infty e^{-\lambda x}\,\dd x = \frac1\lambda$.

Si el lote se elige uniformemente al azar, $\E[\frac1{|B|}\sum_{i\in B}\nabla\ell_i] = \frac1N\sum_i\nabla\ell_i$ por la linealidad de la esperanza (e intercambiando gradiente y esperanza, lo que exige algo de suavidad). Los lotes no aleatorios (por ejemplo, datos ordenados) lo rompen.

Euler: $h \approx 10^{-6}$ → $10^6$ evaluaciones. RK4: $h^4 \approx 10^{-6}$ → $h \approx 0{,}03$, unos 32 pasos → ~130 evaluaciones. El orden alto gana por órdenes de magnitud.

$x = 0$ y $x = 1$. $f'(x) = 1 - 2x$: $f'(0) = 1 > 0$ inestable, $f'(1) = -1 < 0$ estable. Toda población positiva tiende a la capacidad de carga.

$b_n = \frac2\pi\int_0^\pi\sin nt\,\dd t = \frac{2}{n\pi}(1 - (-1)^n)$: $\frac{4}{n\pi}$ para $n$ impar y 0 para $n$ par.

Tres FFT de tamaño ~$2N$ más un producto punto a punto: unas $3\cdot 2N\log_2(2N) \approx 1{,}3\cdot10^8$ frente a $10^{12}$, unas 8000 veces más rápido.

Un pulso estrecho tiene un espectro muy ancho y plano (todas las frecuencias); un tono puro largo, un pico estrecho. El producto anchura temporal × anchura en frecuencia está acotado inferiormente.

$[0{,}5;\ 1{,}5;\ 2{,}5;\ 1{,}5]$: una media móvil (con los bordes rellenos de ceros).

$\ell(\lambda) = N\ln\lambda - \lambda\sum x_i$; $\ell'(\lambda) = N/\lambda - \sum x_i = 0 \Rightarrow \hat\lambda = 1/\bar x$.

$-\log p(y\mid x) = |y - f_\theta(x)|/b + \text{cte}$; sumando sobre los datos, maximizar la verosimilitud es minimizar $\sum|y_i - f_\theta(x_i)|$.

$t = \ln(10^6)/0{,}5 \approx 27{,}6$ días. Con $10^{-12}$: $55{,}3$ días. Datos un millón de veces mejores solo duplican el horizonte.

El error de truncamiento es $\approx \frac{h}{2}f''$ pero el de redondeo del numerador es $\approx \varepsilon f/h$. Su suma es mínima en $h \approx \sqrt\varepsilon \approx 10^{-8}$; con $h$ menor domina el redondeo.

$-\ln 0{,}01 \approx 4{,}6$ frente a $-\ln 0{,}9 \approx 0{,}105$. Las predicciones equivocadas y seguras se castigan unas 44 veces más.

$\theta_{k+1} = (1 - \eta a)\theta_k$, que tiende a 0 si y solo si $|1 - \eta a| < 1$. Con $\eta = 1/a$ salta al mínimo en un paso.

P empuja hacia arriba en proporción a los 2 m de error; D frena cuando el error disminuye deprisa, evitando pasarse; I acumula cualquier error persistente. Con solo P, compensar la gravedad necesita un empuje no nulo, que exige un error no nulo: el dron se queda por debajo del objetivo (error estacionario) y puede oscilar si $K_p$ es grande.

$y(t) = 20t - 4{,}9t^2$; $y'(t) = 20 - 9{,}8t = 0 \Rightarrow t \approx 2{,}04$ s, $y \approx 20{,}4$ m.

Derivar amplifica el ruido de alta frecuencia (en términos de Fourier, multiplica por $2\pi i\xi$). Suavizar antes elimina esas frecuencias; como derivada y convolución conmutan, $\nabla(G * I) = (\nabla G) * I$, así que una sola convolución con la derivada de una gaussiana hace las dos cosas.

$\partial L/\partial w = (\hat y - y)\,\hat y(1 - \hat y)\,x$ y $\partial L/\partial b = (\hat y - y)\,\hat y(1 - \hat y)$.

Las derivadas locales ($\sigma'(z^{(\ell)})$, $a^{(\ell-1)}$) dependen de valores de la pasada hacia delante. El checkpointing guarda solo las activaciones de algunas capas y recalcula las demás en la pasada hacia atrás: la memoria baja (a $O(\sqrt L)$ con una colocación óptima) a cambio de más o menos una pasada hacia delante extra.

$W = 1/(\mu - \lambda)$: 20 ms, 100 ms y 1 s. Pasar del 90 % al 99 % de utilización multiplica la latencia por 10.