Convexidad y concavidad

$f$ es convexa si la cuerda entre dos puntos cualesquiera de su gráfica queda por encima de la gráfica; para $f$ suave, equivalentemente, si $f'' \ge 0$. En las funciones convexas todo mínimo local es global, y por eso los problemas convexos son los que la optimización resuelve de forma fiable.

La optimización general es una causa perdida: una función puede esconder su mínimo en cualquier sitio. La convexidad es la propiedad estructural que hace fiable globalmente la información local (la pendiente aquí): si la pendiente dice «cuesta abajo es por ahí», el mínimo global está de verdad por ahí.

Una función convexa es un cuenco: sin bultos ni valles secundarios. La recta tangente en cualquier punto queda entera por debajo de la gráfica, así que $f(y) \ge f(x) + f'(x)(y - x)$: la predicción lineal siempre se queda corta, y un punto con pendiente cero gana a todos los demás.

$f$ es convexa en un intervalo si para todo $x, y$ y $t \in [0,1]$:

Para $f$ derivable: convexa $\iff f(y) \ge f(x) + f'(x)(y - x)$; para $f$ dos veces derivable: convexa $\iff f'' \ge 0$. $f$ es cóncava si $-f$ es convexa. Un punto de inflexión es donde cambia la concavidad.

Local ⇒ global: si $x^\ast$ fuera mínimo local pero no global, la cuerda hasta un punto más bajo $y$ quedaría por debajo de $f(x^\ast)$ arbitrariamente cerca de $x^\ast$, en contra de la minimalidad local.

La regresión lineal y logística, las máquinas de vectores soporte, el LASSO y casi toda la investigación operativa son convexos: vienen con garantías y resolvedores fiables. Las redes profundas no lo son, y por eso entrenarlas es un arte empírico (y por eso es notable que el descenso de gradiente funcione tan bien con ellas).