Procesamiento de imagen y visión artificial

¿Qué es?

Una imagen es una función $I(x, y)$ . Desenfocar es convolucionar, los bordes son gradientes grandes $\norm{\nabla I}$ , las esquinas salen de segundas derivadas y el movimiento entre fotogramas, de la ecuación del flujo óptico. La visión clásica es cálculo aplicado; la moderna aprende los filtros (CNN).

Fórmulas

$G_x = \begin{pmatrix}-1 & 0 & 1\\ -2 & 0 & 2\\ -1 & 0 & 1\end{pmatrix} * I, \qquad \norm{\nabla I} \approx \sqrt{G_x^2 + G_y^2}$
detector de bordes de Sobel: $I_x\,u + I_y\,v + I_t = 0$
restricción del flujo óptico (brillo constante + regla de la cadena)

Las matemáticas que hay detrás

Interpolación★★★★★fundamental
Redimensionar y rotar imágenes muestrea entre píxeles con interpolación bilineal o bicúbica.
Derivadas parciales★★★★★fundamental
La detección de bordes estima $\partial I/\partial x$ y $\partial I/\partial y$ de la intensidad.
Convolución★★★★★fundamental
Los filtros de desenfoque, realce y bordes son convoluciones con núcleos pequeños.
Discontinuidades★★★★★frecuente
Los bordes de una imagen son discontinuidades de salto (aproximadas) de la intensidad; los detectores de bordes las buscan.
Derivada★★★★★frecuente
Los bordes son donde la intensidad cambia deprisa: los detectores (Sobel, Canny) estiman derivadas de la imagen.
Diferenciación numérica★★★★★frecuente
Los filtros de Sobel y Prewitt son diferencias finitas suavizadas de las intensidades de los píxeles.
Funciones de varias variables★★★★★frecuente
Una imagen en escala de grises es una función $I(x, y)$ muestreada en una rejilla; una en color es $\R^2 \to \R^3$ .
Gradiente★★★★★frecuente
Los bordes son $\norm{\nabla I}$ grandes; los descriptores HOG son histogramas de direcciones del gradiente.
Laplaciano★★★★★frecuente
Detección de bordes con laplaciano de gaussiana, realce y fusión de imágenes de Poisson.
Transformada de Fourier★★★★★frecuente
Filtrado en el dominio de la frecuencia, eliminación de desenfoque y registro de imágenes (correlación de fase).
Transformaciones de funciones★★★★★frecuente
Los ajustes de brillo y contraste son $a\,I(x,y) + b$ .
Matriz hessiana★★★★★avanzada
Los detectores basados en el hessiano (determinante del hessiano en SURF, vesselness de Frangi) encuentran manchas y crestas.
Ecuaciones en derivadas parciales (EDP)★★★★★avanzada
La difusión anisótropa (Perona–Malik) elimina ruido preservando bordes resolviendo una ecuación del calor no lineal.
Wavelets (ondículas)★★★★★frecuente
El encogimiento de coeficientes wavelet es un método clásico de eliminación de ruido.

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

∿ Señales, multimedia y visión

Compresión multimedia (JPEG, MP3, vídeo)★★★★★

Qué depende de él

Compresión multimedia (JPEG, MP3, vídeo)

Ejercicios

1Informática

¿Por qué los detectores de bordes desenfocan la imagen (por ejemplo con una gaussiana) antes de derivar?

Solución

Derivar amplifica el ruido de alta frecuencia (en términos de Fourier, multiplica por $2\pi i\xi$ ). Suavizar antes elimina esas frecuencias; como derivada y convolución conmutan, $\nabla(G * I) = (\nabla G) * I$ , así que una sola convolución con la derivada de una gaussiana hace las dos cosas.