Máquinas de vectores soporte (SVM)

¿Qué es?

Fórmulas

$$\min_{w,b}\ \tfrac12\norm w^2, \qquad y_i(w\cdot x_i + b) \ge 1\ \ \forall i$$

$$\max_\alpha \sum_i\alpha_i - \tfrac12\sum_{i,j}\alpha_i\alpha_j y_i y_j\,k(x_i, x_j), \quad \alpha_i \ge 0,\ \sum_i\alpha_i y_i = 0$$

el dual: solo aparecen núcleos $k(x_i, x_j)$

Las matemáticas que hay detrás

• Convexidad y concavidad★★★★★fundamental

  Entrenar una SVM es un programa cuadrático convexo: un único óptimo global.

• Multiplicadores de Lagrange★★★★★fundamental

  El dual de la SVM se obtiene con multiplicadores de Lagrange; solo importan los puntos con $\alpha_i > 0$ (vectores soporte).

• Condiciones KKT★★★★★fundamental

  La holgura complementaria es la razón de que solo los vectores soporte (puntos en el margen o dentro) tengan peso no nulo.