¿Qué es?
Lo deprisa que se reduce el error : lineal (, un número fijo de cifras por paso) o cuadrática (, las cifras se duplican en cada paso). La bisección es lineal; Newton, cuadrático.
Fórmulas
- convergencia de orden
Aplicaciones en informática
El orden de un método decide cuántas iteraciones (y cuánto cómputo) cuesta una respuesta precisa.
Dónde aparece en IA
En problemas fuertemente convexos el descenso de gradiente converge linealmente, a un ritmo fijado por el número de condición .
¿Dónde se utiliza?
Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:
ℒ IA y machine learning
- Descenso de gradiente★★★★★
- Descenso de gradiente→Learning rate (tasa de aprendizaje)★★★★★
- Descenso de gradiente→Retropropagación (backpropagation)★★★★★
- Descenso de gradiente→Descenso de gradiente estocástico (SGD)★★★★★
- Descenso de gradiente→Paisaje de la pérdida (loss landscape)★★★★★
- Descenso de gradiente→Aprendizaje por refuerzo★★★★★
- +6
Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.