Learning rate (tasa de aprendizaje)

Nivel UniversitarioDificultad ★★★★★Aplicación⌖ Ver en el mapa

¿Qué es?

El tamaño de paso $\eta$ del descenso de gradiente, el hiperparámetro más importante. La estabilidad exige $\eta < 2/\lambda_{\max}$ (la mayor curvatura); los calendarios (calentamiento, decaimiento coseno) empiezan con cuidado, van rápido y terminan con pasos pequeños para asentarse en un mínimo.

Fórmulas

$\eta_t = \eta_{\min} + \tfrac12(\eta_{\max} - \eta_{\min})\big(1 + \cos(\pi t/T)\big)$
calendario coseno

¿Dónde se utiliza?

Temas de informática a los que se llega desde aquí, con la cadena de ideas que lleva a ellos:

ℒ IA y machine learning

Descenso de gradiente estocástico (SGD)★★★★★
Descenso de gradiente estocástico (SGD)→Momento y Adam★★★★★
Descenso de gradiente estocástico (SGD)→Momento y Adam→Deep learning (aprendizaje profundo)★★★★★
Descenso de gradiente estocástico (SGD)→Momento y Adam→Deep learning (aprendizaje profundo)→Redes convolucionales (CNN)★★★★★
Descenso de gradiente estocástico (SGD)→Momento y Adam→Deep learning (aprendizaje profundo)→Modelos generativos★★★★★
Descenso de gradiente estocástico (SGD)→Momento y Adam→Deep learning (aprendizaje profundo)→Neural ODE★★★★★

Qué depende de él

Descenso de gradiente estocástico (SGD)

Esta página tiene lo esencial. Un desarrollo más completo (intuición, definición formal, ejemplo resuelto) está en camino.