Un método de optimización iterativo que actualiza parámetros moviéndolos en dirección opuesta al gradiente de una función objetivo, escalado por un tamaño de paso, para reducir el valor de la función.

Principio

En cada iteración, dar un paso proporcional a la derivada negativa (o gradiente) para disminuir localmente el objetivo; la convergencia depende del tamaño del paso, la curvatura y la suavidad.

Demostración

Para un coste cuadrático f(x)=ax^2+bx+c con a>0, iterar x_{n+1}=x_n - η f'(x_n) converge hacia el minimizador para una tasa de aprendizaje η suficientemente pequeña, con tasa de convergencia lineal determinada por a y η.

Aplicación incorrecta

Elegir un paso fijo demasiado grande para la curvatura local provoca oscilación o divergencia; ignorar el ruido del gradiente en entornos estocásticos puede impedir la convergencia.

Consecuencia

Cuando el objetivo es convexo y los pasos se eligen apropiadamente, el descenso por gradiente converge a un mínimo global; en problemas no convexos, típicamente encuentra un mínimo local o un punto silla.

Inversión

Ascenso por gradiente: actualizar parámetros en la dirección del gradiente para maximizar un objetivo en lugar de minimizarlo.

Límite

Requiere disponibilidad de gradientes o subgradientes; no es aplicable directamente a objetivos no diferenciables sin modificación (p. ej., pasos proximales) ni a dominios con restricciones sin proyección o métodos de Lagrange.

Tensión semántica

A menudo se compara con métodos de segundo orden: el descenso por gradiente usa solo derivadas de primer orden y tiene iteraciones más baratas pero convergencia local más lenta en comparación con métodos tipo Newton que emplean curvatura.

Síntesis

El descenso por gradiente es el algoritmo iterativo de primer orden que reduce una objetivo dando pasos contrarios al gradiente; su rendimiento equilibra control de tamaño de paso, curvatura y ruido para producir minimizadores locales o globales bajo condiciones adecuadas.