Algoritmo iterativo de optimización que actualiza parámetros desplazándolos en sentido opuesto al gradiente de una función objetivo (o una estimación del mismo) para reducir el valor de la función y buscar un mínimo local.

Principio

Se usa la aproximación de Taylor de primer orden local: el gradiente negativo es la dirección de máxima disminución local; la longitud del paso (tasa de aprendizaje) y la curvatura determinan el comportamiento y la velocidad de convergencia.

Demostración

Para minimizar una cuadrática convexa f(x)=x^T A x con A definida positiva, el descenso por gradiente con un tamaño de paso adecuadamente elegido converge linealmente al minimizador único, con tasa gobernada por el número de condición de A.

Aplicación incorrecta

Usar un paso constante y grande en un objetivo mal condicionado o no convexo provoca divergencia, o asumir optimalidad global en paisajes multimodales sin garantías adicionales.

Consecuencia

Proporciona una base simple y escalable para muchos procedimientos numéricos y de aprendizaje automático; con variantes apropiadas (momentum, tasas adaptativas, muestreo estocástico) maneja problemas a gran escala y con ruido de forma efectiva.

Inversión

El ascenso por gradiente sigue el gradiente para maximizar la función objetivo y halla máximos locales; los métodos de segundo orden usan información de curvatura (Hessiano) para ajustar dirección y paso para converger más rápido.

Límite

Requiere diferenciabilidad (o información de subgradiente) del objetivo; el rendimiento depende de la suavidad, convexidad, política de tamaño de paso y del ruido—no garantiza óptimo global en problemas no convexos.

Tensión semántica

Se confunde a menudo con el descenso por gradiente estocástico o con métodos cuasi-Newton; la diferencia está en usar gradientes exactos frente a ruidosos y en explotar curvatura de orden superior.

Síntesis

El descenso por gradiente mueve iterativamente los parámetros en dirección opuesta al gradiente local con control del tamaño del paso para disminuir el objetivo; es un método fundamental de primer orden cuyo comportamiento depende de la suavidad y la curvatura.