Ein iteratives Optimierungsverfahren, das Parameter aktualisiert, indem es sie entgegengesetzt zum Gradienten einer Zielfunktion (oder einer Schätzung davon) bewegt, um den Funktionswert zu verringern und ein lokales Minimum zu suchen.

Prinzip

Verwendung der lokalen Taylor-Approximation erster Ordnung: der negative Gradient ist die Richtung des steilsten lokalen Abfalls; Schrittweite (Lernrate) und Krümmung bestimmen Konvergenzverhalten und -rate.

Demonstration

Zur Minimierung einer konvexen Quadratik f(x)=x^T A x mit A positiv definit konvergiert der Gradientenabstieg bei geeignet gewählter Schrittweite linear zum eindeutigen Minimierer, wobei die Rate durch die Konditionszahl von A bestimmt wird.

Fehlanwendung

Die Verwendung einer festen großen Schrittweite auf einer schlecht konditionierten oder nichtkonvexen Zielfunktion führt zu Divergenz, oder die Annahme globaler Optimalität in multimodalen Landschaften ohne weitere Garantien.

Konsequenz

Bietet eine einfache, skalierbare Grundlage für viele numerische und maschinelle Lernverfahren; mit geeigneten Varianten (Momentum, adaptive Raten, stochastische Abtastung) bewältigt es großskalige und verrauschte Probleme effektiv.

Umkehrung

Gradientenaufstieg folgt dem Gradienten, um die Zielfunktion zu maximieren und lokale Maxima zu finden; Verfahren zweiter Ordnung nutzen Krümmungsinformationen (Hesse) zur Anpassung von Richtung und Schritt für schnellere Konvergenz.

Abgrenzung

Erfordert Differenzierbarkeit (oder Subgradientinformationen) der Zielfunktion; die Performance hängt von Glattheit, Konvexität, Schrittgrößenstrategie und Rauschen ab—garantiert kein globales Optimum bei Nichtkonvexität.

Semantische Spannung

Wird oft mit stochastischem Gradientenabstieg oder quasi-Newton-Verfahren verwechselt; der Unterschied liegt in der Verwendung von exakten versus verrauschten Gradienten und in der Ausnutzung von Krümmungsinformationen höherer Ordnung.

Synthese

Gradientenabstieg bewegt Parameter iterativ entgegen dem lokalen Gradienten mit Schrittgrößenkontrolle, um die Zielfunktion zu verringern; er ist eine grundlegende Methode erster Ordnung, deren Verhalten von Glattheit und Krümmung abhängt.