Ein iteratives Optimierungsverfahren, das Parameter aktualisiert, indem es sie entgegengesetzt zum Gradienten einer Zielgröße bewegt, skaliert durch eine Schrittgröße, um den Funktionswert zu reduzieren.

Prinzip

Nimmt in jeder Iteration einen Schritt proportional zur negativen Ableitung (bzw. zum negativen Gradienten), um das Ziel lokal zu verringern; Konvergenz hängt von Schrittgröße, Krümmung und Glattheit ab.

Demonstration

Für eine quadratische Kostenfunktion f(x)=ax^2+bx+c mit a>0 konvergiert die Iteration x_{n+1}=x_n - η f'(x_n) zum Minimierer für ausreichend kleine Lernrate η, mit linearem Konvergenzverhalten bestimmt durch a und η.

Fehlanwendung

Eine feste Schrittgröße zu wählen, die für die lokale Krümmung zu groß ist, führt zu Oszillation oder Divergenz; das Ignorieren von Gradientenrauschen in stochastischen Einstellungen kann die Konvergenz verhindern.

Konsequenz

Ist die Zielfunktion konvex und die Schrittgrößen passend gewählt, konvergiert der Gradientenabstieg zum globalen Minimum; bei nichtkonvexen Problemen findet er typischerweise ein lokales Minimum oder einen Sattelpunkt.

Umkehrung

Gradientenaufstieg: Parameter in Richtung des Gradienten aktualisieren, um eine Zielgröße zu maximieren statt zu minimieren.

Abgrenzung

Erfordert Verfügbarkeit von Gradienten oder Subgradienten; nicht ohne Modifikation auf nicht differenzierbare Ziele anwendbar (z. B. proximale Schritte) oder auf beschränkte Räume ohne Projektion oder Lagrange-Verfahren.

Semantische Spannung

Wird oft mit Newton-Verfahren verglichen: Gradientenabstieg nutzt nur erste Ableitungen und hat günstigere Iterationskosten, aber langsameres lokales Konvergenzverhalten als Newton-ähnliche Methoden, die die Krümmung verwenden.

Synthese

Gradientenabstieg ist der eindimensionale iterative Algorithmus erster Ordnung, der ein Ziel durch Schritte entgegengesetzt zum Gradienten reduziert; seine Leistungsfähigkeit balanciert Schrittweitenkontrolle, Krümmung und Rauschen, um unter geeigneten Bedingungen lokale oder globale Minimierer zu liefern.