##  [Gradientenabstieg](/de/node/57677) 

 Definition

Ein iteratives Optimierungsverfahren, das Parameter aktualisiert, indem es sie entgegengesetzt zum Gradienten einer Zielgröße bewegt, skaliert durch eine Schrittgröße, um den Funktionswert zu reduzieren.

 

 

 

 

 

 





## Prinzip

Prinzip

Nimmt in jeder Iteration einen Schritt proportional zur negativen Ableitung (bzw. zum negativen Gradienten), um das Ziel lokal zu verringern; Konvergenz hängt von Schrittgröße, Krümmung und Glattheit ab.

 

 

 

 

 





## Demonstration

Demonstration

Für eine quadratische Kostenfunktion f(x)=ax^2+bx+c mit a>0 konvergiert die Iteration x_{n+1}=x_n - η f'(x_n) zum Minimierer für ausreichend kleine Lernrate η, mit linearem Konvergenzverhalten bestimmt durch a und η.

 

 

 

 

## Fehlanwendung

Fehlanwendung

Eine feste Schrittgröße zu wählen, die für die lokale Krümmung zu groß ist, führt zu Oszillation oder Divergenz; das Ignorieren von Gradientenrauschen in stochastischen Einstellungen kann die Konvergenz verhindern.

 

 

 

 

 





## Konsequenz

Konsequenz

Ist die Zielfunktion konvex und die Schrittgrößen passend gewählt, konvergiert der Gradientenabstieg zum globalen Minimum; bei nichtkonvexen Problemen findet er typischerweise ein lokales Minimum oder einen Sattelpunkt.

 

 

 

 

## Umkehrung

Umkehrung

Gradientenaufstieg: Parameter in Richtung des Gradienten aktualisieren, um eine Zielgröße zu maximieren statt zu minimieren.

 

 

 

 

 





## Abgrenzung

Abgrenzung

Erfordert Verfügbarkeit von Gradienten oder Subgradienten; nicht ohne Modifikation auf nicht differenzierbare Ziele anwendbar (z. B. proximale Schritte) oder auf beschränkte Räume ohne Projektion oder Lagrange-Verfahren.

 

 

 

 

 





## Semantische Spannung

Semantische Spannung

Wird oft mit Newton-Verfahren verglichen: Gradientenabstieg nutzt nur erste Ableitungen und hat günstigere Iterationskosten, aber langsameres lokales Konvergenzverhalten als Newton-ähnliche Methoden, die die Krümmung verwenden.

 

 

 

 

 





## Synthese

Synthese

Gradientenabstieg ist der eindimensionale iterative Algorithmus erster Ordnung, der ein Ziel durch Schritte entgegengesetzt zum Gradienten reduziert; seine Leistungsfähigkeit balanciert Schrittweitenkontrolle, Krümmung und Rauschen, um unter geeigneten Bedingungen lokale oder globale Minimierer zu liefern.