Ein gradientenbasiertes Rechenverfahren, das die Kettenregel auf einen feedforward‑Berechnungsgraphen anwendet, um Ableitungen einer Verlustfunktion bezüglich Modellparametern zu berechnen, indem Fehlersignale von den Ausgaben rückwärts zu den Eingaben propagiert werden.

Prinzip

Das Modell als Komposition differenzierbarer Operationen darstellen; lokale Ableitungen an jedem Knoten berechnen und Gradienten rückwärts mittels der Kettenregel (Reverse‑Mode Automatic Differentiation) akkumulieren, um Parametergradienten effizient für einen Optimierer zu erhalten.

Demonstration

In einem dreischichtigen neuronalen Netz berechnet ein Vorwärtsdurchlauf die Ausgaben und einen skalaren Verlust; die Rückpropagation berechnet die Gradienten des Verlusts bezüglich der Gewichte der verborgenen Schichten, indem lokale Jakobier rückwärts durch Aktivierungs‑ und lineare Schichten multipliziert werden, was Gradient‑Descent‑Updates ermöglicht.

Fehlanwendung

Anwendung der Rückpropagation auf nicht differenzierbare Operationen oder diskontinuierliche Gradienten (ohne Relaxation) oder Ignorieren numerischer Probleme (vanishing/exploding gradients, schlechte Initialisierung), was zu falschem oder ineffektivem Training führt.

Konsequenz

Bietet ein effizientes Verfahren zur exakten Gradientenberechnung für differenzierbare parametrisierte Modelle mit Komplexität proportional zu einem kleinen konstanten Faktor der Vorwärtsrechnung, und ermöglicht gradientenbasierte Optimierung und großskaliges Training neuronaler Netze.

Umkehrung

Forward‑Mode‑Differentiation oder ableitungsfreie Methoden: Richtungsableitungen vorwärts durch den Graphen berechnen oder Black‑Box‑Optimierung verwenden vermeidet Reverse‑Accumulation, ist aber typischerweise weniger effizient, wenn die Anzahl der Eingaben (Parameter) groß ist.

Abgrenzung

Gilt für Modelle, die als differenzierbare Berechnungsgraphen darstellbar sind, und für skalare oder vektorielle Verluste; löst nicht von selbst Probleme lokaler Minima, schlechter Generalisierung oder diskreter Entscheidungsstrukturen ohne zusätzliche Techniken (Relaxationen, Surrogatverluste). Numerische Stabilität und Speichertradeoffs begrenzen die Anwendbarkeit in sehr tiefen oder rekurrenten Strukturen ohne Modifikationen.

Semantische Spannung

Spannung zwischen Rückpropagation als algorithmischer Instanz der Reverse‑Mode Automatic Differentiation und ihrer Interpretation als biologisches Lernmodell: mathematisch präzise Gradientenakkumulation steht im Kontrast zu heuristischen oder biologisch plausiblen Lernregeln.

Synthese

Rückpropagation ist Reverse‑Mode Automatic Differentiation angewandt auf parametrisierte feedforward‑Berechnungen: sie propagiert Verlustgradienten rückwärts durch zusammengesetzte differenzierbare Operationen, um Parametergradienten zu erzeugen, die Optimierer zur Verlustreduktion verwenden.