Die Familie bzw. Kurve von Modelllösungen, parametrisiert durch einen Regularisierungs-Hyperparameter (z. B. Strafstärke); sie verfolgt, wie sich geschätzte Parameter kontinuierlich ändern, wenn die Strafe von starker zu schwacher Regularisierung variiert wird.

Prinzip

Behandelt man das Regularisierungsgewicht als kontinuierlichen Homotopiefaktor, erhält man eine Trajektorie im Parameterraum, die den Kompromiss zwischen Anpassung und Strafe offenlegt und häufig effiziente Warm-Start-Algorithmen sowie Modellwahl durch Pfadverfolgung ermöglicht.

Demonstration

Bei Lasso-Regression zeigt der Regularisierungspfad die Koeffizientenwerte, wenn die ℓ1-Strafe λ von groß (alle Koeffizienten null) zu klein (Least-Squares-Lösung) sinkt; stückweise-lineare Löseralgorithmen nutzen diese Struktur zur effizienten Berechnung des gesamten Pfads.

Fehlanwendung

Kontinuität, Eindeutigkeit oder stückweise Glattheit des Pfads bei nichtkonvexen Strafen oder schlecht konditionierten Problemen vorauszusetzen, wo mehrere lokale Minima Verzweigungen oder diskontinuierliche Sprünge der Lösungsbahn erzeugen können.

Konsequenz

Der Zugriff auf den Regularisierungspfad erlaubt eine fundierte Auswahl der Strafstärke (Kreuzvalidierung entlang des Pfads), interpretierbare Evolution von Merkmalen im Modell und die Nutzung von Homotopiemethoden zur effizienten Lösung über einen Bereich von Strafen.

Umkehrung

Das Fixieren eines einzelnen Regularisierungsparameters ergibt einen einzelnen Modellsatz ohne Informationen über die Trajektorie der Lösungen oder Kompromisse bei anderen Strafniveaus.

Abgrenzung

Definiert, wenn der Schätzer die Lösung eines parametrierten Optimierungsproblems ist, dessen Minimierer mit dem Strafparameter variieren; für nichtparametrische Methoden, stochastische Regularisierung oder stark nichtkonvexe Zielfunktionen kann das Konzept eines eindeutig definierten Pfads versagen.

Semantische Spannung

Spannung gegenüber dem Begriff der Lösungsvarietät: Der Regularisierungspfad ist eine eindimensionale Spur im Parameterraum für einen gegebenen Straffahrplan, während eine Lösungsvarietät höherdimensional sein und alle Minimierer über mehrere Hyperparameter oder Nebenbedingungen enthalten kann.

Synthese

Ein Regularisierungspfad ist die Kurve der Optimiererwerte, die durch kontinuierliche Variation eines Strafparameters entstehen; er macht den Kompromiss zwischen Anpassungsgrad und Regularität sichtbar, unterstützt Auswahlverfahren und bildet die Grundlage für Homotopie-Algorithmen bei vorliegender Pfadregularität.