Famille ou courbe de solutions de modèle paramétrées par un hyperparamètre de régularisation (par exemple l'intensité de la pénalité) ; elle trace la manière dont les paramètres estimés évoluent lorsque la pénalité varie de forte à faible régularisation.

Principe

En considérant le poids de régularisation comme un paramètre d'homotopie continu, on obtient une trajectoire dans l'espace des paramètres révélant les compromis entre ajustement et pénalité, permettant souvent des algorithmes de démarrage à chaud efficaces et la sélection de modèle en suivant les solutions le long du chemin.

Démonstration

En régression Lasso, le chemin de régularisation montre les valeurs des coefficients lorsque la pénalité ℓ1 λ diminue, depuis des valeurs grandes (tous coefficients nuls) jusqu'à faibles (solution des moindres carrés) ; les algorithmes exploitent la structure par morceaux-linéaires pour calculer le chemin complet efficacement.

Mauvaise application

Supposer la continuité, l'unicité ou la lissité par morceaux pour des pénalités non convexes ou des problèmes mal conditionnés où des minima locaux multiples produisent des embranchements ou des sauts discontinus dans le chemin des solutions.

Conséquence

L'accès au chemin de régularisation permet une sélection raisonnée de la force de pénalité (validation croisée le long du chemin), une évolution interprétable des variables entrant dans le modèle et l'utilisation de méthodes d'homotopie pour calculer efficacement les solutions sur une gamme de pénalités.

Inversion

Fixer un seul paramètre de régularisation donne une estimation finale unique sans information sur la trajectoire des solutions ni sur les compromis à d'autres niveaux de pénalité.

Limite

Défini lorsque l'estimateur est le minimiseur d'un problème d'optimisation paramétré dont les minimisateurs varient avec le paramètre de pénalité ; pour des méthodes non paramétriques, régularisation stochastique ou objectifs fortement non convexes la notion d'un chemin unique bien défini peut échouer.

Tension sémantique

Tension avec le concept de variété de solutions : le chemin de régularisation est une trace unidimensionnelle dans l'espace des paramètres pour un plan de pénalisation donné, tandis qu'une variété de solutions peut être de dimension supérieure et contenir tous les minimisateurs sur plusieurs hyperparamètres ou contraintes.

Synthèse

Un chemin de régularisation est la courbe des valeurs optimales obtenues en faisant varier continûment un paramètre de pénalité ; il met en évidence le compromis fidélité/régularité, facilite la sélection et fonde les algorithmes d'homotopie lorsque la régularité du chemin est satisfaite.