Une classe de techniques appliquées aux problèmes inverses mal posés ou instables et à l'estimation statistique qui imposent des contraintes supplémentaires ou des pénalités pour stabiliser les solutions et maîtriser la complexité.

Principe

Introduire un biais ou des restrictions (termes de pénalité, opérateurs de lissage, contraintes de paramètres) pour échanger une stabilité accrue contre une variance ou une complexité réduite, en recherchant un problème substitut bien posé.

Démonstration

Régularisation de Tikhonov : remplacer la résolution de A x = b (mal conditionné) par la minimisation de ||A x − b||^2 + λ ||L x||^2, avec λ>0 et L codant la régularité ; la régression ridge est l'analogue en dimension finie.

Mauvaise application

Choisir un paramètre de régularisation excessivement grand qui efface la structure significative, appliquer une pénalité non adaptée à la régularité a priori conduisant à des estimations biaisées ou inconsistantes, ou utiliser la régularisation pour masquer une mauvaise spécification du modèle.

Conséquence

Produit des solutions stables et numériquement bien conditionnées et contrôle le surapprentissage ; introduit un biais systématique dont l'amplitude dépend de la pénalité et de la méthode de sélection du paramètre.

Inversion

Une inversion ou estimation non régularisée qui ne minimise que le terme d'ajustement aux données et qui peut être instable, très sensible au bruit ou non unique.

Limite

Pertinent lorsque l'opérateur direct est mal conditionné, l'inverse instable ou les données bruitées ; la régularisation ne garantit pas la validité physique et nécessite un choix de paramètre (validation croisée, principe de la discordance ou choix fondé sur le modèle).

Tension sémantique

Une tension existe avec les approches de sélection de modèle qui privilégient des modèles parcimonieux ou discrets face aux pénalités de lissage ; également avec les formulations bayésiennes où la pénalité correspond à une loi a priori — philosophies différentes conduisent à des règles pratiques différentes.

Synthèse

Une modification contrôlée d'un problème mal posé par l'ajout de pénalités ou de contraintes pour produire une approximation stable dont la fidélité est mise en balance avec la régularité ou la complexité par un paramètre de réglage.