Un principe d'apprentissage supervisé qui choisit un modèle prédictif parmi une classe d'hypothèses en minimisant la perte moyenne calculée sur un échantillon d'entraînement fini.

Principe

Remplacer le risque populationnel inconnu par sa moyenne empirique et choisir l'hypothèse qui atteint la plus petite perte empirique ; on ajoute typiquement une régularisation ou un contrôle de capacité pour gérer la généralisation.

Démonstration

Ajuster un prédicteur linéaire en minimisant l'erreur quadratique moyenne sur des paires entrée–sortie observées en est un exemple : les coefficients choisis minimisent la moyenne empirique des résidus quadratiques sur le jeu de données.

Mauvaise application

Minimiser aveuglément la perte empirique sans aucune restriction sur la complexité du modèle ou validation, conduisant au surapprentissage où le modèle choisi ajuste le bruit de l'échantillon et performe mal sur de nouvelles données.

Conséquence

Lorsque la complexité de la classe d'hypothèses est contrôlée et que la taille d'échantillon est suffisante, les minimisateurs empiriques convergent vers un faible risque populationnel et donnent des prédicteurs qui généralisent ; sinon, les garanties échouent.

Inversion

Au lieu de minimiser la perte empirique, on peut utiliser des méthodes qui intègrent l'incertitude du modèle ou des pénalités de complexité explicitement (par exemple en sélectionnant sur base du risque de validation ou en incorporant des régularisateurs de complexité explicites).

Limite

S'applique aux problèmes avec une fonction de perte définie et des données étiquetées d'entraînement ; il ne précise pas en soi comment choisir la classe d'hypothèses, comment régulariser ni comment évaluer la performance hors échantillon.

Tension sémantique

Étroitement lié mais distinct des méthodes d'inférence qui optimisent des objectifs postérieurs : le risque empirique se concentre sur la minimisation de la perte moyenne de l'échantillon, tandis que d'autres cadres mettent l'accent sur la modélisation probabiliste et la quantification de l'incertitude.

Synthèse

La minimisation du risque empirique est la règle algorithmique fondamentale de l'apprentissage supervisé : choisir le modèle qui minimise la perte moyenne d'entraînement, soumis à des contrôles supplémentaires pour garantir que la performance empirique reflète la capacité prédictive réelle.