Ein Prinzip des überwachten Lernens, das ein prädiktives Modell aus einer Hypothesenklasse auswählt, indem die durchschnittliche Verlustfunktion über eine endliche Trainingsstichprobe minimiert wird.

Prinzip

Ersetze das unbekannte Populationsrisiko durch seinen empirischen Stichprobendurchschnitt und wähle die Hypothese mit minimalem empirischen Verlust; Regularisierung oder Kapazitätskontrolle wird typischerweise hinzugefügt, um Generalisierung zu steuern.

Demonstration

Die Anpassung eines linearen Prädiktors durch Minimierung der mittleren quadratischen Abweichung an beobachteten Eingabe–Ausgabe-Paaren ist ein Beispiel: die gewählten Koeffizienten minimieren die Stichprobenmittel der quadrierten Residuen über den Datensatz.

Fehlanwendung

Empirischen Verlust blind zu minimieren, ohne Modellkomplexität zu begrenzen oder Validierung vorzunehmen, führt zu Overfitting, wobei das gewählte Modell Rauschen in der Stichprobe anpasst und auf neuen Daten schlecht abschneidet.

Konsequenz

Wenn die Komplexität der Hypothesenklasse kontrolliert und die Stichprobengröße ausreichend ist, konvergieren empirische Minimierer zu geringem Populationsrisiko und liefern gut generalisierende Prädiktoren; andernfalls brechen die Garantien zusammen.

Umkehrung

Statt empirischen Verlust zu minimieren, kann man Methoden verwenden, die Modellunsicherheit oder Komplexitätsstrafen explizit integrieren (beispielsweise Auswahl anhand von Validierungsrisiko oder Einbeziehung expliziter Regularisierer).

Abgrenzung

Gilt für Probleme mit definierter Verlustfunktion und gelabelten Trainingsdaten; es legt nicht von sich aus fest, wie die Hypothesenklasse zu wählen, wie zu regularisieren oder wie die Out-of-Sample-Performance zu bewerten ist.

Semantische Spannung

Nahe verwandt mit, aber unterscheidbar von Inferenzmethoden, die posteriorielle Ziele optimieren: empirisches Risiko fokussiert auf Stichprobenmittelverlustminimierung, während andere Rahmenwerke probabilistische Modellierung und Unsicherheitsquantifizierung betonen.

Synthese

Empirische Risikominimierung ist die grundlegende algorithmische Regel des überwachten Lernens: wähle das Modell, das den durchschnittlichen Trainingsverlust minimiert, unter zusätzlicher Kontrolle, damit empirische Leistung wahre Vorhersagefähigkeit widerspiegelt.