Eine Monte-Carlo-Varianzverringerungstechnik, die Erwartungen unter einer Zielverteilung dadurch schätzt, dass aus einer anderen, leichter zu sampelnden Vorschlagsverteilung gezogen wird und die Proben mit dem Likelihood-Verhältnis (Ziel/Proposal) umgewichtet werden.

Prinzip

Ersetze das direkte Sampling aus der Zielmaß (das schwer oder ineffizient sein kann) durch Sampling aus einem Vorschlag, der wichtige Bereiche überrepräsentiert, und korrigiere den Bias durch Multiplikation der Beobachtungen mit der Radon–Nikodym-Ableitung (Dichteverhältnis), um unverzerrte Schätzer zu erhalten.

Demonstration

Um E[f(X)] zu schätzen, wobei X Dichte p hat, ziehe Proben X_i aus einem Vorschlag q mit q(x)>0 immer dann, wenn p(x)f(x)≠0, berechne Gewichte w_i=p(X_i)/q(X_i) und bilde den Schätzer (1/N) Σ_i w_i f(X_i); die Wahl q∝|f|p minimiert idealerweise die Varianz.

Fehlanwendung

Auswahl eines Vorschlags q, der Bereiche untergewichtet, in denen p·f groß ist, was zu extremen Importance-Gewichten, hoher Varianz oder unendlicher Varianz des Schätzers führt — z. B. die Verwendung einer engen Gaußverteilung, wenn die Zielverteilung schwere Ränder hat.

Konsequenz

Bei guter Wahl der Vorschlagsverteilung reduziert Importance-Sampling die Varianz der Schätzer drastisch und den Rechenaufwand für seltene Ereignisse und Randintegrale; es liefert unverzerrte Schätzer mit bekannten Gewichtskorrekturen.

Umkehrung

Statt Importance-Sampling aus einer alternativen Verteilung mit Gewichten zu verwenden, benutze geschichtetes Sampling oder Kontrollvariablen; diese reduzieren ebenfalls die Varianz, aber durch Partitionierung oder Korrelation der Schätzer statt durch Regewichtung mit einem Dichteverhältnis.

Abgrenzung

Voraussetzung ist die absolute Stetigkeit der Zielverteilung gegenüber dem Vorschlag auf den beitragenden Bereichen (Support-Bedingung) und berechenbare Dichteverhältnisse; es scheitert, wenn q(x)=0 für Bereiche mit p(x)f(x)≠0 oder wenn die Gewichte unendliche Varianz haben.

Semantische Spannung

Wird oft mit Importance-Resampling in Partikelfiltern verwechselt: beide nutzen Gewichte, aber Importance-Sampling bezeichnet die gewichtete Monte-Carlo-Schätzung aus einem Vorschlag, während Resampling ein nachgeschalteter Schritt ist, um ungegewichtete Proben zu erzeugen oder Gewichtsdegeneration zu vermeiden.

Synthese

Importance-Sampling = aus einem zugänglichen Vorschlag sampeln, der wichtige Bereiche betont, und durch das Dichteverhältnis regewichten, um unverzerrte, varianzreduzierte Monte-Carlo-Schätzungen zu erhalten, falls Support- und Gewichtsvarianzbedingungen erfüllt sind.