Technique de réduction de variance en Monte Carlo qui estime des espérances sous une distribution cible en échantillonnant depuis une distribution proposition différente et en repondérant les échantillons par le rapport de vraisemblance (cible/proposition).

Principe

Remplacer l'échantillonnage direct depuis la mesure cible (difficile ou inefficace) par un échantillonnage depuis une proposition qui sur-échantillonne les régions importantes et corriger le biais en multipliant les observables par la dérivée de Radon–Nikodym (rapport de densités) pour obtenir des estimateurs non biaisés.

Démonstration

Pour estimer E[f(X)] quand X a densité p, tirer X_i depuis une proposition q avec q(x)>0 chaque fois que p(x)f(x)≠0, calculer les poids w_i=p(X_i)/q(X_i) et former l'estimateur (1/N) Σ_i w_i f(X_i); choisir q proportionnel à |f|p minimise la variance dans le cas idéalisé.

Mauvaise application

Choisir une proposition q qui sous-pondère des régions où p·f est important, entraînant des poids d'importance extrêmes, une forte variance ou une variance infinie de l'estimateur — p. ex. utiliser une gaussienne étroite lorsque la cible a des queues lourdes.

Conséquence

Avec une proposition bien choisie, l'échantillonnage par importance réduit fortement la variance et le coût computationnel pour les probabilités d'événements rares et les attentes de queue ; il fournit des estimateurs non biaisés corrigés par poids.

Inversion

Au lieu de l'échantillonnage par importance depuis une distribution alternative avec poids, utiliser un échantillonnage stratifié ou des variables de contrôle ; celles-ci réduisent aussi la variance mais par partitionnement ou corrélation des estimateurs plutôt que par repondération selon un rapport de densités.

Limite

Nécessite l'absolue continuité de la cible par rapport à la proposition sur les régions contribuant à l'espérance (condition de support) et des rapports de densité calculables ; échoue si q(x)=0 sur des ensembles où p(x)f(x)≠0 ou si les poids ont une variance infinie.

Tension sémantique

Souvent confondu avec le rééchantillonnage d'importance dans les filtres particulaires : tous deux utilisent des poids, mais l'échantillonnage par importance désigne l'estimation Monte Carlo pondérée depuis une proposition, tandis que le rééchantillonnage est une étape ultérieure pour produire des échantillons non pondérés ou éviter la dégénérescence des poids.

Synthèse

Échantillonnage par importance = échantillonner depuis une proposition accessible qui met l'accent sur les régions importantes et repondérer par le rapport de densité pour obtenir des estimations Monte Carlo non biaisées et à variance réduite lorsque les conditions de support et de variance des poids sont satisfaites.