Un algorithme de Monte Carlo par chaîne de Markov qui produit des échantillons d'une distribution cible multivariée en échantillonnant itérativement chaque variable (ou bloc) depuis sa distribution conditionnelle donnée les valeurs actuelles des autres variables.

Principe

Construire un noyau de Markov dont la distribution invariante est la loi conjointe cible en parcourant les mises à jour conditionnelles ; l'équilibre détaillé vaut pour chaque mise à jour par conditionnelle complète et la chaîne converge sous les conditions usuelles d'irréductibilité et d'aperiodicité.

Démonstration

Pour échantillonner une loi gaussienne bivariée avec conditionnelles normales connues, alterner le tirage de x conditionnellement à y et de y conditionnellement à x ; la suite des paires converge vers la gaussienne conjointe.

Mauvaise application

Appliquer des mises à jour de Gibbs quand les conditionnelles complètes sont intraitables, supposer un mélange rapide sans diagnostics, ou traiter des tirages successifs de Gibbs comme des échantillons indépendants.

Conséquence

Bien mise en œuvre et après convergence, l'échantillonnage de Gibbs produit des tirages dépendants de la distribution conjointe désirée utilisables pour estimer des espérances postérieures, quantifier l'incertitude et simuler des prédictions.

Inversion

L'inverse est une stratégie de proposition globale (par ex. échantillonnage indépendant ou Metropolis–Hastings) qui propose des déplacements conjoints au lieu de tirages coordonnés conditionnels, échangeant la simplicité des conditionnelles contre un mélange potentiellement plus rapide pour certains problèmes.

Limite

Exige la capacité d'échantillonner exactement (ou efficacement) chaque conditionnelle complète ; les performances se dégradent en présence d'une forte dépendance entre coordonnées et pour des cibles multimodales sauf à utiliser des blocs ou des noyaux alternatifs.

Tension sémantique

Conflit avec Metropolis–Hastings : Gibbs est simple et exact quand les conditionnelles sont accessibles, tandis que Metropolis–Hastings traite des cibles arbitraires avec propositions explicites mais nécessite un mécanisme d'acceptation et un réglage.

Synthèse

Un noyau MCMC qui atteint la distribution cible en remplaçant séquentiellement les coordonnées par des tirages de leurs conditionnelles, offrant simplicité si les conditionnelles existent et nécessitant prudence pour la convergence et la corrélation.