##  [Chaîne de Markov](/fr/node/57679) 

 Définition

Processus aléatoire qui évolue sur un ensemble discret d'états, indexé par des instants discrets, et qui satisfait la propriété d'absence de mémoire : la loi du prochain état dépend uniquement de l'état présent, et non de l'histoire antérieure.

 

 

 

 

 

 





## Principe

Principe

La règle d'évolution en un pas ne dépend que de l'état courant ; les transitions sont décrites par une matrice ou un noyau de probabilités conditionnelles.

 

 

 

 

 





## Démonstration

Démonstration

Une marche aléatoire simple sur les entiers où, à chaque pas, le processus se déplace de +1 ou −1 avec des probabilités fixées ; les probabilités de transition en un pas déterminent les distributions multi-pas par itération de la matrice de transition.

 

 

 

 

## Mauvaise application

Mauvaise application

Considérer comme chaîne de Markov des données présentant une dépendance à longue portée ou une dépendance explicite à l'histoire, puis utiliser les probabilités de transition en un pas pour prédire un comportement multi-pas.

 

 

 

 

 





## Conséquence

Conséquence

Permet l'analyse par puissances de matrices, distributions stationnaires, temps de mélange et analyse au premier pas sans suivre l'intégralité des histoires.

 

 

 

 

## Inversion

Inversion

Processus stochastique dépendant de l'histoire pour lequel les probabilités futures requièrent un ou plusieurs états passés (par ex. processus non markoviens ou d'ordre supérieur).

 

 

 

 

 





## Limite

Limite

S'applique aux processus avec un espace d'états bien défini et des probabilités de transition en un pas ; exclut les processus où les transitions dépendent d'une histoire non observée ou où la loi des transitions n'est pas définie.

 

 

 

 

 





## Tension sémantique

Tension sémantique

Se distingue des processus de Markov en temps continu : les chaînes sont indexées discrètement et utilisent des matrices de transition, tandis que les modèles en temps continu utilisent des générateurs et des noyaux de transition continus.

 

 

 

 

 





## Synthèse

Synthèse

Une chaîne de Markov est un système stochastique à temps discret sur un ensemble d'états défini dont la loi de transition en un pas, représentée par une matrice ou un noyau, suffit à déterminer toutes les distributions futures grâce à l'absence de mémoire.