Processus aléatoire qui évolue sur un ensemble discret d'états, indexé par des instants discrets, et qui satisfait la propriété d'absence de mémoire : la loi du prochain état dépend uniquement de l'état présent, et non de l'histoire antérieure.

Principe

La règle d'évolution en un pas ne dépend que de l'état courant ; les transitions sont décrites par une matrice ou un noyau de probabilités conditionnelles.

Démonstration

Une marche aléatoire simple sur les entiers où, à chaque pas, le processus se déplace de +1 ou −1 avec des probabilités fixées ; les probabilités de transition en un pas déterminent les distributions multi-pas par itération de la matrice de transition.

Mauvaise application

Considérer comme chaîne de Markov des données présentant une dépendance à longue portée ou une dépendance explicite à l'histoire, puis utiliser les probabilités de transition en un pas pour prédire un comportement multi-pas.

Conséquence

Permet l'analyse par puissances de matrices, distributions stationnaires, temps de mélange et analyse au premier pas sans suivre l'intégralité des histoires.

Inversion

Processus stochastique dépendant de l'histoire pour lequel les probabilités futures requièrent un ou plusieurs états passés (par ex. processus non markoviens ou d'ordre supérieur).

Limite

S'applique aux processus avec un espace d'états bien défini et des probabilités de transition en un pas ; exclut les processus où les transitions dépendent d'une histoire non observée ou où la loi des transitions n'est pas définie.

Tension sémantique

Se distingue des processus de Markov en temps continu : les chaînes sont indexées discrètement et utilisent des matrices de transition, tandis que les modèles en temps continu utilisent des générateurs et des noyaux de transition continus.

Synthèse

Une chaîne de Markov est un système stochastique à temps discret sur un ensemble d'états défini dont la loi de transition en un pas, représentée par une matrice ou un noyau, suffit à déterminer toutes les distributions futures grâce à l'absence de mémoire.