La moyenne à long terme d'information de Shannon produite par symbole d'un processus stochastique, définie classiquement comme la limite H = lim_{n→∞} (1/n) H(X1,...,Xn) ou équivalente H = lim_{n→∞} H(Xn | X1,...,Xn−1) lorsque la limite existe.

Principe

Le taux d'entropie quantifie l'imprévisibilité moyenne ou la production d'information d'une source par pas de temps et constitue la borne inférieure fondamentale pour la compression sans perte de processus stationnaires.

Démonstration

Pour une chaîne de Markov stationnaire de loi invariante π et de probabilités de transition P(i→j), le taux d'entropie s'écrit H = −∑_{i} π(i) ∑_{j} P(i→j) log P(i→j), l'entropie conditionnelle espérée du prochain état conditionnel au courant.

Mauvaise application

Utiliser l'entropie marginale H(Xn) d'une seule variable comme taux d'entropie pour des suites dépendantes ignore la dépendance temporelle et peut surestimer fortement les bornes de compressibilité.

Conséquence

Lorsque bien défini pour une source stationnaire et ergodique, le taux d'entropie égale le taux optimal de compression par symbole asymptotique, détermine la taille des ensembles typiques et gouverne les limites du codage universel.

Inversion

Un taux d'entropie nul indique un comportement déterministe ou asymptotiquement prévisible ; inversement, un taux d'entropie maximal (sous contraintes) correspond à des processus sans mémoire ou iid sous ces contraintes.

Limite

Défini pour des processus stochastiques en temps discret lorsque les limites existent ; des énoncés formels requièrent la stationnarité ou l'ergodicité pour de nombreux résultats de codage et de typicalité ; des notions alternatives (entropies de Rényi, métriques) diffèrent du taux d'entropie de Shannon.

Tension sémantique

Distincte de l'entropie marginale d'une seule lettre : l'entropie marginale mesure l'incertitude d'un tirage unique, tandis que le taux d'entropie mesure l'incertitude par symbole en tenant compte des corrélations temporelles du processus.

Synthèse

Le taux d'entropie est l'information de Shannon par symbole asymptotique d'un processus stochastique, captant son imprévisibilité moyenne et fixant les limites fondamentales de compression et de typicalité pour des sources stationnaires.