Der langfristige durchschnittliche Shannon‑Informationsgehalt pro Symbol einer stochastischen Folge, üblicherweise definiert als der Grenzwert H = lim_{n→∞} (1/n) H(X1,...,Xn) bzw. H = lim_{n→∞} H(Xn | X1,...,Xn−1), wenn der Grenzwert existiert.

Prinzip

Die Entropierate quantifiziert die durchschnittliche Unvorhersehbarkeit oder Informationsproduktion einer Quelle pro Zeitschritt und bildet die grundlegende untere Schranke für verlustfreie Kompression stationärer Prozesse.

Demonstration

Für eine stationäre Markov‑Kette mit stationärer Verteilung π und Übergangswahrscheinlichkeiten P(i→j) ist die Entropierate H = −∑_{i} π(i) ∑_{j} P(i→j) log P(i→j), die erwartete konditionale Entropie des nächsten Zustands gegeben den aktuellen.

Fehlanwendung

Die marginale Entropie H(Xn) einer Einzelvariable als Entropierate für abhängige Folgen zu verwenden, ignoriert zeitliche Abhängigkeit und kann die Komprimierbarkeitsgrenzen erheblich überschätzen.

Konsequenz

Ist die Entropierate für eine stationäre ergodische Quelle wohldefiniert, so entspricht sie der optimalen asymptotischen Kompressionsrate pro Symbol, bestimmt die Größen typischer Mengen und steuert Grenzen universellen Codierens.

Umkehrung

Eine Entropierate von null kennzeichnet deterministisches oder asymptotisch vorhersagbares Verhalten; umgekehrt entspricht maximale Entropierate (unter Nebenbedingungen) einem gedächtnislosen oder iid‑Prozess.

Abgrenzung

Definiert für stochastische Prozesse in diskreter Zeit, sofern die Grenzwerte existieren; formale Aussagen benötigen Stationarität oder Ergoddizität für viele Resultate zu Codierung und Typicalität; alternative Begriffe (Rényi‑Entropien etc.) unterscheiden sich von der Shannon‑Entropierate.

Semantische Spannung

Unterscheidet sich von der Ein‑Symbol‑(marginalen) Entropie: die marginale Entropie misst die Unsicherheit einer Einzelprobe, die Entropierate misst die pro‑Symbol‑Unsicherheit unter Berücksichtigung zeitlicher Korrelationen.

Synthese

Die Entropierate ist die asymptotische Shannon‑Information pro Symbol eines stochastischen Prozesses, die seine durchschnittliche Unvorhersehbarkeit erfasst und fundamentale Grenzen für Kompression und Typicalität stationärer Quellen setzt.