## [Entropierate](/de/node/58110) Definition Der langfristige durchschnittliche Shannon‑Informationsgehalt pro Symbol einer stochastischen Folge, üblicherweise definiert als der Grenzwert H = lim_{n→∞} (1/n) H(X1,...,Xn) bzw. H = lim_{n→∞} H(Xn | X1,...,Xn−1), wenn der Grenzwert existiert. ## Prinzip Prinzip Die Entropierate quantifiziert die durchschnittliche Unvorhersehbarkeit oder Informationsproduktion einer Quelle pro Zeitschritt und bildet die grundlegende untere Schranke für verlustfreie Kompression stationärer Prozesse. ## Demonstration Demonstration Für eine stationäre Markov‑Kette mit stationärer Verteilung π und Übergangswahrscheinlichkeiten P(i→j) ist die Entropierate H = −∑_{i} π(i) ∑_{j} P(i→j) log P(i→j), die erwartete konditionale Entropie des nächsten Zustands gegeben den aktuellen. ## Fehlanwendung Fehlanwendung Die marginale Entropie H(Xn) einer Einzelvariable als Entropierate für abhängige Folgen zu verwenden, ignoriert zeitliche Abhängigkeit und kann die Komprimierbarkeitsgrenzen erheblich überschätzen. ## Konsequenz Konsequenz Ist die Entropierate für eine stationäre ergodische Quelle wohldefiniert, so entspricht sie der optimalen asymptotischen Kompressionsrate pro Symbol, bestimmt die Größen typischer Mengen und steuert Grenzen universellen Codierens. ## Umkehrung Umkehrung Eine Entropierate von null kennzeichnet deterministisches oder asymptotisch vorhersagbares Verhalten; umgekehrt entspricht maximale Entropierate (unter Nebenbedingungen) einem gedächtnislosen oder iid‑Prozess. ## Abgrenzung Abgrenzung Definiert für stochastische Prozesse in diskreter Zeit, sofern die Grenzwerte existieren; formale Aussagen benötigen Stationarität oder Ergoddizität für viele Resultate zu Codierung und Typicalität; alternative Begriffe (Rényi‑Entropien etc.) unterscheiden sich von der Shannon‑Entropierate. ## Semantische Spannung Semantische Spannung Unterscheidet sich von der Ein‑Symbol‑(marginalen) Entropie: die marginale Entropie misst die Unsicherheit einer Einzelprobe, die Entropierate misst die pro‑Symbol‑Unsicherheit unter Berücksichtigung zeitlicher Korrelationen. ## Synthese Synthese Die Entropierate ist die asymptotische Shannon‑Information pro Symbol eines stochastischen Prozesses, die seine durchschnittliche Unvorhersehbarkeit erfasst und fundamentale Grenzen für Kompression und Typicalität stationärer Quellen setzt.