Ein quantitatives Maß für die Unsicherheit oder den durchschnittlichen Informationsgehalt einer diskreten Wahrscheinlichkeitsverteilung, definiert als H = -Σ p(x) log p(x).

Prinzip

Informationsgehalt eines Ereignisses ist dessen Überraschung (−log p); Shannon‑Entropie ist die erwartete Überraschung und legt fundamentale Grenzen für verlustfreies Kodieren und durchschnittliche Beschreibungs­längen fest.

Demonstration

Eine faire Münze {0,5, 0,5} ergibt H = 1 Bit; bei einer verzerrten Münze mit p(Kopf)=0,9 ist H ≈ 0,47 Bits, was geringere mittlere Unsicherheit widerspiegelt.

Fehlanwendung

Die Shannon‑Entropie direkt mit thermodynamischer Entropie gleichzusetzen, ohne unterschiedliche Ensembles und physikalische Interpretationen zu beachten, oder die diskrete Formel unkritisch auf stetige Variablen anzuwenden ohne die differentielle Entropie zu verwenden.

Konsequenz

Die Shannon‑Entropie begrenzt die minimale durchschnittliche Anzahl von Bits für verlustfreie Codierung und liegt den Formeln zur Kanal­kapazität und den Quellkodierungstheoremen zugrunde.

Umkehrung

Maximale Ordnung oder vollständige Vorhersagbarkeit (Nullentropie), bei der ein Ergebnis Wahrscheinlichkeit eins hat und durch Beobachtung keine Information gewonnen wird.

Abgrenzung

Gilt für Wahrscheinlichkeitsverteilungen diskreter Zufallsvariablen für eine gegebene Logarithmusbasis; Erweiterungen (bedingte, gemeinsame, differentielle Entropie) existieren, thermodynamische und algorithmische Entropiebegriffe gehören zu verwandten, aber getrennten Rahmen.

Semantische Spannung

Wird oft mit physikalischer Entropie verwechselt; Shannon‑Entropie ist ein informationstheoretischer Erwartungswert über Wahrscheinlichkeiten, während thermodynamische Entropie mikrozustandszählungen und Energiebetrachtungen betrifft.

Synthese

Die Shannon‑Entropie quantifiziert die erwartete Information (Surprisal) einer Wahrscheinlichkeitsverteilung und liefert operationelle Grenzen für Datenkompression und Kommunikation in probabilistischen Modellen.