## [Shannon‑Entropie](/de/node/57638) Definition Ein quantitatives Maß für die Unsicherheit oder den durchschnittlichen Informationsgehalt einer diskreten Wahrscheinlichkeitsverteilung, definiert als H = -Σ p(x) log p(x). ## Prinzip Prinzip Informationsgehalt eines Ereignisses ist dessen Überraschung (−log p); Shannon‑Entropie ist die erwartete Überraschung und legt fundamentale Grenzen für verlustfreies Kodieren und durchschnittliche Beschreibungs­längen fest. ## Demonstration Demonstration Eine faire Münze {0,5, 0,5} ergibt H = 1 Bit; bei einer verzerrten Münze mit p(Kopf)=0,9 ist H ≈ 0,47 Bits, was geringere mittlere Unsicherheit widerspiegelt. ## Fehlanwendung Fehlanwendung Die Shannon‑Entropie direkt mit thermodynamischer Entropie gleichzusetzen, ohne unterschiedliche Ensembles und physikalische Interpretationen zu beachten, oder die diskrete Formel unkritisch auf stetige Variablen anzuwenden ohne die differentielle Entropie zu verwenden. ## Konsequenz Konsequenz Die Shannon‑Entropie begrenzt die minimale durchschnittliche Anzahl von Bits für verlustfreie Codierung und liegt den Formeln zur Kanal­kapazität und den Quellkodierungstheoremen zugrunde. ## Umkehrung Umkehrung Maximale Ordnung oder vollständige Vorhersagbarkeit (Nullentropie), bei der ein Ergebnis Wahrscheinlichkeit eins hat und durch Beobachtung keine Information gewonnen wird. ## Abgrenzung Abgrenzung Gilt für Wahrscheinlichkeitsverteilungen diskreter Zufallsvariablen für eine gegebene Logarithmusbasis; Erweiterungen (bedingte, gemeinsame, differentielle Entropie) existieren, thermodynamische und algorithmische Entropiebegriffe gehören zu verwandten, aber getrennten Rahmen. ## Semantische Spannung Semantische Spannung Wird oft mit physikalischer Entropie verwechselt; Shannon‑Entropie ist ein informationstheoretischer Erwartungswert über Wahrscheinlichkeiten, während thermodynamische Entropie mikrozustandszählungen und Energiebetrachtungen betrifft. ## Synthese Synthese Die Shannon‑Entropie quantifiziert die erwartete Information (Surprisal) einer Wahrscheinlichkeitsverteilung und liefert operationelle Grenzen für Datenkompression und Kommunikation in probabilistischen Modellen.