Eine eindimensionale Familie von Entropiemaßen für eine diskrete Wahrscheinlichkeitsverteilung p, definiert für Ordnung α≥0, α≠1 durch S_α = (1/(1−α)) log(∑_i p_i^α), die zwischen Maßen der Trägermenge und der Konzentration interpoliert, wenn α variiert.

Prinzip

Der Parameter α gewichtet Wahrscheinlichkeiten neu: kleine α betonen die Anzahl nichtverschwindender Ausgänge, große α heben die wahrscheinlichsten Ereignisse hervor; der Grenzwert α→1 ergibt die übliche Informationsentropie.

Demonstration

Für eine verzerrte Münze mit Wahrscheinlichkeiten p und 1−p nimmt die Rényi-Entropie S_α(p) monoton mit α ab; S_0 ist der Logarithmus der Trägergröße (log 2 für eine faire Münze), während S_∞ = −log(max(p,1−p)).

Fehlanwendung

Die diskrete Formel direkt auf nicht-normalisierte Maße anwenden oder die Rényi-Entropie als lineares Funktional unter Mischung ansehen, was sie für α≠1 nicht ist.

Konsequenz

Rényi-Entropien liefern einstellbare Diversitätsindizes und sind nützlich, um Konzentrationen zwischen Verteilungen zu vergleichen, multifraktale Spektren zu charakterisieren und verallgemeinerte entropische Größen in Informationstasks zu definieren.

Umkehrung

Der Grenzwert α→0 betont die Zählung der Ausgänge (Hartley‑Entropie), während α→∞ ausschließlich das wahrscheinlichste Ereignis (Min‑Entropie) in den Vordergrund stellt.

Abgrenzung

Definiert für Wahrscheinlichkeitsmaße (diskret oder via Dichtungsverallgemeinerungen) und für Parameter α, für die die Summe konvergiert; ohne zusätzliche Konstruktion ist sie keine Distanz oder Divergenz und sensitiv gegenüber Träger und Normierung.

Semantische Spannung

Oft im Gegensatz zu Tsallis-Entropien: beide sind Ein-Parameter-Verallgemeinerungen, unterscheiden sich jedoch in funktionaler Form (logarithmisch vs. potenzbasiert) und in ihren Additivitätseigenschaften.

Synthese

Die Rényi-Entropie ist das parametrisierte logarithmische Maß, das durch Variation von α kontinuierlich zwischen effektiver Trägergrößenzählung, Unsicherheit des typischen Ereignisses und Worst‑case‑Konzentration interpoliert und so ein flexibles Spektrum an Informationsmaßen bereitstellt.