Skalar >= 0, der das Ausmaß der statistischen Abhängigkeit zwischen zwei Zufallsvariablen quantifiziert, indem er misst, wie sehr die Kenntnis der einen die Unsicherheit über die andere vermindert.

Prinzip

Geteilte Information als Reduktion der Unsicherheit über eine Variable bei Kenntnis der anderen ausdrücken, ohne lineare Beziehungen vorauszusetzen.

Demonstration

Zwei identische binäre Variablen haben maximale gegenseitige Information gleich dem Informationsgehalt der Variablen; sind sie unabhängig, ist die gegenseitige Information null.

Fehlanwendung

Die Interpretation hoher gegenseitiger Information als Beleg für kausalen Einfluss verwechselt Abhängigkeit mit Richtung und kann ohne zeitliche oder Interventionsdaten irreführend sein.

Konsequenz

Dient als modellunabhängiges Kriterium zur Merkmalsauswahl, Variablenclustering und Erkennung nichtlinearer Zusammenhänge zwischen Variablen.

Umkehrung

Unabhängigkeit ist die Umkehr: Null gegenseitige Information impliziert keine statistische Abhängigkeit unter dem gewählten Wahrscheinlichkeitsmodell.

Abgrenzung

Setzt eine gemeinsame Verteilung voraus; bei stetigen Variablen verlangt die praktische Schätzung Dichtheits- oder Diskretisierungsmethoden und ist durch Stichprobengröße limitiert.

Semantische Spannung

Im Gegensatz zu Korrelationskoeffizienten: Gegenseitige Information erfasst beliebige Abhängigkeiten einschließlich nichtlinearer, während Korrelation nur lineare Assoziation misst.

Synthese

Ein skalare Abhängigkeitsmaß, das quantifiziert, wie sehr eine Variable die Unsicherheit über eine andere reduziert; anwendbar auf diskrete oder stetige Variablen bei entsprechender Schätzung.