Ein gerichtetes Maß für die Diskrepanz zwischen zwei Wahrscheinlichkeitsverteilungen, definiert als Erwartungswert unter der einen Verteilung des Logarithmus des Verhältnisses ihrer Dichten; quantifiziert den erwarteten Log‑Verlust beim Approximieren einer Verteilung durch eine andere.

Prinzip

Nichtnegativität mit Gleichheit nur wenn die beiden Verteilungen fast überall übereinstimmen; sie ist asymmetrisch und additiv für unabhängige Produktmaße und erfasst richtungsabhängigen Informationsverlust.

Demonstration

Für zwei Normalverteilungen mit gleicher Varianz σ^2 und Mittelwerten μ1 und μ2 beträgt die Divergenz der ersten gegenüber der zweiten (μ1−μ2)^2/(2σ^2).

Fehlanwendung

Die Divergenz als Distanzmetrik zu interpretieren ist falsch, da sie asymmetrisch ist und nicht die Dreiecksungleichung erfüllt; sie blind anzuwenden, wo Symmetrie erforderlich ist, führt zu irreführenden Vergleichen.

Konsequenz

Als Zielfunktion verwendet, um approximative Modelle an ein Ziel anzupassen, liefert sie Parameterschätzungen, die den erwarteten Log‑Verlust minimieren, und bietet ein prinzipielles Kriterium für informationsoptimale einseitige Approximation.

Umkehrung

Symmetrisierte Alternativen (z. B. die Jensen–Shannon‑Divergenz) ergeben beschränkte, symmetrische Maße, die besser geeignet sind, wenn Gegenseitigkeit zwischen Verteilungen gefordert ist.

Abgrenzung

Definiert nur wenn der Träger der Referenzverteilung im Träger der approximierenden Verteilung enthalten ist (absolute Stetigkeit); sie kann unendlich sein, wenn sich Träger nicht decken.

Semantische Spannung

Gegenüber metrischen Vorstellungen wie totaler Variation kontrastiert Kullback–Leibler dadurch, dass sie mittleren Log‑Likelihood‑Abstand betont, relevant für Kodierung und Inferenz, während Metriken worst‑case‑Wahrscheinlichkeitsdifferenzen erfassen.

Synthese

Ein gerichtetes Informationsmaß, das den erwarteten Log‑Verlust quantifiziert, der durch das Approximieren einer Wahrscheinlichkeitsverteilung mit einer anderen entsteht; grundlegend in Informations‑ und Inferenztheorie.