##  [Kullback–Leibler‑Divergenz](/de/node/58052) 

 Definition

Ein gerichtetes Maß für die Diskrepanz zwischen zwei Wahrscheinlichkeitsverteilungen, definiert als Erwartungswert unter der einen Verteilung des Logarithmus des Verhältnisses ihrer Dichten; quantifiziert den erwarteten Log‑Verlust beim Approximieren einer Verteilung durch eine andere.

 

 

 

 

 

 





## Prinzip

Prinzip

Nichtnegativität mit Gleichheit nur wenn die beiden Verteilungen fast überall übereinstimmen; sie ist asymmetrisch und additiv für unabhängige Produktmaße und erfasst richtungsabhängigen Informationsverlust.

 

 

 

 

 





## Demonstration

Demonstration

Für zwei Normalverteilungen mit gleicher Varianz σ^2 und Mittelwerten μ1 und μ2 beträgt die Divergenz der ersten gegenüber der zweiten (μ1−μ2)^2/(2σ^2).

 

 

 

 

## Fehlanwendung

Fehlanwendung

Die Divergenz als Distanzmetrik zu interpretieren ist falsch, da sie asymmetrisch ist und nicht die Dreiecksungleichung erfüllt; sie blind anzuwenden, wo Symmetrie erforderlich ist, führt zu irreführenden Vergleichen.

 

 

 

 

 





## Konsequenz

Konsequenz

Als Zielfunktion verwendet, um approximative Modelle an ein Ziel anzupassen, liefert sie Parameterschätzungen, die den erwarteten Log‑Verlust minimieren, und bietet ein prinzipielles Kriterium für informationsoptimale einseitige Approximation.

 

 

 

 

## Umkehrung

Umkehrung

Symmetrisierte Alternativen (z. B. die Jensen–Shannon‑Divergenz) ergeben beschränkte, symmetrische Maße, die besser geeignet sind, wenn Gegenseitigkeit zwischen Verteilungen gefordert ist.

 

 

 

 

 





## Abgrenzung

Abgrenzung

Definiert nur wenn der Träger der Referenzverteilung im Träger der approximierenden Verteilung enthalten ist (absolute Stetigkeit); sie kann unendlich sein, wenn sich Träger nicht decken.

 

 

 

 

 





## Semantische Spannung

Semantische Spannung

Gegenüber metrischen Vorstellungen wie totaler Variation kontrastiert Kullback–Leibler dadurch, dass sie mittleren Log‑Likelihood‑Abstand betont, relevant für Kodierung und Inferenz, während Metriken worst‑case‑Wahrscheinlichkeitsdifferenzen erfassen.

 

 

 

 

 





## Synthese

Synthese

Ein gerichtetes Informationsmaß, das den erwarteten Log‑Verlust quantifiziert, der durch das Approximieren einer Wahrscheinlichkeitsverteilung mit einer anderen entsteht; grundlegend in Informations‑ und Inferenztheorie.