Ein iteratives Verfahren zur Maximum-Likelihood‑Schätzung von Parametern in statistischen Modellen mit latenten (versteckten) Variablen: es wechselt zwischen einem Erwartungsschritt, der erwartete ausreichende Statistiken unter aktuellen Parametern berechnet, und einem Maximierungsschritt, der Parameter aktualisiert, um die erwartete Likelihood zu maximieren, bis zur Konvergenz.

Prinzip

Zerlege eine unhandliche beobachtete Likelihood in die Erwartung vollständiger Daten und maximiere dieses Surrogat: E‑Schritt berechnet die Posterior‑Erwartung der fehlenden Daten bedingt auf die Beobachtungen und aktuellen Parameter; M‑Schritt optimiert Parameter, als wären diese Erwartungen beobachtet.

Demonstration

Anpassung eines Gauß‑Gemischmodells: Im E‑Schritt werden die Verantwortlichkeiten (Wahrscheinlichkeit, dass jede Komponente einen Datenpunkt erzeugt hat) mit aktuellen Mittelwerten/Varianzen berechnet; im M‑Schritt werden Mittelwerte, Varianzen und Mischgewichte als gewichtete Mittelwerte aktualisiert; iterieren bis Stabilisierung der Likelihood.

Fehlanwendung

EM einsetzen ohne Multimodalität der Likelihood zu berücksichtigen, ein lokales Maximum als global anzusehen, keine Regularisierung bei Zusammenbruch von Komponenten, oder EM auf ein ungeeignetes Modell (z. B. falsche bedingte Unabhängigkeiten) anwenden.

Konsequenz

Richtig angewandt liefert EM Parameterschätzungen, die die beobachtete Likelihood monoton erhöhen und häufig zu einem nützlichen lokalen Maximum konvergieren; die Konvergenz kann langsam und initialisierungsabhängig sein, und Standard‑EM garantiert nicht das globale Maximum in multimodalen Landschaften.

Umkehrung

Ersetze das iterative Erwartungs‑Maximierungs‑Schema durch direkte Optimierung der marginalen Likelihood (wenn möglich) oder durch Monte‑Carlo‑Methoden (z. B. MCMC) — dann wechselt die Methode zu globaler Stichprobenziehung oder direkter gradientenbasierter Maximierung statt alternierender Surrogatschritte.

Abgrenzung

Gilt für latente‑Variablen‑Modelle, bei denen konditionale Erwartungen berechenbar oder approximierbar sind; schließt Modelle aus, bei denen der E‑Schritt ohne Approximation intractable ist oder Likelihoods undefiniert sind; erfordert sorgfältigen Umgang mit degenerierten Lösungen (z. B. Varianz→0).

Semantische Spannung

Wird oft mit EM‑ähnlichen Heuristiken (z. B. Koordinatenaufstieg oder Variationsinferenz) verwechselt; EM ist speziell das E‑Step/M‑Step‑Schema zur Maximierung der erwarteten vollständigen Log‑Likelihood, während Variationsmethoden eine Unterschranke optimieren und andere Konvergenzeigenschaften besitzen.

Synthese

Expectation–Maximization wechselt zwischen dem Berechnen von Erwartungen fehlender Daten unter aktuellen Parametern und dem Maximieren der Parameter anhand dieser Erwartungen: ein prinzipielles Surrogat‑Optimierungsrahmenwerk, das die beobachtete Likelihood schrittweise erhöht, aber zu lokalen Optima konvergiert und auf berechenbare Erwartungen angewiesen ist.