Ein mathematisches Modell für sequentielle Entscheidungsfindung unter Unsicherheit, definiert durch ein Tupel (S, A, P, R, γ): Zustandsraum S, Aktionsmenge A, Übergangskern P(s'|s,a), Belohnungsfunktion R(s,a) und Diskontfaktor γ; Entscheidungen (Politiken) ordnen Zuständen Aktionen oder Verteilungen über Aktionen zu.

Prinzip

Entscheidungen werden so optimiert, dass die erwartete kumulative (diskontierte oder endliche Horizon) Belohnung maximiert wird, wobei die Markov-Eigenschaft gilt: die Verteilung des nächsten Zustands hängt nur vom aktuellen Zustand und der gewählten Aktion ab.

Demonstration

In einem endlichen MDP für ein Grid‑World ist S die Menge der Felder, A = {oben, unten, links, rechts}, P kodiert stochastische Bewegung, R gibt Belohnungen für Ziel-/Hindernisfelder, und optimale Politiken lösen Bellman-Gleichungen zur Maximierung der diskontierten Rendite.

Fehlanwendung

Ein Problem mit versteckter relevanter Historie als MDP zu modellieren, ohne den Zustand zu erweitern, verletzt die Markov-Annahme; Lernen oder Planung unter diesem fehlerhaften Modell liefert suboptimale oder inkonsistente Politiken.

Konsequenz

Für endliche, diskontierte MDPs existieren optimale stationäre (gedächtnislose) deterministische Politiken; dynamische Programmierung und Wertiteration konvergieren unter Standardbedingungen zu optimalen Wertfunktionen.

Umkehrung

Ist der Prozess nicht‑Markowsch oder teilweise beobachtbar, versagt die MDP‑Formalismus: optimale Steuerung erfordert historiesensitive Strategien oder den umfassenderen POMDP‑Rahmen statt gewöhnlicher MDP‑Lösungen.

Abgrenzung

Gilt für zeitdiskrete, voll beobachtbare Entscheidungsprozesse (endlich, abzählbar oder stetiger Zustand/Aktion mit messbarer Struktur); schließt Probleme mit teilweiser Beobachtbarkeit aus, sofern der Zustand nicht entsprechend erweitert wird, und stetige Zeit, sofern nicht umformuliert.

Semantische Spannung

Wird oft mit Reinforcement Learning verwechselt: MDP ist das formale Modell (Umgebung plus Belohnungen), während Reinforcement Learning Algorithmen bezeichnet, die Politiken entdecken, wenn P oder R unbekannt sind.

Synthese

Ein Markow‑Entscheidungsprozess ist das formale Zustand‑Aktions‑Übergangs‑Belohnungs‑Gerüst für sequenziellen stochastischen Kontrollaufgaben, bei dem die Markov‑Eigenschaft die rekursive Optimierung der erwarteten kumulativen Belohnung mittels Bellman‑Relationen ermöglicht.