Definition
Eine symmetrische, positiv semidefinite Matrix, deren (i,j)-Eintrag dem Erwartungswert des Produkts von Score-Komponenten oder der negativen erwarteten zweiten Ableitung des Log-Likelihoods nach den Parametern entspricht; sie quantifiziert die Sensitivität der Parameter eines parametrischen Modells.
Prinzip
Prinzip
Organisiert lokale Parametrierbarkeit und Sensitivität: Information addiert sich bei unabhängigen Beobachtungen und bestimmt untere Schranken für die Varianz von Schätzern.
Demonstration
Demonstration
Für n unabhängige Beobachtungen aus N(μ,σ^2) mit bekanntem σ beträgt die Fisher-Information für μ n/σ^2; für einen Vektorparameter werden die Matrixeinträge analog aus den erwarteten Score-Produkten gewonnen.
Fehlanwendung
Fehlanwendung
Die Fisher-Information in kleinen Stichproben als zuverlässig ansehen ohne Reguläritätsbedingungen zu prüfen, sie bei Modellfehlanpassung verwenden oder eine singuläre Matrix zu invertieren, als wäre sie kontraerativ.
Konsequenz
Konsequenz
Wenn die Regularitätsbedingungen erfüllt sind, liefert die inverse Fisher-Matrix die asymptotische Kovarianz des Maximum-Likelihood-Schätzers und bestimmt die Cramér–Rao-Untergrenze für unverzerrte Schätzer.
Umkehrung
Umkehrung
Die beobachtete Information ersetzt die Erwartung durch den tatsächlichen negativen Hessian an den Daten; bei verschwindender Information divergiert die Inverse und zeigt Nichtidentifizierbarkeit an.
Abgrenzung
Abgrenzung
Gilt für parametrische Modelle mit differenzierbaren Likelihoods und endlichen Erwartungswerten der Score-Produkte; schließt unendlichdimensionale oder nicht-differenzierbare Parametrisierungen sowie Fälle mit unendlichen zweiten Momenten aus.
Semantische Spannung
Semantische Spannung
Wird manchmal mit dem beobachteten negativen Hessian verwechselt; beide stimmen im Erwartungswert überein, unterscheiden sich aber numerisch, insbesondere in kleinen Stichproben oder bei Modellfehlern.
Synthese
Synthese
Die Fisher-Informationsmatrix ist die erwartungsbasierte, additive Messgröße dafür, wie stark eine parametrische Likelihood über ihre Parameter aufklärt und bestimmt die asymptotische Streuung von Schätzern.