Eine nichtnegative Größe, die einem parametrischen statistischen Modell zugeordnet ist, definiert als Erwartungswert des Quadrats der Score-Funktion (Ableitung des Log-Likelihood) oder äquivalent als negatives Erwartungswert der zweiten Ableitung des Log-Likelihood; sie misst die lokale Empfindlichkeit der Likelihood gegenüber Parameteränderungen.

Prinzip

Messen, wie viel eine beobachtbare Zufallsvariable über einen Parameter offenbart, durch die Krümmung des Log-Likelihood: größere Fisher-Information impliziert höhere erreichbare Präzision für unvoreingenommene Schätzer.

Demonstration

Für unabhängige Stichproben X1,...,Xn ~ N(μ,σ^2) mit bekanntem σ^2 ist die Fisher-Information über μ gleich n/σ^2, was widerspiegelt, dass die Varianz des Stichprobenmittels proportional zu 1/n abnimmt.

Fehlanwendung

Die Fisher-Information direkt als Varianz eines Schätzers zu interpretieren, ohne Modellfehlanpassung, Verzerrung oder Verletzung der Regularitätsbedingungen zu berücksichtigen, die für die Anwendung der Cramér–Rao-Schranke erforderlich sind.

Konsequenz

Führt zur Cramér–Rao-Untergrenze, die die Varianz unvoreingenommener Schätzer limitiert, und tritt in der asymptotischen Normalverteilung von Maximum-Likelihood-Schätzern auf, wobei die inverse Information die asymptotische Kovarianz liefert.

Umkehrung

Null Fisher-Information für eine Parameterkomponente bedeutet, dass die Daten lokal keinerlei Information über diese Komponente enthalten (Likelihood ist in dieser Richtung flach); die Umkehrung führt zur Nichtidentifizierbarkeit des Parameters statt hoher Präzision.

Abgrenzung

Definiert, wenn die Likelihood differenzierbar ist und das Quadrat des Scores unter dem Modell integrierbar ist; nicht anwendbar auf Modelle mit singulären Maßen, nichtdifferenzierbaren Likelihoods oder Parametern am Rand, wo Regularität versagt.

Semantische Spannung

Oft im Gegensatz zur Shannon-Information betrachtet: Fisher-Information misst lokale Parametersensitivität in einem statistischen Modell, während Shannon-Information die Unsicherheitsreduktion in den Ausgängen einer Zufallsvariablen misst.

Synthese

Die Fisher-Information ist die erwartete Krümmung des Log-Likelihood bezüglich der Parameter, quantifiziert, wie stark Daten lokale Parameterstörungen einschränken, und bestimmt die asymptotische Präzision von Schätzern.