Une quantité non négative associée à un modèle statistique paramétrique, définie comme l'espérance du carré du score (dérivée du log-vraisemblance) ou, de façon équivalente, l'opposé de l'espérance de la dérivée seconde du log-vraisemblance ; elle mesure la sensibilité locale de la vraisemblance aux variations de paramètre.

Principe

Quantifier combien une variable observable renseigne sur un paramètre en mesurant la courbure du log-vraisemblance : une information de Fisher plus grande implique une plus grande précision atteignable pour des estimateurs sans biais.

Démonstration

Pour des échantillons indépendants X1,...,Xn ~ N(μ,σ^2) avec σ^2 connu, l'information de Fisher sur μ vaut n/σ^2, ce qui reflète que la variance de la moyenne d'échantillon décroît comme 1/n.

Mauvaise application

Interpréter l'information de Fisher comme égale directement à la variance d'un estimateur sans tenir compte de la mauvaise spécification du modèle, du biais ou de la violation des conditions de régularité nécessaires pour utiliser la borne de Cramér–Rao.

Conséquence

Conduit à la borne inférieure de Cramér–Rao limitant la variance des estimateurs sans biais et apparaît dans la normalité asymptotique des estimateurs du maximum de vraisemblance où l'inverse de l'information donne la covariance asymptotique.

Inversion

Une information de Fisher nulle pour une composante de paramètre indique que les données n'apportent aucune information locale sur ce paramètre (la vraisemblance est plate dans cette direction) ; inverser la notion mène à la non-identifiabilité du paramètre plutôt qu'à une grande précision.

Limite

Définie lorsque la vraisemblance est différentiable et que le carré du score est intégrable sous le modèle ; non applicable aux modèles à mesures singulières, vraisemblances non différentiables ou paramètres situés sur la frontière où la régularité échoue.

Tension sémantique

Souvent mise en contraste avec l'information de Shannon : l'information de Fisher mesure la sensibilité locale aux paramètres dans un modèle statistique, tandis que l'information de Shannon mesure la réduction d'incertitude des résultats d'une variable aléatoire.

Synthèse

L'information de Fisher est la courbure attendue du log-vraisemblance par rapport aux paramètres, quantifiant la force avec laquelle les données contraignent de petites perturbations paramétriques et déterminant la précision asymptotique des estimateurs.