Métrique riemannienne sur la variété des paramètres d'un modèle statistique paramétrique donnée par l'espérance du produit extérieur de la fonction score ; elle quantifie la distinguabilité locale des distributions de probabilité par les paramètres.

Principe

Approximation du second ordre de l'entropie relative : localement, la divergence de Kullback–Leibler entre paramètres proches est approchée par la moitié du carré de la longueur sous la métrique de Fisher, liant géométrie, sensibilité inférentielle et borne de Cramér–Rao.

Démonstration

Pour la famille de gaussiennes N(μ,σ^2) avec σ connu, la métrique de Fisher sur le paramètre μ est I(μ)=1/σ^2, donc de petites variations de μ sont mesurées avec un facteur inverse de la variance et fixent des bornes inférieures sur la variance d'un estimateur.

Mauvaise application

Utiliser la matrice d'information observée (échantillon) comme métrique de Fisher sans vérifier la régularité ou le biais en petits échantillons, ou appliquer la métrique de Fisher à des modèles singuliers ou non identifiables où elle dégénère.

Conséquence

Fournit une mesure intrinsèque et invariante de la sensibilité des paramètres, sous-tend les méthodes de gradient naturel en optimisation et donne des bornes asymptotiques de variance pour les estimateurs via l'inverse de Fisher.

Inversion

Les métriques euclidiennes sur l'espace des paramètres traitent les paramètres comme des coordonnées ordinaires avec distances ad hoc ; la métrique de Fisher dote l'espace des paramètres d'une géométrie spécifique au problème dérivée du modèle statistique et de la vraisemblance.

Limite

Nécessite une famille paramétrique régulière avec log-vraisemblance différentiable et mesures dominées pour que les espérances existent ; elle ne s'applique pas directement aux modèles non paramétriques ou irréguliers sans modification.

Tension sémantique

Métrique de Fisher versus hessien de la log-vraisemblance négative en un point : l'information de Fisher attendue égale l'espérance du hessien sous régularité, mais le hessien observé peut différer et dépend de l'échantillon.

Synthèse

La métrique d'information de Fisher est la métrique riemannienne imposée par le modèle sur l'espace des paramètres, donnée par les corrélations attendues des scores ; elle quantifie la distinguabilité statistique locale, fixe des limites d'estimation et fournit une géométrie pour l'inférence et l'optimisation.