Une fonction des données observées qui capture toute l'information de l'échantillon pertinente pour l'inférence sur un paramètre donné : conditionnellement à cette statistique, l'échantillon n'apporte plus d'information sur le paramètre.

Principe

La réduction des données sans perte pour un paramètre se réalise lorsque la vraisemblance se factorise en une partie dépendant de la statistique et du paramètre et une partie indépendante du paramètre ; la statistique est alors suffisante pour ce paramètre.

Démonstration

Pour un modèle gaussien de variance connue, la moyenne d'échantillon est une statistique suffisante pour la moyenne de la population car la vraisemblance dépend des données uniquement par cette moyenne.

Mauvaise application

Prétendre qu'une statistique est suffisante pour différentes familles de modèles ou pour d'autres paramètres ; supposer qu'une statistique est suffisante parce qu'elle est de faible dimension sans vérifier la condition de factorisation.

Conséquence

Une identification correcte permet une compression sans perte pour l'inférence sur le paramètre, rend possible la statistique suffisante minimale et la réduction exacte des procédures basées sur la vraisemblance.

Inversion

Une statistique ancillaire ne contient aucune information sur le paramètre ; conditionner sur elle n'améliore pas l'estimation du paramètre.

Limite

La suffisance dépend du modèle : une statistique peut être suffisante pour une famille paramétrique ou un paramètre mais pas pour une autre ; elle suppose un modèle probabiliste et une paramétrisation spécifiés.

Tension sémantique

Suffisance versus complétude ou minimalité : une statistique suffisante n'est pas nécessairement minimale ou complète, et ces raffinements exigent des conditions supplémentaires.

Synthèse

Une statistique suffisante est le résumé des données spécifique au modèle qui préserve toute l'information pertinente pour un paramètre donné, permettant une réduction sans perte de l'échantillon pour cette tâche d'inférence.