Pour un modèle nul spécifié et une statistique de test calculée à partir des données, la valeur-p est la probabilité, sous le modèle nul, d'observer une statistique au moins aussi extrême que la valeur observée.

Principe

La valeur-p mesure l'extrémité des données par rapport à un modèle nul ; c'est une probabilité de queue calculée en supposant les hypothèses qui définissent ce modèle et la loi d'échantillonnage de la statistique.

Démonstration

Dans un test t comparant une moyenne d'échantillon à une moyenne nulle, on calcule le t observé, puis la valeur-p est la probabilité sous la loi Studentisée du nul de dépasser en valeur absolue le t observé.

Mauvaise application

Interpréter la valeur-p comme la probabilité que l'hypothèse nulle soit vraie, ou comme la probabilité que l'effet observé soit d'importance pratique, ou utiliser un seuil arbitraire sans tenir compte de la puissance et des tests multiples.

Conséquence

Son usage correct fournit une mesure calibrée de l'incompatibilité entre les données et le modèle nul, qui peut guider la décision de rejeter le nul, sous réserve du contrôle des taux d'erreur en répétition.

Inversion

Une grande valeur-p signifie que les données ne sont pas improbables sous le nul ; cela ne confirme pas le nul mais ne fournit pas d'élément contre lui.

Limite

Dépend du modèle nul exact, du choix de la statistique de test et des hypothèses (indépendance, forme de distribution) ; elle n'est pas définie sans un nul et une procédure de test complètement spécifiés.

Tension sémantique

Souvent opposée aux mesures d'amplitude d'effet ou aux probabilités a posteriori bayésiennes ; la valeur-p traite de l'extrémité d'échantillonnage sous un modèle, pas de la probabilité directe d'hypothèses ou de tailles d'effet.

Synthèse

La valeur-p est la probabilité de queue, calculée sous un modèle nul et une statistique de test spécifiés, qui quantifie à quel point les données observées sont extrêmes par rapport à ce modèle.