Valeur p — ce qu’elle signifie et comment l’interpréter

Une valeur p est un nombre issu d’un test statistique qui indique à quel point votre résultat serait inhabituel si l’hypothèse nulle était vraie. Plus précisément, c’est la probabilité d’obtenir un résultat au moins aussi extrême que celui observé, selon le modèle nul utilisé par le test.

La valeur p permet donc d’évaluer dans quelle mesure les données vont à l’encontre de l’hypothèse nulle. Elle ne donne pas la probabilité que l’hypothèse nulle soit vraie, et elle n’indique pas non plus si l’effet est grand ou important en pratique.

Ce à quoi une valeur p répond réellement

Dans un test d’hypothèse, on commence par une hypothèse nulle, souvent notée $H_0$. C’est l’affirmation de référence que le test considère comme vraie pour effectuer le calcul.

La valeur p répond à cette question :

$$\text{Si } H_0 \text{ était vraie, à quel point des données aussi extrêmes seraient-elles inhabituelles ?}$$

Si la valeur p est petite, les données observées seraient relativement inhabituelles sous $H_0$. Si la valeur p n’est pas petite, les données ne sont pas particulièrement inhabituelles sous ce modèle.

Cette conclusion dépend du test, des hypothèses sur lesquelles il repose et de ce que l’on entend par « au moins aussi extrême ». Un test bilatéral et un test unilatéral peuvent donner des valeurs p différentes à partir des mêmes données.

Exemple de valeur p : interpréter $p = 0.03$

Supposons qu’une école compare une nouvelle méthode d’enseignement à la méthode actuelle. L’hypothèse nulle est que la nouvelle méthode ne change pas le score moyen aux tests.

Après avoir appliqué le test statistique choisi, on obtient le résultat $p = 0.03$.

Voici l’interprétation correcte :

Si l’hypothèse nulle était vraie, et si les hypothèses du test étaient raisonnables, des données aussi éloignées de « pas de différence » ou davantage se produiraient environ $3\%$ du temps.

C’est un élément de preuve contre l’hypothèse nulle. Si les chercheurs avaient choisi un seuil de signification de $\alpha = 0.05$ avant l’analyse, ils diraient que le résultat est statistiquement significatif, car $0.03 < 0.05$.

Mais attention à ce que cela ne signifie pas :

• Cela ne veut pas dire qu’il y a $3\%$ de chances que l’hypothèse nulle soit vraie.
• Cela ne veut pas dire que la nouvelle méthode d’enseignement a un effet important.
• Cela ne veut pas dire que le résultat sera reproduit avec une probabilité de $97\%$.

Ce sont des questions différentes.

Pourquoi les valeurs p sont souvent mal interprétées

Une petite valeur p signifie qu’il serait difficile d’expliquer les données si l’hypothèse nulle était exactement correcte. Cela peut constituer un indice utile, mais ce n’est pas toute l’histoire.

Un effet très faible peut produire une petite valeur p si la taille de l’échantillon est suffisamment grande. À l’inverse, un effet réel important peut ne pas conduire à une petite valeur p si l’échantillon est trop petit ou si les données sont bruitées.

C’est pourquoi une valeur p doit être lue avec la taille d’effet, les intervalles de confiance et le plan d’étude.

Erreurs fréquentes avec les valeurs p

Erreur 1 : traiter la valeur p comme $P(H_0 \mid \text{data})$

La valeur p est calculée en supposant que $H_0$ est vraie. Ce n’est pas la probabilité que $H_0$ soit vraie après avoir observé les données.

Erreur 2 : assimiler significativité statistique et importance

La significativité statistique signifie seulement que le résultat a franchi un seuil choisi dans le cadre d’un test donné. Elle ne dit pas si l’effet a une importance pratique.

Erreur 3 : lire une grande valeur p comme une preuve d’absence d’effet

Une grande valeur p ne prouve pas l’hypothèse nulle. Elle signifie seulement que, dans cette analyse, les données ne constituent pas un argument fort contre elle. L’étude peut malgré tout manquer de puissance, être bruitée ou mal adaptée à la question.

Erreur 4 : traiter $0.049$ et $0.051$ comme des opposés

Ces valeurs sont très proches. Un seuil strict peut être utile pour prendre des décisions, mais le niveau de preuve sous-jacent évolue généralement de façon progressive, pas par un saut spectaculaire à un chiffre après la virgule.

Quand les valeurs p sont utiles

Les valeurs p sont utilisées dans les tests d’hypothèse formels dans de nombreux domaines, notamment les expériences, les enquêtes, les tests A/B, la recherche clinique et le contrôle qualité.

Elles sont surtout utiles lorsque l’hypothèse nulle est clairement définie, que le test est choisi de manière appropriée et que les hypothèses du modèle sont au moins raisonnablement défendables.

Si ces conditions sont fragiles, la valeur p peut sembler précise alors que la conclusion reste incertaine.

Comment interpréter rapidement une valeur p

Quand vous voyez une valeur p dans un article, un rapport ou la sortie d’un logiciel, posez-vous ces questions dans cet ordre :

1. Quelle est exactement l’hypothèse nulle ?
2. Quel test a produit cette valeur p ?
3. Les hypothèses du test étaient-elles raisonnables ?
4. Quelle est la taille d’effet et quel est l’intervalle de confiance ?
5. Le seuil de significativité a-t-il été choisi avant l’analyse ?

Cette courte liste de vérification évite la plupart des erreurs d’interprétation.

Essayez une interprétation similaire

Prenez n’importe quel résultat présenté comme « statistiquement significatif » et reformulez-le en langage simple selon ce modèle : « Si l’hypothèse nulle était vraie, des résultats aussi extrêmes ou plus extrêmes se produiraient environ $p \times 100\%$ du temps. » Vérifiez ensuite si le rapport donne aussi une taille d’effet ou un intervalle de confiance. C’est la manière la plus rapide de passer de la chasse au seuil à une véritable interprétation.