Wartość p — co oznacza i jak ją interpretować

Wartość p to liczba otrzymywana w teście statystycznym, która mówi, jak nietypowy byłby twój wynik, gdyby hipoteza zerowa była prawdziwa. Dokładniej, jest to prawdopodobieństwo uzyskania wyniku co najmniej tak skrajnego jak zaobserwowany, przy założeniu modelu zerowego użytego w teście.

Dzięki temu wartość p pozwala ocenić, jak mocno dane przemawiają przeciw hipotezie zerowej. Nie mówi ona, jakie jest prawdopodobieństwo, że hipoteza zerowa jest prawdziwa, i nie mówi też, czy efekt jest duży lub praktycznie istotny.

Na jakie pytanie naprawdę odpowiada wartość p

W testowaniu hipotez zaczynasz od hipotezy zerowej, często zapisywanej jako $H_0$. To podstawowe założenie, które test przyjmuje jako prawdziwe na potrzeby obliczeń.

Wartość p odpowiada na pytanie:

$$\text{If } H_0 \text{ were true, how unusual would data this extreme be?}$$

Jeśli wartość p jest mała, to zaobserwowane dane byłyby stosunkowo nietypowe przy założeniu $H_0$. Jeśli wartość p nie jest mała, dane nie są szczególnie nietypowe w tym modelu.

Ten wniosek zależy od testu, jego założeń oraz od tego, co uznaje się za „co najmniej tak skrajne”. Test dwustronny i test jednostronny mogą dać różne wartości p dla tych samych danych.

Przykład wartości p: interpretacja $p = 0.03$

Załóżmy, że szkoła porównuje nową metodę nauczania z obecną. Hipoteza zerowa mówi, że nowa metoda nie zmienia średnich wyników testów.

Po wykonaniu wybranego testu statystycznego otrzymano wynik $p = 0.03$.

Oto poprawna interpretacja:

Gdyby hipoteza zerowa była prawdziwa i gdyby założenia testu były rozsądne, dane tak odległe od „braku różnicy” lub jeszcze bardziej odległe pojawiałyby się w około $3\%$ przypadków.

To jest dowód przeciw hipotezie zerowej. Jeśli badacze przed analizą przyjęli poziom istotności $\alpha = 0.05$, uznaliby wynik za istotny statystycznie, ponieważ $0.03 < 0.05$.

Ale zwróć uwagę, czego to nie oznacza:

• Nie oznacza to, że istnieje $3\%$ szans, że hipoteza zerowa jest prawdziwa.
• Nie oznacza to, że nowa metoda nauczania ma duży efekt.
• Nie oznacza to, że wynik powtórzy się z prawdopodobieństwem $97\%$.

To są inne pytania.

Dlaczego wartości p są często źle odczytywane

Mała wartość p oznacza, że dane byłyby trudne do wyjaśnienia, gdyby hipoteza zerowa była dokładnie prawdziwa. To może być użyteczny dowód, ale nie mówi wszystkiego.

Bardzo mały efekt może dać małą wartość p, jeśli liczebność próby jest wystarczająco duża. Z drugiej strony ważny rzeczywisty efekt może nie dać małej wartości p, jeśli próba jest zbyt mała albo dane są zaszumione.

Dlatego wartość p należy odczytywać razem z wielkością efektu, przedziałami ufności i projektem badania.

Typowe błędy związane z wartością p

Błąd 1: Traktowanie wartości p jako $P(H_0 \mid \text{data})$

Wartość p oblicza się przy założeniu, że $H_0$ jest prawdziwa. Nie jest to prawdopodobieństwo, że $H_0$ jest prawdziwa po zobaczeniu danych.

Błąd 2: Utożsamianie istotności statystycznej z ważnością praktyczną

Istotność statystyczna oznacza tylko, że wynik przekroczył wybrany próg w ramach konkretnego testu. Nie mówi, czy efekt ma znaczenie w praktyce.

Błąd 3: Odczytywanie dużej wartości p jako dowodu braku efektu

Duża wartość p nie dowodzi prawdziwości hipotezy zerowej. Oznacza jedynie, że w tej analizie dane nie stanowią silnego dowodu przeciw niej. Badanie może nadal mieć zbyt małą moc, duży szum albo być źle dopasowane do pytania badawczego.

Błąd 4: Traktowanie $0.049$ i $0.051$ jako przeciwieństw

Te wartości są bardzo bliskie. Sztywny próg może być użyteczny przy podejmowaniu decyzji, ale sama siła dowodu zwykle zmienia się stopniowo, a nie skokowo przy zmianie o jedno miejsce po przecinku.

Kiedy wartości p są użyteczne

Wartości p stosuje się w formalnym testowaniu hipotez w wielu dziedzinach, w tym w eksperymentach, badaniach ankietowych, testach A/B, badaniach klinicznych i kontroli jakości.

Są najbardziej użyteczne wtedy, gdy hipoteza zerowa jest jasno określona, test został właściwie dobrany, a założenia modelu są przynajmniej w rozsądnym stopniu uzasadnione.

Jeśli te warunki są słabe, wartość p może wyglądać na precyzyjną, podczas gdy wniosek będzie niepewny.

Jak szybko interpretować wartość p

Gdy widzisz wartość p w artykule, raporcie lub wyniku programu, zadaj sobie po kolei następujące pytania:

1. Jaka dokładnie jest hipoteza zerowa?
2. Który test dał tę wartość p?
3. Czy założenia testu były rozsądne?
4. Jaka jest wielkość efektu i przedział ufności?
5. Czy próg istotności został wybrany przed analizą?

Ta krótka lista kontrolna pozwala uniknąć większości błędów interpretacyjnych.

Spróbuj podobnej interpretacji

Weź dowolny wynik opisany jako „istotny statystycznie” i zapisz go prostym językiem według schematu: „Gdyby hipoteza zerowa była prawdziwa, wyniki tak skrajne lub bardziej skrajne pojawiałyby się w około $p \times 100\%$ przypadków”. Następnie sprawdź, czy raport podaje także wielkość efektu lub przedział ufności. To najszybszy sposób, by przejść od śledzenia progów do rzeczywistej interpretacji.