P-Wert — Bedeutung und richtige Interpretation

Ein p-Wert ist eine Zahl aus einem statistischen Test, die angibt, wie ungewöhnlich Ihr Ergebnis wäre, wenn die Nullhypothese wahr wäre. Genauer gesagt ist er die Wahrscheinlichkeit, unter dem vom Test verwendeten Nullmodell ein Ergebnis zu erhalten, das mindestens so extrem ist wie das beobachtete.

Damit ist der p-Wert ein Maß dafür, wie stark die Daten gegen die Nullhypothese sprechen. Er sagt nicht, wie wahrscheinlich es ist, dass die Nullhypothese wahr ist, und er sagt auch nicht, ob der Effekt groß oder praktisch bedeutsam ist.

Was ein P-Wert tatsächlich beantwortet

Beim Hypothesentesten beginnt man mit einer Nullhypothese, oft geschrieben als $H_0$. Das ist die Ausgangsannahme, die der Test für die Berechnung als wahr behandelt.

Der p-Wert beantwortet diese Frage:

$$\text{If } H_0 \text{ were true, how unusual would data this extreme be?}$$

Ist der p-Wert klein, dann wären die beobachteten Daten unter $H_0$ relativ ungewöhnlich. Ist der p-Wert nicht klein, dann sind die Daten unter diesem Modell nicht besonders ungewöhnlich.

Diese Schlussfolgerung hängt vom Test, von seinen Annahmen und davon ab, was als „mindestens so extrem“ gilt. Ein zweiseitiger Test und ein einseitiger Test können aus denselben Daten unterschiedliche p-Werte liefern.

P-Wert-Beispiel: Interpretation von $p = 0.03$

Angenommen, eine Schule vergleicht eine neue Unterrichtsmethode mit der bisherigen. Die Nullhypothese lautet, dass die neue Methode keinen Unterschied bei den durchschnittlichen Testergebnissen macht.

Nach Durchführung des gewählten statistischen Tests ergibt sich $p = 0.03$.

Die richtige Interpretation lautet:

Wenn die Nullhypothese wahr wäre und wenn die Testannahmen vernünftig wären, dann würden Daten, die so weit von „kein Unterschied“ oder noch weiter entfernt sind, in etwa $3\%$ der Fälle auftreten.

Das ist ein Hinweis gegen die Nullhypothese. Wenn die Forschenden vor der Analyse ein Signifikanzniveau von $\alpha = 0.05$ festgelegt haben, würden sie das Ergebnis als statistisch signifikant bezeichnen, weil $0.03 < 0.05$.

Wichtig ist aber, was das nicht bedeutet:

• Es bedeutet nicht, dass die Wahrscheinlichkeit, dass die Nullhypothese wahr ist, bei $3\%$ liegt.
• Es bedeutet nicht, dass die neue Unterrichtsmethode einen großen Effekt hat.
• Es bedeutet nicht, dass sich das Ergebnis mit einer Wahrscheinlichkeit von $97\%$ replizieren lässt.

Das sind andere Fragen.

Warum P-Werte oft falsch gelesen werden

Ein kleiner p-Wert bedeutet, dass die Daten schwer zu erklären wären, wenn die Nullhypothese exakt richtig wäre. Das kann ein nützlicher Hinweis sein, aber es ist nicht die ganze Geschichte.

Ein sehr kleiner Effekt kann einen kleinen p-Wert erzeugen, wenn die Stichprobe groß genug ist. Umgekehrt kann ein wichtiger realer Effekt keinen kleinen p-Wert erreichen, wenn die Stichprobe zu klein ist oder die Daten stark rauschen.

Deshalb sollte ein p-Wert immer zusammen mit Effektgröße, Konfidenzintervallen und Studiendesign gelesen werden.

Häufige Fehler bei P-Werten

Fehler 1: Den P-Wert als $P(H_0 \mid \text{data})$ behandeln

Der p-Wert wird unter der Annahme berechnet, dass $H_0$ wahr ist. Er ist nicht die Wahrscheinlichkeit, dass $H_0$ nach Sichtung der Daten wahr ist.

Fehler 2: Statistische Signifikanz mit Wichtigkeit gleichsetzen

Statistische Signifikanz bedeutet nur, dass das Ergebnis unter einem bestimmten Test einen gewählten Schwellenwert überschritten hat. Sie sagt nicht, ob der Effekt in der Praxis relevant ist.

Fehler 3: Einen großen P-Wert als Beweis für keinen Effekt lesen

Ein großer p-Wert beweist die Nullhypothese nicht. Er bedeutet nur, dass die Daten in dieser Analyse kein starkes Gegenargument liefern. Die Studie kann trotzdem zu wenig Teststärke haben, verrauscht sein oder schlecht zur Fragestellung passen.

Fehler 4: $0.049$ und $0.051$ als Gegensätze behandeln

Diese Werte liegen sehr nah beieinander. Ein harter Grenzwert kann für Entscheidungen nützlich sein, aber die zugrunde liegende Evidenz ändert sich meist allmählich und nicht sprunghaft an einer einzigen Dezimalstelle.

Wann P-Werte nützlich sind

P-Werte werden in formalen Hypothesentests in vielen Bereichen verwendet, darunter Experimente, Umfragen, A/B-Tests, klinische Forschung und Qualitätskontrolle.

Am nützlichsten sind sie, wenn die Nullhypothese klar definiert ist, der Test passend gewählt wurde und die Annahmen hinter dem Modell zumindest einigermaßen gut begründet sind.

Sind diese Bedingungen schwach, kann der p-Wert präzise wirken, obwohl die Schlussfolgerung unsicher ist.

So interpretiert man einen P-Wert schnell

Wenn Sie in einer Studie, einem Bericht oder einer Software-Ausgabe einen p-Wert sehen, stellen Sie sich diese Fragen in dieser Reihenfolge:

1. Was genau ist die Nullhypothese?
2. Welcher Test hat diesen p-Wert erzeugt?
3. Waren die Testannahmen vernünftig?
4. Wie groß sind Effektgröße und Konfidenzintervall?
5. Wurde der Signifikanzgrenzwert vor der Analyse festgelegt?

Diese kurze Checkliste verhindert die meisten Interpretationsfehler.

Versuchen Sie eine ähnliche Interpretation

Nehmen Sie ein beliebiges Ergebnis, das als „statistisch signifikant“ berichtet wird, und formulieren Sie es in einfacher Sprache nach diesem Muster um: „Wenn die Nullhypothese wahr wäre, dann würden Ergebnisse, die so extrem oder extremer sind, in etwa $p \times 100\%$ der Fälle auftreten.“ Prüfen Sie dann, ob der Bericht auch eine Effektgröße oder ein Konfidenzintervall angibt. Das ist der schnellste Weg, um von bloßem Grenzwert-Denken zu echter Interpretation zu kommen.