P-τιμή — Τι σημαίνει και πώς να την ερμηνεύσετε

Η p-τιμή είναι ένας αριθμός από έναν στατιστικό έλεγχο που δείχνει πόσο ασυνήθιστο θα ήταν το αποτέλεσμά σας αν η μηδενική υπόθεση ήταν αληθής. Πιο συγκεκριμένα, είναι η πιθανότητα να προκύψει ένα αποτέλεσμα τουλάχιστον τόσο ακραίο όσο το παρατηρούμενο, σύμφωνα με το μηδενικό μοντέλο που χρησιμοποιεί ο έλεγχος.

Αυτό κάνει την p-τιμή έναν τρόπο να εκτιμήσετε πόσο έντονα τα δεδομένα αντιτίθενται στη μηδενική υπόθεση. Δεν σας λέει ποια είναι η πιθανότητα να είναι αληθής η μηδενική υπόθεση, ούτε αν το αποτέλεσμα είναι μεγάλο ή σημαντικό στην πράξη.

Σε τι απαντά πραγματικά μια p-τιμή

Στον έλεγχο υποθέσεων, ξεκινάτε με μια μηδενική υπόθεση, που συχνά γράφεται ως $H_0$. Αυτή είναι η βασική υπόθεση που ο έλεγχος θεωρεί αληθή για τον υπολογισμό.

Η p-τιμή απαντά στην εξής ερώτηση:

$$\text{If } H_0 \text{ were true, how unusual would data this extreme be?}$$

Αν η p-τιμή είναι μικρή, τα παρατηρούμενα δεδομένα θα ήταν σχετικά ασυνήθιστα υπό το $H_0$. Αν η p-τιμή δεν είναι μικρή, τα δεδομένα δεν είναι ιδιαίτερα ασυνήθιστα σύμφωνα με αυτό το μοντέλο.

Αυτό το συμπέρασμα εξαρτάται από τον έλεγχο, τις υποθέσεις στις οποίες βασίζεται και από το τι θεωρείται «τουλάχιστον τόσο ακραίο». Ένας αμφίπλευρος έλεγχος και ένας μονόπλευρος έλεγχος μπορούν να δώσουν διαφορετικές p-τιμές από τα ίδια δεδομένα.

Παράδειγμα p-τιμής: Ερμηνεία του $p = 0.03$

Ας υποθέσουμε ότι ένα σχολείο συγκρίνει μια νέα μέθοδο διδασκαλίας με την τρέχουσα. Η μηδενική υπόθεση είναι ότι η νέα μέθοδος δεν αλλάζει τον μέσο όρο των βαθμολογιών στα τεστ.

Αφού εκτελεστεί ο επιλεγμένος στατιστικός έλεγχος, το αποτέλεσμα είναι $p = 0.03$.

Η σωστή ερμηνεία είναι η εξής:

Αν η μηδενική υπόθεση ήταν αληθής, και αν οι παραδοχές του ελέγχου ήταν λογικές, δεδομένα τόσο μακριά από το «καμία διαφορά» ή ακόμη πιο μακριά θα εμφανίζονταν περίπου στο $3\%$ των περιπτώσεων.

Αυτό αποτελεί ένδειξη κατά της μηδενικής υπόθεσης. Αν οι ερευνητές είχαν επιλέξει επίπεδο σημαντικότητας $\alpha = 0.05$ πριν από την ανάλυση, θα χαρακτήριζαν το αποτέλεσμα στατιστικά σημαντικό, επειδή $0.03 < 0.05$.

Αλλά προσέξτε τι δεν σημαίνει αυτό:

• Δεν σημαίνει ότι υπάρχει πιθανότητα $3\%$ να είναι αληθής η μηδενική υπόθεση.
• Δεν σημαίνει ότι η νέα μέθοδος διδασκαλίας έχει μεγάλο αποτέλεσμα.
• Δεν σημαίνει ότι το αποτέλεσμα θα επαναληφθεί με πιθανότητα $97\%$.

Αυτά είναι διαφορετικά ερωτήματα.

Γιατί οι p-τιμές παρερμηνεύονται

Μια μικρή p-τιμή σημαίνει ότι τα δεδομένα θα ήταν δύσκολο να εξηγηθούν αν η μηδενική υπόθεση ήταν ακριβώς σωστή. Αυτό μπορεί να είναι χρήσιμη ένδειξη, αλλά δεν είναι όλη η εικόνα.

Ένα πολύ μικρό αποτέλεσμα μπορεί να δώσει μικρή p-τιμή όταν το μέγεθος δείγματος είναι αρκετά μεγάλο. Από την άλλη πλευρά, ένα πραγματικό και σημαντικό αποτέλεσμα μπορεί να μην οδηγήσει σε μικρή p-τιμή όταν το δείγμα είναι πολύ μικρό ή τα δεδομένα έχουν πολύ θόρυβο.

Γι’ αυτό η p-τιμή πρέπει να διαβάζεται μαζί με το μέγεθος επίδρασης, τα διαστήματα εμπιστοσύνης και τον σχεδιασμό της μελέτης.

Συνηθισμένα λάθη με τις p-τιμές

Λάθος 1: Αντιμετώπιση της p-τιμής ως $P(H_0 \mid \text{data})$

Η p-τιμή υπολογίζεται με την παραδοχή ότι το $H_0$ είναι αληθές. Δεν είναι η πιθανότητα να είναι αληθές το $H_0$ αφού δούμε τα δεδομένα.

Λάθος 2: Ταύτιση της στατιστικής σημαντικότητας με τη σημασία στην πράξη

Η στατιστική σημαντικότητα σημαίνει μόνο ότι το αποτέλεσμα πέρασε ένα επιλεγμένο όριο σε έναν συγκεκριμένο έλεγχο. Δεν σας λέει αν το αποτέλεσμα έχει πρακτική σημασία.

Λάθος 3: Ερμηνεία μιας μεγάλης p-τιμής ως απόδειξη μηδενικού αποτελέσματος

Μια μεγάλη p-τιμή δεν αποδεικνύει τη μηδενική υπόθεση. Σημαίνει μόνο ότι τα δεδομένα δεν αποτελούν ισχυρή ένδειξη εναντίον της σε αυτή την ανάλυση. Η μελέτη μπορεί ακόμη να έχει χαμηλή ισχύ, πολύ θόρυβο ή να μην ταιριάζει καλά στο ερώτημα.

Λάθος 4: Αντιμετώπιση των $0.049$ και $0.051$ ως αντίθετων αποτελεσμάτων

Αυτές οι τιμές είναι πολύ κοντά μεταξύ τους. Ένα αυστηρό όριο μπορεί να είναι χρήσιμο για αποφάσεις, αλλά η υποκείμενη ένδειξη συνήθως αλλάζει σταδιακά, όχι με ένα δραματικό άλμα σε ένα δεκαδικό ψηφίο.

Πότε οι p-τιμές είναι χρήσιμες

Οι p-τιμές χρησιμοποιούνται σε τυπικούς ελέγχους υποθέσεων σε πολλά πεδία, όπως πειράματα, έρευνες, A/B tests, κλινική έρευνα και έλεγχο ποιότητας.

Είναι πιο χρήσιμες όταν η μηδενική υπόθεση είναι σαφώς ορισμένη, ο έλεγχος έχει επιλεγεί σωστά και οι παραδοχές του μοντέλου είναι τουλάχιστον εύλογα υπερασπίσιμες.

Αν αυτές οι συνθήκες είναι αδύναμες, η p-τιμή μπορεί να φαίνεται ακριβής ενώ το συμπέρασμα είναι ασταθές.

Πώς να ερμηνεύσετε γρήγορα μια p-τιμή

Όταν βλέπετε μια p-τιμή σε άρθρο, αναφορά ή έξοδο λογισμικού, κάντε αυτές τις ερωτήσεις με τη σειρά:

1. Ποια ακριβώς είναι η μηδενική υπόθεση;
2. Ποιος έλεγχος παρήγαγε αυτή την p-τιμή;
3. Ήταν λογικές οι παραδοχές του ελέγχου;
4. Ποια είναι το μέγεθος επίδρασης και το διάστημα εμπιστοσύνης;
5. Είχε επιλεγεί το όριο σημαντικότητας πριν από την ανάλυση;

Αυτή η σύντομη λίστα ελέγχου αποτρέπει τα περισσότερα σφάλματα ερμηνείας.

Δοκιμάστε μια παρόμοια ερμηνεία

Πάρτε οποιοδήποτε αποτέλεσμα αναφέρεται ως «στατιστικά σημαντικό» και ξαναγράψτε το σε απλή γλώσσα με αυτό το μοτίβο: «Αν η μηδενική υπόθεση ήταν αληθής, αποτελέσματα τόσο ακραία ή πιο ακραία θα εμφανίζονταν περίπου στο $p \times 100\%$ των περιπτώσεων». Έπειτα ελέγξτε αν η αναφορά δίνει επίσης μέγεθος επίδρασης ή διάστημα εμπιστοσύνης. Αυτός είναι ο πιο γρήγορος τρόπος να περάσετε από την εμμονή με τα όρια στην πραγματική ερμηνεία.