Θεώρημα του Bayes — Τύπος, Απόδειξη και Παραδείγματα

Το θεώρημα του Bayes σου δείχνει πώς να ενημερώνεις μια πιθανότητα αφού δεις νέα δεδομένα. Αν $P(B) > 0$, τότε

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

Απαντά σε ένα πολύ συγκεκριμένο ερώτημα: αφού έχει συμβεί το γεγονός $B$, πόσο πιθανό είναι τώρα το γεγονός $A$; Η ιδέα είναι σημαντική σε ιατρικά τεστ, στο φιλτράρισμα ανεπιθύμητης αλληλογραφίας και σε κάθε περίπτωση όπου τα δεδομένα μπορεί να είναι παραπλανητικά, αν δεν λάβεις υπόψη και το πόσο συχνό ήταν εξαρχής το γεγονός.

Ο τύπος του θεωρήματος του Bayes με απλά λόγια

Το θεώρημα του Bayes συνδυάζει τρία στοιχεία:

• ξεκινάς με αυτό που πίστευες πριν από τα δεδομένα, $P(A)$
• εξετάζεις πόσο συμβατά είναι τα δεδομένα με αυτό το γεγονός, $P(B \mid A)$
• προσαρμόζεις με βάση το πόσο συχνά εμφανίζονται συνολικά τα δεδομένα, $P(B)$

Το αποτέλεσμα, $P(A \mid B)$, λέγεται εκ των υστέρων πιθανότητα.

Τι σημαίνει κάθε μέρος του τύπου

Στο

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

το $P(A)$ είναι η αρχική πιθανότητα. Είναι η αρχική σου εκτίμηση για το $A$ πριν χρησιμοποιήσεις τα νέα δεδομένα.

Το $P(B \mid A)$ είναι η πιθανοφάνεια. Σου λέει πόσο πιθανό είναι να εμφανιστούν τα δεδομένα $B$ αν το $A$ είναι αληθές.

Το $P(B)$ είναι η συνολική πιθανότητα των δεδομένων. Αυτός ο όρος έχει σημασία, γιατί κάποια δεδομένα είναι συχνά ακόμη και όταν το $A$ είναι ψευδές.

Το $P(A \mid B)$ είναι η εκ των υστέρων πιθανότητα. Είναι η ενημερωμένη πιθανότητα του $A$ αφού μάθεις ότι συνέβη το $B$.

Γιατί ο παρονομαστής αλλάζει την απάντηση

Το θεώρημα του Bayes δεν επιβραβεύει απλώς δεδομένα που ταιριάζουν με την υπόθεσή σου. Εξετάζει επίσης αν αυτά τα ίδια δεδομένα εμφανίζονται συχνά έτσι κι αλλιώς.

Γι’ αυτό ο παρονομαστής $P(B)$ έχει σημασία. Αν τα δεδομένα είναι συνηθισμένα σε πολλές περιπτώσεις, η παρατήρησή τους δεν πρέπει να αλλάξει πολύ την πεποίθησή σου. Αν τα δεδομένα είναι σπάνια εκτός από την περίπτωση όπου το $A$ είναι αληθές, τότε μπορούν να αλλάξουν πολύ την εκτίμησή σου.

Σύντομη απόδειξη από τη δεσμευμένη πιθανότητα

Υπόθεσε ότι $P(B) > 0$ και $P(A) > 0$ όπου χρειάζεται. Από τον ορισμό της δεσμευμένης πιθανότητας,

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}$$

και

$$P(B \mid A) = \frac{P(A \cap B)}{P(A)}$$

Από τη δεύτερη εξίσωση,

$$P(A \cap B) = P(B \mid A)P(A)$$

Αντικατέστησε αυτό στην πρώτη εξίσωση:

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

Αυτό είναι το θεώρημα του Bayes.

Λυμένο παράδειγμα θεωρήματος του Bayes: ένα θετικό ιατρικό τεστ

Έστω ότι μια ασθένεια επηρεάζει το $1\%$ ενός πληθυσμού. Ένα τεστ έχει ευαισθησία $99\%$ και ποσοστό ψευδώς θετικών $5\%$.

Θέτουμε

• $D$ = το άτομο έχει την ασθένεια
• $+$ = το τεστ είναι θετικό

Τότε

$$P(D) = 0.01$$ $$P(+ \mid D) = 0.99$$ $$P(+ \mid D^c) = 0.05$$

Θέλουμε το $P(D \mid +)$, δηλαδή την πιθανότητα ένα άτομο να έχει πράγματι την ασθένεια δεδομένου ότι το τεστ βγήκε θετικό.

Πρώτα βρίσκουμε τη συνολική πιθανότητα ενός θετικού αποτελέσματος. Ένα θετικό τεστ μπορεί να συμβεί με δύο τρόπους: το άτομο έχει την ασθένεια και βγαίνει θετικό ή το άτομο δεν έχει την ασθένεια και πάλι βγαίνει θετικό.

$$P(+) = P(+ \mid D)P(D) + P(+ \mid D^c)P(D^c)$$ $$P(+) = (0.99)(0.01) + (0.05)(0.99) = 0.0594$$

Τώρα εφαρμόζουμε το θεώρημα του Bayes:

$$P(D \mid +) = \frac{P(+ \mid D)P(D)}{P(+)} = \frac{(0.99)(0.01)}{0.0594}$$ $$P(D \mid +) = \frac{0.0099}{0.0594} = \frac{1}{6} \approx 0.167$$

Άρα η πιθανότητα να έχει πράγματι την ασθένεια μετά από ένα θετικό τεστ είναι περίπου $16.7\%$, όχι $99\%$. Το τεστ είναι ισχυρό, αλλά η ασθένεια είναι σπάνια, οπότε τα περισσότερα θετικά αποτελέσματα προέρχονται πάλι από τη πολύ μεγαλύτερη ομάδα χωρίς την ασθένεια.

Αυτό είναι το βασικό μάθημα που πολλοί χάνουν: ακόμη και ένα ισχυρό τεστ μπορεί να δώσει μέτρια εκ των υστέρων πιθανότητα όταν η κατάσταση είναι εξαρχής σπάνια.

Μια χρήσιμη εκδοχή του θεωρήματος του Bayes για δύο περιπτώσεις

Αν τα δεδομένα μπορούν να προέλθουν από δύο συμπληρωματικές περιπτώσεις, $A$ και $A^c$, τότε

$$P(B) = P(B \mid A)P(A) + P(B \mid A^c)P(A^c)$$

Χρησιμοποιώντας αυτό στο θεώρημα του Bayes παίρνουμε

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B \mid A)P(A) + P(B \mid A^c)P(A^c)}$$

Αυτή η μορφή είναι συχνά η πιο πρακτική σε προβλήματα με δύο περιπτώσεις.

Συνηθισμένα λάθη στο θεώρημα του Bayes

Μπέρδεμα του $P(A \mid B)$ με το $P(B \mid A)$

Αυτές οι πιθανότητες συνήθως δεν είναι ίσες. Ένα θετικό τεστ μπορεί να είναι πολύ πιθανό όταν υπάρχει μια ασθένεια, ενώ η ασθένεια μπορεί να παραμένει αρκετά απίθανη μετά από ένα θετικό τεστ.

Αγνόηση της βασικής συχνότητας

Η αρχική πιθανότητα $P(A)$ έχει σημασία. Αν το $A$ είναι πολύ σπάνιο, τότε ακόμη και ισχυρά δεδομένα μπορεί να μην ανεβάσουν την εκ των υστέρων πιθανότητα όσο περιμένει η διαίσθηση.

Υπολογισμός του $P(B)$ πολύ στενά

Ο παρονομαστής δεν είναι απλώς ένας όρος που περίσσεψε. Είναι η συνολική πιθανότητα των δεδομένων και συχνά απαιτεί να προστεθούν συνεισφορές από πολλές περιπτώσεις.

Χρήση του τύπου όταν $P(B) = 0$

Το θεώρημα του Bayes σε αυτή τη μορφή απαιτεί $P(B) > 0$. Αν τα δεδομένα έχουν πιθανότητα $0$, η δεσμευμένη πιθανότητα $P(A \mid B)$ δεν ορίζεται από τον βασικό τύπο.

Πού χρησιμοποιείται το θεώρημα του Bayes

Το θεώρημα του Bayes εμφανίζεται σε ιατρικά τεστ, στο φιλτράρισμα ανεπιθύμητης αλληλογραφίας, στην ανάλυση αξιοπιστίας, στη μηχανική μάθηση και στη στατιστική συμπερασματολογία. Σε κάθε περίπτωση εμφανίζεται η ίδια ιδέα: ενημερώνεις μια πεποίθηση όταν φτάνει νέα πληροφορία.

Είναι ιδιαίτερα χρήσιμο όταν οι άνθρωποι τείνουν να αντιδρούν υπερβολικά στα δεδομένα χωρίς να ρωτούν πόσο συχνό ήταν εξαρχής το γεγονός.

Δοκίμασε ένα παρόμοιο πρόβλημα με το θεώρημα του Bayes

Κράτησε το ίδιο ιατρικό τεστ, αλλά άλλαξε το ποσοστό της ασθένειας από $1\%$ σε $10\%$. Η ευαισθησία και το ποσοστό ψευδώς θετικών μένουν ίδια, αλλά η εκ των υστέρων πιθανότητα αλλάζει πολύ. Αν λύσεις αυτή την εκδοχή μία φορά, θα καταλάβεις γρήγορα γιατί η αρχική πιθανότητα έχει σημασία.