Twierdzenie Bayesa — wzór, dowód i przykłady

Twierdzenie Bayesa mówi, jak zaktualizować prawdopodobieństwo po zaobserwowaniu nowych danych. Jeśli $P(B) > 0$, to

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

Odpowiada na bardzo konkretne pytanie: jeśli zaszło zdarzenie $B$, to jak prawdopodobne jest teraz zdarzenie $A$? Ta idea ma znaczenie w testach medycznych, filtrowaniu spamu i w każdej sytuacji, w której dane mogą wprowadzać w błąd, jeśli nie uwzględnisz też tego, jak częste było dane zdarzenie na początku.

Wzór na twierdzenie Bayesa prostym językiem

Twierdzenie Bayesa łączy trzy elementy:

• zacznij od tego, w co wierzyłeś przed pojawieniem się danych, czyli $P(A)$
• sprawdź, jak dobrze dane pasują do tego zdarzenia, czyli $P(B \mid A)$
• przeskaluj wynik przez to, jak często dane występują ogólnie, czyli $P(B)$

Wynik, czyli $P(A \mid B)$, nazywa się posterior, czyli prawdopodobieństwem a posteriori.

Co oznacza każda część wzoru

We wzorze

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

$P(A)$ to prior. Jest to początkowe prawdopodobieństwo zdarzenia $A$ przed uwzględnieniem nowych danych.

$P(B \mid A)$ to likelihood. Mówi, jak prawdopodobne są dane $B$, jeśli $A$ jest prawdziwe.

$P(B)$ to prawdopodobieństwo danych ogółem. Ten składnik jest ważny, ponieważ niektóre dane są częste nawet wtedy, gdy $A$ jest fałszywe.

$P(A \mid B)$ to posterior. Jest to zaktualizowane prawdopodobieństwo zdarzenia $A$ po uzyskaniu informacji, że zaszło $B$.

Dlaczego mianownik zmienia odpowiedź

Twierdzenie Bayesa nie tylko premiuje dane, które pasują do Twojej hipotezy. Pyta też, czy te same dane i tak nie pojawiają się często.

Dlatego mianownik $P(B)$ ma znaczenie. Jeśli dane są częste w wielu przypadkach, ich zaobserwowanie nie powinno bardzo zmieniać Twojego przekonania. Jeśli dane są rzadkie, z wyjątkiem sytuacji, gdy $A$ jest prawdziwe, mogą mocno przesunąć Twoją ocenę.

Krótki dowód z prawdopodobieństwa warunkowego

Załóżmy, że $P(B) > 0$ oraz tam, gdzie potrzeba, $P(A) > 0$. Z definicji prawdopodobieństwa warunkowego mamy

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}$$

oraz

$$P(B \mid A) = \frac{P(A \cap B)}{P(A)}$$

Z drugiego równania wynika, że

$$P(A \cap B) = P(B \mid A)P(A)$$

Podstaw to do pierwszego równania:

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

To właśnie jest twierdzenie Bayesa.

Przykład twierdzenia Bayesa: dodatni wynik testu medycznego

Załóżmy, że pewna choroba dotyczy $1\%$ populacji. Test ma czułość $99\%$ i odsetek wyników fałszywie dodatnich równy $5\%$.

Niech

• $D$ = osoba ma chorobę
• $+$ = wynik testu jest dodatni

Wtedy

$$P(D) = 0.01$$ $$P(+ \mid D) = 0.99$$ $$P(+ \mid D^c) = 0.05$$

Szukamy $P(D \mid +)$, czyli prawdopodobieństwa, że osoba rzeczywiście ma chorobę przy dodatnim wyniku testu.

Najpierw wyznaczmy całkowite prawdopodobieństwo wyniku dodatniego. Dodatni wynik może pojawić się na dwa sposoby: osoba ma chorobę i test wychodzi dodatni albo osoba nie ma choroby, a test mimo to wychodzi dodatni.

$$P(+) = P(+ \mid D)P(D) + P(+ \mid D^c)P(D^c)$$ $$P(+) = (0.99)(0.01) + (0.05)(0.99) = 0.0594$$

Teraz zastosujmy twierdzenie Bayesa:

$$P(D \mid +) = \frac{P(+ \mid D)P(D)}{P(+)} = \frac{(0.99)(0.01)}{0.0594}$$ $$P(D \mid +) = \frac{0.0099}{0.0594} = \frac{1}{6} \approx 0.167$$

Zatem prawdopodobieństwo rzeczywistego występowania choroby po jednym dodatnim wyniku testu wynosi około $16.7\%$, a nie $99\%$. Test jest dobry, ale choroba jest rzadka, więc większość dodatnich wyników nadal pochodzi z dużo większej grupy osób bez choroby.

To jest główna lekcja, którą wiele osób pomija: nawet dobry test może dawać umiarkowane prawdopodobieństwo a posteriori, jeśli dana choroba jest na początku rzadka.

Przydatna wersja twierdzenia Bayesa dla dwóch przypadków

Jeśli dane mogą pochodzić z dwóch dopełniających się przypadków, $A$ oraz $A^c$, to

$$P(B) = P(B \mid A)P(A) + P(B \mid A^c)P(A^c)$$

Po użyciu tego we wzorze Bayesa otrzymujemy

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B \mid A)P(A) + P(B \mid A^c)P(A^c)}$$

Ta postać jest często najbardziej praktyczna w zadaniach z dwoma przypadkami.

Typowe błędy w twierdzeniu Bayesa

Mylenie $P(A \mid B)$ z $P(B \mid A)$

Te prawdopodobieństwa zwykle nie są równe. Dodatni wynik testu może być bardzo prawdopodobny przy obecności choroby, a mimo to sama choroba może nadal być dość mało prawdopodobna po dodatnim wyniku.

Pomijanie częstości bazowej

Prior $P(A)$ ma znaczenie. Jeśli $A$ jest bardzo rzadkie, to nawet mocne dane mogą nie podnieść posterior tak wysoko, jak podpowiada intuicja.

Zbyt wąskie liczenie $P(B)$

Mianownik nie jest tylko „pozostałym” składnikiem. To całkowite prawdopodobieństwo danych i często wymaga zsumowania wkładów z wielu przypadków.

Używanie wzoru, gdy $P(B) = 0$

Twierdzenie Bayesa w tej postaci wymaga, aby $P(B) > 0$. Jeśli dane mają prawdopodobieństwo $0$, to prawdopodobieństwo warunkowe $P(A \mid B)$ nie jest określone przez podstawowy wzór.

Kiedy stosuje się twierdzenie Bayesa

Twierdzenie Bayesa pojawia się w testach medycznych, filtrowaniu spamu, analizie niezawodności, uczeniu maszynowym i wnioskowaniu naukowym. W każdym z tych przypadków pojawia się ta sama idea: aktualizacja przekonania po otrzymaniu nowych informacji.

Jest szczególnie przydatne wtedy, gdy ludzie mają tendencję do zbyt silnego reagowania na dane bez pytania, jak częste było dane zdarzenie na początku.

Spróbuj podobnego zadania z twierdzeniem Bayesa

Zachowaj ten sam test medyczny, ale zmień częstość choroby z $1\%$ na $10\%$. Czułość i odsetek wyników fałszywie dodatnich pozostają takie same, ale posterior zmienia się bardzo wyraźnie. Przepracowanie tej wersji to szybki sposób, by poczuć, dlaczego prior ma znaczenie.