Teorema di Bayes — Formula, Dimostrazione ed Esempi

Il teorema di Bayes ti dice come aggiornare una probabilità dopo aver osservato una nuova evidenza. Se $P(B) > 0$, allora

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

Risponde a una domanda molto precisa: dopo che si è verificato l'evento $B$, quanto è probabile ora l'evento $A$? L'idea è importante nei test medici, nel filtraggio dello spam e in qualunque situazione in cui l'evidenza possa essere fuorviante se non si considera anche quanto fosse comune l'evento all'inizio.

Formula del teorema di Bayes in parole semplici

Il teorema di Bayes combina tre elementi:

• parti da ciò che credevi prima dell'evidenza, $P(A)$
• chiediti quanto l'evidenza sia compatibile con quell'evento, $P(B \mid A)$
• ridimensiona in base a quanto l'evidenza sia comune nel complesso, $P(B)$

Il risultato, $P(A \mid B)$, si chiama probabilità a posteriori.

Che cosa significa ogni parte della formula

In

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

$P(A)$ è la probabilità a priori. È la tua probabilità iniziale per $A$ prima di usare la nuova evidenza.

$P(B \mid A)$ è la verosimiglianza. Ti dice quanto è probabile l'evidenza $B$ se $A$ è vero.

$P(B)$ è la probabilità complessiva dell'evidenza. Questo termine è importante perché alcune evidenze sono comuni anche quando $A$ è falso.

$P(A \mid B)$ è la probabilità a posteriori. È la probabilità aggiornata di $A$ dopo aver appreso che $B$ si è verificato.

Perché il denominatore cambia la risposta

Il teorema di Bayes non si limita a premiare un'evidenza che si adatta bene alla tua ipotesi. Chiede anche se quella stessa evidenza si presenti spesso comunque.

Per questo il denominatore $P(B)$ è importante. Se l'evidenza è comune in molti casi, osservarla non dovrebbe cambiare molto la tua convinzione. Se invece l'evidenza è rara tranne quando $A$ è vero, può modificare molto la tua convinzione.

Breve dimostrazione dalla probabilità condizionata

Supponi $P(B) > 0$ e $P(A) > 0$ dove necessario. Per definizione di probabilità condizionata,

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}$$

e

$$P(B \mid A) = \frac{P(A \cap B)}{P(A)}$$

Dalla seconda equazione,

$$P(A \cap B) = P(B \mid A)P(A)$$

Sostituisci questo nella prima equazione:

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

Questo è il teorema di Bayes.

Esempio svolto del teorema di Bayes: un test medico positivo

Supponi che una malattia colpisca l'$1\%$ di una popolazione. Un test ha sensibilità del $99\%$ e un tasso di falsi positivi del $5\%$.

Sia

• $D$ = la persona ha la malattia
• $+$ = il test è positivo

Allora

$$P(D) = 0.01$$ $$P(+ \mid D) = 0.99$$ $$P(+ \mid D^c) = 0.05$$

Vogliamo $P(D \mid +)$, la probabilità che una persona abbia davvero la malattia dato un test positivo.

Per prima cosa troviamo la probabilità complessiva di un risultato positivo. Un test positivo può verificarsi in due modi: la persona ha la malattia e risulta positiva, oppure la persona non ha la malattia ma risulta comunque positiva.

$$P(+) = P(+ \mid D)P(D) + P(+ \mid D^c)P(D^c)$$ $$P(+) = (0.99)(0.01) + (0.05)(0.99) = 0.0594$$

Ora applichiamo il teorema di Bayes:

$$P(D \mid +) = \frac{P(+ \mid D)P(D)}{P(+)} = \frac{(0.99)(0.01)}{0.0594}$$ $$P(D \mid +) = \frac{0.0099}{0.0594} = \frac{1}{6} \approx 0.167$$

Quindi la probabilità di avere davvero la malattia dopo un test positivo è circa $16.7\%$, non $99\%$. Il test è valido, ma la malattia è rara, quindi la maggior parte dei risultati positivi proviene comunque dal gruppo molto più grande di persone senza la malattia.

Questa è la lezione principale che molte persone non colgono: anche un test valido può produrre una probabilità a posteriori modesta quando la condizione è rara fin dall'inizio.

Una utile versione a due casi del teorema di Bayes

Se l'evidenza può provenire da due casi complementari, $A$ e $A^c$, allora

$$P(B) = P(B \mid A)P(A) + P(B \mid A^c)P(A^c)$$

Usando questo nel teorema di Bayes si ottiene

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B \mid A)P(A) + P(B \mid A^c)P(A^c)}$$

Questa forma è spesso la più pratica nei problemi con due casi.

Errori comuni nel teorema di Bayes

Confondere $P(A \mid B)$ e $P(B \mid A)$

Queste probabilità di solito non sono uguali. Un test positivo può essere molto probabile quando una malattia è presente, mentre la malattia può comunque restare abbastanza improbabile dopo un test positivo.

Ignorare il tasso di base

La probabilità a priori $P(A)$ conta. Se $A$ è molto raro, anche un'evidenza forte potrebbe non far salire la probabilità a posteriori quanto l'intuizione si aspetta.

Calcolare $P(B)$ in modo troppo ristretto

Il denominatore non è solo un termine residuo. È la probabilità totale dell'evidenza e spesso richiede di sommare i contributi di più casi.

Usare la formula quando $P(B) = 0$

Il teorema di Bayes in questa forma richiede $P(B) > 0$. Se l'evidenza ha probabilità $0$, la probabilità condizionata $P(A \mid B)$ non è definita dalla formula di base.

Quando si usa il teorema di Bayes

Il teorema di Bayes compare nei test medici, nel filtraggio dello spam, nell'analisi di affidabilità, nel machine learning e nell'inferenza scientifica. In ogni caso compare la stessa idea: aggiornare una convinzione quando arriva una nuova informazione.

È particolarmente utile quando le persone tendono a reagire troppo all'evidenza senza chiedersi quanto fosse comune l'evento in partenza.

Prova un problema simile sul teorema di Bayes

Mantieni lo stesso test medico, ma cambia il tasso della malattia dall'$1\%$ al $10\%$. La sensibilità e il tasso di falsi positivi restano gli stessi, ma la probabilità a posteriori cambia molto. Svolgere questa variante una volta è un modo rapido per capire perché la probabilità a priori conta.