Catena di Markov — Matrice di transizione e applicazioni

Una catena di Markov è un modello per un sistema che passa da uno stato all'altro passo dopo passo, come Sole e Pioggia. La regola chiave è che il passo successivo dipende solo dallo stato attuale, se questa è un'ipotesi ragionevole per il sistema che stai modellando.

Queste probabilità a un passo vengono raccolte in una matrice di transizione. Se il processo si trova ora nello stato $i$ e passa poi allo stato $j$ con probabilità $P_{ij}$, allora

$$P = (P_{ij})$$

Per una catena di Markov finita, ogni riga di $P$ ha somma pari a $1$ perché il processo deve passare a uno degli stati successivi consentiti.

Cosa Significa La Proprietà Di Markov

L'idea formale è

$$P(X_{n+1} = j \mid X_n = i, X_{n-1}, \ldots, X_0) = P(X_{n+1} = j \mid X_n = i)$$

Questo dice che, una volta noto lo stato attuale $X_n = i$, la storia precedente non cambia la probabilità del passo successivo nel modello.

Questa condizione è importante. Alcuni sistemi reali hanno memoria, tendenze o effetti ritardati, quindi una catena di Markov è adatta solo quando "lo stato attuale basta" è un'approssimazione ragionevole.

Come Leggere Una Matrice Di Transizione

Supponi che un semplice modello meteorologico abbia due stati:

• Sole
• Pioggia

Usa questa matrice di transizione:

$$P = \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix}$$

Leggi ogni riga come stato attuale e ogni colonna come stato successivo.

Quindi, se oggi c'è Sole, il modello dice che domani ci sarà Sole con probabilità $0.8$ e Pioggia con probabilità $0.2$. Se oggi c'è Pioggia, domani ci sarà Sole con probabilità $0.4$ e Pioggia con probabilità $0.6$.

Esempio Svolto: Il Meteo Su Due Giorni

Supponi che la distribuzione di oggi sia

$$\mathbf{v}_0 = \begin{bmatrix} 1 & 0 \end{bmatrix}$$

Questo significa che il modello parte da Sole con probabilità $1$.

La distribuzione di domani è

$$\mathbf{v}_1 = \mathbf{v}_0 P = \begin{bmatrix} 1 & 0 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix}$$

Quindi, dopo un passo, il modello dà una probabilità dell'$80\%$ di Sole e del $20\%$ di Pioggia.

Dopo un altro passo,

$$\mathbf{v}_2 = \mathbf{v}_1 P = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.72 & 0.28 \end{bmatrix}$$

Ora la probabilità di Sole è $0.72$ e la probabilità di Pioggia è $0.28$.

Il punto non è solo il calcolo. La matrice aggiorna l'intera distribuzione di probabilità un passo alla volta, ed è per questo che le catene di Markov sono utili per i processi ripetuti.

Dove Si Usano Le Catene Di Markov

Le catene di Markov sono utili quando un sistema cambia per fasi e vuoi probabilità su ciò che accade dopo.

Esempi comuni includono modelli meteorologici, movimento nei giochi da tavolo, modelli di code e navigazione web semplificata. In ogni caso, il modello è utile solo se gli stati sono scelti bene e le probabilità di transizione sono realistiche.

Errori Comuni Nelle Catene Di Markov

Trattare Qualsiasi Processo Casuale Come Markoviano

Un processo non è automaticamente una catena di Markov solo perché è casuale. Il modello richiede che il comportamento del passo successivo sia determinato dallo stato attuale nel modo in cui hai definito gli stati.

Dimenticare Cosa Significano Le Righe

Spesso si confondono righe e colonne. Serve una convenzione coerente. In questa pagina, le righe sono gli stati attuali e le colonne sono gli stati successivi.

Usare Probabilità Non Valide

Ogni elemento deve essere compreso tra $0$ e $1$, e ogni riga deve avere somma pari a $1$ per una matrice di transizione standard di una catena di Markov finita.

Supporre Che Il Modello Preveda Un Solo Futuro Certo

Una catena di Markov di solito fornisce probabilità, non certezze. Anche se uno stato è più probabile, possono comunque essere possibili più stati successivi.

Il Comportamento A Lungo Termine Dipende Dalla Catena

Alcune catene di Markov tendono verso una distribuzione stabile di lungo periodo, spesso chiamata distribuzione stazionaria. Ma questo non accade in ogni catena, e i dettagli dipendono da proprietà della catena, come il modo in cui gli stati comunicano e se il modello di movimento è periodico.

Quindi va bene pensare alla moltiplicazione ripetuta per $P$ come a un modo per studiare il comportamento di lungo periodo, ma non dovresti assumere la convergenza senza prima verificare le condizioni.

Quando Una Catena Di Markov È Un Buon Modello

Usa una catena di Markov quando tutte queste condizioni sono ragionevolmente vere:

• Il processo può essere descritto con un insieme gestibile di stati.
• Il tempo procede per passi discreti, oppure hai scelto di modellarlo in questo modo.
• Le probabilità del passo successivo sono determinate in modo significativo dallo stato attuale.

Se queste condizioni non valgono, il modello può comunque essere un'approssimazione grossolana, ma dovresti dirlo esplicitamente.

Prova La Tua Versione

Costruisci un modello a tre stati come domanda Bassa, Media e Alta. Scegli probabilità di riga che abbiano ciascuna somma pari a $1$, scegli una distribuzione iniziale e calcola il passo successivo con $\mathbf{v}_{n+1} = \mathbf{v}_n P$. Se vuoi andare oltre, prova un secondo aggiornamento e osserva se la distribuzione inizia a stabilizzarsi secondo uno schema.