Cadeia de Markov — Matriz de Transição e Aplicações

Uma cadeia de Markov é um modelo para um sistema que passa de um estado para outro passo a passo, como Ensolarado e Chuvoso. A regra principal é que o próximo passo depende apenas do estado atual, se essa for uma suposição razoável para o sistema que você está modelando.

Essas probabilidades de um passo são reunidas em uma matriz de transição. Se o processo está no estado $i$ agora e vai para o estado $j$ em seguida com probabilidade $P_{ij}$, então

$$P = (P_{ij})$$

Para uma cadeia de Markov finita, cada linha de $P$ soma $1$, porque o processo precisa ir para um dos estados seguintes permitidos.

O Que Significa a Propriedade de Markov

A ideia formal é

$$P(X_{n+1} = j \mid X_n = i, X_{n-1}, \ldots, X_0) = P(X_{n+1} = j \mid X_n = i)$$

Isso diz que, uma vez conhecido o estado atual $X_n = i$, o histórico anterior não altera a probabilidade do próximo passo no modelo.

Essa condição importa. Alguns sistemas reais têm memória, tendências ou efeitos atrasados, então uma cadeia de Markov só é adequada quando “o estado atual basta” é uma aproximação razoável.

Como Ler Uma Matriz de Transição

Suponha que um modelo simples de clima tenha dois estados:

• Ensolarado
• Chuvoso

Use esta matriz de transição:

$$P = \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix}$$

Leia cada linha como o estado atual e cada coluna como o próximo estado.

Então, se hoje está Ensolarado, o modelo diz que amanhã estará Ensolarado com probabilidade $0.8$ e Chuvoso com probabilidade $0.2$. Se hoje está Chuvoso, amanhã estará Ensolarado com probabilidade $0.4$ e Chuvoso com probabilidade $0.6$.

Exemplo Resolvido: Clima ao Longo de Dois Dias

Suponha que a distribuição de hoje seja

$$\mathbf{v}_0 = \begin{bmatrix} 1 & 0 \end{bmatrix}$$

Isso significa que o modelo começa em Ensolarado com probabilidade $1$.

A distribuição de amanhã é

$$\mathbf{v}_1 = \mathbf{v}_0 P = \begin{bmatrix} 1 & 0 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix}$$

Então, após um passo, o modelo dá uma chance de $80\%$ de Ensolarado e uma chance de $20\%$ de Chuvoso.

Depois de mais um passo,

$$\mathbf{v}_2 = \mathbf{v}_1 P = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.72 & 0.28 \end{bmatrix}$$

Agora a probabilidade de Ensolarado é $0.72$ e a probabilidade de Chuvoso é $0.28$.

O ponto principal não é apenas a aritmética. A matriz atualiza toda a distribuição de probabilidades um passo de cada vez, e é por isso que as cadeias de Markov são úteis para processos repetidos.

Onde as Cadeias de Markov São Usadas

As cadeias de Markov são úteis quando um sistema muda em etapas e você quer probabilidades para o que acontece em seguida.

Exemplos comuns incluem modelos de clima, movimento em jogos de tabuleiro, modelos de filas e navegação simplificada na web. Em cada caso, o modelo só ajuda se os estados forem bem escolhidos e as probabilidades de transição forem realistas.

Erros Comuns em Cadeias de Markov

Tratar Qualquer Processo Aleatório Como Markoviano

Um processo não é automaticamente uma cadeia de Markov só porque é aleatório. O modelo exige que o comportamento do próximo passo seja determinado pelo estado atual da forma como você definiu os estados.

Esquecer o Que as Linhas Significam

As pessoas frequentemente confundem linhas e colunas. Você precisa de uma convenção consistente. Nesta página, as linhas são os estados atuais e as colunas são os próximos estados.

Usar Probabilidades Inválidas

Cada entrada deve estar entre $0$ e $1$, e cada linha deve somar $1$ em uma matriz de transição padrão de uma cadeia de Markov finita.

Supor Que o Modelo Prevê Um Único Futuro Certo

Uma cadeia de Markov normalmente fornece probabilidades, não certeza. Mesmo que um estado seja mais provável, vários estados seguintes ainda podem ser possíveis.

O Comportamento de Longo Prazo Depende da Cadeia

Algumas cadeias de Markov tendem a uma distribuição estável de longo prazo, muitas vezes chamada de distribuição estacionária. Mas isso não acontece em toda cadeia, e os detalhes dependem de propriedades da cadeia, como a forma como os estados se comunicam e se o padrão de movimento é periódico.

Então, tudo bem pensar na multiplicação repetida por $P$ como uma forma de estudar o comportamento de longo prazo, mas você não deve supor convergência sem verificar as condições.

Quando Uma Cadeia de Markov É Um Bom Modelo

Use uma cadeia de Markov quando tudo isso for razoavelmente verdadeiro:

• O processo pode ser descrito por um conjunto administrável de estados.
• O tempo avança em passos discretos, ou você escolheu modelá-lo dessa forma.
• As probabilidades do próximo passo são determinadas de maneira significativa pelo estado atual.

Se essas condições falharem, o modelo ainda pode ser uma aproximação grosseira, mas você deve dizer isso explicitamente.

Tente Sua Própria Versão

Monte um modelo com três estados, como demanda Baixa, Média e Alta. Escolha probabilidades nas linhas que somem $1$, escolha uma distribuição inicial e calcule o próximo passo com $\mathbf{v}_{n+1} = \mathbf{v}_n P$. Se quiser ir além, tente uma segunda atualização e veja se a distribuição começa a se estabilizar em um padrão.