Chaîne de Markov — matrice de transition et applications

Une chaîne de Markov est un modèle pour un système qui passe d’un état à un autre étape par étape, comme Ensoleillé et Pluvieux. La règle essentielle est que l’étape suivante dépend seulement de l’état actuel, si cette hypothèse est raisonnable pour le système que vous modélisez.

Ces probabilités à un pas sont regroupées dans une matrice de transition. Si le processus est actuellement dans l’état $i$ et passe ensuite à l’état $j$ avec la probabilité $P_{ij}$, alors

$$P = (P_{ij})$$

Pour une chaîne de Markov finie, chaque ligne de $P$ a une somme égale à $1$, car le processus doit passer vers l’un des états suivants autorisés.

Ce que signifie la propriété de Markov

L’idée formelle est

$$P(X_{n+1} = j \mid X_n = i, X_{n-1}, \ldots, X_0) = P(X_{n+1} = j \mid X_n = i)$$

Cela signifie qu’une fois l’état actuel $X_n = i$ connu, l’historique plus ancien ne modifie pas la probabilité de l’étape suivante dans le modèle.

Cette condition est importante. Certains systèmes réels ont de la mémoire, des tendances ou des effets retardés, donc une chaîne de Markov n’est un bon choix que lorsque l’approximation « l’état actuel suffit » est raisonnable.

Comment lire une matrice de transition

Supposons qu’un modèle météo simple ait deux états :

• Ensoleillé
• Pluvieux

Utilisez cette matrice de transition :

$$P = \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix}$$

Lisez chaque ligne comme l’état actuel et chaque colonne comme l’état suivant.

Donc, si aujourd’hui est Ensoleillé, le modèle dit que demain sera Ensoleillé avec la probabilité $0.8$ et Pluvieux avec la probabilité $0.2$. Si aujourd’hui est Pluvieux, demain sera Ensoleillé avec la probabilité $0.4$ et Pluvieux avec la probabilité $0.6$.

Exemple détaillé : la météo sur deux jours

Supposons que la distribution d’aujourd’hui soit

$$\mathbf{v}_0 = \begin{bmatrix} 1 & 0 \end{bmatrix}$$

Cela signifie que le modèle commence dans l’état Ensoleillé avec la probabilité $1$.

La distribution de demain est

$$\mathbf{v}_1 = \mathbf{v}_0 P = \begin{bmatrix} 1 & 0 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix}$$

Ainsi, après une étape, le modèle donne une probabilité de $80\%$ pour Ensoleillé et de $20\%$ pour Pluvieux.

Après une étape supplémentaire,

$$\mathbf{v}_2 = \mathbf{v}_1 P = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.72 & 0.28 \end{bmatrix}$$

Maintenant, la probabilité d’avoir Ensoleillé est $0.72$ et celle d’avoir Pluvieux est $0.28$.

L’intérêt ne se limite pas au calcul. La matrice met à jour toute la distribution de probabilité une étape à la fois, ce qui explique pourquoi les chaînes de Markov sont utiles pour les processus répétés.

Où les chaînes de Markov sont utilisées

Les chaînes de Markov sont utiles lorsqu’un système évolue par étapes et que vous voulez des probabilités sur ce qui se passe ensuite.

Parmi les exemples courants, on trouve les modèles météorologiques, les déplacements dans les jeux de plateau, les modèles de files d’attente et une navigation web simplifiée. Dans chaque cas, le modèle n’est utile que si les états sont bien choisis et si les probabilités de transition sont réalistes.

Erreurs fréquentes avec les chaînes de Markov

Considérer tout processus aléatoire comme markovien

Un processus ne devient pas automatiquement une chaîne de Markov simplement parce qu’il est aléatoire. Le modèle exige que le comportement à l’étape suivante soit déterminé par l’état actuel selon la manière dont vous avez défini les états.

Oublier ce que représentent les lignes

On confond souvent les lignes et les colonnes. Il faut adopter une convention cohérente. Sur cette page, les lignes correspondent aux états actuels et les colonnes aux états suivants.

Utiliser des probabilités invalides

Chaque entrée doit être comprise entre $0$ et $1$, et chaque ligne doit avoir une somme égale à $1$ pour une matrice de transition standard d’une chaîne de Markov finie.

Supposer que le modèle prédit un futur certain

Une chaîne de Markov donne généralement des probabilités, pas des certitudes. Même si un état est plus probable, plusieurs états suivants peuvent encore être possibles.

Le comportement à long terme dépend de la chaîne

Certaines chaînes de Markov tendent vers une distribution stable à long terme, souvent appelée distribution stationnaire. Mais cela ne se produit pas pour toutes les chaînes, et les détails dépendent de propriétés de la chaîne, comme la manière dont les états communiquent et le caractère périodique ou non du schéma de déplacement.

Il est donc raisonnable de voir les multiplications répétées par $P$ comme une façon d’étudier le comportement à long terme, mais il ne faut pas supposer la convergence sans vérifier les conditions.

Quand une chaîne de Markov est un bon modèle

Utilisez une chaîne de Markov lorsque toutes les conditions suivantes sont raisonnablement vraies :

• Le processus peut être décrit par un ensemble d’états de taille gérable.
• Le temps avance par étapes discrètes, ou vous avez choisi de le modéliser ainsi.
• Les probabilités de l’étape suivante sont déterminées de manière pertinente par l’état actuel.

Si ces conditions ne sont pas remplies, le modèle peut encore servir d’approximation grossière, mais il faut le dire explicitement.

Essayez votre propre version

Construisez un modèle à trois états, par exemple demande faible, moyenne et forte. Choisissez des probabilités par ligne dont la somme vaut chacune $1$, prenez une distribution initiale, puis calculez l’étape suivante avec $\mathbf{v}_{n+1} = \mathbf{v}_n P$. Si vous voulez aller plus loin, faites une deuxième mise à jour et voyez si la distribution commence à se stabiliser selon un certain schéma.