Cadena de Markov — Matriz de transición y aplicaciones

Una cadena de Markov es un modelo para un sistema que pasa de un estado a otro paso a paso, como Soleado y Lluvioso. La regla clave es que el siguiente paso depende solo del estado actual, si esa es una suposición razonable para el sistema que estás modelando.

Esas probabilidades de un paso se reúnen en una matriz de transición. Si el proceso está ahora en el estado $i$ y pasa al estado $j$ después con probabilidad $P_{ij}$, entonces

$$P = (P_{ij})$$

Para una cadena de Markov finita, cada fila de $P$ suma $1$ porque el proceso debe pasar a uno de los estados siguientes permitidos.

Qué Significa La Propiedad De Markov

La idea formal es

$$P(X_{n+1} = j \mid X_n = i, X_{n-1}, \ldots, X_0) = P(X_{n+1} = j \mid X_n = i)$$

Esto dice que, una vez que conoces el estado actual $X_n = i$, el historial anterior no cambia la probabilidad del siguiente paso en el modelo.

Esa condición importa. Algunos sistemas reales tienen memoria, tendencias o efectos retardados, así que una cadena de Markov solo encaja bien cuando “el estado actual es suficiente” es una aproximación razonable.

Cómo Leer Una Matriz De Transición

Supón que un modelo simple del clima tiene dos estados:

• Soleado
• Lluvioso

Usa esta matriz de transición:

$$P = \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix}$$

Lee cada fila como el estado actual y cada columna como el estado siguiente.

Entonces, si hoy está Soleado, el modelo dice que mañana estará Soleado con probabilidad $0.8$ y Lluvioso con probabilidad $0.2$. Si hoy está Lluvioso, mañana estará Soleado con probabilidad $0.4$ y Lluvioso con probabilidad $0.6$.

Ejemplo Resuelto: El Clima Durante Dos Días

Supón que la distribución de hoy es

$$\mathbf{v}_0 = \begin{bmatrix} 1 & 0 \end{bmatrix}$$

Esto significa que el modelo empieza en Soleado con probabilidad $1$.

La distribución de mañana es

$$\mathbf{v}_1 = \mathbf{v}_0 P = \begin{bmatrix} 1 & 0 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix}$$

Así que, después de un paso, el modelo da una probabilidad del $80\%$ de Soleado y una probabilidad del $20\%$ de Lluvioso.

Después de un paso más,

$$\mathbf{v}_2 = \mathbf{v}_1 P = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.72 & 0.28 \end{bmatrix}$$

Ahora la probabilidad de Soleado es $0.72$ y la probabilidad de Lluvioso es $0.28$.

La idea no es solo la aritmética. La matriz actualiza toda la distribución de probabilidad paso a paso, y por eso las cadenas de Markov son útiles para procesos repetidos.

Dónde Se Usan Las Cadenas De Markov

Las cadenas de Markov son útiles cuando un sistema cambia por etapas y quieres probabilidades sobre lo que ocurre después.

Algunos ejemplos comunes son los modelos meteorológicos, el movimiento en juegos de mesa, los modelos de colas y la navegación web simplificada. En cada caso, el modelo solo ayuda si los estados están bien elegidos y las probabilidades de transición son realistas.

Errores Comunes En Cadenas De Markov

Tratar Cualquier Proceso Aleatorio Como Markoviano

Un proceso no es automáticamente una cadena de Markov solo porque sea aleatorio. El modelo necesita que el comportamiento del siguiente paso esté determinado por el estado actual de la forma en que definiste los estados.

Olvidar Qué Significan Las Filas

A menudo la gente confunde filas y columnas. Necesitas una convención consistente. En esta página, las filas son estados actuales y las columnas son estados siguientes.

Usar Probabilidades Inválidas

Cada entrada debe estar entre $0$ y $1$, y cada fila debe sumar $1$ en una matriz de transición estándar de una cadena de Markov finita.

Suponer Que El Modelo Predice Un Único Futuro Seguro

Una cadena de Markov normalmente da probabilidades, no certezas. Aunque un estado sea más probable, todavía pueden ser posibles varios estados siguientes.

El Comportamiento A Largo Plazo Depende De La Cadena

Algunas cadenas de Markov tienden a una distribución estable a largo plazo, a menudo llamada distribución estacionaria. Pero eso no ocurre en todas las cadenas, y los detalles dependen de propiedades de la cadena, como cómo se comunican los estados y si el patrón de movimiento es periódico.

Así que está bien pensar en la multiplicación repetida por $P$ como una forma de estudiar el comportamiento a largo plazo, pero no debes suponer convergencia sin comprobar las condiciones.

Cuándo Una Cadena De Markov Es Un Buen Modelo

Usa una cadena de Markov cuando todo esto sea razonablemente cierto:

• El proceso puede describirse con un conjunto manejable de estados.
• El tiempo avanza en pasos discretos, o has elegido modelarlo de esa manera.
• Las probabilidades del siguiente paso están determinadas de forma significativa por el estado actual.

Si esas condiciones fallan, el modelo todavía puede ser una aproximación aproximada, pero deberías decirlo explícitamente.

Prueba Tu Propia Versión

Construye un modelo de tres estados, como demanda Baja, Media y Alta. Elige probabilidades por fila que sumen $1$, escoge una distribución inicial y calcula el siguiente paso con $\mathbf{v}_{n+1} = \mathbf{v}_n P$. Si quieres ir más allá, prueba una segunda actualización y observa si la distribución empieza a estabilizarse en un patrón.