Rantai Markov — Matriks Transisi & Penerapannya

Rantai Markov adalah model untuk sistem yang berpindah antar-state selangkah demi selangkah, seperti Cerah dan Hujan. Aturan utamanya adalah bahwa langkah berikutnya hanya bergantung pada state saat ini, jika itu merupakan asumsi yang masuk akal untuk sistem yang sedang Anda modelkan.

Probabilitas satu langkah tersebut dikumpulkan dalam sebuah matriks transisi. Jika proses saat ini berada pada state $i$ dan berpindah ke state $j$ berikutnya dengan probabilitas $P_{ij}$, maka

$$P = (P_{ij})$$

Untuk rantai Markov hingga, setiap baris pada $P$ berjumlah $1$ karena proses harus berpindah ke salah satu state berikutnya yang diperbolehkan.

Apa Arti Sifat Markov

Gagasan formalnya adalah

$$P(X_{n+1} = j \mid X_n = i, X_{n-1}, \ldots, X_0) = P(X_{n+1} = j \mid X_n = i)$$

Ini berarti bahwa setelah Anda mengetahui state saat ini $X_n = i$, riwayat yang lebih lama tidak mengubah probabilitas langkah berikutnya dalam model.

Syarat ini penting. Beberapa sistem nyata memiliki memori, tren, atau efek tertunda, sehingga rantai Markov hanya cocok digunakan ketika "state saat ini sudah cukup" merupakan pendekatan yang masuk akal.

Cara Membaca Matriks Transisi

Misalkan sebuah model cuaca sederhana memiliki dua state:

• Cerah
• Hujan

Gunakan matriks transisi berikut:

$$P = \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix}$$

Baca setiap baris sebagai state saat ini dan setiap kolom sebagai state berikutnya.

Jadi jika hari ini Cerah, model menyatakan bahwa besok Cerah dengan probabilitas $0.8$ dan Hujan dengan probabilitas $0.2$. Jika hari ini Hujan, besok Cerah dengan probabilitas $0.4$ dan Hujan dengan probabilitas $0.6$.

Contoh Lengkap: Cuaca Selama Dua Hari

Misalkan distribusi hari ini adalah

$$\mathbf{v}_0 = \begin{bmatrix} 1 & 0 \end{bmatrix}$$

Ini berarti model dimulai pada state Cerah dengan probabilitas $1$.

Distribusi besok adalah

$$\mathbf{v}_1 = \mathbf{v}_0 P = \begin{bmatrix} 1 & 0 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix}$$

Jadi setelah satu langkah, model memberikan peluang Cerah sebesar $80\%$ dan peluang Hujan sebesar $20\%$.

Setelah satu langkah lagi,

$$\mathbf{v}_2 = \mathbf{v}_1 P = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.72 & 0.28 \end{bmatrix}$$

Sekarang probabilitas Cerah adalah $0.72$ dan probabilitas Hujan adalah $0.28$.

Intinya bukan hanya perhitungannya. Matriks tersebut memperbarui seluruh distribusi probabilitas selangkah demi selangkah, itulah sebabnya rantai Markov berguna untuk proses yang berulang.

Di Mana Rantai Markov Digunakan

Rantai Markov berguna ketika suatu sistem berubah secara bertahap dan Anda ingin mengetahui probabilitas dari apa yang terjadi berikutnya.

Contoh umum meliputi model cuaca, pergerakan dalam permainan papan, model antrean, dan navigasi web yang disederhanakan. Dalam setiap kasus, model ini hanya membantu jika state dipilih dengan baik dan probabilitas transisinya realistis.

Kesalahan Umum pada Rantai Markov

Menganggap Setiap Proses Acak Sebagai Markov

Suatu proses tidak otomatis menjadi rantai Markov hanya karena bersifat acak. Modelnya mengharuskan perilaku pada langkah berikutnya ditentukan oleh state saat ini sesuai dengan cara Anda mendefinisikan state.

Lupa Arti Baris

Orang sering tertukar antara baris dan kolom. Anda memerlukan konvensi yang konsisten. Pada halaman ini, baris adalah state saat ini dan kolom adalah state berikutnya.

Menggunakan Probabilitas yang Tidak Valid

Setiap entri harus berada di antara $0$ dan $1$, dan setiap baris harus berjumlah $1$ untuk matriks transisi standar dari rantai Markov hingga.

Menganggap Model Memprediksi Satu Masa Depan yang Pasti

Rantai Markov biasanya memberikan probabilitas, bukan kepastian. Meskipun satu state lebih mungkin terjadi, beberapa state berikutnya tetap bisa saja terjadi.

Perilaku Jangka Panjang Bergantung pada Rantainya

Beberapa rantai Markov cenderung menuju distribusi stabil jangka panjang, yang sering disebut distribusi stasioner. Namun hal itu tidak terjadi pada setiap rantai, dan rinciannya bergantung pada sifat-sifat rantai tersebut, seperti bagaimana state saling terhubung dan apakah pola perpindahannya periodik.

Jadi, tidak masalah jika Anda menganggap perkalian berulang dengan $P$ sebagai cara untuk mempelajari perilaku jangka panjang, tetapi Anda tidak boleh mengasumsikan konvergensi tanpa memeriksa syarat-syaratnya.

Kapan Rantai Markov Menjadi Model yang Baik

Gunakan rantai Markov ketika semua hal berikut cukup terpenuhi:

• Proses dapat dijelaskan dengan himpunan state yang masih dapat dikelola.
• Waktu bergerak dalam langkah-langkah diskret, atau Anda memilih untuk memodelkannya seperti itu.
• Probabilitas langkah berikutnya secara bermakna ditentukan oleh state saat ini.

Jika syarat-syarat tersebut tidak terpenuhi, model ini mungkin masih menjadi pendekatan kasar, tetapi Anda harus menyatakannya secara eksplisit.

Coba Versi Anda Sendiri

Buat model tiga state seperti permintaan Rendah, Sedang, dan Tinggi. Pilih probabilitas tiap baris yang masing-masing berjumlah $1$, tentukan distribusi awal, lalu hitung langkah berikutnya dengan $\mathbf{v}_{n+1} = \mathbf{v}_n P$. Jika ingin melangkah lebih jauh, coba pembaruan kedua dan lihat apakah distribusinya mulai membentuk pola tertentu.