Markov Zinciri — Geçiş Matrisi ve Uygulamaları

Markov zinciri, Güneşli ve Yağmurlu gibi durumlar arasında adım adım geçiş yapan bir sistemi modelleyen yapıdır. Temel kural şudur: Eğer modellediğiniz sistem için makul bir varsayımsa, bir sonraki adım yalnızca mevcut duruma bağlıdır.

Bu tek adımlık olasılıklar bir geçiş matrisinde toplanır. Süreç şu anda $i$ durumundaysa ve bir sonraki adımda $j$ durumuna $P_{ij}$ olasılığıyla geçiyorsa,

$$P = (P_{ij})$$

Sonlu bir Markov zincirinde, süreç izin verilen sonraki durumlardan birine gitmek zorunda olduğu için $P$ matrisinin her satırının toplamı $1$ olur.

Markov Özelliği Ne Anlama Gelir

Biçimsel ifade şudur:

$$P(X_{n+1} = j \mid X_n = i, X_{n-1}, \ldots, X_0) = P(X_{n+1} = j \mid X_n = i)$$

Bu, mevcut durumun $X_n = i$ olduğunu bildiğinizde, daha eski geçmişin modelde bir sonraki adım olasılığını değiştirmediğini söyler.

Bu koşul önemlidir. Bazı gerçek sistemlerde hafıza, eğilimler veya gecikmeli etkiler vardır; bu yüzden Markov zinciri ancak “mevcut durumu bilmek yeterlidir” yaklaşımı makul bir yaklaşık modelse iyi bir seçimdir.

Geçiş Matrisi Nasıl Okunur

Basit bir hava durumu modelinin iki durumu olduğunu varsayalım:

• Güneşli
• Yağmurlu

Şu geçiş matrisini kullanalım:

$$P = \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix}$$

Her satırı mevcut durum, her sütunu ise bir sonraki durum olarak okuyun.

Buna göre bugün Güneşli ise model, yarının $0.8$ olasılıkla Güneşli ve $0.2$ olasılıkla Yağmurlu olduğunu söyler. Bugün Yağmurlu ise yarının $0.4$ olasılıkla Güneşli ve $0.6$ olasılıkla Yağmurlu olduğunu söyler.

Çözümlü Örnek: İki Günlük Hava Durumu

Bugünkü dağılımın

$$\mathbf{v}_0 = \begin{bmatrix} 1 & 0 \end{bmatrix}$$

olduğunu varsayalım.

Bu, modelin $1$ olasılıkla Güneşli durumda başladığı anlamına gelir.

Yarının dağılımı

$$\mathbf{v}_1 = \mathbf{v}_0 P = \begin{bmatrix} 1 & 0 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix}$$

olur.

Yani bir adım sonra model, Güneşli için $80\%$, Yağmurlu için $20\%$ olasılık verir.

Bir adım daha sonra,

$$\mathbf{v}_2 = \mathbf{v}_1 P = \begin{bmatrix} 0.8 & 0.2 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.72 & 0.28 \end{bmatrix}$$

elde edilir.

Artık Güneşli olasılığı $0.72$, Yağmurlu olasılığı ise $0.28$ olur.

Buradaki asıl nokta sadece aritmetik değildir. Matris, tüm olasılık dağılımını her seferinde bir adım günceller; Markov zincirlerini tekrarlanan süreçler için kullanışlı yapan da budur.

Markov Zincirleri Nerelerde Kullanılır

Markov zincirleri, bir sistem aşamalar hâlinde değişiyorsa ve bir sonraki adımda ne olacağına dair olasılıkları bilmek istiyorsanız kullanışlıdır.

Yaygın örnekler arasında hava durumu modelleri, kutu oyunlarında hareket, kuyruk modelleri ve basitleştirilmiş web gezinmesi bulunur. Her durumda model ancak durumlar iyi seçilmişse ve geçiş olasılıkları gerçekçiyse işe yarar.

Markov Zincirlerinde Yaygın Hatalar

Her Rastgele Süreci Markov Sanmak

Bir süreç sırf rastgele olduğu için otomatik olarak Markov zinciri olmaz. Modelin işe yaraması için, bir sonraki adım davranışının tanımladığınız durumlara göre mevcut durum tarafından belirlenmesi gerekir.

Satırların Ne Anlama Geldiğini Unutmak

İnsanlar sık sık satırlarla sütunları karıştırır. Tutarlı bir kural kullanmanız gerekir. Bu sayfada satırlar mevcut durumları, sütunlar ise sonraki durumları gösterir.

Geçersiz Olasılıklar Kullanmak

Her giriş $0$ ile $1$ arasında olmalıdır ve sonlu bir Markov zincirinin standart geçiş matrisinde her satırın toplamı $1$ olmalıdır.

Modelin Tek Bir Kesin Gelecek Verdiğini Sanmak

Bir Markov zinciri genellikle kesinlik değil, olasılıklar verir. Bir durum daha olası olsa bile, birden fazla sonraki durum hâlâ mümkün olabilir.

Uzun Dönem Davranışı Zincire Bağlıdır

Bazı Markov zincirleri, çoğu zaman durağan dağılım denilen kararlı bir uzun dönem dağılımına yaklaşır. Ancak bu her zincirde gerçekleşmez ve ayrıntılar, durumların birbiriyle nasıl iletişim kurduğu ve hareket örüntüsünün periyodik olup olmadığı gibi özelliklere bağlıdır.

Bu yüzden, $P$ ile art arda çarpmayı uzun dönem davranışını incelemenin bir yolu olarak görmek doğrudur; ancak koşulları kontrol etmeden yakınsama varsaymamalısınız.

Markov Zinciri Ne Zaman İyi Bir Modeldir

Aşağıdakilerin tümü makul ölçüde doğruysa Markov zinciri kullanın:

• Süreç, yönetilebilir sayıda durumla tanımlanabiliyor olmalı.
• Zaman ayrık adımlarla ilerliyor olmalı ya da siz onu bu şekilde modellemeyi seçmiş olmalısınız.
• Bir sonraki adım olasılıkları anlamlı biçimde mevcut durum tarafından belirleniyor olmalı.

Bu koşullar sağlanmıyorsa model yine de kaba bir yaklaşım olabilir, ancak bunu açıkça belirtmelisiniz.

Kendi Versiyonunuzu Deneyin

Düşük, Orta ve Yüksek talep gibi üç durumlu bir model kurun. Her satırın toplamı $1$ olacak şekilde satır olasılıkları seçin, bir başlangıç dağılımı belirleyin ve $\mathbf{v}_{n+1} = \mathbf{v}_n P$ ile bir sonraki adımı hesaplayın. Daha ileri gitmek isterseniz ikinci bir güncelleme yapın ve dağılımın bir örüntüye oturmaya başlayıp başlamadığına bakın.