5 rantai markov diskrit
TRANSCRIPT
![Page 1: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/1.jpg)
5. RANTAI MARKOV WAKTU DISKRIT
1Prostok-5-firda
![Page 2: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/2.jpg)
5.1 Definisi
Misal ( ) , 0,1, 2,...X n n proses stokastik dengan
indeks parameter diskrit dan ruang keadaan
,...2,1,0i memenuhi
0 1 1( 1) | (0) , (1) ,..., ( 1) , ( )nP X n j X i X i X n i X n i
( 1) | ( ) ijP X n j X n i p (5.1)
0 1 1, ,..., , , ,dan ,ni i i i j n maka proses dinamakan
Rantai Markov parameter diskrit, dan ijp disebut
peluang transisi. 2Prostok-5-firda
![Page 3: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/3.jpg)
1. Catat bahwa, ( )X n i menyatakan proses berada dalam keadaan i (i = 0 ,1, 2,…) pada waktu n (n = 0,1,2,…).
2. Nama rantai Markov ini diambil dari nama Andrei Markov (1856-1922) yang pertama meneliti kelakuan proses stokastik tersebut setelah proses dalam selang waktu yang panjang.
3Prostok-5-firda
![Page 4: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/4.jpg)
3. Peluang bersyarat pada (5.1) menggambarkan
histori keseluruhan, proses hanya tergantung
pada keadaan sekarang X(n)=i, bebas dari waktu lampau, 0,1,2,…,n-1.
Artinya, peluang bersyarat dari keadaan
“mendatang” hanya tergantung dari keadaan “sekarang” dan bebas dari keadaan “yang lalu”.
Sifat ini disebut sifat Markov atau Memory Less.4Prostok-5-firda
![Page 5: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/5.jpg)
4. Peluang transisi dari keadaan i ke keadaan j ( ) persamaan (5.1) hanya bergantung pada waktu sekarang, secara umum.
ijp
Apabila peluang transisi bebas dari waktu n, maka disebut peluang transisi stasioner, dan rantai Markov disebut dengan
Rantai Markov dengan peluang transisi stasioner.
Rantai Markov Homogen.
dan disebut juga,
5Prostok-5-firda
![Page 6: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/6.jpg)
5.2 Contoh Rantai Markov
1. Barisan bilangan bulat.2. Barisan variabel-variabel acak bernilai bilangan bulat yang saling bebas dan mempunyai distribusi peluang yang sama.
3. Random Walks yang didefinisikan sebagai
1
( ) , 1, 2,...n
ii
X n i
Random Walks adalah proses melangkah darisuatu objek di garis bilangan dimana objek itudapat bergerak ke kiri atau ke kanan.
6Prostok-5-firda
![Page 7: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/7.jpg)
Akan ditunjukkan bahwa random walks (contoh 3)adalah rantai Markov.
Perhatikan random walks yang hanya dapat bergerakke kanan;
1
( ) , 1, 2,...n
ii
X n i
1 2 1( 1) | (1) , (2) ,..., ( 1) , ( )nP X n j X i X i X n i X n i 1 1 1
1 1 11 1 1 1
| , ..., ,n n n n
k k n k k nk k k k
P j i i i
1 1
1 1 1
|n n n
k k k nk k k
P j i
Sifat di atas berlaku untuk semua n dan kombinasi Jadi, adalah rantai Markov.
1
( ) , 1, 2,...n
ii
X n i
7
1 2, , ...,i i
1 , .n ni i
Prostok-5-firda
![Page 8: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/8.jpg)
5.3 Matriks peluang transisi
Misalkan adalah rantai MarkovHomogen dengan ruang keadaan tak hingga,
( ) , 0,1, 2,...X n n
0,1, 2,...i maka
( 1) | ( )ijp P X n j X n i
menyatakan peluang transisi satu langkah dari keadaan i ke keadaan j .
8
(5.2)
Prostok-5-firda
![Page 9: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/9.jpg)
Matriks peluang transisi satu langkah dari
0
dengan 0 dan 1 , 0,1, 2,...ij ijj
p p i j
00 01 02
10 11 12
20 21 22
...
...
...ij
p p p
p p pp
p p p
P
( ) , 0,1, 2,...X n n didefinisikan sebagai
9Prostok-5-firda
![Page 10: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/10.jpg)
Dalam kasus ruang keadaan i berhingga, i=0,1,…,m
0
dengan 0 dan 1 , 0,1, 2,...,ij ijj
p p i j m
00 01 02 0
10 11 12 1
20 21 22 2
0 1 2
...
...
...
...
m
m
ij m
m m m mm
p p p p
p p p p
p p p p p
p p p p
P
Maka P berukuran ;m m
10Prostok-5-firda
![Page 11: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/11.jpg)
Contoh:
00 01
10 11
0 1
1 0
p p
p p
P
1. Matriks peluang transisi untuk rantai markov dua keadaan :
2. Matriks peluang transisi untuk rantai markov dua keadaan secara umum :
11
00 01
10 11
1
1
p p a a
p p b b
P
Prostok-5-firda
![Page 12: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/12.jpg)
1 10 0
2 21 1 1
03 3 31 1 1 1
4 4 4 40 0 1 0
P
3. Matriks peluang transisi untuk rantai markov empat keadaan :
12Prostok-5-firda
![Page 13: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/13.jpg)
5.4 Diagram Transisi
Rantai Markov dapat direpresentasikan sebagai suatu graf dengan himpunan verteksnya ruangkeadaan dan peluang-peluang transisi digambarkansebagai himpunan sisi yang berarah dengan bobotsisi menyatakan peluanngya.
Graf yang merepresentasikan rantai Markov tersebut dinamakan diagram transisi dari rantai Markov tersebut.
13Prostok-5-firda
![Page 14: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/14.jpg)
1. Diagram transisi dari contoh 1, dengan matriks peluang transisi
0 1
1
1
Catatan: lingkaran menyatakan state (keadaan), arah panah menyatakan peluang transisi dari keadaan i ke keadaan j.
0 1
1 0
P
Contoh :
14Prostok-5-firda
![Page 15: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/15.jpg)
2. Diagram transisi dari contoh 2, dengan matriks peluang transisi
0 1
a
b
1
1
a a
b b
P
15
1-a 1-b
dimana 0 1,0 1,|1 | 1.a b a b
Prostok-5-firda
![Page 16: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/16.jpg)
3. Misal di suatu daerah beredar dua sampo, yakni sampo A dan B. Suatu lembaga mengadakan survey penggunaan sampo, survey pertama mengatakan 40% orang daerah itu menggunakan sampo A dan 60 % menggunakan sampo B. Survey kedua mengatakan setiap minggunya, 15 % pengguna sampo A beralih ke B dan 5 % pengguna sampo B beralih ke A. Asumsikan jumlah pengguna sampo di daerah itu tetap. Buat mariks peluang transisi dan diagram transisi dari masalah tersebut.
16Prostok-5-firda
![Page 17: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/17.jpg)
Misal ( )X n menyatakan sampo yang digunakan
setiap minggu ke-n. Maka rantai Markov ( )X n
dengan ruang parameter {1,2,…,n,…} dan ruang keadaan }.,{ BA
Matriks peluang transisinya:
0.85 0.15
0.05 0.95AA AB
BA BB
p p
p p
P
Jawab:
17Prostok-5-firda
![Page 18: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/18.jpg)
18
A B
0.15
0.850.95
0.05
Diagram transisinya :
Prostok-5-firda
![Page 19: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/19.jpg)
Latihan:
1. Seorang pemandu wisata yang berkantor di Jakarta bertugas mengantar wisatawan ke Bandung setiap minggunya. Jika diamati posisi pemandu wisata tersebut dalam 10 minggu seperti tabel berikut;
Mgg 0 1 2 3 4 5 6 7 8 9 10
Kota J B B J B B J J B B J
19Prostok-5-firda
![Page 20: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/20.jpg)
a. Tentukan matriks peluang transisi dari posisi si pemandu wisatab. Gambarkan diagram transisinyac. Tentukan peluang transisi pemandu wisata dari Jakarta ke Bandung!
2. Gambarkan diagram transisi untuk rantai Markov dengan matriks peluang transisi berikut
2/12/10
03/23/1
001
2
1
0
P
20Prostok-5-firda
![Page 21: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/21.jpg)
3. Ada dua kotak A dan B. Kotak A berisi 2 bola putih dan kotak B berisi 2 bola hitam. Dilakukan percobaan mengambil 1 bola secara acak dari masing-masing kotak, kemudian dipertukarkan ke kotak lainnya. Percobaan ini dilakukan berulang kali. Asumsikan state ke i (i = 0, 1, 2) menyatakan jumlah bola hitam di kotak A.
a. Tentukan matriks peluang transisinya. b. Gambarkan diagram transisinya.
21Prostok-5-firda
![Page 22: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/22.jpg)
4. Gambarkan diagram transisi untuk rantai Markov dengan matriks peluang transisi berikut
0 3 / 4 1/ 4 0 0
1 1/ 3 2 / 3 0 0.
2 0 0 1/ 2 1/ 2
3 0 1/ 3 1/ 3 1/ 3
a
P
22
0 0.4 0.6 0 0
1 0.2 0.8 0 0.
2 0 0 1 0
3 0 0 0.5 0.5
b
P
Prostok-5-firda
![Page 23: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/23.jpg)
5. Seorang Dokter praktek di tiga klinik berbeda (“A”,”B”,”C”), dengan jadual praktek selama 15 hari ke depan seperti tabel berikut :
Hari 0 1 2 3 4 5 6 7
Klinik A B B C A C B A
23
Hari 8 9 10 11 12 13 14 15
Klinik A C B B C A B C
Prostok-5-firda
![Page 24: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/24.jpg)
a. Tentukan matriks peluang transisi dari tempat praktek dokter tersebut.
b. Gambarkan diagram transisinya.
c. Tentukan peluang bahwa dokter tersebut tetap berpraktek di klinik “B”.
24Prostok-5-firda
![Page 25: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/25.jpg)
25
5.5 Persamaan Chapman-Kolmogorov
Sebelumnya telah didefinisikan peluang transisi satu langkah pada persamaan (5.2),
( 1) | ( )ijp P X n j X n i
Selanjutnya akan ditentukan peluang proses yang berada pada keadaan i akan berada pada keadaan j setelah n transisi (peluang transisi langkah ke-n), kita nyatakan dengan .n
ijp
( ) | ( ) 0, , 0.nijp P X m n j X m i m i j
Prostok-5-firda
![Page 26: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/26.jpg)
26 dimana adalah peluang awal.
( ), 0,1, 2,...X n n secara lengkap digambarkan dengan peluang inisial (awal) dan peluang transisi sebagai berikut:
0 1(0) , (1) ,..., ( ) nP X i X i X n i
0 1 1( ) | (0) , (1) ,..., ( 1)n nP X n i X i X i X n i
0 1 1. (0) , (1) ,..., ( 1) nP X i X i X n i
1 0 1 1. (0) , (1) ,..., ( 1)n ni i np P X i X i X n i
...
1 2 1 0 1 0... { (0) }n n n ni i i i i ip p p P X i
Sifat peluang rantai Markov
0(0)P X i
(5.3)
Prostok-5-firda
![Page 27: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/27.jpg)
27
0 Misalkan menyatakan distribusi awal,
0 1(0) (0), (0),... ,
dengan (0) (0) 0, 0,1, 2,...j P X j j
merupakan peluang awal, sehingga
0
(0) 1.jj
Prostok-5-firda
![Page 28: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/28.jpg)
28
Selanjutnya akan dihitung nijp melalui peluang
transisi ijp dengan 0 00, dan 1.ij iip i j p
Peluang transisi n langkah nijp dapat dihitung
dengan menjumlahkan semua peluang perpindahan dari keadaan i ke keadaan k dalam r langkah
nr 0 dan perpindahan dari keadaan k
ke keadaan k pada sisa waktu n-r.
Prostok-5-firda
![Page 29: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/29.jpg)
29
( ) | (0)np P X n j X iij
( ) | (0) ( ) | ( )0
P X r k X i P X n j X r kk
1
r n rik kj
i
np p pij
Persamaan ini disebut persamaan Chapman-Kolmogorov.
Dalam bentuk matriks ditulis,( ) ( ) ( ).n r n rP P P
Prostok-5-firda
![Page 30: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/30.jpg)
30
0
n r
r n
k
i
j
r
Interpretasi persamaan Chapman-Kolmogorov.Prostok-5-firda
![Page 31: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/31.jpg)
31
Catat bahwa,(1)
ijp P P
Secara rekursif kita punya matriks peluang transisin-langkah:
( ) (1) ( 1) ( 1)
2 ( 2)
. .
.
...
n n n
n
n
P P P P P
P P
P
Artinya, matriks peluang transisi langkah ke-n diperoleh dari matriks dipangkatkan n. P
Sehingga kita punyai, .n r n rP P PProstok-5-firda
![Page 32: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/32.jpg)
32
Seperti persamaan 1 2 1 0 1 0... { (0) },n n n ni i i i i ip p p P X i
maka peluang gabungan dapat dihitung melalui peluang awal (seperti distribusi awal ) dan peluang transisi (matriks P).
0
Misal, ( ) ( )j n P X n j
0
00i
iXPiXjnXP
0
0 , 0,1, 2,...ni ij
i
p j
merupakan peluang proses keadaan j pada waktu ke n.
Prostok-5-firda
![Page 33: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/33.jpg)
33
Misal ,..., 10 nnn merupakan distribusi
n langkah, sehingga berlaku
0
( ) 1jj
n
maka
(0) .nn P
Prostok-5-firda
![Page 34: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/34.jpg)
34
Dari contoh 3 subbab 5.4, tentukan distribusi pengguna sampo di daerah yang diteliti, lima minggu setelah survey berlangsung.
Jawab :
Contoh:
Tentukan distribusi awal; Dari survey pertama diperoleh ,
(0) [ 0.4 ,0.6]
Prostok-5-firda
![Page 35: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/35.jpg)
35
Tentukan matriks peluang transisi 5 langkah ,
5
5 0.85 0.15 0.4958 0.5042.
0.05 0.95 0.1681 0.8319
P
Diperoleh distribusi pengguna sampo dalam lima minggu:
5(5) (0). P
0.4958 0.5042[0.4 ,0.6]
0.1681 0.8319
0.2992 0.7008 .
Prostok-5-firda
![Page 36: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/36.jpg)
Soal
36
1. Diberikan matriks peluang transisi dari suatu rantai Markov,
0.6 0.4
0.8 0.2
P
Tentukan distribusi langkah ke-n, 0 1( ) [ ( ), ( )]n n n untuk n=2,4,8 jika diasumsikan distribusi inisial
(i) (0) [1,0]
(ii) (0) [ 0.5, 0.5]
(iii) (0) [2 / 3,1/ 3] Prostok-5-firda
![Page 37: 5 Rantai Markov Diskrit](https://reader033.vdocuments.net/reader033/viewer/2022061206/54821234b4af9fb3258b466f/html5/thumbnails/37.jpg)
37
2. Pandang matriks peluang transisi dari suatu rantai Markov,
0 1 0 0
1 1/ 3 2 / 3 0
2 0 1/ 2 1/ 2
P
2 3 4, , .P P P
(i) Buatkan diagram transisinya .
(ii) Tentukan
(iii) Tentukan nPProstok-5-firda