![Page 1: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/1.jpg)
KLASIFIKASI & PENGENALAN POLA
Pertemuan 4
1
CLASSIFIER BERDASAR TEORI BAYES
![Page 2: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/2.jpg)
Minimum Distance Classifiers
Minimum distance classifiers melakukan klasifikasi berdasarkan jarak terpendek.
Ada dua jenis yang dibahas: 1. The Euclidean Distance Classifier
2. The Mahalanobis Distance Classifier
2
![Page 3: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/3.jpg)
The Euclidean Distance Classifier
Classifier Bayesian Optimal (dibahas pada pertemuan yang sebelumnya) dapat disederhanakan menggunakan asumsi-asumsi berikut:
◦ Semua kelas mempunyai probabilitas yang sama (equiprobable)
◦ Semua data dalam semua kelas mempunyai distribusi normal atau Gaussian
◦ Semua kelas mempunyai matriks kovarians yang sama
◦ Matriks kovarians berbentuk matriks diagonal dan semua elemen diagonalnya sama besar, yaitu S = 2 I dengan I adalah matriks identitas
3
![Page 4: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/4.jpg)
Dengan asumsi-asumsi di atas, maka Classifier Bayesian
Optimal menjadi sama dengan classifier jarak Euclidean
(Euclidean Distance Classifier), yaitu suatu pola x akan
dimasukkan ke dalam kelas i jika
dengan S adl matriks kovarians dan mi adl rerata kelas i.
Jika jumlah kelas lebih dari dua maka kelas suatu
pola/data ditentukan oleh jarak yang terpendek (minimum)
4
The Euclidean Distance Classifier
ji
T
ii mxmxmxmx )()( ji
![Page 5: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/5.jpg)
Dari formula yang digunakan untuk classifier jarak
Euclidean di atas, terlihat bahwa ada kemiripan dengan
classifier berdasar teori Bayes yang telah dipelajari pada
pertemuan sebelumnya. Perbedaan yang juga berarti
penyederhanaan diakibatkan oleh karena semua kelas
yang ada mempunyai probabilitas priori yang sama besar
(equiprobable) dan matriks kovarian yang sama untuk
semua kelas dan berbentuk matriks diagonal.
5
The Euclidean Distance Classifier
![Page 6: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/6.jpg)
The Mahalanobis Distance Classifier
Jika asumsi terakhir pada classifier jarak Euclidean tidak terpenuhi atau dengan kata lain matriks kovarians tidak berbentuk matriks diagonal dan semua elemen diagonalnya tidak sama besar, maka jenis classifier disebut dengan classifier jarak Mahalanobis (Mahalanobis Distance Classifier)
Classifier jarak Mahalanobis menyatakan bahwa suatu pola x akan dimasukkan ke dalam kelas i jika
6
)()()()( 11
j
T
ji
T
i mxSmxmxSmx ji
![Page 7: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/7.jpg)
Norma & Jarak Euclidean
Norm atau panjang Euclidean suatu vektor
u = (u1,u2,..,un) didefinisikan sebagai:
Jarak Euclidean antara 2 vektor u = (u1,u2,..,un) dan v = (v1,v2,..,vn) didefinisikan sebagai:
7
22
2
2
1
2/1 ...).( nuuuuuu
22
22
2
11 )(...)()(),( nn vuvuvuvuvude
![Page 8: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/8.jpg)
Contoh 1
Terdapat pekerjaan klasifikasi dengan 2 kelas dalam ruang 3 dimensi.
Kedua kelas dimodelkan dengan distribusi Gaussian. Rerata kelas 1
adalah m1 = [0 0 0]T dan rerata kelas 2 adalah m2 = [0.5 0.5 0.5]T.
Kedua kelas mempunyai probabilitas yang sama dan matriks kovarian
untuk kedua kelas adalah sama sbb:
Jika terdapat pola x = [0.1 0.5 0.1]T, maka klasifikasikan pola tsb
menggunakan:
◦ classifier jarak Euclidean
◦ classifier jarak Mahalanobis
8
2.001.001.0
01.02.001.0
01.001.08.0
21 SS
![Page 9: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/9.jpg)
Penyelesaian
Klasifikasi menggunakan jarak euclidean
Dari soal diketahui:
9
1.0
5.0
1.0
2.001.001.0
01.02.001.0
01.001.08.0
5.0)()(
5.0
5.0
5.0
0
0
0
21
2121
xSS
PPmm
![Page 10: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/10.jpg)
10
5196.0
27.0
27.0
1.0
5.0
1.0
1.05.01.0
)()(
)()(
1
11
2
1
111
mx
mxmxmx
mxmxmx
T
T
Jarak euclidean ke kelas 1
![Page 11: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/11.jpg)
11
5657.0
32.0
32.0
4.0
0
4.0
4.004.0
)()(
)()(
2
22
2
2
222
mx
mxmxmx
mxmxmx
T
T
Jarak euclidean ke kelas 2
![Page 12: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/12.jpg)
Jarak vektor x ke kelas 1 lebih pendek daripada jarak
vektor x ke kelas 2, atau
0,5196 < 0,5657
sehingga vektor x masuk ke kelas 1
Dengan cara yang sama, maka klasifikasi dapat dilakukan
menggunakan classifier jarak mahalanobis.
12
21 mxmx
![Page 13: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/13.jpg)
13
)()(
)()(
1
1
1
2
1
1
1
11
mxSmxd
mxSmxd
T
T
Klasifikasi menggunakan jarak mahalanobis
Jarak mahalanobis ke kelas 1
Dalam hal ini kita perlu menghitung invers
matriks kovarians S terlebih dahulu.
![Page 14: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/14.jpg)
Invers matriks kovarians:
Jarak mahalanobis ke kelas 1
14
0154.52478.00596.0
2478.00154.50596.0
0596.00596.02515.11S
1334.1
2846.1
1.0
5.0
1.0
1.05.01.0 1
1
Sd
![Page 15: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/15.jpg)
Jarak mahalanobis ke kelas 2
Jadi, menggunakan classifier jarak mahalanobis vektor x
masuk ke kelas yang mana?
Berikan penjelasan tentang hasil klasifikasi menggunakan
euclidean dan mahalanobis di atas.
15
9918.0
9836.0
4.0
0
4.0
4.004.0 1
2
Sd
![Page 16: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/16.jpg)
Notes
Untuk kepentingan programming maka baik rerata kelas
maupun data dapat dibentuk menjadi satu matriks.
◦ Misal ada 2 kelas 2 rerata dibentuk matriks rerata 3x2 sbb:
m = [m1 m2]
◦ Misal ada 3 data yang akan diklasifikasikan dapat dibentuk
matriks data 3x3 sbb:
x = [x1 x2 x3]
16
![Page 17: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/17.jpg)
Tugas 1 Anda
Buatlah m file untuk mengerjakan soal contoh di
atas, cobalah juga membuat fungsi untuk
menghitung jarak euclidean dan mahalanobis
sehingga dapat menyederhanakan program
utama yang anda buat.
17
![Page 18: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/18.jpg)
Tugas 2 Anda
No.data Kelas 1 Kelas 2
Posisi x Posisi y Posisi x Posisi y
1 1 1,5 13 12
2 1,2 2 9 11
3 2 0,5 12 10,8
4 0,5 1,3 11 12,5
5 2 1 10 14
6 3 1.4 9 9
7 4 0,5 10,1 13
8 0,8 3 13 11,7
9 2 4 10,9 9,1
10 1,6 3 11,2 12,2
Sigma 18.1 18.2 109.2 115.3
Rerata 1.81 1.82 10.92 11.53
18
Terdapat data pada tabel berikut yang terdiri dari dua kelas yaitu kelas 1 (1) dan kelas 2 (2). Diketahui bahwa probabilitas priori kedua kelas adalah sama besar atau P(1)=P(2)=0,5.
![Page 19: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/19.jpg)
Tugas 2 Anda (lanj.)
Maka rerata kelas 1 (m1) dan rerata kelas 2 (m2)
m1 = [1.81 1.82]T
m2 = [10.92 11.53]T
Klasifikasikanlah data d11 = [5 4]T menggunakan Euclidean distance classifier.
Klasifikasikanlah data d11 = [5 4]T menggunakan Mahalanobis distance classifier jika diketahui
19
0796.243282.21
3282.211943.2221 SS
![Page 20: CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... · Norma & Jarak Euclidean Norm atau panjang Euclidean suatu vektor ... ) didefinisikan](https://reader033.vdocuments.net/reader033/viewer/2022053111/60847fd3557d1f0bd946aaa3/html5/thumbnails/20.jpg)
Referensi
An Introduction to Pattern Recognition: A Matlab Approach,
2010, Sergios Theodoris, Elseivier Inc.
20