analisis diskriminan · 2016-08-30 · dengan demikian, jika kita memiliki suatu pengamatan baru x...
TRANSCRIPT
![Page 1: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/1.jpg)
Analisis Diskriminan
![Page 2: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/2.jpg)
Tujuan Utama
Memperoleh fungsi diskriminan, yaitu
fungsi yang mampu digunakan
membedakan suatu objek masuk ke
dalam populasi tertentu berdasarkan
pengamatan terhadap objek tersebut
![Page 3: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/3.jpg)
Contoh Fungsi Diskriminan
• Dengan melihat gejala-gejala yang nampak pada seseorang, dokter bisa menduga penyakit apa yang diderita orang tersebut.
• Dengan melihat warna, merasakan, dan menghirup asap rokok, penilai bisa mengetahui kelas kualitas tembakau.
• Dengan mengetahui berbagai indikator yang berupa variabel derivatif keuangan sebuah bank, kita bisa menilai kesehatan bank tersebut.
![Page 4: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/4.jpg)
Fungsi Diskriminan
• Merupakan kombinasi dari beberapa peubah, satu peubah saja umumnya tidak mencukupi
• Dari banyak peubah, menggunakan fungsi diskriminan diperoleh sebuah indeks
• Berdasarkan kriteria tertentu, dengan indeks ini kita mengklasifikasikan objek
![Page 5: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/5.jpg)
Fungsi Diskriminan
• Tidak selalu (bahkan jarang) diperoleh
fungsi diskriminan dengan tingkat
ketepatan yang sempurna
• Fungsi Diskriminan memiliki ukuran
yang menggambarkan tingkat
ketepatan
![Page 6: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/6.jpg)
Fungsi Diskriminan
X mampu menjadi
pembeda, tetapi Y tidak
Y mampu menjadi
pembeda, tetapi X tidak
![Page 7: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/7.jpg)
Fungsi Diskriminan
X dan Y saja tidak mampu
menjadi pembeda, tetapi
kombinasi linearnya bisa
Membutuhkan fungsi non-
linear dari X dan Y untuk
bisa membedakan
![Page 8: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/8.jpg)
Pendekatan Fisher
• Hanya untuk 2 populasi
• pendekatan Fisher bisa dituliskan
sebagai berikut:
Cari a sehingga jarak antara E(a’x) = a’1 di
1 dengan E(a’x) = a’2 di 2 maksimum,
atau memaksimumkan |a’1 – a’2| dengan
kendala a’a = 1.
![Page 9: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/9.jpg)
Pendekatan Fisher
a = -1(1 - 2)
dan kita akan mengelompokkan x ke 1
jika a’x h, dan kebalikannya kita masukkan x ke dalam 2, dengan h =
a’(1 + 2) / 2. Dengan kata lain, x akan dimasukkan ke populasi yang paling
dekat dengannya.
![Page 10: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/10.jpg)
Pendekatan Fisher --
ILUSTRASIDalam rangka mengatur penangkapan ikan
salmon, sangat diinginkan bisa mengidentifikasi apakah ikan yang tertangkap berasal dari Alaska atau Kanada. Lima puluh
ikan diambil dari setiap tempat, dan pertumbuhan diameternya diukur ketika ikan-ikan itu hidup di air tawar dan ketika hidup di air laut. Tujuannya adalah untuk mengetahui
apakah ikan yang tertangkap di kemudian hari berasal dari Alaska atau dari Kanada (Minitab,
Inc).
![Page 11: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/11.jpg)
Pendekatan Fisher --
ILUSTRASI
![Page 12: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/12.jpg)
Pendekatan Fisher --
ILUSTRASIDengan demikian, jika kita memiliki suatu pengamatan
baru x = (x1, x2) maka kita akan memasukkannya ke
populasi 1 (ikan dari Alaska) jika
-0.0521 x1 + 0.0137 x2 -0.5657
dan jika sebaliknya maka kita masukkan ke populasi
ke-2. Sebagai teladan, jika diperoleh sebuah ikan
dengan nilai pengamatan x = (103, 405), maka nilai
a’x = -0.0521 (103) + 0.0137 (405) = 10.918, dan kita
masukkan ke dalam populasi 1
![Page 13: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/13.jpg)
Pendekatan Fisher --
ILUSTRASI
![Page 14: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/14.jpg)
Pendekatan Fisher --
ILUSTRASICara lain untuk melakukan klasifikasi adalahmenggunakan konsep jarak terhadap vektor rataanpopulasi yang paling dekat. Artinya jika ada suatupengamatan baru x = (x1, x2), maka pengamatan atauobjek baru ini akan kita masukkan ke dalam populasike-1 (1) hanya jika jarak x terhadap vektor rataanpopulasi ke-1 lebih dekat daripada jarak x terhadapvektor rataan populasi ke-2. Jarak antara x terhadapvektor rataan diperoleh menggunakan formulamahalanobis, yaitu:
![Page 15: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/15.jpg)
Pendekatan Fisher --
ILUSTRASI
Misalkan untuk pengamatan x = (103, 405) seperti pada ilustrasi sebelumnya
d1(x) = 0.5421
d2(x) = 1.3322
sehingga karena d1(x) < d2(x) maka xdiklasifikasikan berasal dari populasi 1
(ikan dari Alaska).
![Page 16: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/16.jpg)
Pendekatan Fisher --
ILUSTRASIPendekatan lain yang juga dapat digunakan adalah
menggunakan peluang posterior. Suatu pengamatan x
= (x1, x2) akan diklasifikasikan ke dalam populasi 1
hanya jika peluang posteiornya lebih besar dari pada
peluang posterior masuk ke 2, dan sebaliknya.
Peluang posterior masuk ke dalam j adalah
P(j|x) =)(
2
1)(
2
1
)(2
1
22
21
2
xx
x
dd
d
ee
ej
![Page 17: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/17.jpg)
Pendekatan Fisher --
ILUSTRASIKembali pada x ilustrasi di atas dihasilkan
P(1|x) = 0.677 dan P(2|x) = 0.323. Sehingga
karena P(1|x) > P(2|x) maka x sekali lagi
diklasifikasikan berasal dari Alaska.
![Page 18: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/18.jpg)
Analisis Diskriminan untuk k Populasi yang Menyebar Normal
• Ada konsep sebaran prior
• Seringkali juga perlu mempertimbangkan
biaya salah klasifikasi
• Mencari fungsi yang meminimumkan
expected cost of missclassification
k
s
k
t
t tsctsP11
)|()|(
![Page 19: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/19.jpg)
Analisis Diskriminan Linear
• Asumsi : multivariate normal dengan
matriks ragam-peragam sama di setiap
populasi
• Asumsi : Biaya salah klasifikasi sama
besar di setiap populasi
![Page 20: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/20.jpg)
Analisis Diskriminan Linear
• aturan yang paling sederhana pada klasifikasi bisadinyatakan dalam fungsi kuadrat jarak yaitu
• dt(x) = (x - t)’-1(x - t) – 2 ln(t)
• Suatu objek x diklasifikasikan kepada populasi yangterdekat, yang dihitung menggunakan formula diatas. Atau, x akan diklasifikasikan berasal daripopulasi ke-t jika
dt2(x) = )(min 2
,...,1xj
kjd
![Page 21: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/21.jpg)
Analisis Diskriminan Linear
• Seperti halnya pada bagian terdahulu,mengklasifikasikan objek pengamatan ke populasiyang terdekat setara dengan mengklasifikasikanobjek ke populasi dengan peluang posterior yangpaling besar. Pada kasus k buah populasi, peluangtersebut besarnya diperoleh dari
P(t|x) = t = 1, 2,…, k
k
j
xd
xd
j
t
e
e
1
)(2
1
)(2
1
2
2
![Page 22: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/22.jpg)
Menduga Tingkat Salah Klasifikasi
• Error Rate, dugaan tingkat kesalahan
di populasi ke-s adalah
k
stt
stPsRE,1
)|()(ˆ
![Page 23: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/23.jpg)
Menduga Tingkat Salah Klasifikasi
Pendugaan Tingkat Kesalahan dengan Validasi Silang
• jika ada n objek pengamatan, maka hanya (n –
1) pengamatan yang digunakan sebagai gugus
data pembentukan fungsi diskriminan
• satu pengamatan sisanya digunakan untuk
evaluasi
• proses di atas diulang sebanyak n kali, satu kali
untuk setiap data yang disisihkan
• proporsi kesalahan adalah dugaan tingkat
kesalahan
![Page 24: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/24.jpg)
Menduga Tingkat Salah Klasifikasi
posterior probability error rate
Simple PPER
Stratified PPER
![Page 25: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/25.jpg)
Analisis Diskriminan
KuadratikMultivariate normal namun matriks ragam-
peragamnya tidak sama
![Page 26: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/26.jpg)
Penyeleksian Peubah pada
Analisis DiskriminanDimulai dengan memilih satu peubah yang palingpenting, dan dilanjutkan dengan pemilihan peubahpenting lain satu demi satu menggunakan suatu kriteriatertentu. Salah satu kriterianya adalah denganmenentukan taraf nyata tertentu sebagai batas. Kriterialain adalah dengan menganggap peubah yang sudahterpilih bersifat tetap, dan menghitung korelasi parsialpeubah yang akan dipilih, serta sebelumnya sudahditentukan batasan besaran korelasi parsial yang bisaditerima. Proses ini akan berhenti jika tidak ada lagipeubah yang memenuhi kriteria yang telah ditentukan.Prosedur yang seperti ini dikenal sebagai prosedurforward selection.
![Page 27: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/27.jpg)
Penyeleksian Peubah pada
Analisis DiskriminanDimulai dengan model penuh, yaitumemuat semua peubah. Di setiap tahapdilakukan pembauangan peubah yangpaling tidak penting satu demi satudengan kriteria yang sama denganprosedur forward. Proses diteruskanhingga tidak ada lagi peubah yangdikeluarkan. Prosedur ini dikenalsebagai prosedur backward selection.
![Page 28: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/28.jpg)
Penyeleksian Peubah pada
Analisis Diskriminan
Kombinasi antara kedua prosedur di atas,
dikenal sebagai stepwise selection. Di
setiap tahap dimungkinkan ada peuabh
yang masuk sekaligus ada peubah yang
dikeluarkan, berdasarkan kriteria
tertentu yang ditetapkan pada awal
proses.
![Page 29: Analisis Diskriminan · 2016-08-30 · Dengan demikian, jika kita memiliki suatu pengamatan baru x = (x 1, x 2) maka kita akan memasukkannya ke populasi 1 (ikan dari Alaska) jika-0.0521](https://reader030.vdocuments.net/reader030/viewer/2022040502/5e27e58761f11a3c4d10866d/html5/thumbnails/29.jpg)
Terima Kasih
atas perhatiannya