05 cs3243 kma learning 03
Post on 18-Jul-2015
41 Views
Preview:
TRANSCRIPT
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 1/27
Informatics Theory & Programming (ITP)
Informatics Eng. Dept. – IT Telkom
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 2/27
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 3/27
0.71
-0.21
0.33
0.97
-0.18
0.62
0.55
-0.12
0.75
W1
-0.52
0.91
0.29
0.97
-0.18
0.62
0.55
-0.12
-0.12
0.68
W2
-0.21
-0.53
0.58
0.32
0.25
-0.17
-0.93
0.45
0.88
0.87
W2
-0.54
0.15
-0.49
0.68
-0.24
-0.95
-0.37
0.89
0.34
W1
0.9
0.1
0.4
0.3
A2
1
0
0
0
T
0.1
-0.1
-0.4
-0.3
ETraining W1 & W2: Random
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 4/27
0.01
-0.83
0.19
0.34
0.22
0.62
0.60
-0.53
-0.38
W1
0.31
-0.38
0.35
0.87
-0.18
0.30
0.03
-0.09
0.98
0.74
W2
0.8
0.2
0.1
0.2
A2
1
0
0
0
KelasTesting W1 & W2: Trained
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 5/27
JST Probabilistik model yang dibentuk berdasarkan penaksir fungsi
padat peluang.
Cepat dalam pelatihan karena dilakukan hanya dalamsatu tahap pelatihan.
Parameter penghalus tunggal, , mengendalikan jaringan dari pengaruh tiap pola pada penaksiran
fungsi padat peluang.
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 6/27
Kelasku mana ya ???
Kelas dengan STD terbesar?
Template Matching?
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 7/27
Kelasku mana ya ???
Kelas dengan STD terbesar?
Lebih baik?
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 8/27
Aturan Bayes
)(
)()()(
BP
AP A BP B AP
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 9/27
Aturan Bayes
)(
)Pr()()Pr(
x p
C C x p xC
k k
k
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 10/27
Aturan keputusan Bayes
k C xd )(
)Pr()()Pr()( j jk k
C C x pC C x p
untuk semua j k .
jika
(x adalah kelas C k )
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 11/27
Fungsi Padat Peluang
k i C
k i
k
m
k
mk w xC
C x p
22
2 / 2exp
)2(
1)(
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 12/27
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 13/27
Kelas E
Kelas O
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 14/27
{ Tahap pertama }
For setiap pola i
w i = i
Bentuk unit pola dengan masukan vektor bobot w i Hubungkan unit pola pada unit penjumlah untuk masing-masing kelas
End
Tentukan konstanta C k untuk setiap unit penjumlah
{ Tahap ke dua }For setiap pola i
k = kelas i Cari jarak, d i , dengan pola terdekat pada kelas kd tot [k] = d tot [k] + d i
End
For setiap kelas k
k = ( g . d tot [k] ) / C k End
Konstanta pengontrol jaringan
Rata-rata jarak minimum antarpola pada kelas k
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 15/27
k i C
i
k
avg d C
k d
1
k d g avgk
d i : jarak terdekat pola i dengan pola yang lain pada kelas C k
Parameter penghalus, k , untuk kelas C k
Rata-rata jarak minimum antar vektor pola pada kelas C k
K l E
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 16/27
.
..
x 1
x 100
Kelas E
.
.
.Kelas O
Kelaskeputusan
|CE| = 5
|CO| = 5
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 17/27
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 18/27
Kelasku mana ya ???
Dengan g yang tepat, klasifikasi menjadi lebih akurat !!!
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 19/27
Kelasku mana ya ???
Dengan g yang tepat, klasifikasi menjadi lebih akurat !!!
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 20/27
MLP JST Probabilistik
Jumlah neuron tetap, tetapibobot-bobot sinaptiknyaberubah.
Jumlah neuron bertambah sebanding dengan banyaknyavektor input , tetapi bobot-bobotsinaptiknya tetap.
Proses pelatihan memerlukan
waktu yang lama karenamembutuhkan banyak iterasipengubahan bobot sampaimencapai steady state .
Proses pelatihan memerlukanwaktu sangat singkat karena hanyadilakukan satu tahap pelatihan saja.
Memerlukan memori yang kecilkarena hanya menyimpan bobot-bobot sinaptik hasil pelatihan
Memerlukan memori yang besarsebanding dengan jumlah vektorpola latihnya.
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 21/27
Pengenalan angka: 0, 1, 2, …, 9 Training set: 1000 pola tulisan tangan
Validation set: 2000 pola
Jumhlah kelas: 10 kelas (tetap) JST PB atau JST Probabilistik?
JST PB
Waktu pelatihan: lama
Waktu pengujian: cepat
JST Probabilistik
Waktu pelatihan: cepat
Waktu pengujian: lama
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 22/27
Pengenalan wajah: ribuan Training set: 1000 fitur wajah
Validation set: 2000 fitur wajah
Jumhlah kelas: berubah JST PB atau JST Probabilistik?
JST PB
Waktu pelatihan: lama
Waktu pengujian: cepat
JST Probabilistik
Waktu pelatihan: cepat
Waktu pengujian: lama
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 23/27
Spam Filter : Server Training set: 10.000 email
Validation set: 20.000 email
Jumhlah kelas: dua (spam atau bukan) JST PB atau JST Probabilistik?
JST PB
Waktu pelatihan: lama
Waktu pengujian: cepat
JST Probabilistik
Waktu pelatihan: cepat
Waktu pengujian: lama
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 24/27
Kelebihan JST PB Training bisa dilakukan di komputer
Hasil training (yang berupa W ) dapat ditanamkanpada hardware (chip atau micro devices)
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 25/27
Kapan Menghentikan Learning?
epoch
MSE
Validation set
Training set
10000 20000
0,01
0,0010,002
0,005
Untuk JST PBUntuk JST Prob,grafiknya bagaimana?
Berhenti !
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 26/27
Menemukan g pada JST Prob?
g
Akurasi
Validation set
Training set
0.1 1
1.00
0.01
0.95
0.90
0.20.02 0.08 0.09 ... ...
0.00
Berhenti !
5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com
http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 27/27
Overfit, Oversize, Flexible
top related