teoridasar neural network...
Post on 26-Aug-2019
216 Views
Preview:
TRANSCRIPT
TEORI DASAR NEURAL NETWORK (2)
Pengantar Deep Learning
Pelatihan jaringan syaraf tiruan dibagimenjadi dua yaitu, pelatihan dengansupervisi (pembimbing) dan pelatihan
tanpa supervisi.
Tujuan dari pelatihan ini adalah memodifikasi bobot hingga diperoleh bobot yang bisa membuat keluaran jaringan sama dengan target yang
diinginkan.
Paradigma Pembelajaran
Backpropagation adalah metode penurunangradien untuk meminimalkan kuadrat errorkeluaran.
Ada tiga tahap yang harus dilakukan dalampelatihan jaringan, yaitu :
• Tahap perambatan maju (forward propagation) ,• Tahap perambatan-balik,• Tahap perubahan bobot dan bias.
Backpropagation
Backpropagation
Arsitektur jaringan ini terdiri dari input layer, hidden layer danoutput layer seperti
Algoritma Backpropagation5
LAPISANOUTPUT
LAPISANTERSEMBUNYI
LAPISANINPUT
Output aktual
Outputtarget
+
-
Tahap Umpan Maju
Tahap pemropagasi-balikan error
Error
Input
å=
+=n
1iijij0j vxvin_z
Algoritma Backpropagation
¨ Inisialisasi bobot (ambil nilai random yang cukupkecil).
¨ Selama kondisi berhenti bernilai salah, kerjakan :¤ Tahap Perambatan Maju (forward propagation)
a) Setiap unit input (Xi, i=1,2,3,...,n) menerima sinyal xi danmeneruskan sinyal tersebut ke semua unit pada lapisantersembunyi.
b) Setiap unit tersembunyi (Zi, j=1,2,3,...,p) menjumlahkanbobot sinyal input dengan persamaan berikut:
å=
+=p
1ijkik0k wzwin_y
Algoritma Backpropagation
n Dan menerapkan fungsi aktivasi untuk menghitung sinyaloutputnya :
n zj = f(z_inj)n Biasanya fungsi aktivasi yang digunakan adalah fungsi sigmoid.n Kemudian mengirimkan sinyal tersebut ke semua unit output.
c) Setiap unit output (Yk, k=1,2,3,...,m) menjumlahkan bobotsinyal input
Algoritma Backpropagation
n Dan menerapkan fungsi aktivasi untuk menghitungn sinyal outputnya : yk = f(y_ink)
d) Setiap unit output (Yk, k=1,2,3,...,m) menerima pola target yang sesuai dengan pola input pelatihan, kemudian hitungerror dengan persamaan berikut:n d k = (tk – yk) f’(y_ink)n f ‘ adalah turunan dari fungsi aktivasin kemudian hitung koreksi bobot dengan persaamaan berikut:
nDwjk = a dk zjn Dan menghitung koreksi bias dengan persamaan berikut :
nDw0k = a dk
n Sekaligus mengirimkan dk ke unit-unit yang ada di lapisan paling kanan.
å=
=m
1kjkkj win_ dd
• Untuk menghitung informasi error, kalikan nilai ini denganturunan dari fungsi aktivasinya:
• dj = d_inj f’(z_inj)• Kemudian hitung koreksi bobot dengan persamaan berikut:
• Dvjk = a dj xi• Setelah itu hitung juga koreksi bias dengan persamaan
berikut:• Dv0j = a dj
Algoritma Backpropagation
e) Setiap unit tersembunyi (Zj, j=1,2,3,...,p) menjumlahkan deltainputnya (dari unit-unit yang berada pada lapisan dikanannya)
Tahap Perubahan Bobot dan Bias
f) Setiap unit output (Yk, k=1,2,3,...,m) dilakukan perubahanbobot dan bias (j=0,1,2,...,p) dengan persamaan berikut
n wjk(baru) = wjk(lama) + Δwjk
n Setiap unit tersembunyi (Zj, j=1,2,3,...,p) dilakukan perubahanbobot dan bias (i=0,1,2,...,n) dengan persamaan berikut:
n vij(baru) = vij(lama) + Δvij
g) Tes kondisi berhenti
Heteroassociative Memory
¨ Jaringan syaraf heteroassociative memory adalah jaringan yangdapat menyimpan kumpulan pengelompokan pola, dengan caramenentukan bobot-bobotnya sedemikian rupa.
¨ Setiap kelompok merupakan pasangan vektor (s(n), t(n)) dengann=1,2,...,N. Algoritma pelatihan yang biasa digunakan adalahHebb rule
¨ Algoritma:1. Inisialisasi semua bobot = 0.2. Perbaiki bobot dengan persamaan berikut :
n Wij(baru) = wij(lama) + xi*tj3. Untuk setiap vektor input, kerjakan:
n Set input dengan nilai sama dengan vektor input:n Hitung input jaringan ke unit output:
å=i
ijij w*xin_y
Bidirectional Associative Memory (BAM)
Bidirectional Associative Memory (BAM) adalah model jaringan syaraf yang memiliki 2 lapisan, yaitu :
• Lapisan input dan Lapisan output yang mempunyai hubungan timbal balik antara keduanya.
Hubungan ini bersifat bidirectional artinya jika bobot matrik dari sinyal yang dikirim dari lapisan input X ke lapisan output Y adalah W, maka bobot matrik dari sinyal yang dikirim dari lapisan output Y ke lapisan input X adalah WT.
Bidirectional Associative Memory (BAM)
¨ Arsitektur jaringan untuk 3 neuron pada lapisan input dan 2 neuron pada lapisan output seperti terlihat pada Gambar berikut.
Learning Vector Quantization (LVQ)
Learning Vector Quantization (LVQ) adalah suatu metodepelatihan pada lapisan kompetitif terawasi yang akan belajarsecara otomatis untuk mengklasifikasikan vektor-vektor input kedalam kelas-kelas tertentu.
Kelas-kelas yang dihasilkan tergantung pada jarak antaravektor-vektor input.
Jika ada 2 vektor input yang hampir sama, maka lapisankompetitif akan mengklasifikasikan kedua vektor input tersebutke dalam kelas yang sama.
Pembelajaran Tanpa Supervisi(Jaringan Kohonen)
Pertama kali yang memperkenalkan jaringan kohonenadalah Prof. Teuvo Kohonen pada tahun 1982.
Pada jaringan ini, neuron-neuron pada suatu lapisan akanmenyusun dirinya sendiri berdasarkan input nilai tertentudalam suatu cluster.
Dalam proses penyusunan diri, cluster yang dipilih sebagaipemenang adalah cluster yang mempunyai vektor bobotpaling cocok dengan pola input (memiliki jarak yang palingdekat).
Regularisasi
¨ Pada aplikasi praktis, kita sering menemukankondisi dimana untuk persoalan yang kompleksketersediaan datapembelajaran terbatas.
¨ Salah satu teknik yang digunakan untukmengkontrol fenomena over-fitting adalahregularisasi (regularization), yaitu dengan caramenambah finalti ke fungsi error.
Regularisasi
Regularisasi – Penghalusan Kurva
Regularisasi – Pengecilan Nilai Bobot
Regularisasi – Mengatasi Over-fitting
Regresi Linear Umum
Regresi Linear Umum
Dropout
Secara sederhana, dropout mengacu padamengabaikan unit (yaitu neuron) selama fase pelatihanseperangkat neuron tertentu yang dipilih secara acak.
Dengan "mengabaikan", unit-unit ini tidakdipertimbangkan selama umpan maju atau mundurtertentu.
Dropout adalah pendekatan regularisasi padajaringan syaraf tiruan yang membantu mengurangipembelajaran interdependen di antara neuron
Dropout
• Untuk setiap lapisan tersembunyi, untuk setiap sampel pelatihan, untuk setiap iterasi, abaikan (nilai 0 dikeluarkan) pecahan acak, p, simpul (dan aktivasi yang sesuai).
TahapPelatihan
• Gunakan semua aktivasi, namun kurangi mereka dengan faktor p (untuk memperhitungkan aktivasi yang hilang selama latihan).
TahapPengujian
Dropout
TERIMA KASIH
top related