jurusan teknik informatika –universitas widyatama latar ... · pdf file– kemampuan...
TRANSCRIPT
5/9/2012
IF-UTAMA 1
Jurusan Teknik Informatika – Universitas Widyatama
IF-UTAMA 1IF-UTAMA 1
Learning (Neural Network)
Pertemuan : 13
Dosen Pembina :
Sriyani Violina
Danang Junaedi
Latar Belakang
• Neural Network (Jaringan syaraf tiruan) diilhami oleh jaringan
syaraf biologi khususnya otak manusia.
– Kemampuan manusia dalam memproses informasi, mengenal
wajah, tulisan, dsb.
– Kemampuan melakukan pengenalan meskipun tidak tahu
algoritma yang digunakan.
– Proses pengenalan melalui penginderaan berpusat pada otak
sehingga menarik untuk mengkaji struktur otak manusia
• Otak terdiri neuron-neuron dan sinapsis (penghubung) � bekerja
berdasarkan impuls/sinyal
• Manusia memiliki 1012 neuron dan 6.1018 sinapsis� mengenali
pola, melakukan perhitungan, mengontrol organ-organ tubuh
• Mempunyai kemampuan membentuk sendiri pola berdasarkan
pengalaman.IF-UTAMA 2
Pendahuluan(2)
• Dipercayai bahwa
kekuatan komputasi
otak terletak pada
– hubungan antar sel-sel
syaraf
– hierarchical
organization
– firing characteristics
– banyaknya jumlah
hubungan
3IF-UTAMA
Struktur Jaringan pada Otak
• Neuron adalah satuan unit pemroses terkecil pada otak
• Bentuk standard ini mungkin dikemudian hari akan berubah
• Jaringan otak manusia tersusun tidak kurang dari 1013 buah neuron yang masing-masing terhubung oleh sekitar 1015 buah dendrite
• Fungsi dendrite adalah sebagai penyampai sinyal dari neuron tersebut ke neuron yang terhubung dengannya
• Sebagai keluaran, setiap neuron memiliki axon, sedangkan bagian penerima sinyal disebut synapse
• Sebuah neuron memiliki 1000-10.000 synapse
• Penjelasan lebih rinci tentang hal ini dapat diperoleh pada disiplin ilmu biology molecular
• Secara umum jaringan saraf terbentuk dari jutaan (bahkan lebih) struktur dasar neuron yang terinterkoneksi dan terintegrasi antara satu dengan yang lain sehingga dapat melaksanakan aktifitas secara teratur dan terus menerus sesuai dengan kebutuhan
4IF-UTAMA
5/9/2012
IF-UTAMA 2
Struktur Jaringan pada Otak
5IF-UTAMA
Synapse
6IF-UTAMA
A Neuron
© 2000 John Wiley & Sons, Inc.
7IF-UTAMA
Struktur Jaringan pada Otak
• Dendrit menerima sinyal dari neuron lain
– Sinyal berupa impulse elekrik dikirim melalui celah
sinaptik
– Sinyal dapat diperkuat/diperlemah di celah sinaptik
• Soma menjumlahkan semua sinyal-sinyal yang masuk
– Jika kuat dan melebihi batas akan diteruskan ke sel lain
melalui axon
8IF-UTAMA
5/9/2012
IF-UTAMA 3
Neural biologi
• Neural biologi merupakan sistem yang fault
tolerant :
– Manusia dapat mengenali sinyal input yang agak
berbeda dari yang pernah diterima sebelumnya.
– Otak manusia tetap mampu bekerja meskipun
beberapa neuronnya tidak mampu bekerja dengan
baik
• Sebuah neuron rusak, neuron lain dapat dilatih
menggantikan fungsi sel yang rusak.
9IF-UTAMA
Neural Network
• Suatu sistem pemrosesan informasi yang mencoba menirukinerja otak manusia
• Merupakan generalisasi model matematis dengan asumsi:
– Pemrosesan informasi terjadi pada elemen sederhana(=neuron)
– Sinyal dikirimkan diantara neuron-neuron melalui penghubung(=dendrit dan akson)
– Penghubung antar elemen memiliki bobot yang akan menambah ataumengurangi sinyal
– Untuk menentukan output,
setiap neuron memiliki fungsi
aktivasi (biasanya non linier)
yang dikenakan pada semua
input
– Besar output akan
dibandingkan dengan
threshold10IF-UTAMA
Otak Manusia Neural Network
Soma Node
dendrites Input/Masukan
Axon Output/Keluaran
synapsis Weight/Bobot
Milyaran Neuron Ratusan Neuron
Struktur Dasar Neural Network
IF-UTAMA 11
Definisi
• Neural Network (Jaringan Saraf Tiruan) adalah
– sistem pengolahan informasi yang karakteristik kinerjanya menyerupai jaringan saraf biologis.
merupakan generalisasi model matematis
saraf biologis.
– suatu representasi buatan dari otak manusia yang mencoba mensimulasikan proses pembelajaran pada otak manusia.
menggunakan program komputer
• Neural Network disebut juga: brain metaphor, computational neuroscience, parallel distributed processing
12IF-UTAMA
5/9/2012
IF-UTAMA 4
Neural Network
• Neural Network dapat belajar dari pengalaman!
• Biasanya berhubungan dengan angka (numerik) sehingga data yang tidak numerik harus dibuat ke numerik
• Tidak ada rumus yang tetap (fixed) sehingga disebut dengan free-estimator!
• Neural Network disebut black box atau tidak transparan karena tidak mampu menjelaskan bagaimana suatu hasil didapatkan!
• Neural Network mampu menyelesaikan permasalahan yang tidak terstruktur dan sulit didefinisikan!
13IF-UTAMA
Kelebihan & KekuranganKelebihan
• Mampu mengakuisisipengetahuan walau tidak adakepastian
• Mampu melakukangeneralisasi dan ekstraksi darisuatu pola data tertentu
• Neural Network dapatmenciptakan suatu polapengetahuan melaluipengaturan diri ataukemampuan belajar (self organizing)
• Memiliki fault tolerance, gangguan dapat dianggapsebagai noise saja
• Kemampuan perhitungansecara paralel sehingga proseslebih singkat
Kekurangan
• Kurang mampu untuk
melakukan operasi operasi
numerik dengan presisi tinggi
• Kurang mampu melakukan
operasi algoritma aritmatik,
operasi logika dan simbolis
• Lamanya proses training yang
mungkin terjadi dalam waktu
yang sangat lama untuk
jumlah data yang besar
IF-UTAMA 14
Kemampuan Neural Network
• Klasifikasi: memilih suatu input data ke dalam
kategori tertentu yang sudah ditetapkan
• Asosiasi: menggambarkan suatu obyek secara
keseluruhan hanya dengan bagian dari obyek lain
• Self organizing: kemampuan mengolah data-data
input tanpa harus mempunyai target
• Optimasi: menemukan suatu jawaban terbaik
sehingga mampu meminimalisasi fungsi biaya
15IF-UTAMA
Contoh Aplikasi
• Pengenalan pola (pattern recognition)– Huruf, tanda tangan, suara, gambar yang sudah sedikit
berubah (mengandung noise)
– Identifikasi pola saham
– Pendeteksian uang palsu, kanker
• Signal Processing– Menekan noise pada saluran telepon
• Peramalan– Peramalan saham
• Autopilot dan simulasi
• Kendali otomatis otomotif
16IF-UTAMA
5/9/2012
IF-UTAMA 5
Istilah dalam Neural Network
• Neuron: sel syaraf tiruan yang merupakan elemen pengolah Neural Network
• Jaringan: bentuk arsitektur Neural Network, kumpulan neuron yang saling berhubungan dan membentuk lapisan
• Input: sebuah nilai input yang akan diproses menjadi nilai output
• Output: solusi dari nilai input
• Hidden layer: lapisan yang tidak terkoneksi secara langsung denganlapisan input atau output, memperluas kemampuan Neural Network
• Bobot: nilai matematis dari sebuah koneksi antar neuron
• Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilaibobot per-iterasi dari semua nilai input.
– Fungsi aktivasi sederhana adalah mengakalikan input denganbobotnya dan kemudian menjumlahkannya (disebut penjumlahansigma)
– Berbentuk linier atau tidak linier, dan sigmoid
• Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning
17IF-UTAMA
Karakteristik Jaringan Saraf Tiruan
• Arsitektur, merupakan pola hubungan antarsel-sel neuron.
• Algoritma pelatihan/pembelajaran, merupakan metoda penentuan bobot padasambungan/hubungan.
• Fungsi Aktivasi, merupakan suatu fungsiyang digunakan untuk memproses sehinggadihasilkan sinyal keluaran neuron.
18IF-UTAMA
Arsitektur Jaringan
• Single-Layered
Feedforward Networks
� Neurons are organized
in layers
� “Single-layer” refers to
output neurons
� Source nodes supply to
output neurons but not
vice versa
� Network is
feedforward or acyclic
input layer of
source nodes
output layer of
neurons
19IF-UTAMA
Arsitektur Jaringan
• Multilayer Feedforward Networks– One or more hidden layers
– Hidden neurons enable extractions of higher-order statistic
– Network acquires global perspective due to extra set of synaptic connections and neural interactions
Input layer of
source nodes
Layer of hidden
neurons
Layer of output
neurons
7-4-2 fully connected network:
• 7 source nodes
• 4 hidden neurons
• 2 output neurons
20IF-UTAMA
5/9/2012
IF-UTAMA 6
Arsitektur Jaringan
• Recurrent Networks
– At least one feedback loop
– Feedback loops affect learning capability and
performance of the network
z-
1
z-
1
z-
1
z-
1Unit-delay
operators
Inputs
Outp
uts
21IF-UTAMA
Pengelompokkan Neural Network
• Neural Network Feed Forward
– Tidak mempunyai loop
– Contoh: single layer perceptron, mutilayer perceptron,
radial basis function
• Neural Network Feed Backward (Recurrent)
– Memiliki loop, lapisan output akan memberi input lagi
bagi lapisan input
– Contoh: competitive networks, kohonen, hopfield, ART
22IF-UTAMA
Paradigma pembelajaran
• Supervised Learning– Kumpulan input berusaha membentuk target output yang sudah
diketahui sebelumnya
– Perbedaan antara output yang masih salah dengan output yang diharapkan harus sekecil mungkin
– Biasanya lebih baik daripada unsupervised
– Kelemahan: pertumbuhan waktu komputasi eksponensial, data banyak berarti semakin lambat
• Unsupervised Learning– Neural Network mengorganisasikan dirinya untuk membentuk
vektor-vektor input yang serupa tanpa menggunakan data ataucontoh-contoh pelatihan, biasanya ke dalam suatukategori/kelompok-kelompok tertentu
• Hibrida Learning– Gabungan antara unsupervised dan supervised
• Reinforcement Learning
23IF-UTAMA
Algoritma Belajar
• Algoritma Terbimbing (Supervised Learning)– ada vektor target
– klasifikasi, pattern association
– Algoritma Hebb, Perceptron, Backpropagation, dll
• Tak Terbimbing (Unsupervised Learning)
– tidak ada vektor target
– Clustering
– Kohonen, dll
24IF-UTAMA
5/9/2012
IF-UTAMA 7
Algoritma Pembelajaran Umum
• Dimasukkan n data pelatihan
• Inisialisasi bobot-bobot jaringan, set i = 1
• Masukkan contoh ke-i ke dalam input
• Cari tingkat aktivasi unit output menggunakanalgoritma yang ditetapkan
– If memenuhi kriteria output then exit
– Else:
– Update bobot2 menggunakan fungsi galat error, Bobotbaru = bobot lama + delta
• If i=n then
– Reset� i=1,
– else i=i+1
25IF-UTAMA
Fungsi Aktivasi
26IF-UTAMA
Fungsi Aktivasi
• Fungsi undak biner (hard limit)
• Fungsi undak biner (threshold)
θθθθ
27IF-UTAMA
Fungsi Aktivasi
• Fungsi bipolar
• Fungsi bipolar dengan threshold
28IF-UTAMA
5/9/2012
IF-UTAMA 8
Fungsi Aktivasi
• Fungsi Linier (identitas)
29IF-UTAMA
Fungsi Aktivasi
• Fungsi saturating linear dirumuskan sebagai:
30IF-UTAMA
Fungsi Aktivasi
• Fungsi sigmoid biner dirumuskan sebagai:
31IF-UTAMA
Fungsi Aktivasi
• Fungsi sigmoid bipolar dirumuskan sebagai:
32IF-UTAMA
5/9/2012
IF-UTAMA 9
NEURAL NETWORKS AS
DIRECTED GRAPHS
• Neural networks maybe represented as directed
graphs:
– Synaptic links
(linier I/O)
– Activation links
(nonlinier I/O)
– Synaptic convergence
– Synaptic divergence
wkj
xjyk= wkj xj
( )•ϕxj
( )xy jkϕ=
yk=yi + yj
yi
yj
xj
xj
xj
33IF-UTAMA
NEURAL NETWORKS AS
DIRECTED GRAPHS
• Architectural graph: partially complete
directed graph
Output
yk
x0 =+1
xm
x2
x1
.
.
.
34IF-UTAMA
FEEDBACK
• Output of a system influences some of the
input applied to the system
• One or more closed paths of signal
transmission around the system
• Feedback plays an important role in
recurrent networks
35IF-UTAMA
FEEDBACK
• Sample single-loop feedback system
• Output signal yk(n) is an infinite weighted summation of present and past samples of input signal xj(n)
IF-UTAMA 36
∑∞
=
+−=
0
1)()(
lj
l
klnn xwy )( lnx j
−
x’j (n)xj(n) yk(n)
w
z-1
w is fixed weight
z-1 is unit-delay operator
is sample of input
signal delayed by l time units
5/9/2012
IF-UTAMA 10
Neural Network dan Aplikasi
• Klasifikasi: ADALINE, Backpropagation
• Pengenalan Pola: ART, Backpropagation
• Peramalan: ADALINE, MADALINE,
Backpropagation
• Optimasi: ADALINE, Hopfield, Boltzman,
Backpropagation
37IF-UTAMA
Konsep Dasar Artificial Neural
Computing
Processing Unit
Linear Threshold Unit
input
x1
x2
x3
bias
w1
w2
w3
wb
1 if x1*w1 + x2*w2 + x3*w3 + bias * wb > 0
0 if x1*w1 + x2*w2 + x3*w3 + bias * wb <= 0
38IF-UTAMA
Artificial Neuron Model
39IF-UTAMA
• Neuronj menghitung tingkat aktivasinya :
• Dengan f adalah satu dari beberapa fungsi aktivasi yang ada
Model sel syaraf (dengan menyertakan
threshold)
40IF-UTAMA
5/9/2012
IF-UTAMA 11
Model sel syaraf (dengan menyertakan
nilai bias)
41IF-UTAMA
McCulloch Pitts
• Fungsi aktivasi biner
• Besar bobotnya sama
• Memiliki threshold yang sama
42IF-UTAMA
The first Neural Networks
X1 X2 Y
0 0 0
0 1 0
1 0 0
1 1 1
X1
X2
Y
1
1Threshold=2
Fungsi ANDAND
43IF-UTAMA
Problem “AND”
X1 X2 net Y(1 jika net>=2, 0 jika net<2)
1 1 1.1+1.1=2 1
1 0 1.1+0.1=1 0
0 1 0.1+1.1=1 0
0 0 0.1+0.1=0 0
Ternyata BERHASIL mengenali pola
X1
X2
Y
2
1
1
44IF-UTAMA
5/9/2012
IF-UTAMA 12
The first Neural Networks
X1 X2 Y
0 0 0
0 1 1
1 0 1
1 1 1
X1
X2
Y
2
2Threshold=2
Fungsi OROR
45IF-UTAMA
Problem “OR”
X1 X2 net Y(1 jika net>=1, 0 jika net<1)
1 1 1.1+1.1=2 1
1 0 1.1+0.1=1 1
0 1 0.1+1.1=1 1
0 0 0.1+0.1=0 0
Ternyata BERHASIL mengenali pola
X1
X2
Y
1
1
1
46IF-UTAMA
The first Neural Networks
X1 X2 Y
0 0 0
0 1 0
1 0 1
1 1 0
X1
X2
Y
2
-1Threshold=2
Fungsi AND-NOTAND-NOT
47IF-UTAMA
Problem “X1 and not(X2)”
X1 X2 net Y(1 jika net>=2, 0 jika net<2)
1 1 1.2+1.-1=1 0
1 0 1.2+0.-1=2 1
0 1 0.2+1.-1=-1 0
0 0 0.2+0.-1=0 0
Ternyata BERHASIL mengenali pola
X1
X2
Y
2
2
-1
48IF-UTAMA
5/9/2012
IF-UTAMA 13
The first Neural Networks
X1 X2 Y
0 0 0
0 1 1
1 0 1
1 1 0
X1 XOR X2 = (X1 AND NOT X2) OR (X2 AND NOT X1)
XOR
Z1
Z2
Y
2
2Threshold=2
Fungsi XOR
X1
X2
2
2
-1
-1
Threshold=2
49IF-UTAMA
Tabel
50IF-UTAMA
ARTIFICIAL INTELLIGENCE
AND NEURAL NETWORKS
Parameter Artificial
Intelligence
Neural Networks
Level of Explanation Symbolic
representation with sequential processing
Parallel distributed
processing (PDP)
Processing Style Sequential Parallel
Representational
Structure
Quasi-linguistic
structure
Poor
Summary Formal manipulation
of algorithm and data representation in top
down fashion
Parallel distributed
processing with natural ability to learn
in bottom up fashion51IF-UTAMA
IF-UTAMA 52
Referensi
1. Erlin Windia Ambarsari, ST.-. Pengenalan Jaringan Syaraf
Tiruan. Universitas Indraprasta PGRI
2. -.-. Pengantar Jaringan Syaraf Tiruan. [online] url:
http://repo.kuliah.uajy.ac.id/40/pertemuan_5_pengantar_J
ST.ppt, Tanggal Akses: 7 Mei 2011
3. Antonie.-. Jaringan Syaraf Tiruan.[online] url :
http://lecturer.ukdw.ac.id/anton/download/AI/Jaringan%20
Syaraf%20Tiruan.ppt, Tanggal Akses: 7 Mei 2011
4. Tom M. Mitchell. 1997. Machine Learning. Mc-Graw
Hill