APLIKASI WAVELET RECURRENT NEURAL NETWORK

UNTUK PREDIKSI DATA TIME SERIES

APPLICATION Of WAVELET RECURRENT NEURAL NETWORK

FOR TIME SERIES DATA PREDICTION

INSTITUT TEKNOLOGI SEPULUH NOPEMBER SURABAYA

2010

JURUSAN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

Oleh :

Agus Sumarno

1206 100 706

Dosen Pembimbing :

Drs. Daryono Budi Utomo, M.Si

PENDAHULUAN

Latar BelakangPeramalan

MLP WAVELET

ANN/JST

RNN lebih baik

WRNN

Peramalan

Rumusan Masalah

1. Bagaimana bentuk model prediksi data time seriesyang optimal dari Wavelet Recurrent NeuralNetwork.

2. Bagaimana hasil prediksi data time seriesmenggunakan Wavelet Recurrent Neural Network (WRNN).

3. Bagaimana perbandingan hasil prediksi data times series antara Wavelet Recurrent Neural Network

(WRNN) dengan Recurrent Neural Network (RNN).

Batasan Masalah

1. Koefisien wavelet yang digunakan adalah wavelet Haar, db2, db3, db4, dengan Real Time Recurrent Learning sebagai algoritma trainingnya.

2. Data yang digunakan dalam simulasi adalah nilai harian kurs jual dolar terhadap rupiah yang diperoleh dari BI pada periode bulan Januari 2009 sampai dengan bulan Oktober 2009.

3. Untuk mengukur error dalam prediksi data time series digunakan Mean Squared Error (MSE).

Tujuan Penelitian

1. Menentukan model prediksi yang optimal dari Wavelet Recurrent Neural Network pada data time series.

2. Mendapatkan hasil prediksi data time series yang mendekati data aktual.

3. Membandingkan hasil prediksi data time series antara RNN dengan WRNN.

Manfaat Penelitian

Dapat diaplikasikan untuk memprediksi datalainnya yang memiliki pola data time series.

Mendapatkan model baru untuk prediksi data time series.

Manfaat

TINJAUAN PUSTAKA

Time seriesTime series adalah himpunan nilai-nilai hasil pengamatan yang diamati berdasar periode waktu dan disusun untuk melihat pengaruh perubahan dalam rentang waktu tertentu.

Beberapa hal yang harus diperhatikandalam prediksi data time series.

Pengumpulan data yang relevan berupa informasi agar dapat menghasilkan prediksi yang akurat

Pemilihan teknik prediksi yang tepat dengan memanfaatkan informasi data yang diperoleh seoptimal mungkin.

Kestasioneran data

TINJAUAN PUSTAKA

Dalam prediksi data untuk mengukur error dari hasilprediksi dapat digunakan: SSE, MSE atau RMSE.Pada tugas akhir ini untuk menghitung error dengan menggunakanNilai tengah kesalahan kuadrat / mean squared error (MSE) :

MSE =

TINJAUAN PUSTAKA (Lanjutan)

Dalam analisis wavelet terdapat dua fungsi utama yangberperan yaitu fungsi skala dan fungsi wavelet .

Wavelet

nen

i

i /1

2

fungsi skala didefinisikan dengan :

TINJAUAN PUSTAKA (Lanjutan)

Sedangkan fungsi wavelet didefinisikan dengan :

Pasangan fungsi ini yang digunakan untuk mendekomposisiatau merekonstruksi data.

TINJAUAN PUSTAKA (Lanjutan)

Atificial Neural Network (ANN)

Artificial Neural Network (ANN) atau yang sering kita kenal denganJaringan Syaraf Tiruan (JST) pada dasarnya mengambil ide dari carakerja jaringan saraf biologis. Pada gambar 2.1 ditunjukkan strukturdasar dari jaringan saraf tiruan ( JST ) satu neuron yangmenganalogikan sel syaraf biologis dengan asumsi sebagai berikut :

1. Cell body dinyatakan dengan node2. Axon dinyatakan dengan path3. Dendrit merupakan input4. Axon yang menuju cell body yang lain sebagai output.

Gambar 1 Analogi sel biologis dengan satu neuron tiruan

Sistem JST disusun dengan menggunakan model matematis darijaringan biologi manusia. Persamaan matematika satu neuron padagambar 1 adalah sebagai berikut :

n

i

ijij xwxwxS1

00)(

))(()( xsfxy jj

TINJAUAN PUSTAKA (Lanjutan)

Fungsi aktifasi menentukan bagaimana suatu neuron menanggapisinyal-sinyal masukan, sehingga terjadi aktivitas satu neuron. Jika aktivitas neuron kuat, maka neuron akan menghasilkan sinyal keluaran yang dapat dihubungkan ke neuron lain. Beberapa jenis fungsi aktifasi yang sering digunakan untuk mengaktifkan neuron diantaranya adalah sebagai berikut:1. Fungsi sigmoid biner

2. Fungsi sigmoid bipolar

xexf

1

1)(

x

x

e

exf

1

1)(

Fungsi aktifasi

TINJAUAN PUSTAKA (Lanjutan)

Recurrent Neural Network (RNN)Salah satu contoh arsitektur dari Recurrent Neural Network dapat

dilihat pada gambar 2 yang terdiri dari 3 layer dengan komposisi sebagaiberikut yaitu:

1. Layer input terdiri dari neuron2. Layer hidden terdiri dari neuron3. Layer output terdiri dari neuron

nmk

Gambar 2 Recurrent Neural network

TINJAUAN PUSTAKA (Lanjutan)

Real Time Recurrent Learning (RTRL)Algoritma RTRL(Real Time Recurrent Learning) secara detailnya adalah sebagai

berikut :Langkah 0 :

Inisialisasi bobot dari neuron input ke neuron hidden ( ), bobot dari neuron hidden ke neuron output ( ), bobot recurrent yaitu dari bobot dari neuron hidden ke neuron hiden ( ), output neuron hidden ( ) dan parameter yang digunakan yaitu learning rate (η) dan momentum / alpha(α). Serta setting

Langkah 1 : Mengulangi langkah 2 hingga langkah 7 sampai kondisi akhir iterasi dipenuhi.

Langkah 2 : Melakukan langkah 3 hingga 8 untuk masing-masing pasangan data pelatihan Fase Feedforward

Langkah 3 : Masing-masing neuron input ( , ) menerima sinyal masukan dan sinyal tersebut disebarkan ke neuron pada layer selanjutnya (hidden layer).

i j ijw

j k jkvj jju jy

0 ijjjk wuv

ixixpi ,........3,2,1

j

TINJAUAN PUSTAKA (Lanjutan)

Langkah 4 : Pada langkah ini Masing-masing neuron hidden akan menjumlahkan sinyal inputnya:

Kemudian menghitung nilai output neuron hiden sesuai dengan fungsi aktifasi yang digunakan

Selanjutnya output dari hidden layer dikirim ke neuron pada layer selanjutnya.

Langkah 5 : Jika neuron selanjutnya adalah neuron output maka masing-masing neuron output akan menjumlahkan bobot sinyal masukan. Fungsi aktifasi yang digunakan pada neuron output biasanya adalah linier sehingga output jaringannya adalah :

Fase Pembelajaran:Fase Pembelajaran ini bertujuan untuk meminimumkan cost functiondengan persamaannya adalah sebagai berikut :

p

k

kkjjjj txwtyuts1

)()1()(

p

k

kkjjjjj txwtyuftsfty1

))()1(())(()(

N

j

jjkk tyvtz1

)()(

Langkah 6 :Masing - masing neuron output ( , ) menghitung error jaringan yaitu membandingkan output jaringan dengan target yang diinginkan dengan persamaanKemudian menghitung cost function

Langkah 7 :Mengupdate bobot :

Langkah 8 :Uji kondisi pemberhentian / stop condition, yaitu dengan cara:1. Membatasi jumlah iterasi yang dilakukan, yaitu membatasi

perulangan dari langkah 3 sampai dengan langkah ke 72. Dengan cara membatasi error.

M

k

k tEte1

2)(2

1)(

)()()( tztdtE kkk

kz

)()()1( tvtvtv ijijij

)()()1( twtwtw ijijij

)()()1( tututu ijijij

TINJAUAN PUSTAKA (Lanjutan)

Mk ......3,2,1

METODE PENELITIAN

Metode Penelitian

1. Sumber DataData yang digunakan adalah data harian kurs jual Dolar terhadapRupiah yang didapat dari www. bi.go.id mulai tanggal 1 Januari 2009 sampai dengan tanggal 30 Oktober 2009.

2. Spesifikasi Hardware dan Software3. Prediksi data time series

a. Proses pada waveletb. Model Prediksi

- RNN- WRNN

c. Struktur Inputan70 % awal dari data keseluruhan digunakan untuk training30% terakhir dari keseluruhan data digunakan untuk testing.

d. Menentukan Arsitektur Jaringane. Simulasi.

mulai

Input

data

Dekomposisi

Jaringan Saraf

Tiruan

Rekonstruksi

Output

WRNN

Selesai

mulai

Input

data

Jaringan Saraf

Tiruan

Output

RNN

Selesai

Gambar 3 Perbedaan metode antara RNN dan

WRNN

Metode Penelitian(lanjutan)

IMPLEMENTASI PERANGKAT LUNAK

Implementasi Perangkat lunak

Implementasi Perangkat lunak (Lanjutan)

HASIL SIMULASI DAN PERBANDINGAN

SimulasiUji coba perangkat lunak dilakukan dengan mengkombinasikan banyaknya neuron tiap layer, dimana nilai learning rate = 0.05, alpha = 0.02, maksimal iterasi = 200, dan error minimal = 0.0001.

Tabel 1. Wavelet haar Tabel 2. Wavelet db2

Dengan mengkombinasikan banyaknya neuron tiap layer, terlihat bahwa arsitektur berpengaruh terhadap hasil yang diperoleh dari proses training. Jika neuron output lebih dari satu, MSE yang dihasilkan cukup besar, sehingga pada tugas akhir ini hanya dituliskan beberapakombinasi saja.

Tabel 3. Wavelet db3 Tabel 4. Wavelet db4

Secara umum dari nilai error minimal yang diberikan (0,0001) MSE yang dihasilkan WRNN lebih kecil dari RNN sehingga model WRNN lebih baik dari pada model RNN kecuali pada beberapa kasus khusus terdapat nilai MSE RNN lebih kecil dari WRNN yaitu pada wavelet daubechies arsitektur 1-3-2, 1-3-3, 3-3-2 dan 3-3-3 tetapi MSEnya cukup besar, jadi hasil prediksi dari arsitektur tersebut kurang optimal.

MSE paling kecil

WRNN

RNN

Wavelet db3, arsitektur 2-3-1

Arsitektur 1-3-1

Pemilihan learning rate yang sesuai akan dapat membantu mendapatkan hasil ramalan yang optimal. Selanjutnya dilakukan Uji coba untuk menentukan nilai parameter terbaik dengan menggunakan arsitektur 1-3-1 pada RNN dan wavelet db3 (2-3-1) pada WRNN.

Tabel 5. Hasil uji coba RNN dan WRNN dengan nilai nilai Alpha ( ) = 0.02, maximal iterasi = 200

RNN WRNN

Dari nilai nilai learning rate terbaik yaitu 0.3 untuk RNN dan 0.02 untuk WRNN, selanjutnya dilakukan uji coba untuk mendapatkan nilai alpha ( ).Tabel 6. Hasil uji coba RNN dan WRNN dengan nilai

nilai L.rate ( ) RNN = 0.3, WRNN = 0.02maximal iterasi = 200

RNN WRNN

Gambar 4 Plot grafik validasi hasil training antara data aktual dengan data ramalan untuk 70 % data awal.

Gambar 5 Plot grafik hasil testing antara data aktual dengan data ramalan untuk 30 % data terakhir.

Dari grafik dapat dilihat bahwa data hasil ramalan untuk WRNN lebih berhimpitan dengan data aktual dibandingkan dengan RNN, itu menunjukkan bahwa data hasil ramalan WRNN lebih baik dari RNN.

PerbandinganHasil perbandingan MSE antara RNN dan WRNN dapat dilihat pada Tabel 7 dan tabel 8

Dari tabel 7 terlihat bahwa pada masing-masing wavelet yang digunakan hasil MSE Wavelet Recurrent Neural Network (WRNN) lebih kecil dari hasil MSE Recurrent Neural Network (RNN).

Tabel 7. Perbandingan MSE RNN dengan WRNNpada masing-masing wavelet

Pada tabel 8 juga terlihat dengan mengambil nilai terbaik pada masing-masing model, MSE pada WRNN juga lebih kecil dari RNN, sehingga dapat dikatakan bahwa hasil prediksi WRNN lebih baik daripada hasil prediksi RNN.

Tabel 8. Perbandingan MSE RNN dan WRNNuntuk Arsitektur dan Parameter terbaik

KESIMPULAN

1. Dengan menggunakan data harian kurs jual dolar terhadap Rupiah dari bulan Januari 2009 sampai dengan Oktober 2009, dari empat koefisien wavelet yang menghasilkan model terbaik pada WRNN adalah wavelet db3 dengan arsitektur 2-3-1, nilai learning rate = 0.02 dan alphanya = 0.3, sedangkan pada RNN arsitektur terbaik adalah 1-3-1 dengan Nilai learning rate = 0.3 dan alphanya = 0.9.

2. Dengan menggunakan model yang terbaik dari WRNN, hasil prediksi yang didapatkan sudah mendekati nilai sebenarnya.

3. Dari hasil MSE terbaik pada masing-masing model, MSE WRNN lebih kecil dari MSE RNN, jadi model prediksi WRNN lebih baik dibandingkan dengan model prediksi RNN.

Kesimpulan

Saran

1. Menggunakan jenis wavelet yang lain seperti Coiflets, Symlets, Discrete Meyer, atau Morlet untuk mengetahui bagaimana pengaruh penggunaan wavelet terhadap hasil prediksi dengan nilai koefisien serta tingkat dekomposisi yang berbeda.

2. Adanya penelitian lebih lanjut mengenai WRNN dengan metode training selain RTRL.

DAFTAR PUSTAKA

DAFTAR PUSTAKAAnton, H., Rorres, C. 2004. “Aljabar Linear Elementer (versi

aplikasi)”. Edisi kedelapan-jilid 1. Alih Bahas: Refina Indriasari, Irzam Harmein. Editor: Amalia Safitri. Erlangga, Jakarta.

Aussem and Murtagh,F. 1998. ”Wavelet-based feature extraction and decomposition strategies for financial forecasting”, Journal of Computational Intelligence in Finance, 6:5-12.

Budi utomo, Daryono. 2007. ”Wavelet-jaringan saraf tiruan untukprediksi data time series”. Matematika ITS.Surabaya.

Burrus C, Sidney, Cs. 1998. ” Introduction to Wavelets and Wavelet Transform A primer”. Prentice Hall International, Inc. Houston, Texas.

Cai, X., dkk. 2004. “Time Series Prediction with RNN using a Hibrid PSO-EA Algorithm”, University of missouri,Rolla.

Doya, K. 2002. ”Recurrent Network : Learning Algorithms”. Kyoto

DAFTAR PUSTAKA

Kuncoro, M. 2001. “Metode Kuantitatif, Teori dan Aplikasi untuk Bisnis dan Ekonomi ”, Unit penerbit dan percetakan AMP YKPN, Yogyakarta.

Loh Hwa, Ruey. 2003. ”Time Series Forecast with Neural network”. Department of Electrical and Computer Engineering, University of Queensland., Australia.

Mahmudah,Wilda.2006. ”Fourier – recurrent neural network jenis elman untuk prediksi data time series”. Matematika ITS, Surabaya.

Makridakis. 1999. “Metode dan Aplikasi Peramalan”. Binarupa Aksara, Jakarta.

DAFTAR PUSTAKA (LANJUTAN)

Wang and Ding. 2003. “ Wavelet Network Model and Its Application to the Prediction of Hydrology”. Department of Hydrology and Water Resources, Hydraulic School of Sichuan University, Chengdu, Sichuan 610065, China.

Youse, Shahriar., W .I, and Reinarz.D. 2005. ” Wavelet-based prediction of oil prices ”, Chaos, Solitons and Fractals, 25:265-275.

Yunus, Mahmud. 2005. “Pengantar Analisis Fungsional”. Jurusan Matematika FMIPA ITS. Surabaya.

DAFTAR PUSTAKA (LANJUTAN)

SEKIAN

TERIMA KASIH