İLERİ BESLEMELİ YAPAY SİNİR İLERİ BESLEMELİ YAPAY SİNİR AĞLARINDA BACKPROPAGATİON AĞLARINDA BACKPROPAGATİON

(GERİYE YAYILIM) ALGORİTMASININ (GERİYE YAYILIM) ALGORİTMASININ SEZGİSEL YAKLAŞIMISEZGİSEL YAKLAŞIMI

Meriç ÇETİNMeriç ÇETİN

Pamukkale ÜniversitesiPamukkale Üniversitesi

Bilgisayar Mühendisliği BölümüBilgisayar Mühendisliği Bölümü

YAPAY SİNİR AĞLARIYAPAY SİNİR AĞLARI

Yapay Sinir Ağları (YSA); Yapay Sinir Ağları (YSA);

Genel olarak insan beyninin ya da merkezi sinir sisteminin çalışma prensiplerinin taklit eden bilgi işleme sistemleridir.

Yapay Zeka; Yapay Zeka;

İnsanın düşünme yapısını anlamak ve bunun benzerini ortaya çıkaracak bilgisayar işlemlerini geliştirmeye çalışmaktır. Öğrenme, gerekçeleme, problem çözme v.b. gibi insanoğlunun davranışlarını gösterebilen sistemlerle ilgilenen bir bilgisayar bilimidir. Amacı insanların davranışlarının ve sezgisel yeteneklerinin bilgisayar üzerindeki benzetimidir.

YSA ÖzellikleriYSA Özellikleri

Öğrenebilirler,

Tecrübe kazanabilirler,

Bu tecrübeyi kullanarak yeni problemleri çözebilir,

Eksik veri ile problemler çözebilirler,

Belirli bir algoritma yerine sezgisel yöntemler kullanırlar,

Yanlış yapabilirler…

Elektronik

Haberleşme,Telekomünikasyon

Otomasyon ve Kontrol

Robotik Uygulamaları

Tıp, Görüntü Tanıma

Arıza Analizi ve Tespiti

Savunma Sanayi,Üretim

Bankacılık ve Finans

YSA Uygulama YSA Uygulama AlanlarıAlanları

Çok Girişli S Nöronlu Hücre ModeliÇok Girişli S Nöronlu Hücre Modeli

Bir çok giriş için genellikle bir nöron yeterli olmayabilir. Bir çok giriş için genellikle bir nöron yeterli olmayabilir. Paralel işlem yapan birden fazla nörona ihtiyaç Paralel işlem yapan birden fazla nörona ihtiyaç duyulduğunda katman kavramı devreye girmektedir. S duyulduğunda katman kavramı devreye girmektedir. S tane nöronun tek bir katmanı Şekil’de gösterilmiştir. tane nöronun tek bir katmanı Şekil’de gösterilmiştir. Burada Burada RR girişin her biri bir nörona bağlıdır. girişin her biri bir nörona bağlıdır.

Çok Katmanlı NöronlarÇok Katmanlı Nöronlar

Üç katmanlı bir ağın genel yapısı Üç katmanlı bir ağın genel yapısı

Backpropagation (Geriye Yayılım) Backpropagation (Geriye Yayılım) AlgoritmasıAlgoritması

Backpropagation Algoritması:Backpropagation Algoritması: Bir giriş setine karşılık olarak özel bir fonksiyonel karakteristiği elde edebilmek için çıkışlar oluşturmak üzere ağırlıkların ayarlanması prensibine dayanan bir YSA algoritmasıdır.

Standart Backpropagation Algoritması: Standart Backpropagation Algoritması: Katmanlar arasında tam bir bağlantının bulunduğu çok katmanlı, ileri beslemeli ve öğreticili olarak eğitilen bir YSA modelidir ve hataları geriye doğru çıkıştan girişe azaltmaya çalışmasından dolayı bu ismi almıştır.

Bir geri yayılım ağındaki öğrenme aşağıdaki Bir geri yayılım ağındaki öğrenme aşağıdaki basamaklardan oluşur:basamaklardan oluşur:

Eğitim kümesinden bir sonraki örneği seçme ve ağ girişine Eğitim kümesinden bir sonraki örneği seçme ve ağ girişine giriş vektörü uygulama.giriş vektörü uygulama.

Ağın çıkışını hesaplama.Ağın çıkışını hesaplama. Ağın çıkışı ile istenen vektör (hedef vektör) arasındaki Ağın çıkışı ile istenen vektör (hedef vektör) arasındaki

hatayı hesaplama.hatayı hesaplama. Hatayı küçültecek şekilde ağın ağırlıklarını ayarlama.Hatayı küçültecek şekilde ağın ağırlıklarını ayarlama.

Backpropagation AlgoritmasıBackpropagation Algoritması

Backpropagation Algoritması, YSA araştırmaları için Backpropagation Algoritması, YSA araştırmaları için önemli bir buluştur. Ancak birçok pratik uygulama için önemli bir buluştur. Ancak birçok pratik uygulama için yetersiz kalmaktadır. yetersiz kalmaktadır.

SBP Algoritmasının en büyük problemi, çok uzun eğitim SBP Algoritmasının en büyük problemi, çok uzun eğitim süresine sahip olmasıdır. Pratik problemlerde temel SBP süresine sahip olmasıdır. Pratik problemlerde temel SBP Algoritmasının kullanılması, YSA eğitiminin günlerce hatta Algoritmasının kullanılması, YSA eğitiminin günlerce hatta haftalarca sürebilmesinden dolayı mümkün değildir. haftalarca sürebilmesinden dolayı mümkün değildir. Bu Bu sebeple algoritmada yakınsamayı hızlandırmak için bazı sebeple algoritmada yakınsamayı hızlandırmak için bazı metotlar geliştirilmiştir. metotlar geliştirilmiştir. SBP Algoritmasının performansını SBP Algoritmasının performansını iyileştirecek birkaç teknikten biri olan Sezgisel Yaklaşım iyileştirecek birkaç teknikten biri olan Sezgisel Yaklaşım Teknikleri momentum kullanılarak yapılır. Teknikleri momentum kullanılarak yapılır. Momentum Momentum katsayısı, YSA’nın daha hızlı toparlanmasına yardım eden katsayısı, YSA’nın daha hızlı toparlanmasına yardım eden bir faktördür.bir faktördür.

Momentumlu Backpropagation Momentumlu Backpropagation AlgoritmasıAlgoritması

Tmmk

m )()( 1 asW

SBP Algoritmasında öğrenme oranı küçük seçilirse öğrenme SBP Algoritmasında öğrenme oranı küçük seçilirse öğrenme yavaşlayacak, büyük seçilirse ağırlık değişimleri salınımlı ve yavaşlayacak, büyük seçilirse ağırlık değişimleri salınımlı ve kararsız olacaktır. Bu sakıncalar, SBP Algoritmasında kararsız olacaktır. Bu sakıncalar, SBP Algoritmasında ağırlıklara uygulanacak düzeltme miktarını belirleyen ağırlıklara uygulanacak düzeltme miktarını belirleyen denklemlere momentum terimi denklemlere momentum terimi eklenerek azaltılabilir. eklenerek azaltılabilir. Momentum katsayısı 0 < Momentum katsayısı 0 < < 1 aralığında seçilir. Momentum < 1 aralığında seçilir. Momentum katsayısı ağın daha hızlı toparlanmasına yardım eden bir katsayısı ağın daha hızlı toparlanmasına yardım eden bir faktördür. Amacı öğrenme esnasında ağın salınım yapmasını faktördür. Amacı öğrenme esnasında ağın salınım yapmasını önlemektir. önlemektir.

•Dik İniş Backpropagation Algoritması Parametreleri

mk

m sb )(

Tmmk

mk

m )()1()()( 11

asγWγW

mk

mk

m sγbγb )1()()( 1

•Momentumlu Backpropagation Algoritması Parametreleri

Örnek ProblemlerÖrnek Problemler

x1 x2 y

0 0 0

0 1 0

1 0 0

1 1 1

x1 x2 y

0 0 0

0 1 1

1 0 1

1 1 0

AND Problemi XOR Problemi

Örnek ProblemlerÖrnek Problemler

x1 x2 x3 y

-1 -1 -1 -1

-1 -1 1 1

-1 1 -1 1

-1 1 1 -1

1 -1 -1 1

1 -1 1 -1

1 1 -1 -1

1 1 1 1

Parity-3 Problemi

Örnek ProblemlerÖrnek Problemler

x1 x2 x3 x4  y-1 -1 -1 -1 -1-1 -1 -1 1 1-1 -1 1 -1 1-1 -1 1 1 -1-1 1 -1 -1 1-1 1 -1 1 -1-1 1 1 -1 -1-1 1 1 1 11 -1 -1 -1 11 -1 -1 1 -11 -1 1 -1 -11 -1 1 1 11 1 -1 -1 -11 1 -1 1 11 1 1 -1 11 1 1 1 -1

Parity-4 Problemi

AND,XOR,Parity-3 ve Parity-4 Problemleri için AND,XOR,Parity-3 ve Parity-4 Problemleri için simülasyon sonuçlarısimülasyon sonuçları

SONUÇSONUÇ

Bu çalışmada, farklı karmaşıklık derecelerine sahip lojik problemler SBP Algoritması ve Momentumlu Backpropagation Algoritması tarafından çözülmüştür.

Simülasyon sonuçları göstermiştir ki yapay sinir ağlarının çözmeye çalıştığı problemin karmaşıklığı arttıkça, problemi çözen yapay sinir ağı yapısının karmaşıklığı da artmıştır. Burada ayrıca yapının karmaşıklığı kadar kullanılan öğrenme algoritmasının da büyük önem kazandığı söylenebilir.

Momentum ilavesi Standart Backpropagation Algoritmasına Ortalama Döngü Sayısı (ODS) açısından büyük çoğunlukla olumlu etkide bulunmuştur. Ancak problemin karmaşıklığı arttıkça Momentumlu Backpropagation Algoritması, SBP Algoritması gibi çözümde çok fazla etkili olamamıştır.

Sonuç olarak, momentum ilavesi Backpropagation Algoritmasına olumlu katkı sağlar ve bu tür basit problemlerin çözümünde önerilebilir.

TEŞEKKÜRLER…TEŞEKKÜRLER…