marko upi¢ bojana dalbelo ba²i¢ marin golub 12. kolovoza...

Neizrazito, evolucijsko i neurora£unarstvo.

Marko �upi¢ Bojana Dalbelo Ba²i¢ Marin Golub

12. kolovoza 2013.

Sadrºaj

Sadrºaj i

Predgovor xi

I Neizrazita logika 1

1 Neizraziti skupovi 31.1 Klasi£ni skupovi . . . . . . . . . . . . . . . . . . . . . . . . . 61.2 Neizraziti skupovi . . . . . . . . . . . . . . . . . . . . . . . . . 71.3 Karakteristi£ni oblici funkcija pripadnosti . . . . . . . . . . . 12

1.3.1 Po dijelovima linearne funkcije . . . . . . . . . . . . . 121.3.2 Glatke funkcije . . . . . . . . . . . . . . . . . . . . . . 16

1.4 Svojstva neizrazitih skupova . . . . . . . . . . . . . . . . . . . 191.5 Teorem predstavljanja. α-presjeci. . . . . . . . . . . . . . . . 23

2 Operacije nad neizrazitim skupovima 272.1 Standardne operacije . . . . . . . . . . . . . . . . . . . . . . . 272.2 s-norme i t-norme . . . . . . . . . . . . . . . . . . . . . . . . . 292.3 Parametrizirane s-norme i t-norme . . . . . . . . . . . . . . . 35

3 Jezi£ne varijable 41

4 Neizrazite relacije 494.1 Klasi£na relacija . . . . . . . . . . . . . . . . . . . . . . . . . 494.2 Neizrazita relacija . . . . . . . . . . . . . . . . . . . . . . . . . 494.3 Operacije nad neizrazitim relacijama . . . . . . . . . . . . . . 524.4 Svojstva binarnih neizrazitih relacija . . . . . . . . . . . . . . 57

4.4.1 Relacija ekvivalencije i neizrazita relacija ekvivalencije 594.4.2 Relacija kompatibilnosti i neizrazita relacija kompati-

bilnosti . . . . . . . . . . . . . . . . . . . . . . . . . . 614.4.3 Relacije ure�aja . . . . . . . . . . . . . . . . . . . . . 63

4.5 Zatvaranje binarne relacije . . . . . . . . . . . . . . . . . . . . 644.6 Neinteraktivnost binarne relacije . . . . . . . . . . . . . . . . 67

i

5 Neizrazito zaklju£ivanje i upravljanje 695.1 Modeliranje nelinearnih sustava . . . . . . . . . . . . . . . . . 695.2 Dekodiranje neizrazitosti . . . . . . . . . . . . . . . . . . . . . 73

5.2.1 Numeri£ki postupci pri dekodiranju neizrazitosti . . . 775.3 Pribliºno zaklju£ivanje . . . . . . . . . . . . . . . . . . . . . . 81

5.3.1 Naj£e²¢i operatori implikacije u neizrazitoj logici . . . 855.4 Neizrazito upravljanje . . . . . . . . . . . . . . . . . . . . . . 88

5.4.1 Zaklju£ivanje u sustavima neizrazitog upravljanja . . . 915.5 Primjer sustava neizrazitog upravljanja: okrenuto njihalo . . . 98

5.5.1 Ubrzavanje rada upravlja£kog sustava . . . . . . . . . 1095.5.2 Izvod jednadºbi gibanja okrenutog njihala . . . . . . . 110

6 Princip pro²irenja i neizrazita aritmetika 1156.1 Princip pro²irenja . . . . . . . . . . . . . . . . . . . . . . . . . 115

6.1.1 Primjena principa pro²irenja na funkcije . . . . . . . . 1186.1.2 Primjena principa pro²irenja na klasi£ne relacije . . . . 1196.1.3 Primjena principa pro²irenja na neizrazite relacije . . . 1206.1.4 Neizrazita udaljenost . . . . . . . . . . . . . . . . . . . 121

6.2 Neizrazita aritmetika . . . . . . . . . . . . . . . . . . . . . . . 1246.2.1 Intervalna aritmetika . . . . . . . . . . . . . . . . . . . 1246.2.2 Neizrazita aritmetika de�nirana preko intervalne arit-

metike . . . . . . . . . . . . . . . . . . . . . . . . . . . 1256.2.3 Neizrazita aritmetika de�nirana preko principa pro²i-

renja . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

II Umjetne neuronske mreºe 131

7 Op¢enito o neuronskim mreºama 1337.1 Motivacija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1337.2 Osnovni model neurona . . . . . . . . . . . . . . . . . . . . . 1347.3 Osnovni model neuronske mreºe . . . . . . . . . . . . . . . . . 1377.4 Vrsta i podjela neuronskih mreºa . . . . . . . . . . . . . . . . 138

8 Unaprijedne neuronske mreºe 1398.1 U£enje gradijentnim spustom . . . . . . . . . . . . . . . . . . 1408.2 Algoritam Backpropagation . . . . . . . . . . . . . . . . . . . 143

8.2.1 Slu£aj 1: izlazni sloj . . . . . . . . . . . . . . . . . . . 1458.2.2 Slu£aj 2: teºina pripada skrivenom sloju . . . . . . . . 1478.2.3 Op¢i slu£aj . . . . . . . . . . . . . . . . . . . . . . . . 150

8.3 Ina£ice algoritma Backpropagation . . . . . . . . . . . . . . . 1518.3.1 Dodavanje inercije . . . . . . . . . . . . . . . . . . . . 152

8.4 Dodatne napomene . . . . . . . . . . . . . . . . . . . . . . . . 1528.4.1 Kriteriji zaustavljanja postupka u£enja . . . . . . . . . 152

8.4.2 Ubrzavanje postupka u£enja . . . . . . . . . . . . . . . 1538.4.3 Primjeri u£enja unaprijedne slojevite neuronske mreºe 155

8.5 Pregled algoritama u£enja . . . . . . . . . . . . . . . . . . . . 1598.5.1 Algoritam najstrmijeg spusta . . . . . . . . . . . . . . 1618.5.2 Algoritam hrabrog voza£a . . . . . . . . . . . . . . . . 1628.5.3 Algoritam Delta-Bar-Delta . . . . . . . . . . . . . . . 1638.5.4 Algoritam SuperSAB . . . . . . . . . . . . . . . . . . . 1648.5.5 Algoritam Quickprop . . . . . . . . . . . . . . . . . . . 1648.5.6 Algoritam Rprop . . . . . . . . . . . . . . . . . . . . . 1668.5.7 Algoritam Rprop+ . . . . . . . . . . . . . . . . . . . . 1678.5.8 Algoritam iRprop+ . . . . . . . . . . . . . . . . . . . . 167

9 Samoorganiziraju¢e neuronske mreºe 1699.1 Natjecanje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

9.1.1 Zahtjevi na samoorganiziraju¢e neuronske mreºe . . . 1709.2 Mreºa Winner-Takes-All . . . . . . . . . . . . . . . . . . . . . 171

9.2.1 Rad mreºe . . . . . . . . . . . . . . . . . . . . . . . . . 1729.3 Mreºa INSTAR . . . . . . . . . . . . . . . . . . . . . . . . . . 173

9.3.1 Problemi pri u£enju mreºe INSTAR . . . . . . . . . . 1759.4 Mreºa OUTSTAR . . . . . . . . . . . . . . . . . . . . . . . . 1779.5 Mreºa Counterpropagation . . . . . . . . . . . . . . . . . . . . 1789.6 Mreºa SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

III Evolucijsko ra£unanje 183

10 Evolucijsko ra£unanje 18510.1 Osvrt na genetske algoritme . . . . . . . . . . . . . . . . . . . 18810.2 Primjer generacijskog genetskog algoritma . . . . . . . . . . . 190

11 Pobolj²anje djelotvornosti GA 20511.1 Uvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20511.2 Odabir prikladnog prikaza rje²enja . . . . . . . . . . . . . . . 20711.3 Vrednovanje jedinki . . . . . . . . . . . . . . . . . . . . . . . . 20811.4 Selekcije . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

11.4.1 Podjela . . . . . . . . . . . . . . . . . . . . . . . . . . 20811.4.2 Selekcijski pritisak . . . . . . . . . . . . . . . . . . . . 21111.4.3 Izbor selekcije . . . . . . . . . . . . . . . . . . . . . . . 212

11.5 Reprodukcija . . . . . . . . . . . . . . . . . . . . . . . . . . . 21511.6 Teorem sheme i hipoteza blokova . . . . . . . . . . . . . . . . 218

11.6.1 Pretpostavke . . . . . . . . . . . . . . . . . . . . . . . 21811.6.2 Teorem sheme . . . . . . . . . . . . . . . . . . . . . . . 21811.6.3 Hipoteza gra�evnih blokova . . . . . . . . . . . . . . . 222

11.7 Pode²avanje parametara algoritma . . . . . . . . . . . . . . . 223

11.7.1 Parametri genetskog algoritma . . . . . . . . . . . . . 22311.7.2 Karakteristi£ne krivulje . . . . . . . . . . . . . . . . . 224

IV Kombiniranje pristupa mekog ra£unarstva 229

12 Neuro-neizraziti sustavi 23112.1 Neizrazite neuronske mreºe . . . . . . . . . . . . . . . . . . . 23212.2 Sustav ANFIS . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

12.2.1 Radni primjer . . . . . . . . . . . . . . . . . . . . . . . 23712.2.2 Izvod pravila za aºuriranje parametara zi . . . . . . . 23812.2.3 Izvod pravila za aºuriranje parametara ai . . . . . . . 23912.2.4 Izvod pravila za aºuriranje parametara bi . . . . . . . 24012.2.5 Kona£ni algoritam . . . . . . . . . . . . . . . . . . . . 24112.2.6 Op¢enita verzija ANFIS-a . . . . . . . . . . . . . . . . 24112.2.7 Pobolj²anje algoritma u£enja . . . . . . . . . . . . . . 24112.2.8 Detaljniji pregled neuro-fuzzy sustava . . . . . . . . . 243

13 Neuro-evolucijski sustavi 24513.1 Evolucija teºinskih faktora . . . . . . . . . . . . . . . . . . . . 246

13.1.1 Primjena genetskog algoritma na evoluciju teºinskihfaktora . . . . . . . . . . . . . . . . . . . . . . . . . . . 247

13.2 Evolucija arhitektura . . . . . . . . . . . . . . . . . . . . . . . 25113.2.1 Direktno kodiranje neuronske mreºe . . . . . . . . . . 25313.2.2 Indirektno kodiranje neuronske mreºe . . . . . . . . . 259

13.3 Evolucija pravila u£enja . . . . . . . . . . . . . . . . . . . . . 26413.3.1 Evolucija parametara algoritma u£enja . . . . . . . . . 26413.3.2 Evolucija novih algoritama u£enja . . . . . . . . . . . 264

14 Neuro-neizraziti-evolucijski sustavi 26514.1 PSO za ANFIS . . . . . . . . . . . . . . . . . . . . . . . . . . 265

14.1.1 Op¢enita struktura algoritma PSO . . . . . . . . . . . 26714.1.2 Modi�kacija algoritma PSO . . . . . . . . . . . . . . . 26714.1.3 Postupak u£enja mreºe ANFIS . . . . . . . . . . . . . 268

14.2 Simbiotski PSO za ANFIS . . . . . . . . . . . . . . . . . . . . 26814.2.1 Speci�kacija sustava ANFIS . . . . . . . . . . . . . . . 27014.2.2 Opis primijenjenog algoritma PSO . . . . . . . . . . . 270

Index 275

Popis slika

1.1 Zna£enja pojma neizrazita logika. . . . . . . . . . . . . . . . . 51.2 Tri na£ina de�niranja klasi£nog skupa . . . . . . . . . . . . . 61.3 Funkcija pripadnosti skupa visoki ljudi, po dijelovima linearna. 101.4 Funkcija pripadnosti skupa visoki ljudi, na druga£iji na£in. . . 121.5 Λ-funkcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.6 Γ-funkcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.7 L-funkcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.8 Π-funkcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.9 S-funkcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161.10 Gaussova funkcija . . . . . . . . . . . . . . . . . . . . . . . . 171.11 Sigmoidalna funkcija . . . . . . . . . . . . . . . . . . . . . . . 181.12 π-funkcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181.13 Kvadratna zvonolika funkcija . . . . . . . . . . . . . . . . . . 191.14 Primjeri centara neizrazitih skupova. . . . . . . . . . . . . . . 211.15 Pojam neizrazito konveksnog skupa. . . . . . . . . . . . . . . 221.16 Ocjena neizrazite konveksnosti skupa. . . . . . . . . . . . . . 221.17 Neizrazita konveksnost preko α-presjeka. . . . . . . . . . . . . 25

2.1 Standardne de�nicije presjeka, unije i komplementa neizrazi-tih skupova. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.2 Dva zakona koja ne vrijede. . . . . . . . . . . . . . . . . . . . 312.3 Unija i presjek neizrazitih skupova uporabom Hamacherovih

parametriziranih normi. . . . . . . . . . . . . . . . . . . . . . 37

3.1 Jezi£na varijabla "starosna dob". . . . . . . . . . . . . . . . . 423.2 Jezi£ni modi�katori: koncentracija, dilatacija, kontrastna in-

tenzi�kacija. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443.3 Neizraziti skupovi "mlad" i "star". . . . . . . . . . . . . . . . 463.4 Funkcija pripadnosti izvedenog izraza. . . . . . . . . . . . . . 47

5.1 Prijenosna karakteristika sustava. . . . . . . . . . . . . . . . . 725.2 Nejednozna£nost pri dekodiranju neizrazitosti metodom Bi-

sectorOfArea. . . . . . . . . . . . . . . . . . . . . . . . . . . . 745.3 Aproksimacija povr²ine trapeznom formulom. . . . . . . . . . 78

v

5.4 Zaklju£ivanje modus-ponensom . . . . . . . . . . . . . . . . . 845.5 Izvo�enje zaklju£ka odsijecanjem. . . . . . . . . . . . . . . . . 895.6 Izvo�enje zaklju£ka skaliranjem. . . . . . . . . . . . . . . . . . 905.7 Izvo�enje pri sloºenim izrazima. . . . . . . . . . . . . . . . . . 915.8 Gra�a sustava neizrazitog upravljanja. . . . . . . . . . . . . . 915.9 Obrnuto njihalo. . . . . . . . . . . . . . . . . . . . . . . . . . 995.10 Sustav i upravlja£ki sklop. . . . . . . . . . . . . . . . . . . . . 1005.11 Jezi£ne varijable. . . . . . . . . . . . . . . . . . . . . . . . . . 1015.12 Simulacija rada. . . . . . . . . . . . . . . . . . . . . . . . . . . 1045.13 Simulacija rada. . . . . . . . . . . . . . . . . . . . . . . . . . . 1065.14 Izvedeni zaklju£ak. . . . . . . . . . . . . . . . . . . . . . . . . 1085.15 Obrnuto njihalo. . . . . . . . . . . . . . . . . . . . . . . . . . 111

7.1 Osnovni model neurona . . . . . . . . . . . . . . . . . . . . . 1357.2 Tipi£ne prijenosne funkcije . . . . . . . . . . . . . . . . . . . . 1367.3 Tipi£na gra�a neuronske mreºe . . . . . . . . . . . . . . . . . 137

8.1 Adaptivni pristupi. . . . . . . . . . . . . . . . . . . . . . . . . 1608.2 Jedan od problema adaptivnih pristupa. . . . . . . . . . . . . 166

9.1 Vrste u£enja, primjeri mreºa i zadatci koje rje²avaju . . . . . 1699.2 Mreºa Winner-Takes-All . . . . . . . . . . . . . . . . . . . . . 1729.3 Odziv mreºe Winner-Takes-All uz zadanu pobudu . . . . . . 1739.4 Zadatak kvantizacije vektora . . . . . . . . . . . . . . . . . . 1739.5 Mreºa INSTAR . . . . . . . . . . . . . . . . . . . . . . . . . . 1749.6 Mjera bliskosti temeljena na kutu izme�u vektora . . . . . . . 1749.7 Mehanizam u£enja kod mreºe INSTAR . . . . . . . . . . . . . 1759.8 Nepovoljan odabir po£etnih teºina . . . . . . . . . . . . . . . 1769.9 Mreºa OUTSTAR . . . . . . . . . . . . . . . . . . . . . . . . 1789.10 Mreºa Counterpropagation . . . . . . . . . . . . . . . . . . . . 1799.11 Mreºa SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

10.1 Pregled podru£ja evolucijskog ra£unanja . . . . . . . . . . . . 18610.2 Genetski algoritam . . . . . . . . . . . . . . . . . . . . . . . . 18810.3 Kromosom kao niz bitova . . . . . . . . . . . . . . . . . . . . 19110.4 Kretanje dobrote najboljeg rje²enja kroz generacije . . . . . . 19610.5 Distribucija najboljih rje²enja . . . . . . . . . . . . . . . . . . 19710.6 Ovisnost medijana najboljeg rje²enja o veli£ini populacije. Gor-

nji dio prikazuje statistiku najboljih rje²enja a donji dio statis-tiku prosje£nih rje²enja. Crveno: prirodni binarni kod, zeleno:Grayev kod, plavo: decimalna reprezentacija. . . . . . . . . . 199

10.7 Ovisnost prosjeka najboljih rje²enja o veli£ini populacije. Gor-nji dio prikazuje statistiku najboljih rje²enja a donji dio statis-tiku prosje£nih rje²enja. Crveno: prirodni binarni kod, zeleno:Grayev kod, plavo: decimalna reprezentacija. . . . . . . . . . 200

10.8 Ovisnost medijana najboljih rje²enja o vjerojatnosti mutacijebita kod ina£ice koja koristi prirodni binarni kod. Gornji dioprikazuje statistiku najboljih rje²enja a donji dio statistikuprosje£nih rje²enja. . . . . . . . . . . . . . . . . . . . . . . . . 201

10.9 Ovisnost medijana najboljih rje²enja o vjerojatnosti mutacijebita. Kod ina£ice koja koristi Grayev kod. Gornji dio prika-zuje statistiku najboljih rje²enja a donji dio statistiku prosje£-nih rje²enja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

10.10Ovisnost medijana najboljih rje²enja o broju generacija. Gor-nji dio prikazuje statistiku najboljih rje²enja a donji dio statis-tiku prosje£nih rje²enja. Crveno: prirodni binarni kod, zeleno:Grayev kod, plavo: decimalna reprezentacija. . . . . . . . . . 203

11.1 Podjela postupaka selekcije prema na£inu preno²enja genet-skog materijala boljih jedinki u novu iteraciju . . . . . . . . . 209

11.2 Vrste selekcija . . . . . . . . . . . . . . . . . . . . . . . . . . . 21011.3 Operatori kriºanja u slu£aju binarnog prikaza . . . . . . . . . 21511.4 Operatori mutacije prikladni za binarni prikaz . . . . . . . . . 21611.5 Operatori kriºanja prikladni za prikaz poljem realnih brojeva 21711.6 Operatori mutacije prikladni za prikaz poljem realnih brojeva 21711.7 Operatori kriºanja za prikaz permutiranim nizom cijelih brojeva21911.8 Operatori mutacije za prikaz permutiranim nizom cijelih brojeva22011.9 Shema je sa£uvana nakon kriºanja s jednom to£kom prekida

ako oba roditelja sadrºe istu shemu . . . . . . . . . . . . . . . 22211.10Utjecaj veli£ine populacije na evolucijski proces . . . . . . . . 22611.11Utjecaj veli£ine populacije i broj iteracija na kvalitetu rje²enja 22711.12Karakteristi£ne krivulje ovisnosti kvalitete rje²enja o tri para-

metra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22811.13Karakteristi£na krivulja rje²enja u ovisnosti o broju iteracija

za genetski algoritam bez elitizma . . . . . . . . . . . . . . . . 228

12.1 Neizraziti-I neuron . . . . . . . . . . . . . . . . . . . . . . . . 23312.2 Neizraziti-ILI neuron . . . . . . . . . . . . . . . . . . . . . . . 23312.3 Primjer neizrazite neuronske mreºe tipa ILI-od-I . . . . . . . 23412.4 Primjer neizrazite neuronske mreºe tipa I-od-ILI . . . . . . . 23412.5 ANFIS mreºa koja ostvaruje neizraziti sustav (zaklju£ivanje

tipa 3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23612.6 ANFIS mreºa koja ostvaruje neizraziti sustav (zaklju£ivanje

tipa 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23612.7 ANFIS mreºa koja ostvaruje neizraziti sustav (zaklju£ivanje

tipa 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23712.8 Op¢enita gra�a sustava neizrazitog zaklju£ivanja . . . . . . . 238

13.1 Ilustracija simetri£nosti unutar neuronske mreºe � problempermutacija . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248

13.2 MLP s dva neurona u skrivenom sloju za problem XOR-anau£en genetskim algoritmom . . . . . . . . . . . . . . . . . . 256

13.3 Decizijske funkcije nau£ene za svaki od tri neurona u MLP-uza problem XOR-a . . . . . . . . . . . . . . . . . . . . . . . . 257

13.4 Unaprijedna (ali neslojevita) neuronska mreºa s ukupno 2 ope-rativna neurona za problem XOR-a nau£en genetskim algorit-mom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

13.5 Primjer produkcijskih pravila za izgradnju matrice veza ne-uronske mreºe . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

13.6 Primjer uporabe produkcijskih pravila za izgradnju matriceveza neuronske mreºe . . . . . . . . . . . . . . . . . . . . . . . 261

13.7 Primjer stani£nog razvoja neuronske mreºe . . . . . . . . . . 263

14.1 ANFIS mreºa koja ostvaruje neizraziti sustav (zaklju£ivanjetipa 3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

14.2 Rezultat u£enja sustava ANFIS . . . . . . . . . . . . . . . . . 26914.3 Struktura pod£estice koja odgovara jednom pravilu sustava

ANFIS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27014.4 Struktura rojeva algoritma SAPSO . . . . . . . . . . . . . . . 271

Popis tablica

2.1 Svojstva min-max operatora . . . . . . . . . . . . . . . . . . . 292.2 �este neparametrizirane t-norme i s-norme . . . . . . . . . . . 332.3 �este parametrizirane t-norme i s-norme . . . . . . . . . . . . 352.4 Parametrizirane operacije komplementa . . . . . . . . . . . . 352.5 Odnos parametriziranih i neparametriziranih normi . . . . . . 362.6 De�nicije operatora uprosje£ivanja . . . . . . . . . . . . . . . 39

3.1 Veza jezi£nih modi�katora i jezi£nih izraza . . . . . . . . . . . 43

5.1 Sloºene neizrazite propozicije . . . . . . . . . . . . . . . . . . 82

11.1 Ciljevi i na£ini pobolj²anja djelotvornosti genetskih algoritama 20611.2 Preporu£eni intervali vrijednosti parametara . . . . . . . . . . 224

12.1 Usporedba karakteristika sustava neizrazitog upravljanja teneuronskih mreºa . . . . . . . . . . . . . . . . . . . . . . . . . 231

13.1 Prikaz arhitekture neuronske mreºe matricom veza . . . . . . 25313.2 Prikaz arhitekture neuronske mreºe matricom teºina . . . . . 25413.3 Matri£ni prikaz arhitekture neuronske mreºe za problem XOR 25513.4 Matri£ni prikaz arhitekture neuronske mreºe za problem XOR 25613.5 Matri£ni prikaz arhitekture neuronske mreºe s dva operativna

neurona za problem XOR . . . . . . . . . . . . . . . . . . . . 25813.6 Matri£ni prikaz arhitekture neuronske mreºe za problem XOR 258

ix

Predgovor

Ovaj dokument predstavlja radnu verziju knjige za kolegij Neizrazito, evo-lucijsko i neurora£unarstvo: Neizrazito, evolucijsko i neurora£unarstvo. Mo-limo sve pogre²ke, komentare, nejasno¢e te sugestije dojaviti [email protected], [email protected] ili [email protected].

c© 2012.-2013. Marko �upi¢, Bojana Dalbelo Ba²i¢ i Marin Golub

Za²ti¢eno licencom Creative Commons Imenovanje�Nekomercijalno�Bez pre-rada 3.0 Hrvatska.http://creativecommons.org/licenses/by-nc-nd/3.0/hr/

Verzija dokumenta: 0.1.2013-08-12.

xi

Dio I

Neizrazita logika

1

Poglavlje 1

Neizraziti skupovi

Neizrazita logika, neizraziti skupovi, neizrazite relacije, neizraziti brojevi,neizrazita aritmetika, sustavi neizrazitog upravljanja... U ovom tekstu puno¢emo govoriti o neizrazitosti � idemo se stoga najprije upoznati s tim poj-mom. Izraz neizrazit hrvatski je prijevod za englesku rije£ fuzzy. Taj sepojam odnosi na jednu vrstu neodre�enosti, i povezan je s jo² dvije vrlosli£ne engleske rije£i: vague i uncertainty. Evo izvatka iz rije£nika CollinsEnglish Dictionary.

fuzzy

1. of, resembling, or covered with fuzz;

2. indistinct; unclear or distorted;

3. not clearly thought out or expressed;

4. (of the hair) tightly curled or very wavy;

5. Maths. of or relating to a form of set theory in which set membershipdepends on a likelihood function: fuzzy set; fuzzy logic.

vague

1. (of statements, meaning, etc.) not explicit; imprecise: vague promises;

2. not clearly perceptible or discernible; indistinct: a vague idea; a vagueshape;

3. not clearly or de�nitely established or known: a vague rumour;

4. (of a person or his expression) demonstrating lack of precision or clearthinking; absent-minded; [C16: via French from Latin vagus wande-ring, of obscure origin].

3

4 POGLAVLJE 1. NEIZRAZITI SKUPOVI

uncertainty

1. also called: uncertainness; the state or condition of being uncertain;

2. an uncertain matter, contingency, etc.

Povijesni razvoj neizrazite logike moºe se pratiti od dvadesetih godinadvadesetog kada je Jan �ukasiewicz, poljski logi£ar i �lozof koji je prou£avaoanaliti£ku �lozo�ju i matemati£ku logiku postavio temelje vi²evrijednosnelogike � logike kod koje ne postoji samo istina i laº ve¢ postoje razli£iterazine istinitosti propozicija. Porodice vi²evrijednosnih logika ozna£avaju ses Ln, pa tako imamo:

• L2: vrijednosti istinitosti mogu biti {0, 1} ⇒ klasi£na logika,

• L3: vrijednosti istinitosti mogu biti {0, 1/2, 1},

• ...

• Ln: vrijednosti istinitosti mogu biti {0, 1/n−1, 2/n−1, . . . ., n−2/n−1, 1},

• L∞: vrijednosti istinitosti mogu biti iz intervala [0, 1] ⊂ Q te

• L1: vrijednosti istinitosti mogu biti iz intervala [0, 1] ⊂ R.

Izraz vagueness uveo je Bertrand Russell, engleski �lozof, logi£ar, ma-temati£ar, povijesni£ar, i dru²tveni kriti£ar, izme�u ostaloga poznat i poRussellovom paradoksu koji pokazuje mane klasi£ne logike. Evo o £emu seradi: prema klasi£noj teoriji skupova, svaka kolekcija koju je mogu¢e de�-nirati je skup. Neka je tada s R ozna£en skup svih skupova koji nemajusamog sebe za £lana. Evo paradoksa: ako bi R imao samog sebe za £lana,tada bi to bilo u suprotnosti s de�nicijom tog skupa, pa je to nemogu¢e; sdruge pak strane, ako taj skup ne sadrºi samog sebe kao £lana, onda je pode�niciji element skupa R £ime imamo kontradikciju. Ovaj problem moºese iskazati i na konkretnom primjeru:

U nekom selu postoji brija£ koji brije isklju£ivo one ljude koji sene briju sami; tko brije brija£a?

Ako se on sam ne brije, onda se po de�niciji brije upravo kod sebe samoga,pa slijedi da on brije samog sebe. S druge pak strane, ako se sam brije, ondase ne brije kod sebe samoga, jer on brije samo one ljude koji se ne brijusami � i eto paradoksa. No Bertranda Russella spomenuli smo zbog pojmavagueness: evo paradoksa poznatog pod nazivom Sorites' Paradox koji ovoilustrira.

5

Svi ¢emo se sloºiti da 1,000,000 zrna pijeska £ini gomilu. Akouklonimo jedno zrno pijeska, i dalje imamo gomilu. Koliko zrnapijeska trebamo ukloniti da ono ²to nam ostane vi²e ne budegomila?

1937. godine Max Black, englesko-ameri£ki �lozof koji je ostavio zna-£ajan trag na podru£ju analiti£ke �lozo�je objavio je £lanak: "Vagueness:An Exercise in Logical Analysis", Philosophy of Science, Vol.4, 1937., kojime�utim u to vrijeme nije zadobio paºnju ²ire znanstvene javnosti. �ini seda svijet u to vrijeme jo² nije bio spreman za ove ideje. Tridesetak godinakasnije, 1965. poljski Lot� A. Zadeh, iransko-ruski matemati£ar, inºenjerelektrotehnike, znanstenik koji je prou£avao podru£ja ra£unarstva i umjetneinteligencije objavio je £lanak: "Fuzzy sets", Information and Control, Vol.8,No.4, pp. 338-353, June 1965. i tim je £lankom pokrenuo i popularizirao is-traºivanja iz podru£ja neizrazite logike i neizrazitih skupova. Evo kako jeLot� A. Zadeh opisao odnos klasi£ne i neizrazite logike.

Klasi£na logika je kao osoba koja dolazi na zabavu obu£ena ucrno odijelo, bijelu u²tirkanu ko²ulju, sjajne cipele itd. Neizrazitalogika je poput osobe koja je neformalno obu£ena, u traperice,majcu i tenesice. U pro²losti, takvo neformalno odijevanje bilobi neprihvatljivo, danas je to obrnuto.

Izraz neizrazita logika danas se koristi za bilo koje od dva razli£ita zna£e-nja, kako prikazuje slika 1.1. Sam Lot� A. Zadeh ovo je 1994. godine opisaosljede¢im rije£ima.

Izraz neizrazita logika upotrebljava se u dva razli£ita smisla. Uºismisao je logi£ki sustav koji je pro²irenje vi²evrijednosne logike isluºi kao logika pribliºnog zaklju£ivanja. U ²irem smislu to je si-nonim za teoriju neizrazitih skupova, teoriju razreda s nejasnimgranicama. Danas se izraz neizrazita logika preteºno upotreb-ljava u ovom ²irem smislu.

Slika 1.1: Zna£enja pojma neizrazita logika.

U nastavku ovog poglavlja osvrnut ¢emo najprije na klasi£nu teoriju sku-pova a potom de�nirati i pobliºe obraditi pojam neizrazitog skupa i njegovasvojstva.


A = {1, 2, 3}

(a) Navo�enje elemenata skupa A

A = {x|x ∈ U i x > 0 i x < 4}

(b) Navo�enje svojstava skupa A

1 2 30.00

0.25

0.50

0.75

1.00

µA(x)

x

(c) Karakteristi£na funkcija skupa A

Slika 1.2: Tri na£ina de�niranja klasi£nog skupa

1.1 Klasi£ni skupovi

U klasi£noj teoriji skupova (engl. crisp set theory) neki element ili pripadaskupu ili ne pripada skupu. Tako imamo primjerice skup cijelih brojeva, skupparnih cijelih brojeva, skup neparnih cijelih brojeva, skup prostih brojeva isl. Na pitanje pripada li broj 3 u skup parnih cijelih brojeva postoje to£nodva mogu¢a odgovora: "da, pripada" ili "ne, ne pripada". Uzev²i u obzirkarakteristike brojeva koje su bitne za ovu klasi�kaciju, a to je da su parnibrojevi svi oni brojevi koji su djeljivi s "2", zaklju£ujemo da je ispravanodgovor na postavljeno pitanje "ne, ne pripada", budu¢i da 3 nije djeljiv s2.

Op¢enito se klasi£ni skupovi mogu zadavati na nekoliko na£ina (slika1.2). Prvi korak je de�nirati univerzalni skup U1, tj. domenu iz koje ¢e sepotom odabirati elementi koji ¢e sa£injavati ostale skupove. Npr. neka je Uskup svih cijelih brojeva. U drugom koraku moºemo de�nirati skupove kojinas zanimaju. Jedan je na£in nabrajanjem svih elemenata skupa. Primje-rice, moºemo re¢i da je skup A de�niran nad univerzalnim skupom U kaoskup brojeva {1, 2, 3}. Ovo je mogu¢e ukoliko je broj elemenata koje skupsadrºi kona£an, a u praksi se dodaje i uvjet da taj broj treba biti relativnomalen (jer te²ko da ¢e netko mo¢i nabrojati 1040 elemenata). Drugi na£inje de�niranje uvjeta koje moraju zadovoljiti elementi da bi pripadali nekomskupu. Npr. skup A moºemo de�nirati na sljede¢i na£in: to je skup cijelihbrojeva koji su ve¢i od 0 i manji od 4. Na ovaj na£in skup je jednozna£no

1.2. NEIZRAZITI SKUPOVI 7

de�niran, jer je jasno odre�ena domena iz koje se biraju elementi (u pri-mjeru: skup cijelih brojeva) te uvjet koji elementi moraju zadovoljiti da bipripadali skupu (ve¢i od 0 i manji od 4). Tre¢i na£in za de�niranje skupa jeuporaba karakteristi£ne funkcije µA : U → {0, 1}. Karakteristi£na funkcijaµA de�nirana je na sljede¢i na£in:

µA(x) =

{1, x ∈ A0, x 6∈ A .

Tako na² skup A moºemo de�nirati sljede¢om karakteristi£nom funkcijom:

µA(x) =

{1, (x = 1) ∨ (x = 2) ∨ (x = 3)0, (x 6= 1) ∧ (x 6= 2) ∧ (x 6= 3)

.

Sva tri na£ina prikazana su na slici 1.2.

1.2 Neizraziti skupovi

Iako se obi£ni skupovi u praksi koriste vrlo £esto, postoji mno²tvo primjerau kojima je vrlo te²ko utvrditi pripada li neki element skupu ili ne, odnosnoprimjera u kojima odluka nije binarna. Uzmimo za primjer univerzalni skuptextitdani u 2001. godini i poku²ajmo izgraditi skup dani koji su bili sun£ani.Kako ¢emo odrediti koji dani pripadaju u na² skup? Moºemo poku²ati ovako:u na² skup pripadaju svi oni dani kada na nebu nije bilo niti jednog oblaka.No ²to je s danima u kojima je na pet minuta u nekom kutku neba nai²aoneki mali obla£ak? Pripadaju li oni u na² skup? A ²to je s danima u kojimase na deset minuta pojavio neki obla£ak? Na petnaest minuta? Na dvadesetminuta?

Pogledajmo jo² jedan primjer. Zadan je univerzalni skup koji £ine sviljudi koji ºive u gradu Zagrebu. Treba odrediti koji od tih ljudi pripadaju uskup visokih ljudi. Kako se ovo moºe napraviti? Kada bismo radili s klasi£nimskupovima, morali bismo odrediti neku grani£nu visinu, i sve ljude koji suvisoki barem toliko uvrstiti u skup. Uzmimo za primjer da je grani£na visina180 cm. Tada ¢e u skup visoki ljudi u¢i svi oni koji su visoki 180 cm ili vi²e.Me�utim je li ovo dobar na£in za stvaranje skupa visokih ljudi? Pogledajmojednu trivijalnu posljedicu ovakvog stvaranja skupa: Pero Peri¢ koji je visok180 cm pripada skupu visoki ljudi ali Ivica Ivi¢ koji je visok 179.98 cm nepripada. Hm, pa dobro, moºemo pomaknuti granicu na 179.98 cm tako da iIvica Ivi¢ bude £lan visokih ljudi. Ali eto novog problema � Ante Anti¢ kojije visok 179.97 cm ne pripada tom skupu iako nitko golim okom ne moºe

1Ispada da se dolazi do paradoksa "²to je prije bilo: koko² ili jaje". Naime, da bismode�nirali neki skup, moramo najprije de�nirati univerzalni skup iz kojeg ¢emo birati kojeelemente ºelimo u na²em skupu; no kako je i univerzalni skup opet skup, kako ¢emode�nirati njega?


uo£iti da je on niºi od Ivice Ivi¢a koji je u skupu. Moramo li opet pomicatigranicu?

Iz ova dva primjera jasno vidimo da se prilikom odre�ivanja klasi£nihskupova javlja jedan vrlo neugodan problem � kako odrediti ²to pripadatakvom skupu, a da granica bude jasna, i ²to je jo² vaºnije, da ima veze sazdravim razumom. Naime, kaºemo li da je granica 180 cm, bili smo potpunojasni, no vidjeli smo da to nikako nije dobar na£in, jer jednostavno nijesmislen. Ovakve pote²ko¢e jedan su od razloga nastanka teorije neizrazitihskupova, koju je razvio Lot� A. Zadeh (prvi £lanak 1965. godine).

Vidjeli smo da se klasi£ni skup moºe opisati karakteristi£nom funkcijomkoja kao ulaz prima element koji ispitujemo, a kao izlaz daje vrijednost 0 akoelement nije £lan skupa ili 1 ako element je £lan skupa; formalno, kaºemo daje domena funkcije univerzalni skup a kodomena skup cijelih brojeva {0, 1}.Zadeh je ovaj koncept pro²irio na sljede¢i na£in: neizraziti skup (engl. fuzzyset) opisivat ¢e se funkcijom pripadnosti (engl. membership function) koja¢e kao ulaz primati element koji se ispituje, a kao izlaz davati realni broj uintervalu [0, 1], £ime ¢e opisivati s kolikim stupnjem taj £lan pripada neizrazi-tom skupu. Osnovna je razlika izme�u klasi£nih i neizrazitih skupova u tome²to kod klasi£nog skupa element ili pripada ili ne pripada skupu, dok kodneizrazitog skupa element pripada skupu s odre�enim stupnjem, odnosnoodre�enom mjerom. Iz ovoga se jasno vidi da su neizraziti skupovi pro²i-renje klasi£nih skupova, jer ako kodomenu funkcije pripadnosti neizrazitogskupa ograni£imo isklju£ivo na vrijednosti 0 i 1, dobiti ¢emo upravo kla-si£ne skupove, odnosno funkcija pripadnosti degradirat ¢e u karakteristi£nufunkciju.

De�nicija 1 (Neizrazit skup). Neka je U univerzalni skup2. Neizrazitiskup A de�niran nad univerzalnim skupom U je skup ure�enih parova A ={(x;µA(x)) | x ∈ U, µA(x) ∈ [0, 1]}, gdje je µA(x) funkcija pripadnosti (engl.membership function), i ona odre�uje stupanj pripadnosti elemenata x ∈ Uneizrazitom skupu A.

I neizrazite skupove moºemo de�nirati na nekoliko na£ina. Nakon ²toodaberemo univerzalni skup U , neizraziti skup A moºemo de�nirati na dvana£ina. Moºemo koristiti nabrajanje elemenata, s time da uz svaki elementobavezno pi²emo i stupanj pripadnosti tog elementa (naravno, zbog jednos-tavnosti navodit ¢emo samo elemente kojima je stupanj pripadnosti ve¢i odnule, podrazumijevaju¢i da je stupanj pripadnosti svih ostalih elemenatajednak nuli). Ovo se obi£no svodi na sljede¢i zapis:

A =

{µA(x1)

x1+µA(x2)

x2+µA(x3)

x3+ . . .+

µA(xn)

xn

}²to treba pro£itati na sljede¢i na£in: element x1 neizrazitom skupu A pripadasa stupnjem pripadnosti µA(x1), element x2 neizrazitom skupu A pripada

2Univerzalni skup je i dalje klasi£an skup.


sa stupnjem pripadnosti µA(x2), . . . , element xn neizrazitom skupu A pri-pada sa stupnjem pripadnosti µA(xn). Uo£ite da se znak "+" ne odnosi nanikakvo zbrajanje ve¢ se jednostavno koristi kao sredstvo za nabrajanje ele-menta skupa A. Treba uo£iti da kod nabrajanja elemenata ne moramo imatieksplicitno de�niranu funkciju µA(x) jer moºemo direktno napisati stupanjpripadnosti svakog elementa3. Drugi na£in za de�niranje neizrazitih sku-pova je upravo kroz de�niciju funkcije pripadnosti µA(x). U tom slu£aju naraspolaganju nam stoje dvije vrste zapisa neizrazitog skupa. Ukoliko je ne-izraziti skup de�niran nad diskretnim univerzalnim skupom, koristi se zapissa sumom, koji se krati u oblik:

A =∑x∈U

µA(x)

x

pri £emu znak sumacije treba shvatiti kao znak nabrajanja elemenata, a nearitmeti£ke operacije zbrajanja. U skladu s time, ukoliko je univerzalni skupkontinuiran, tada znak sumacije jednostavno prelazi u znak integracije:

A =

∫x∈U

µA(x)

dx

opet uz opasku da znak integracije ne predstavlja operaciju integracije, ve¢jednostavno nabrajanje.

Vratimo se de�niciji skupa visokih ljudi. Kao univerzalni skup uzet ¢emoskup pozitivnih realnih brojeva koji predstavljaju mogu¢e visine ljudi. Kadasmo skup visokih ljudi poku²avali de�nirati kao klasi£ni skup, uzeli smo gra-nicu od 180 cm i sloºili se s tvrdnjom da su svi ljudi visoki barem 180 cmvisoki ljudi. Kod neizrazitih skupova za taj slu£aj moºemo re¢i da svi ljudikoji su barem visoki 180 cm pripadaju skupu visoki ljudi sa stupnjem pri-padnosti 1. Problem kod klasi£nog skupa bili su ljudi koji su niºi od 180cm, ali su blizu te visine. Za ljude koji su niºi od 160 cm zasigurno ne¢emore¢i da su visoki. Kod neizrazitih skupova za taj slu£aj moºemo re¢i da sviljudi koji su niºi od 160 cm pripadaju skupu visoki ljudi sa stupnjem pripad-nosti 0, odnosno da mu ne pripadaju. Sada moºemo iskoristiti punu snaguneizrazitih skupova i de�nirati da ljudi koji su visoki izme�u 160 cm i 180cm skupu visoki ljudi pripadaju sa stupnjem pripadnosti koji je ve¢i od 0, imanji od 1, i to biliºi vrijednosti 1 ²to je visina bliºa visini od 180 cm. Nakoji ¢emo na£in odlu£iti kako raspodijeliti stupnjeve pripadnosti, potpunoovisi o na²im ºeljama. Moºemo npr. linearno razvu¢i stupanj pripadnostiod vrijednosti 0 za visinu 160 cm do vrijednosti 1 za visinu 180 cm. Tako biosoba visoka 170 cm u skup visokih ljudi pripadala sa stupnjem pripadnosti0.5, osoba visoka 175 cm sa stupnjem pripadnosti 0.75, osoba visoka 179.98cm sa stupnjem pripadnosti 0.999 i sl. Ovakvu de�niciju skupa visoki ljudiprikazuje slika 1.3.

3Zapravo, ako znamo stupanj pripadnosti svakog elementa, tehni£ki govore¢i znamo ifunkciju pripadnosti, iako je nigdje ne de�niramo.


150 160 170 180 1900.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.3: Funkcija pripadnosti skupa visoki ljudi, po dijelovima linearna.

Ovakav na£in de�niranja skupa visoki ljudi elegantno je eliminirao pro-blem stroge granice i svega ²to to povla£i za sobom. No sada se javlja nizdrugih pitanja. Npr. za²to smo odabrali ba² brojeve 160 cm i 180 cm? Za²tosmo uzeli takvu funkciju pripadnosti koja linearno raste od 0 za 160 cm do 1za 180 cm? Jesmo li mogli ovo de�nirati nekako druga£ije? Krenimo redoms odgovorima.

Jo² kod klasi£nih skupova morali smo na neki na£in odrediti parametreunutar kojih ¢emo de�nirati skup. Tamo je to bio jedan jedini parametar:grani£na visina. No ipak, ve¢ tamo smo mogli do¢i do spoznaje koja se ovdjesamo potvr�uje: MI de�niramo skup visoki ljudi onako kako to ºelimo, i utome imamo potpunu slobodu. Ho¢emo li uzeti grani£nu visinu od 180 cm, iliod 170 cm, ili neku tre¢u, ovisi isklju£ivo o nama i na²oj procjeni ²to bi bilou datoj situaciji prihvatljivo. Prelaskom na neizrazite skupove jedino ²to sepromijenilo je broj stupnjeva slobode koje smo dobili. Sada umjesto jednogparametra (grani£na visina) trebamo odrediti nekoliko parametara: gornjagrani£na visina, donja grani£na visina, na£in raspodjele stupnja pripadnostielemenata izme�u tih granica i sl. A ako govorimo o nekom op¢em slu£aju,tada uop¢e ne moramo imati ove parametre, ve¢ neke sasvim druge, jer jecilj odrediti funkciju pripadnosti, ma kakvog ona oblika bila. Sve ovo ovisiisklju£ivo o nama; imamo potpunu slobodu da skup modeliramo onako kakomislimo da bi to bilo prikladno.

Ovdje se uslijed silne slobode koju smo dobili javlja i jedan moºebitniproblem. Pretpostavimo da smo mi izgradili sustav A koji pojam visokiljudi shva¢a na na£in kako smo mi to zamislili; tim iz Japana izgradi svojsustav B koji pojam visoki ljudi shva¢a na na£in kako su oni to zamislili(²to ¢e vrlo vjerojatno biti ne²to druga£ije od na²eg shva¢anja, budu¢i da


su Japanci ina£e niºi rastom). Kako ¢e ovi sustavi komunicirati? Malomanalizom dolazimo do ekvivalentnog problema koji ¢e pokazati da zapravonema problema: sretnu se osoba iz Hrvatske i osoba iz Japana i svako odnjih pri£a o visokim ljudima; Hrvat na hrvatskom, Japanac na japanskom;kako ¢e oni komunicirati kada jedan drugog ne razumiju? Promatramo liosobu iz Hrvatske kao sustav A, sustav je napravljen tako da ga razumiju svioni koji ºive u njegovoj okolini i koji dijele zajedni£ko shva¢anje potrebnihkoncepata; kod osobe iz Hrvatske to je govor hrvatskim jezikom. Isto vrijedii za osobu iz Japana koja govori Japanski jer upravo u svojoj sredini to jejedini na£in da sustav obavlja svoj zadatak. Problem komunikacije rje²avase na sasvim drugom nivou, npr. standardizacijom, ili pak u£enjem. Npr.obje osobe mogu nau£iti engleski, i sporazumijevati se engleskim jezikom, ilipak jedna osoba moºe nau£iti jezik one druge, i koristi ga u komunikaciji,iako cijelo vrijeme ta ista osoba misli i radi na na£in na koji ona sama inhe-rentno razumije. Ovo je upravo razlog za²to se ovakvim stvarima ne trebaoptere¢ivati. Kasnije ¢emo jo² na puno mjesta dobiti odre�ene stupnjeveslobode u nekim odabirima, i na svakom tom mjestu moºe se postaviti pita-nje na koje smo ovdje poku²ali odgovoriti. Ono ²to je bitno jest da smo midizajneri na²eg sustava, i mi znamo kako ºelimo da taj sustav radi i na kojina£in treba shva¢ati pojedine koncepte. Kada jednom do�e do potrebe zarazmjenom informacija izme�u vi²e sustava, tada se obavezno uvodi neki oddobro de�niranih, standardiziranih komunikacijskih protokola kako bi svimsudionicima u toj izmjeni informacija bilo jasno o £emu je rije£.

Vratimo se sada de�niranju neizrazitih skupova. Stali smo na problemukako odrediti funkciju pripadnosti koja nam najbolje odgovara. Problemmoºemo rije²iti i bez odre�ivanja donje granice. Npr. kao karakteristi£nufunkciju moºemo uzeti:

µA(x) =

{1, x ≥ 180,

1

1+(x−1804 )

2 , 0 ≤ x < 180.

Tada ¢emo dobiti skup visokih ljudi £iju funkciju pripadnosti prikazuje slika1.4. Na ovaj na£in svi ljudi pripadaju skupu visokih ljudi, samo ²to se mijenjastupanj pripadnosti (koji je uvijek ve¢i od nule).

Kako se problem odabira odgovaraju¢e funkcije pripadnosti javlja pride�niranju svakog neizrazitog skupa, postoji nekoliko uobi£ajenih funkcijakoje se £esto koriste, i koje ¢emo pogledati u nastavku. Pri tome jo² jednomtreba naglasiti da je odabir funkcije pripadnosti u potpunosti subjektivan, ikontekstno ovisan, ili kako je to Zadeh rekao: "nisu vaºne to£ne vrijednostifunkcije pripadnosti u odre�enom kontekstu, ve¢ su vaºni me�usobni odnosifunkcije pripadnosti neizrazitih skupova jednih prema drugima".


150 160 170 180 1900.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.4: Funkcija pripadnosti skupa visoki ljudi, na druga£iji na£in.

1.3 Karakteristi£ni oblici funkcija pripadnosti

U primjeni neizrazite logike u po£etnoj fazi obi£no de�niramo osnovne ne-izrazite skupove s kojima ¢emo dalje raditi. Skupove de�niramo tako damodeliraju temeljne koncepte na²eg sustava. Ovisno o tim konceptima, zamodeliranje moºemo koristiti razli£ite oblike neizrazitih skupova.

1.3.1 Po dijelovima linearne funkcije

Λ-funkcija

�elimo li de�nirati koncepte poput "brojevi oko 5", "brzina oko 60 km/h" isl., trebat ¢emo neizraziti skup £ija funkcija pripadnosti poprima vrijednost1 upravo na centralnom elementu ("broj 5", "brzina 60 km/h" i sl.) a uda-ljavanjem od tog elementa opada (dakle za manje i ve¢e brojeve od broja 5,za manje i ve¢e brzine od 60 km/h, . . .). Dobar kandidat za takvu funkcijupripadnosti jest Λ-funkcija (lambda).

Λ-funkcija prikazana je na slici 1.5 i de�nirana je s tri parametra:

Λ(x;α, β, γ) =

0, x < α,x−αβ−α , α ≤ x < β,γ−xγ−β , β ≤ x < γ,

0, x ≥ γ.

(1.1)

Slika 1.5 prikazuje Λ-funkciju uz parametre: α = 10, β = 20 te γ = 30.

1.3. KARAKTERISTI�NI OBLICI FUNKCIJA PRIPADNOSTI 13

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.5: Funkcije pripadnosti: Λ-funkcija.

Γ-funkcija

Za koncepte poput "visoka temperatura", "visoki ljudi", "broj zrna koji jedovoljan da £ini gomilu", "broj pu²aka koji £ini dobro naoruºanu vojsku" i sl.Λ-funkcija vi²e nije prikladna. U ovom slu£aju trebamo funkciju pripadnostikoja ima vrijednost nula sve do nekog grani£nog elementa a zatim po£injerasti, i kona£no, za neki element poprima vrijednost 1, i tu vrijednost ima i zasve elemente koji ga slijede. Za ovakvu funkciju dobar je kandidat Γ-funkcija(gama).

Γ-funkcija prikazana je na slici 1.6 i de�nirana je s dva parametra:

Γ(x;α, β) =

0, x < α,x−αβ−α , α ≤ x < β,

1, x ≥ β.(1.2)

Slika 1.6 prikazuje Γ-funkciju uz parametre: α = 10 i β = 20.

L-funkcija

�elimo li de�nirati upravo suprotnu vrstu koncepata od prethodno navede-nih, primjerice "niska temperatura", "niski ljudi", "broj zrna koji ne £ini go-milu", "broj pu²aka koji £ini slabo naoruºanu vojsku", "niska brzina okreta-nja kota£a" i sl., trebat ¢emo funkciju koja se pona²a suprotno od Γ-funkcije� dakle, funkciju pripadnosti koja za sve "male" elemente ima vrijednost 1,zatim po£inje padati, i kona£no od nekog elementa na dalje poprima vrijed-nost nulu. Dobar kandidat koji zadovoljava ove zahtjeve jest L-funkcija.


10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.6: Funkcije pripadnosti: Γ-funkcija.

L-funkcija prikazana je na slici 1.7 i de�nirana je s dva parametra:

L(x;α, β) =

1, x < α,β−xβ−α , α ≤ x < β,

0, x ≥ β.(1.3)

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.7: Funkcije pripadnosti: L-funkcija.

Slika 1.7 prikazuje L-funkciju uz parametre: α = 10 i β = 20.


Π-funkcija

Kona£no, ne smijemo zaboraviti na jo² jedan tip koncepata: "broj zrna koji£ini srednje veliku gomilu", "broj pu²aka koji £ini srednje naoruºanu voj-sku", "broj kapi ki²e koji dovoljno navlaºi tlo" i sli£ni koncepti. Zajedni£koovoj vrsti koncepata je sli£nost s konceptima koje opisujemo Λ-funkcijom �me�utim uz jednu bitnu razliku. Kod ovih koncepata ne moºemo prona¢ijedan centralni element koji najbolje opisuje koncept, ve¢ postoji £itav inter-val elemenata koji dobro opisuju koncept. To zna£i da funkcija pripadnostine¢e poprimiti vrijednost 1 za samo jedan element, ve¢ ¢e funkcija poprimativrijednost 1 na odre�enom centralnom intervalu, a tek ¢e na krajevima togintervala postupno padati prema nuli. Dobar predstavnik ovog tipa funkcijepripadnosti jest Π-funkcija (pi).

Π-funkcija prikazana je na slici 1.8 i de�nirana je s £etiri parametra:

L(x;α, β, γ, δ) =

0, x < α,x−αβ−α , α ≤ x < β,

1, β ≤ x < γ,δ−xδ−γ , γ ≤ x < δ,

0, x ≥ δ.

(1.4)

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.8: Funkcije pripadnosti: Π-funkcija.

Slika 1.8 prikazuje Π-funkciju uz parametre: α = 10, β = 14, γ = 26 teδ = 30.

Sve prethodno navedene funkcije pripadaju klasi po dijelovima linear-nim funkcijama. Osnovna prednost ovakvih de�nicija je u lako¢i i brziniizra£unavanja. Naime, ne trebamo nikakav sloºeni matemati£ki aparat kaoniti jake ra£unske sklopove za realizaciju takvih funkcija. Naravno, osim do-brih svojstava ove funkcije imaju i neka svojstva ih £ine manje pogodnim za


odre�ene implementacije. Npr. svojstvo derivabilnosti u svim to£kama ovefunkcije ne zadovoljavaju. Upravo na "prijelomnim" to£kama derivacija nijejednozna£na. Zbog toga je razvijena nova klasa funkcija pripadnosti, tzv.glatke funkcije, koje se tako�er de�niraju po dijelovima, ali u svakoj to£cijesu derivabilne. Sve funkcije koje smo opisali u ovom poglavlju imaju svojekvivalent u klasi glatkih funkcija, i koriste se za opisivanje istih koncepatakao i po dijelovima linearne funkcije. Zbog toga ¢emo u nastavku samo datikratak pregled glatkih funkcija bez dodatnih obja²njenja, jer za njih vrijedisve ²to je ve¢ re£eno i kod po dijelovima linearnih funkcija.

1.3.2 Glatke funkcije

S-funkcija

S-funkcija prikazana je na slici 1.9 i de�nirana je s tri parametra:

S(x;α, β, γ) =

0, x < α,

2 ·(x−αγ−α

)2, α ≤ x < β,

1− 2 ·(x−γγ−α

)2, β ≤ x < γ,

0, x ≥ γ.

(1.5)

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.9: Funkcije pripadnosti: S-funkcija.

Parametar α odre�uje vrijednost do koje je iznos funkcija pripadnostijednak 0 a parametar γ odre�uje vrijednost od koje je iznos funkcija pripad-nosti jednak 1. Parametar β treba biti postavljen na vrijednost α+γ

2 � to jeto£ka in�eksije funkcije pripadnosti.

Slika 1.9 prikazuje S-funkciju uz parametre: α = 10, β = 20 te γ = 30.


Gaussova funkcija pripadnosti

Gaussova funkcija prikazana je na slici 1.10 i de�nirana je s dva parametra:

Gauss(x;µ, σ) = e−(x−µσ )2

. (1.6)

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.10: Funkcije pripadnosti: Gaussova funkcija.

Slika 1.10 prikazuje Gaussovu funkciju uz parametre: µ = 20 te σ = 8.

Sigmoidalna funkcija

Sigmoidalna funkcija funkcija prikazana je na slici 1.11 i de�nirana je s dvaparametra:

Sigm(x; a, c) =1

1 + e−a(x−c) . (1.7)

Slika 1.11 prikazuje sigmoidalnu funkciju uz parametre: a = 0.4 te b = 20.

π-funkcija

π-funkcija prikazana je na slici 1.12 i de�nirana je s dva parametra:

π(x;β, γ) =

{S(x; γ − β, γ − β/2, γ), x < γ,1− S(x; γ, γ + β/2, γ + β), x ≥ γ. (1.8)

Parametar γ kod ove krivulje predstavlja to£ku oko koje je krivulja("zvono") centrirano. Parametar β odre�uje ²irinu zvona. Funkcija za svevrijednosti manje od γ − β te ve¢e od γ + β poprima vrijednost 0.

Slika 1.12 prikazuje π-funkciju uz parametre: β = 10 te γ = 20.


10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.11: Funkcije pripadnosti: Sigmoidalna funkcija.

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.12: Funkcije pripadnosti: π-funkcija.

1.4. SVOJSTVA NEIZRAZITIH SKUPOVA 19

Kvadratna zvonolika funkcija

Kvadratna zvonolika funkcija (u literaturi se moºe na¢i pod nazivom exponential-like membership function) prikazana je na slici 1.13 i de�nirana je s dvaparametra:

Zvon(x;µ, k) =1

1 + k · (x− µ)2. (1.9)

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 1.13: Funkcije pripadnosti: Kvadratna zvonolika funkcija.

Parametar µ kod ove krivulje predstavlja to£ku oko koje je krivulja("zvono") centrirano. Parametar k odre�uje ²irinu zvona. Funkcija nigdjene poprima vrijednost 0.

Slika 1.13 prikazuje kvadratnu zvonoliku funkciju uz parametre: µ = 20te k = 0.1.

1.4 Svojstva neizrazitih skupova

U nastavku ¢emo se upoznati s osnovnim svojstvima neizrazitih skupova.

De�nicija 2 (Jednakost neizrazitih skupova). Neka su A i B dva neizrazitaskupa de�nirana nad univerzalnim skupom U , i neka je µA, µB : U → [0, 1].Neizraziti skupovi A i B su jednaki, A = B, ako je µA(x) = µB(x), ∀x ∈ U .De�nicija 3 (Podskup neizrazitog skupa). Neka su A i B dva neizrazitaskupa de�nirana nad univerzalnim skupom U , i neka je µA, µB : U → [0, 1].Neizraziti skup A je podskup od neizrazitog skupa B, tj. A ⊆ B, ako jeµA(x) ≤ µB(x), ∀x ∈ U .De�nicija 4 (Jezgra neizrazitog skupa). Jezgra neizrazitog skupa A (engl.core) je podskup univerzalnog skupa (dakle klasi£ni skup) sa svojstvom µA(x) =1, tj. core(A) = {x ∈ U | µA(x) = 1}.


De�nicija 5 (Potpora neizrazitog skupa). Potpora neizrazitog skupa A (engl.support) je podskup univerzalnog skupa (dakle klasi£ni skup) sa svojstvomµA(x) > 0, tj. support(A) = {x ∈ U | µA(x) > 0}.

De�nicija 6 (Visina neizrazitog skupa). Visina neizrazitog skupa A je mak-simalna vrijednost funkcije pripadnosti µA(x), tj. hgt(A) = maxx∈U µA(x).

De�nicija 7 (Univerzalni neizraziti skup). Univerzalni neizraziti skup X jeskup sa svojstvom µX(x) = 1, ∀x ∈ U .

De�nicija 8 (Prazan skup). Prazan skup ∅ je skup sa svojstvom µ∅(x) =0, ∀x ∈ U .

Ako je hgt(A) = 1, tada se kaºe da je neizraziti skup A normalan.

De�nicija 9 (Jednoelementni neizraziti skup). Jednoelementni neizrazitiskup S de�niran nad univerzalnim skupom U je neizraziti skup £ija funkcijapripadnosti poprima vrijednost razli£itu od nule za samo jedan element izuniverzalnog skupa. Drugim rije£ima, to je neizraziti skup £ija je potporaskup kardinaliteta 1.

Primjer: 1Treba de�nirati neizraziti skup "brojevi oko 10" i potom odrediti jezgru, potporu i visinu togskupa. Je li to normalan skup?

Rje²enje:

Odaberimo za univerzalni skup skup cijelih brojeva. Skup "brojevi oko 10" moºemo de�niratiproizvoljno; odabrat ¢emo sljede¢u de�niciju:

A = brojevi oko 10 =0.3

8+

0.7

9+

1

10+

0.7

11+

0.3

12.

Slika u nastavku prikazuje funkciju pripadnosti ovako de�niranog skupa.

6 7 8 9 10 11 12 13 140.00

0.25

0.50

0.75

1.00

µA(x)

x

1.4. SVOJSTVA NEIZRAZITIH SKUPOVA 21

Jezgru ovog skupa £ine svi elementi za koje je stupanj pripadnosti jednak 1 (de�nicija 4). Toje u ovom slu£aju samo broj 10, pa je jezgra ovog skupa skup core(A) = {10}. Uo£ite da je ovopravi skup, a ne neizraziti skup!

Potporu ovog skupa £ine svi elementi za koje je stupanj pripadnosti ve¢i od 0 (de�nicija5). To su u na²em slu£aju brojevi 8, 9, 10, 11 i 12 pa je potpora ovog skupa skup supp(A) ={8, 9, 10, 11, 12}. Uo£ite da je ovo tako�er pravi skup, a ne neizraziti skup!

Visina ovog skupa, prema de�niciji 6, je 1, jer je maksimum funkcije pripadnosti upravo 1(postiºe se za x = 10). Skup je normalan jer mu je visina jednaka 1.

De�nicija 10 (Centar neizrazitog skupa). Ako je srednja vrijednost svih to-£aka u kojima funkcija pripadnosti neizrazitog skupa A poprima maksimalnuvrijednost kona£na, tada je ta vrijednost centar. Ako je ta srednja vrijed-nost jednaka pozitivnoj (negativnoj) beskona£nosti, tada se kao centar uzimanajmanja (najve¢a) to£ka u kojoj funkcija pripadnosti poprima maksimalnuvrijednost.

Ilustracija centara razli£itih neizrazitih skupova prikazana je na slici1.14. Uz pretpostavku da je domena nad kojom su skupovi de�nirani od−∞ do +∞, neizraziti skupovi A1 i A5 nemaju kona£nu srednju vrijed-nost elemenata za koje im je funkcija pripadnosti jednaka visini (u prikaza-nom slu£aju visina je 1). Stoga je centar od A1 najve¢i element x za kojije µA1(x) = hgt(A1) dok je centar od A5 najmanji element x za koji jeµA5(x) = hgt(A5).

x

μA(x) A1 A2 A3 A4 A5

centarof A1

centarof A2

centarof A3

centarof A4

centarof A5

Slika 1.14: Primjeri centara neizrazitih skupova.

Centar od A3 je o£ekivan � postoji samo jedan element za koji je funkcijapripadnosti maksimalna i taj element je ujedno i centar. Kako neizraziti skupA4 ima vi²e elemenata za koje funkcija pripadnosti poprima maksimalnu vri-jednost, centar je njihova aritmeti£ka sredina. Me�utim, mogu¢e je da centarneizrazitog skupa bude i element koji ne pripada neizrazitom skupu! Taj jeprimjer upravo ilustriran neizrazitim skupom A2 £ija funkcija pripadnostinajprije raste do 1 pa pada na nulu, pa je neko vrijeme nula i onda opetraste na 1 i pada na nulu. Postoje dva elementa za koje funkcija pripad-nosti poprima maksimalnu vrijednost: njihova aritmeti£ka sredina nalazi seto£no izme�u gdje su elementi koji ne pripadaju neizrazitom skupu. Ovih


problema ne¢e biti ako je neizraziti skup neizrazito konveksan � upoznajmose stoga i s tim pojmom.

De�nicija 11 (Neizrazito konveksan skup). Neizraziti skup A de�niran naduniverzalnim skupom U je neizrazito konveksan ako vrijedi:

µA(λ · x1 + (1− λ · x2)) ≥ min(µA(x1), µA(x2)).

Prethodna de�nicija nam zapravo kaºe da je neizraziti skup neizrazitokonveksan ukoliko je, nakon ²to �ksiramo dvije to£ke (x1 i x2), stupanj pri-padnosti svake to£ke (xλ) izme�u te dvije �ksirane to£ke ve¢i od manjeg odstupnjeva pripadnosti to£aka x1 i x2. Slika 1.15 jasno ilustrira ovo pravilo.Treba uo£iti da neizrazita konveksnost nije isto ²to i konveksnost poligona ugeometrijskom smislu i to ne treba mije²ati.

µA(x)

xx1 x2xλ

µA(x1)

µA(x2)

µA(xλ)

(a) Neizrazito konveksan skup

µA(x)

xx1 x2xλ

µA(x1)

µA(x2)

µA(xλ)

(b) Skup koji nije neizrazito konveksan

Slika 1.15: Pojam neizrazito konveksnog skupa.

Postoji jednostavan na£in kako se pogledom na gra�£ki prikaz funkcijepripadnosti moºe utvrditi je li skup neizrazito konveksan ili nije: princip jeprikazan na slici 1.16.

µA(x)

x

Tekućina

(a) Neizrazito konveksan skup

µA(x)

x

Tekućina

(b) Skup koji nije neizrazito konveksan

Slika 1.16: Ocjena neizrazite konveksnosti skupa.

1.5. TEOREM PREDSTAVLJANJA. α-PRESJECI. 23

Zamislimo da smo na dijagram koji prikazuje funkciju pripadnosti skupizlili kantu vode. Neizraziti skup je neizrazito konveksan ukoliko ne zadrºavavodu, odnosno ako voda moºe iscuriti u potpunosti. Neizraziti skup nijeneizrazito konveksan ukoliko postoje ºljebovi u kojima bi se voda zadrºavala.

De�nicija 12 (Kardinalni i relativni kardinalni broj). Neka je A kona£anneizraziti skup de�niran nad univerzalnim skupom U . Kardinalni broj skupaA je: |A| =

∑x∈U µA(x). Relativni kardinalni broj skupa A je ‖A‖ = |A|

|U | .

Primjer: 2Dajte neku de�niciju neizrazitog skupa "brojevi oko 5" de�niranog nad univerzalnim skupomU = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}. Odredite njegov kardinalni i relativni kardinalni broj. Koliki bi bionjegov relativni kardinalni broj kada bismo za univerzalni skup uzeli skup cijelih brojeva?

Rje²enje:

Neizraziti skup "brojevi oko 5" moºemo de�nirati kako nam god to odgovara. Npr. de�ni-rajmo taj skup ovako:

BO5 =0.1

3+

0.6

4+

1

5+

0.6

6+

0.1

7.

Kardinalni broj skupa BO5 iznosi |BO5| = 0.1 + 0.6 + 1.0 + 0.6 + 0.1 = 2.4 (suma stupnjevapripadnosti svih elemenata skupa BO5, de�nicija 12). Za relativni kardinalni broj od BO5 trebanam jo² i kardinalni broj od univerzalnog skupa: |U | = 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 = 10(suma stupnjeva pripadnosti svih elemenata univerzalnom skupa, de�nicija 12; prema de�niciji,svaki element univerzalnom skupu pripada sa stupnjem pripadnosti 1, de�nicija 7). Relativnikardinalni broj neizrazitog skupa BO5 je tada ‖BO5‖ = |BO5|/|U | = 2.4/10 = 0.24 (de�nicija12). Ukoliko bismo za univerzalni skup uzeli skup cijelih brojeva, tada bi relativni kardinalni brojskupa BO5 iznosio 0, budu¢i da je skup cijelih brojeva beskona£an, pa mu je kardinalni broj ∞.

1.5 Teorem predstavljanja. α-presjeci.

U prethodnim poglavljima podsjetili smo se teorije klasi£nih skupova i uvelismo jednu potpuno novu teoriju � teoriju neizrazitih skupova. Me�utim,ve¢ smo rekli da su klasi£ni skupovi i neizraziti skupovi £vrsto povezani.Prvi argument ove tvrdnje bio je da su neizraziti skupovi zapravo pro²irenjeklasi£nih skupova. Sada ¢emo se upoznati s jo² jednom vezom koju iznositeorem predstavljanja.

De�nicija 13 (Produkt αA). Neka je α ∈ [0, 1] i neka je A obi£an skup.Produkt αA je neizraziti skup u kojem svaki element ima stupanj pripadnostijednak α.

De�nicija 14 (Teorem predstavljanja). Svaki se neizraziti skup A moºeprikazati kao A =

∑α αAα ili A =

∫[0,1] αAα.

De�nicija 15 (α-presjek). α-presjek neizrazitog skupa A je klasi£ni skup Aαkoji sadrºi sve one elemente iz A koji neizrazitom skupu A pripadaju baremsa stupnjem pripadnosti α.


Teorem predstavljanja £esto se koristi za pro²irivanje klasi£nih matema-ti£kih koncepata na neizrazite. Ovaj nam teorem zapravo govori da svakineizraziti skup moºemo razloºiti na niz klasi£nih skupova, pri £emu za svakiklasi£ni skup pamtimo jo² i njegov stupanj pripadnosti. Ovo ¢e nam vrlojasno demonstrirati sljede¢i primjer.

Primjer: 3Zadan je neizraziti skup "brojevi oko 5, ili malo ve¢i":

A =0.1

3+

0.7

4+

1

5+

0.9

6+

0.7

7+

0.3

8+

0.1

9

nad univerzalnim skupom U = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}. Prona�ite α-presjeke A0, A0.1, A0.3,A0.7, A0.9, A1.0 i pokaºite kako se iz tih α-presjeka moºe ponovno rekonstruirati neizraziti skupA.

Rje²enje:

De�nicija 15 govori nam kako izra£unati α-presjeke. Za α = 0 dobivamo α-presjek A0 (tj.0-presjek). To je klasi£ni skup koji sadrºi sve one elemente koje neizraziti skup A sadrºi sastupnjem pripadnosti od barem 0 (α = 0). To je o£ito cijeli univerzalni skup. Dakle A0 = U ={1, 2, 3, 4, 5, 6, 7, 8, 9, 10}.

Za α = 0.1 dobivamo α-presjek A0.1 (tj. 0.1-presjek). To je klasi£ni skup koji sadrºi sveone elemente koje neizraziti skup A sadrºi sa stupnjem pripadnosti od barem 0.1 (α = 0.1).To je skup A0.1 = {3, 4, 5, 6, 7, 8, 9}. Analogno se ra£unaju i ostali α-presjeci. Imamo redom:A0.3 = {4, 5, 6, 7, 8}, A0.7 = {4, 5, 6, 7}, A0.9 = {5, 6} te A1.0 = {5}.

Uo£ite odmah da vrijedi Aφ = A0.1 ∀φ ∈ (0, 0.1], Aφ = A0.3 ∀φ ∈ (0.1, 0.3], Aφ = A0.7

∀φ ∈ (0.3, 0.7], Aφ = A0.9 ∀φ ∈ (0.7, 0.9] te Aφ = A1.0 ∀φ ∈ (0.9, 1.0]. Ovo je posljedica toga ²toje neizraziti skup u na²em primjeru diskretan i funkcija pripadnosti ne poprima sve vrijednostiiz intervala [0, 1] ve¢ samo neke. Iz ovoga slijedi da je u na²em slu£aju dovoljno izra£unati samoone α-presjek za vrijednosti α koje funkcija pripadnosti doista poprima, jer ¢e se ostali α-presjecipoklapati s ve¢ izra£unatima. Budu¢i da na²a funkcija pripadnosti poprima samo vrijednosti izskupa {0, 0.1, 0.3, 0.7, 0.9, 1.0}, dovoljno je izra£unati α-presjeke A0, A0.1, A0.3, A0.7, A0.9, A1.0.Skup A iz α-presjeka moºemo rekonstruirati na na£in kako to govore de�nicija 14 i de�nicija 13.De�nicija 13 nam daje naputak kako iz jednog α-presjeka dobiti odgovaraju¢i neizraziti skup:

0A0 =0

1+

0

2+

0

3+

0

4+

0

5+

0

6+

0

7+

0

8+

0

9+

0

10

0.1A0.1 =0.1

3+

0.1

4+

0.1

5+

0.1

6+

0.1

7+

0.1

8+

0.1

9

0.3A0.3 =0.3

4+

0.3

5+

0.3

6+

0.3

7+

0.3

8

0.7A0.7 =0.7

4+

0.7

5+

0.7

6+

0.7

7

0.9A0.9 =0.9

5+

0.9

6

1.0A1.0 =1.0

5

De�nicija 14 sada nam govori kako iz neizrazitih skupova dobivenih iz α-presjeka rekonstru-irati polazni neizraziti skup. Potrebno je jednostavno uzeti sve one elemente koji su sadrºani unekom od α-presjeka, i to s onim stupnjem pripadnosti koji je najve¢i (ukoliko se isti elementnalazi u vi²e α-presjeka s razli£itim stupnjevima pripadnosti). Npr. element 5 nalazi se u 0A0 sastupnjem pripadnosti 0, u 0.1A0.1 sa stupnjem pripadnosti 0.1, u 0.3A0.3 sa stupnjem pripadnosti0.3, u 0.7A0.7 sa stupnjem pripadnosti 0.7, u 0.9A0.9 sa stupnjem pripadnosti 0.9 te u 1.0A1.0 sa

1.5. TEOREM PREDSTAVLJANJA. α-PRESJECI. 25

stupnjem pripadnosti 1.0. U neizrazitom skupu A element 5 ¢e se nalaziti sa stupnjem pripadnostikoji je najve¢i od nabrojanih, a to je 1.0. Analognim razmatranjem za sve elemente dobije se:

A =∑α

αAα =0.1

3+

0.7

4+

1

5+

0.9

6+

0.7

7+

0.3

8+

0.1

9.

α-presjeci mogu nam posluºiti i za jo² jedan na£in de�niranja neizrazitekonveksnosti skupa. Naime, vrijedi sljede¢a de�nicija.

De�nicija 16 (Neizrazita konveksnost skupa). Neka je A neizraziti skupde�niran nad univerzalnim skupom U . Neizraziti skup A je neizrazito ko-nveksan akko su svi njegovi α-presjeci konveksni.

Ovo jasno demonstrira slika 1.17. Na slici 1.17a prikazan je neizrazitokonveksan skup i jedan njegov α-presjek; sa slike se vidi da je taj α-presjekkonveksan (povezan), i to svojstvo vrijedi za svaki α-presjek tog skupa. Naslici 1.17b prikazan je neizraziti skup koji nije neizrazito konveksan. Za tajskup postoje α-presjeci koji nisu konveksni (povezani); tako je na slici istak-nut jedan α-presjek koji je jedan uniji dvaju istaknutih konveksnih skupova,i on sam nije konveksan.

µA(x)

x

α

(a) Neizrazito konveksan skup � konveksanα presjek

µA(x)

x

α

(b) Skup koji nije neizrazito konveksan � αpresjek nije konveksan

Slika 1.17: Neizrazita konveksnost preko α-presjeka.

Poglavlje 2

Operacije nad neizrazitim

skupovima

Klasi£na teorija skupova poznaje £itav niz operacija koje je mogu¢e provoditinad skupovima � unije, presjeci i komplementi samo su neke od njih. U ovompoglavlju pogledat ¢emo kako se te operacije de�niraju nad neuizrazitimskupovima.

2.1 Standardne operacije

U nastavku slijede de�nicije operacija unije, presjeka i komplementa za ne-izrazite skupove.

De�nicija 17 (Unija neizrazitih skupova). Neka su A i B neizraziti skupovide�nirani nad univerzalnim skupom U . Unija skupova A i B je neizrazitiskup A ∪B, sa svojstvom: ∀x ∈ U µA∪B(x) = max(µA(x), µB(x)), odnosno

A ∪B = {(x;µA∪B(x)) | x ∈ U, µA∪B(x) = max(µA(x), µB(x))}.

De�nicija 18 (Presjek neizrazitih skupova). Neka su A i B neizraziti sku-povi de�nirani nad univerzalnim skupom U . Presjek skupova A i B je ne-izraziti skup A ∩ B, sa svojstvom: ∀x ∈ U µA∩B(x) = min(µA(x), µB(x)),odnosno

A ∩B = {(x;µA∩B(x)) | x ∈ U, µA∩B(x) = min(µA(x), µB(x))}.

De�nicija 19 (Komplement neizrazitog skupa). Neka je A neizraziti skupde�niran nad univerzalnim skupom U . Komplement skupa A je neizrazitiskup ¬A, sa svojstvom: ∀x ∈ U µ¬A(x) = 1− µA(x), odnosno

¬A = {(x;µ¬A(x)) | x ∈ U, µ¬A(x) = 1− µA(x)}.

Komplement skupa A jo² ¢e se ozna£avati i s AC .

27

28 POGLAVLJE 2. OPERACIJE NAD NEIZRAZITIM SKUPOVIMA

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

(a) Neizraziti skup A

10 20 30 400.00

0.25

0.50

0.75

1.00

µB(x)

x

(b) Neizraziti skup B

10 20 30 400.00

0.25

0.50

0.75

1.00

µA∩B

(x)

x

(c) Neizraziti skup A ∩B

10 20 30 400.00

0.25

0.50

0.75

1.00

µA∪B

(x)

x

(d) Neizraziti skup A ∪B

10 20 30 400.00

0.25

0.50

0.75

1.00

µ¬A

(x)

x

(e) Neizraziti skup ¬A

Slika 2.1: Standardne de�nicije presjeka, unije i komplementa neizrazitihskupova. Rezultat operacija prikazan je plavom bojom.

2.2. S-NORME I T -NORME 29

Ilustracije ovih operacija dane su na slici 2.1. Ove de�nicije dao je usvojim radovima Zadeh, a jo² ih zovemo i min-max de�nicije (de�nicija 17,de�nicija 18, de�nicija 19). Tablica 2.1 navodi svojstva min-max operatora.

Tablica 2.1: Svojstva min-max operatora

A ∪B = B ∪A KomutativnostA ∩B = B ∩A KomutativnostA ∪ (B ∪ C) = (A ∪B) ∪ C AsocijativnostA ∩ (B ∩ C) = (A ∩B) ∩ C AsocijativnostA ∪ (B ∩ C) = (A ∪B) ∩ (A ∪ C) DistributivnostA ∩ (B ∪ C) = (A ∩B) ∪ (A ∩ C) DistributivnostA ∪A = A IdempotencijaA ∩A = A Idempotencija(A ∪B)C = AC ∩BC DeMorganovi zakoni(A ∩B)C = AC ∪BC DeMorganovi zakoni(AC)C = A InvolutivnostA ∪ ∅ = A, A ∪ U = U Rubni uvjetiA ∩ ∅ = ∅, A ∩ U = A Rubni uvjetiAko je A ⊆ B i B ⊆ C tada je A ⊆ C TranzitivnostA ∩AC = ∅ Zakon kontradikcije � NE VRIJEDIA ∪AC = U Zakon isklju£enja tre¢ega � NE VRIJEDI

2.2 s-norme i t-norme

Osim min-max operatora postoji jo² mno²tvo na£ina za de�niranje ovih istihoperacija. �tovi²e, napravljena je generalizacija ovih operacija i tako suizvedene t-norme (za operacije presjeka), s-norme (za operacije unije; jo² senazivaju i t-konorme) te generalizirane operacije komplementa. U nastavku¢emo dati njihove de�nicije.

De�nicija 20 (t-norma). t-norma ozna£ava klasu binarnih funkcija t : [0, 1]×[0, 1]→ [0, 1] sa svojstvima T1-T4.

T1 t(a, b) = t(b, a) komutativnostT2 t(a, t(b, c)) = t(t(a, b), c) asocijativnostT3 a ≤ c ∧ b ≤ d⇒ t(a, b) ≤ t(c, d) monotonostT4 t(a, 1) = a, t(0, a) = 0 rubni uvjeti

De�nicija 21 (s-norma). s-norma ozna£ava klasu binarnih funkcija s :[0, 1]× [0, 1]→ [0, 1] sa svojstvima S1-S4.


S1 s(a, b) = s(b, a) komutativnostS2 s(a, s(b, c)) = s(s(a, b), c) asocijativnostS3 a ≤ c ∧ b ≤ d⇒ s(a, b) ≤ s(c, d) monotonostS4 s(a, 1) = 1, s(0, a) = a rubni uvjeti

De�nicija 22 (Generalizirana operacija komplementa). Generalizirana ope-racija komplementa ozna£ava klasu unarnih funkcija c : [0, 1] → [0, 1] sasvojstvima C1-C3.

C1 c(0) = 1, c(1) = 0 rubni uvjetiC2 a < b→ c(a) > c(b)C3 c(c(a)) = a involutivnost

Za s-norme i t-norme te generaliziranu operaciju komplementa vrijedeDeMorganovi zakoni, odnosno:

s(a, b) = c(t(c(a), c(b))),

t(a, b) = c(s(c(a), c(b))).

Osim DeMorganovovih zakona za koje smo upravo naveli da vrijede, moºese pokazati da vrijede i svi ostali zakoni klasi£ne teorije skupova, osim zakonakontradikcije A∩AC = ∅ i zakona isklju£enja tre¢ega A∪AC = U (vidi tablica2.1). Da ova dva zakona ne vrijede, lako se moºemo uvjeriti ako poku²amoizra£unati te dvije operacije za neki konkretan skup, ²to je prikazano na slici2.2. Slike 2.2a i 2.2b prikazuju skupove A i AC , dok su na slikama 2.2c i 2.2dprikazani presjek i unija. Jasno se vidi da presjek nije prazan skup, i unijanije univerzalni skup.


10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

(a) Neizraziti skup A.

10 20 30 400.00

0.25

0.50

0.75

1.00

µ¬A

(x)

x

(b) Neizraziti skup AC .

10 20 30 400.00

0.25

0.50

0.75

1.00

µA∩¬A

(x)

x

(c) Zakon kontradikcije � ne vrijedi.

10 20 30 400.00

0.25

0.50

0.75

1.00

µA∪¬A

(x)

x

(d) Zakon isklju£enja tre¢ega � ne vrijedi.

Slika 2.2: Dva zakona koja ne vrijede.

Primjer: 4Pokaºite da je Zadehova de�nicija unije ispravno de�nirana s-norma. Pokaºite da uz Zadehovede�nicije unije, presjeka i komplementa vrijede DeMorganovi zakoni.

Rje²enje:

Zadeh je uniju de�nirao kao maksimum. Treba provjeriti da za takvu de�niciju vrijede zah-tjevi S1-s4.

Zahtjev S1 traºi da vrijedi s(a, b) = s(b, a). Provjerimo je li to istina za operaciju maksimum.max(a, b) = max(b, a) . . . vrijedi!

Zahtjev S2 traºi da vrijedi s(a, s(b, c)) = s(s(a, b), c). Provjerimo je li to istina za operacijumaksimum. max(a,max(b, c)) = max(max(a, b), c) . . . vrijedi!

Zahtjev S3 traºi da vrijedi a ≤ c ∧ b ≤ d → s(a, b) ≤ s(c, d). Provjerimo je li to istina zaoperaciju maksimum, tj. vrijedi li max(a, b) ≤ max(c, d). Odgovor ¢emo potraºiti analizom poslu£ajevima. Neka je npr. a < b i c < d. Tada je max(a, b) = b, max(c, d) = d; kako S3 kaºe daje b < d, tada doista vrijedi max(a, b) = b < max(c, d) = d. Sli£no se moºe ispitati i za ostalekombinacije te pokazati da zahtjev S3 vrijedi!

Zahtjev S4 traºi da vrijedi s(a, 1) = 1 i s(0, a) = a. Provjerimo je li to istina za operacijumaksimum, tj. vrijedi li max(a, 1) = 1 i max(0, a) = a. Budu¢i da se vrijednosti za a kre¢u uintervalu [0, 1], tada doista vrijedi da je max(a, 1) = 1 i da je max(0, a) = a.

Pokaºimo sada jo² i da vrijede DeMorganovi zakoni. Dokazati ¢emo samo jedan, jer se drugidokazuje ekvivalentno (a ako vrijedi jedan, onda nam s-norme i t-norme te generalizacija operacijekomplementa osiguravaju da vrijedi i drugi). Npr. pogledajmo zakon s(a, b) = c(t(c(a), c(b))). Uslu£aju operacije max to bi zahtjevalo da vrijedi: max(a, b) = 1− (min(1− a, 1− b)). Opet ¢emonapraviti analizu po slu£ajevima.

Neka je a < b. Tada je max(a, b) = b. Tada je i 1− a > 1− b pa je min(1− a, 1− b) = 1− b.


Uvr²tavanjem slijedi:b = 1− (1− b) = 1− 1 + b = b.

Neka je a > b. Tada je max(a, b) = a. Tada je i 1− a < 1− b pa je min(1− a, 1− b) = 1− a.Uvr²tavanjem slijedi:

a = 1− (1− a) = 1− 1 + a = a.

Dakle, DeMorganovi zakoni vrijede.

Zadehove de�nicije unije i presjeka de�nirane su imaju¢i u vidu neizraziteskupove. Me�utim, specijalni slu£aj neizrazitih skupova su upravo klasi£niskupovi kod kojih elementi ili pripadaju skupu ili ne pripadaju. Zbog togade�nicije unije i presjeka koje se koriste u neizrazitoj logici za specijalne slu-£ajeve neizrazitih skupova (kada se skupovi mogu poistovjetiti sa klasi£nima)moraju odgovarati de�nicijama unije i presjeka iz klasi£ne teorije skupova.Ovo ilustrira sljede¢i primjer.

Primjer: 5Pokaºite da se Zadehove de�nicije unije i presjeka za slu£aj kada se koriste neizraziti skupovi sfunkcijom pripadnosti ograni£enom na vrijednosti {0, 1} pona²aju jednako kao i de�nicije unije ipresjeka kod klasi£nih skupova.

Rje²enje:

Operacije unije i presjeka u klasi£noj se teoriji skupova de�niraju na sljede¢i na£in. Elementpripada uniju dvaju skupova ukoliko pripada barem jednom od skupova. Element pripada presjekudvaju skupova ukoliko pripada u oba skupa. Ukoliko se posluºimo karakteristi£nom funkcijom,operacije unije i presjeka moºemo prikazati i tabli£no.

µA(x) µB(x) µA∩B(x) µA∪B(x)0 0 0 00 1 0 11 0 0 11 1 1 1

Kada se funkcija pripadnosti neizrazitog skupa ograni£i na elemente {0, 1}, rezultat mora bitijednak. Provjerimo to.

µA(x) µB(x) µA∩B(x) µA∪B(x)0 0 min(0, 0) = 0 max(0, 0) = 00 1 min(0, 1) = 0 max(0, 1) = 11 0 min(1, 0) = 0 max(1, 0) = 11 1 min(1, 1) = 1 max(1, 1) = 1

Vidimo da se rezultati u tablici doista poklapaju s tablicom u kojoj smo prikazali klasi£neoperacije unije i presjeka, ²to jasno govori da se za specijalni slu£aj neizrazitih skupova kojiodgovaraju klasi£nim skupovima de�nicije unije i presjeka iz teorije neizrazitih skupova poklapajus operacijama unije i presjeka iz klasi£ne teorije skupova.

Osim prethodno opisanih Zadehovih s-normi i t-normi, postoji jo² mno²-tvo normi koje su u uporabi, a neke od njih navedene su u nastavku (tablica2.2).

Pri tome je zanimljivo istaknuti da se razli£ite t-norme, ba² kao i razli£ites-norme mogu poredati po veli£ini. Naime, vrijedi sljede¢i odnos:

td ≤ to ≤ tE ≤ ta ≤ tH ≤ tmin,


Tablica 2.2: �este neparametrizirane t-norme i s-norme

Zadeh Minimum(tmin), Zadeh Maksi-mum (tmin)

min(a, b) max(a, b)

Hamacherov produkt(tH), Hamacherovasuma (sH)

aba+b−ab

a+b−2ab1−ab

Algebarski produkt(ta), Algebarska suma(sH)

ab a+ b− ab

Einsteinov produkt(tE), Einsteinova suma(sE)

ab2−(a+b−ab)

a+b1+ab

Ograni£eni produkt(to), Ograni£ena suma(so)

max(0, a+ b− 1) min(1, a+ b)

Drasti£ni produkt (td),Drasti£na suma (ts)

{min(a, b), max(a, b) = 10, ina£e

{max(a, b), min(a, b) = 01, ina£e

smax ≤ sH ≤ sa ≤ sE ≤ so ≤ sd.

Iz ovoga je vidljivo da je funkcija minimum gornja ograda za sve t-norme afunkcija maksimum donja ograda za sve s-norme.

Primjer: 6Pokaºite da se sve neparametrizirane norme koje smo de�nirali (tablica 2.2) u slu£aju kada sekoriste neizraziti skupovi s funkcijom pripadnosti ograni£enom na vrijednosti {0, 1} pona²aju jed-nako kao i de�nicije unije i presjeka kod klasi£nih skupova.

Rje²enje:

Za Zadehove operacije tvrdnju smo ve¢ provjerili. Provjerimo za ostale norme.

Hamacherov produkt � Hamacherova suma

µA(x) µB(x) µA∩B(x) µA∪B(x)

0 0 0·00+0−0·0 = 0 0+0−2·0·0

1−0·0 = 0

0 1 0·10+1−0·1 = 0 0+1−2·0·1

1−0·1 = 1

1 0 1·01+0−1·0 = 0 1+0−2·1·0

1−1·0 = 1

1 1 1·11+1−1·1 = 1 1+1−2·1·1

1−1·1 = 1

Kod Hamacherovog produkta treba uo£iti slu£aj tH(0, 0) koji direktnim uvr²tavanjem u izrazdaje razlomak 0

0pa nije jasno koju to vrijednost poprima. Me�utim, moºe se pogledati slu£aj

tH(0, δ) za δ > 0:

tH(0, δ) =0 · δ

0 + δ − 0 · δ=

0

δ= 0.


Vidimo da je za sve pozitivne iznose od δ vrijednost jednaka 0, pa se de�nira da i u limesu kadδ → 0 iznos ostaje 0. Tako�er, ako dopustimo da oba parametra budu razli£ita od 0 i da semjenjaju na isti na£in (neka je a = b = ξ), tada imamo da je tH(a, b) = tH(ξ, ξ) jednak:

tH(ξ, ξ) =ξ · ξ

ξ + ξ − ξ · ξ=

12ξ− 1

iz £ega se vidi da izraz u limesu teºi prema nuli:

limξ→0

=1

2ξ− 1

= 0.

Na sli£an se na£in moºe pokazati da Hamacherova suma za slu£aj sH(1, 1) poprima vrijednost 1.

Algebarski produkt � Algebarska suma

µA(x) µB(x) µA∩B(x) µA∪B(x)0 0 0 · 0 = 0 0 + 0− 0 · 0 = 00 1 0 · 1 = 0 0 + 1− 0 · 1 = 11 0 1 · 0 = 0 1 + 0− 1 · 0 = 11 1 1 · 1 = 1 1 + 1− 1 · 1 = 1

Einsteinov produkt � Einsteinova suma


0 0 0·02−(0+0−0·0) = 0 0+0

1+0·0 = 0

0 1 0·12−(0+1−0·1) = 0 0+1

1+0·1 = 1

1 0 1·02−(1+0−1·0) = 0 1+0

1+1·0 = 1

1 1 1·12−(1+1−1·1) = 1 1+1

1+1·1 = 1

Ograni£en produkt � Ograni£ena suma

µA(x) µB(x) µA∩B(x) µA∪B(x)0 0 max(0, 0 + 0− 1) = 0 min(1, 0 + 0) = 00 1 max(0, 0 + 1− 1) = 0 min(1, 0 + 1) = 11 0 max(0, 1 + 0− 1) = 0 min(1, 1 + 0) = 11 1 max(0, 1 + 1− 1) = 1 min(1, 1 + 1) = 1

Drasti£ni produkt � Drasti£na suma


0 0{

min(0, 0), max(0, 0) = 10, ina£e = 0

{max(0, 0), min(0, 0) = 01, ina£e = 0

0 1{

min(0, 1), max(0, 1) = 10, ina£e = 0

{max(0, 1), min(0, 1) = 01, ina£e = 1

1 0{

min(1, 0), max(1, 0) = 10, ina£e = 0

{max(1, 0), min(1, 0) = 01, ina£e = 1

1 1{

min(1, 1), max(1, 1) = 10, ina£e = 1

{max(1, 1), min(1, 1) = 01, ina£e = 1

Ovime smo dokazali da vrijede rubni uvjeti za sve navedene neparametrizirane norme.

2.3. PARAMETRIZIRANE S-NORME I T -NORME 35

2.3 Parametrizirane s-norme i t-norme

Uz prethodno prikazane norme, razvijena je jo² jedna porodica normi � para-metrizirane s-norme i t-norme, koje se od prethodno navedenih razlikuju potome ²to sve nude jedan dodatni parametar kojim se moºe �no pode²avatidjelovanje same norme. Na ovaj na£in omogu¢ava se izgradnja sustava kojisvoj rad zasnivaju na neizrazitoj logici, uz mogu¢nost naknadnog �nog pode-²avanja rada sustava bez potrebe za kompletnim redizajnom i uporabom nekedruge norme. Neke uobi£ajene parametrizirane s-norme i t-norme navedenesu u nastavku (tablica 2.3). Lako se moºe provjeriti da i ove parametriziranenorme zadovoljavaju sve zahtjeve koji su postavljeni generalizacijom (S1-S4za s-norme te T1-T4 za t-norme). Uz ove parametarske norme parametrizi-rani su i odgovaraju¢i komplementi. Tipi£ne parametrizirane komplementeprikazuje tablica 2.4.

Tablica 2.3: �este parametrizirane t-norme i s-norme

t-norma s-normaHamacherova norma, ν ≥ 0

abν+(1−ν)(a+b−ab)

a+b−(2−ν)ab1−(1−ν)ab

Yagerova norma, q ≥ 0

1−min(1, q√

(1− a)q + (1− b)q) min(1, q√aq + bq)

Frankova norma, s > 0, s 6= 1

logs

(1 + (sa−1)(sb−1)

s−1

)1− logs

(1 + (s1−a−1)(s1−b−1)

s−1

)Dubois-Prade norma, α ∈ [0, 1]

abmax(a,b,α)

a+b−ab−min(a,b,1−α)max(1−a,1−b,α)

Tablica 2.4: Parametrizirane operacije komplementa

Naziv komplementa IzrazSugenov komplement 1−a

1+α·aYagerov komplement β

√1− aβ

Sada se moºe jasno uo£iti da su neparametrizirane norme samo specijalnislu£ajevi parametriziranih. Tablica 2.5 prikazuje neparametrizirane norme,kao i koje parametrizirane norme za koju vrijednost parametra prelaze uodgovaraju¢e neparametrizirane ina£ice.


Tablica 2.5: Odnos parametriziranih i neparametriziranih normi

Naziv norme Parametrizirana normaHamacherov produkt (tH)/ Hamacherova suma (sH)

H(0)

Algebarski produkt (ta) /Algebarska suma (sa)

H(1), DP (1)

Einsteinov produkt (tE) /Einsteinova suma (sE)

H(2)

Ograni£ena razlika (to) /Ograni£ena suma (so)

Y (1)

Drasti£na razlika (td) /Drasti£na suma (sd)

H(∞), Y (0)

Primjer: 7Pokaºite da se ograni£ena suma odnosno ograni£ena razlika doista dobiju iz Yagerove norme zavrijednost parametra 1.

Rje²enje:

Pogledajmo najprije Yagerovu s-normu: min(1, q√aq + bq). Za vrijednost parametra q = 1

imamo: min(1, 1√a1 + b1) = min(1, a+ b) ²to je doista ograni£ena suma.

Yagerova t-norma 1−min(1, q√

(1− a)q + (1− b)q) za vrijednost parametra q = 1 prelazi u:1 −min(1, 1

√(1− a)1 + (1− b)1) = 1 −min(1, 1 − a + 1 − b) = 1 −min(1, 2 − a − b). Da bismo

dobili oblik u kojem je zapisan ograni£eni produkt, treba se prisjetiti veze izme�u minimuma imaksimuma kada se vrijednosti nalaze u intervalu [0, 1]. Vrijedi: min(a, b) = 1−max(1−a, 1−b) pauvr²tavanjem slijedi: 1−min(1, 2−a−b) = 1−(1−max(1− 1, 1− (2− a− b))) = max(0, a+b−1)²to je upravo formula ograni£enog produkta.

Primjer djelovanja parametriziranih Hamacherovih t-normi i s-normi pri-kazan je na slici 2.3. Iz tog primjera je jasno vidljivo pona²anje pri rubnimuvjetima, kao i kakav utjecaj imaju vrijednosti parametra na kona£ni rezul-tat.

Iz prethodnog razmatranja vidimo da nam na raspolaganju stoji velikbroj razli£itih normi. Me�utim, kada se odlu£imo za realizaciju konkretnogsustava morati ¢emo odabrati jednu od tih normi i s njom raditi do kraja.Na temelju kojih kriterija moºemo obaviti taj odabir? Nekoliko prijedlogadano je u nastavku.

Aksiomi koje operator zadovoljava. Primjer aksioma Bellman-Giertz iHamacher. Ako je sve drugo isto, bolji je onaj operator £iji su aksiomimanje ograni£avaju¢i.

Empirijska provjera. Teorija neizrazitih skupova koristi se za modelira-nje realnih situacija i modela; stoga nije samo dovoljno da operatorzadovoljava odre�ene aksiome ve¢ mora adekvatno modelirati stvarnesituacije.


10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

(a) Neizraziti skup A

10 20 30 400.00

0.25

0.50

0.75

1.00

µB(x)

x

(b) Neizraziti skup B

10 20 30 400.00

0.25

0.50

0.75

1.00

µA∩B

(x)

x

(c) Neizraziti skup A ∩B uz ν = 0.1

10 20 30 400.00

0.25

0.50

0.75

1.00

µA∪B

(x)

x

(d) Neizraziti skup A ∩B uz ν = 10

10 20 30 400.00

0.25

0.50

0.75

1.00

µA∩B

(x)

x

(e) Neizraziti skup A ∪B uz ν = 0.1

10 20 30 400.00

0.25

0.50

0.75

1.00

µA∪B

(x)

x

(f) Neizraziti skup A ∩B uz ν = 10

Slika 2.3: Unija i presjek neizrazitih skupova uporabom Hamacherovih pa-rametriziranih normi. Rezultat operacija prikazan je plavom bojom. Vrijed-nost parametra navedena je uz svaku sliku zasebno.


Prilagodljivost. Izbor operatora ovisi o kontekstu i semanti£koj interpre-taciji. Ako je potrebno modelirati jednim operatorom vi²e stvarnihsituacija tada se to postiºe odabirom odgovaraju¢eg parametra pa-rametriziranih operatora (Yager, Hamacher, itd.). Min-max operatorinisu prihvatljivi u smislu prilagodljivosti, ali oni imaju druge prednostipoput numeri£ke e�kasnosti.

Numeri£ka e�kasnost. Min-max operatori numeri£ki su e�kasni (za raz-liku od primjerice Hamacherovog i γ operatora) ²to moºe biti jakovaºno kod rje²avanja ve¢ih realnih problema.

Kompezatornost. Logi£ki "i" ne dozvoljava kompenzaciju; mala vrijed-nost stupnja pripadnosti jednom skupu ne moºe se kompenzirati pove-¢anjem stupnja pripadnosti drugom skupu.

Kompenzacija u kontekstu operatora zdruºivanja zna£i sljede¢e: zadanu vrijednost funkcije pripadnosti elementa x zdruºenom neizrazi-tom skupu

µAggr(x) = f(µA(x), µB(x)) = k,

f je kompenzatorni operator ako se vrijednost k moºe dobiti za razli£iteµA(x) mijenjanjem µB(x). Primjerice, min nije kompenzatoran aliprodukt i γ-operator jesu).

Rang kompenzacije Za kompenzatorne operatore vrijedi da su bolji ²toimaju ve¢i rang kompenzacije. Primjer: konveksna kombinacija min imax omogu¢ava kompenzaciju izme�u min i max, dok produkt opera-tor dozvoljava kompenzaciju na (0, 1).

Pona²anje kod zdruºivanja Ovisnost o broju skupova koji se zdruºuju.Primjer: kod produkt operatora svaki novi dodani skup utje£e na vri-jednost funkcije pripadnosti u zdruºenom skupu, kod min operatora tonije slu£aj.

Skala vrijednosti funkcije pripadnosti Skale op¢enito mogu biti: nomi-nalna, ure�ajna (ordinalna), intervalna te racionalna. Operator kojizahtijeva slabiju skalu je poºeljniji. Na primjer, min operator dozvo-ljava ordinalnu skalu dok produkt ne dozvoljava.

Prilikom kombiniranja dvaju neizrazitih skupova do sada smo razmotrilidva op¢enita na£ina njihovog kombiniranja. Jedan je uporabom t-normi.Rezultat zdruºivanja dvaju neizrazitih skupova uporabom t-normi ograni-£en je na interval [0,min(µA(x), µB(x))] (jer je minimum gornja ograda sviht-normi). Drugi na£in zdruºivanja je uporabom s-normi. Rezultat zdruºi-vanja dvaju neizrazitih skupova uporabom s-normi ograni£en je na inter-val [max(µA(x), µB(x)), 1] (jer je maksimum donja ograda svih s-normi).Rezultat zdruºivanja koji bi pripadao u me�uprostor, odnosno u interval


[min(µA(x), µB(x)),max(µA(x), µB(x))], nije mogu¢e dobiti niti t-normamaniti s-normama. Taj prostor pokrivaju operatori uprosje£ivanja.

U kontekstu dono²enja odluka (npr. kod vi²ekriterijskog programiranja)vrlo vaºnu ulogu imaju operatori uprosje£ivanja (engl. averaging operators).Ovi operatori realiziraju ideju "trgovanja" (engl. trade-o� ) izme�u kon-�iktnih ciljeva kada je dozvoljena kompenzacija. Tada rezultat leºi izme�unajoptimisti£nije donje (min) i najpesimisti£nije gornje (max ) granice. Pri-mjeri ovih operatora su dobro poznati:

• aritmeti£ka sredina,

• geometrijska sredina,

• harmonijska sredina,

• neizraziti "i",

• neizraziti "ili" te

• kompenzatorni "i" (tj. γ-operator).

Tablica 2.6 prikazuje de�nicije ovih operatora.

Tablica 2.6: De�nicije operatora uprosje£ivanja

Naziv operatora De�nicijaaritmeti£ka sredina x = x1+x2

2

geometrijska sredina G =√x2

1 + x22

harmonijska sredina H = 21x1

+ 1x2

neizraziti "i"µA i B(x) = γmin(µA(x), µB(x)) + (1− γ)µA(x)+µB(x)

2 , za γ ∈ [0, 1]

neizraziti "ili"µA ili B(x) = γmax(µA(x), µB(x)) + (1− γ)µA(x)+µB(x)

2 , za γ ∈ [0, 1]

kompenzatorni "i", odnosno γ-operator, 0 ≤ γ ≤ 1

µγ(x) =

(m∏i=1

µi(x)

)1−γ (1−

m∏i=1

(1− µi(x))

)γUo£ite da operator neizraziti "i" temeljem parametra γ interpolira rezul-

tat izme�u Zadehovog minimuma i aritmeti£ke sredine funkcija pripadnostidok operator neizraziti "ili" temeljem parametra γ interpolira rezultat iz-me�u Zadehovog maksimuma i aritmeti£ke sredine funkcija pripadnosti. Soperatorima neizraziti "i" i neizraziti "ili" postiºu se vrlo dobri empirijski re-zultati. Za γ = 1 µA i B(x) odgovara Zadehovom min operatoru, a µA ili B(x)Zadehovom max operatoru. Za γ < 1 operator uprosje£ivanja je vi²e opti-misti£an nego minimum operator koji je najoptimisti£niji u slu£aju t-normi.Bitno je napomenuti da ovi operatori nisu asocijativni.


Primjer: 8Pokaºite da operator neizraziti "i" nije asocijativan.

Rje²enje:

Pretpostavimo sljede¢e: γ = 0.6, a = 0.2, b = 0.4 te c = 0.8. Ra£unamo redom:

a i b = 0.6 ·min(a, b) + 0.4 · (a+ b)/2 = 0.24

b i c = 0.6 ·min(a, b) + 0.4 · (a+ b)/2 = 0.44

(a i b) i c = 0.6 ·min(0.24, c) + 0.4 · (0.24 + c)/2 = 0.312

a i (b i c) = 0.6 ·min(a, 0.44) + 0.4 · (a+ 0.44)/2 = 0.248.

O£ito je da redoslijed primjene operatora utje£e na kona£ni rezultat, pa operator nije asocijativan.

Poglavlje 3

Jezi£ne varijable

Neizrazita logika vrlo je pogodna za pribliºno zaklju£ivanje, kada imamoneprecizno ili nejasno de�nirane podatke. Osnovni pojam koji se koristi upribliºnom zaklju£ivanju jest jezi£na varijabla. Uvo�enjem jezi£ne varijableomogu¢ujemo pribliºan i sustavan opis i analizu sustava koji su ina£e nejasniili prekomplicirani da bi se na njih primijenile konvencionalne matemati£kemetode. Formalna de�nicija jezi£ne varijable dana je u nastavku (de�nicija23).

De�nicija 23 (Jezi£na varijabla). Jezi£na varijabla je ure�ena petorka(X,TX , U,G,MX) gdje je:

X naziv jezi£ne varijable,

TX skup jezi£nih vrijednosti koje jezi£na varijabla moºe poprimiti (engl.term set),

U stvarna �zi£ka domena u kojoj elementi iz TX poprimaju numeri£ke vri-jednosti (engl. universe of disclosure),

G gramatika (odnosno skup sintaksnih pravila) koja generira skup TX iz os-novnih termina; to je kontekstno ovisna gramatika te

MX semanti£ka funkcija koja daje zna£enje lingvisti£kim izrazima. To jefunkcija koja svakom elementu iz TX pridruºuje neizraziti podskup odU (engl. meaning).

Pogledajmo to na jednostavnom primjeru jezi£ne varijable "starosna dob",prikazane na slici 3.1. Jezi£na variabla starosna dob de�nirana je nad sku-pom cijelih nenegativnih brojeva koje tuma£imo kao starost osobe. Ta je-zi£na varijable ima kao skup osnovnih termina vrijednosti {"dijete", "mlad","star"} (i jo² druge koje nisu prikazane na slici). Za svaki od tih terminade�niran je neizraziti skup koji terminu daje zna£enje; tako je terminu "di-jete" pridruºen neizraziti skup za koji sa slike vidimo da je µdijete(5) = 1,

41

42 POGLAVLJE 3. JEZI�NE VARIJABLE

Slika 3.1: Jezi£na varijabla "starosna dob".

µdijete(10) = 0.9, µdijete(15) = 0.7, i tako dalje (zbog preglednosti na slicinisu napisane sve vrijednosti). Na sli£an na£in je i svakom drugom osnovnomterminu pridruºen jedan neizraziti skup koji mu daje zna£enje.

Uz de�niranu jezi£nu varijablu moºemo zamisliti i da je dana gramatikakoja bi omogu¢ila de�niranje izvedenih vrijednosti, poput "dijete ili mlad","ne start", "dijete ili vrlo mlad" i sli£no, gdje su operacije "i", "ili" i "ne"klasi£ne neizrazite operacije a "vrlo" jezi£ni modi�kator (obradit ¢emo ihuskoro). Svakom od tih izraza moºe se opet pridruºiti jedan neizraziti skupkoji mu de�nira zna£enje; taj se skup me�utim ne zadaje unaprijed ve¢ga se moºe izra£unati. Primjerice, pogledajmo izraz "dijete ili mlad". Uokviru de�nicije jezi£ne varijable de�niran je neizraziti skup koji je pridruºenterminu "dijete" te neizraziti skup koji je pridruºen terminu "mlad". Izrazu"dijete ili mlad" moºemo pridruºiti neizraziti skup koji je unija tih dvijuneizrazitih skupova, ²to je mogu¢e napraviti automatski tijekom tuma£enjaizraza koji je generiran pridruºenom gramatikom i semanti£kom funkcijom.

Uz jezi£ne varijable vezan je i pojam jezi£nih modi�katora. Prilikomde�niranja jezi£ne varijable (npr. "starosna dob") de�nira se skup osnov-nih termina (npr. "mlad", "star") i skup jezi£nih modi�katora koji mogudjelovati na te osnovne izraze i graditi njihove modi�kacije (npr. modi�-kator "vrlo" kako bismo mogli izgraditi izraz "vrlo mlad"). Uobi£ajeno sede�niraju tri osnovna modi�katora: koncentracija, dilatacija te kontrastnaintenzi�kacija.

De�nicija 24 (Koncentracija, dilatacija, kontrastna intenzi�kacija). Nekaje A neizrazit skup de�niran nad univerzalnim skupom U , te neka je µA(x)funkcija pripadnosti skupa A. Koncentracija od A je tako�er neizraziti skupcon(A), sa svojstvom: µcon(A)(x) = µA(x)2. Dilatacija od A je tako�erneizraziti skup dil(A) sa svojstvom: µdil(A)(x) =

√µA(x). Kontrastna in-

43

tenzi�kacija od A je tako�er neizraziti skup int(A) sa svojstvom:

µint(A)(x) =

{2 · µA(x)2 0 ≤ µA(x) ≤ 0.5

1− 2 · (1− µA(x))2 0.5 < µA(x) ≤ 1.

Djelovanje ovih modi�katora prikazuju slike 3.2a, 3.2b i 3.2c, pri £emuje funkcija pripadnosti skupa A nacrtana crvenom bojom, a funkcija pripad-nosti modi�ciranih skupova plavom bojom.

Poku²ajmo sada prona¢i jezi£ne izraze kojima bismo mogli opisati u£inkepojedinih modi�katora. Npr. pogledajmo ²to prikazuje slika 3.2a. Skup A(crvena boja) de�niran je nad univerzalnim skupom realnih brojeva [0, 40].Kada bismo morali poga�ati koji koncept predstavlja taj skup, mogli bismonpr. re¢i da on predstavlja koncept "brojevi oko 20", jer mu broj 20 pripadasa stupnjem pripadnosti 1, dok stupnjevi pripadnosti brojeva lijevo i desnoopadaju sa udaljavanjem od tog broja. Tako npr. broj 15 pripada skupu"brojevi oko 20" sa stupnjem pripadnosti 0.5. Ako bismo sada morali poga-�ati ²to predstavlja koncentracija skupa A (plava boja), ²to bismo odgovorili?Broj 20 i ovom skupu pripada sa stupnjem pripadnosti 1, ²to opet upu¢ujena koncept "brojevi oko 20". Me�utim, kako smo rekli da ba² skup A opisujekoncept "brojevi oko 20", ne moºemo to isto re¢i i za njegovu koncentracijujer ta dva skupa nisu jednaka. Pogledajmo primjerice broj 15. On koncen-traciji skupa A pripada sa stupnjem pripadnosti od 0.25, ²to je manji stupanjod onoga kojim taj isti broj pripada skupu A (0.5). Stoga moºemo zaklju£itida ovaj skup predstavlja koncept koji puno drasti£nije shva¢a pojam "oko"odnosno ne dozvoljava veliko udaljavanje. Koju rije£ bismo mogli upotrije-biti za ovo poo²trenje koncepta "brojevi oko 20"? Prirodno se name¢e rije£:vrlo. Koncentracija skupa A moºe se shvatiti kao koncept "brojevi oko 20,koji su vrlo blizu oko 20". Sli£no se razmatranje moºe provesti i za ostalemodi�katore. �tovi²e, uobi£ajeno je poistovje¢ivanje prikazano tablicom .

Tablica 3.1: Veza jezi£nih modi�katora i jezi£nih izraza

con(A) ≡ vrlo A (very A)dil(A) ≡ neznatno A (slightly A)

A1.25 ≡ vi²e A (more A)A0.75 ≡ manje A (less A)

int(vi²e A ∧ ne vrloA) ≡ manje ili vi²e A (more or less A)

I odmah da odgovorim na pitanje koje se jasno postavlja: mora li se po-jam vrlo vezati ba² uz kvadriranje? Ne mora! Kako ¢emo shva¢ati zna£enjeizraza vrlo A, potpuno je subjektivno. Moºemo npr. uz izraz vrlo A vezatipotenciranje stupnjeva pripadnosti na 3.14-tu potenciju, ako smatramo daje ba² to ono ²to ¢e nam omogu¢iti da ostvarimo sustav koji gradimo, ilisli£no. Bitno je jedino da uz izraz vrlo poveºemo takvu operaciju koja ¢ebiti smislena. Npr. ako broj 15 skupu "brojevi oko 20" pripada sa stupnjem


10 20 30 400.00

0.25

0.50

0.75

1.00

µR(x)

x

(a) Koncentracija neizrazitog skupa A

10 20 30 400.00

0.25

0.50

0.75

1.00

µR(x)

x

(b) Dilatacija neizrazitog skupa A

10 20 30 400.00

0.25

0.50

0.75

1.00

µR(x)

x

(c) Kontrastna intenzi�kacija neizrazitogskupa A

Slika 3.2: Jezi£ni modi�katori: koncentracija, dilatacija, kontrastna intenzi-�kacija. Rezultat operacija prikazan je plavom bojom.

45

pripadnosti 0.5, tada je za izgradnju koncepta "brojevi VRLO blizu oko 20"pogodna svaka operacija koja ¢e tom istom broju 15 pridruºiti stupanj pri-padnosti koji je manji od 0.5 (jer se ina£e dovodimo u sukob sa zdravimrazumom). Sli£no vrijedi i za ostale jezi£ne izraze. Npr. vi²e A se moºera£unati kao A na 1.38997-u potenciju i sl.

U ovom poglavlju koristili smo jo² ne²to ²to je potrebno malo pobliºede�nirati. Kada smo poku²avali koncentraciji dodijeliti nekakav jezi£ni izraz(uspore�uju¢i skup A i njegovu koncentraciju), igrali smo se poga�anja i po-ku²avali smo otkriti ²to bi to zapravo moglo biti. Ovaj proces "poga�enja"zove se jezi£na aproksimacija. Jezi£na aproksimacija je proces pronalaºe-nja jezi£nog izraza £ije je zna£enje (funkcija pripadnosti) jednako ili najbliºemogu¢e zna£enju (ili funkciji pripadnosti) sloºenog izraza. Jezi£nu aprok-simaciju provodimo uvijek kada kao rezultat djelovanja sustava (odnosnofunkcije) na ulaznu vrijednost dobijemo neku izlaznu vrijednost koju zatimºelimo "shvatiti", odnosno na neki pro£itati ²to to zapravo jest.

Sada kada smo nau£ili ²to je jezi£na varijabla i ²to su jezi£ni modi�katori,pogledajmo jedan konkretan primjer de�niranja jezi£ne varijable "starosnadob".

Primjer: 9Prikazati jedan poptun primjer de�nicije jezi£ne varijable "starosna dob".

Rje²enje:

Jezi£na varijabla je ure�ena petorka (de�nicija 23). Stoga je potrebno ponuditi de�nicije svih petkomponenata.

X je "starosna dob".

TX se sastoji od dva osnovna izraza: {mlad, star} i svih sloºenih izraza koji se mogu izvesti iznjih uporabom gramatike G koju ¢emo de�nirati u nastavku.

U je skup cijelih nenegativnih brojeva; to je stvarna �zi£ka domena u kojoj elementi iz TX popri-maju numeri£ke vrijednosti.

Gramatika G je ure�ena £etvorka (VT , VN , P, S). Pri tome je VT skup zavr²nih znakova (engl.terminal), VN skup nezavr²nih znakova (engl. non-terminal), P skup produkcijskih pravila te Spo£etni nezavr²ni znak. De�nirajmo redom:VT={mlad, star, vrlo, i, ili, ne, (, )},VN={S, A, B, C, D, E},S = S,P = {A → mlad | star | (E)B → vrlo B | AC → ne C | BD → D i C | CE → E ili D | DS → E

}.


M de�nira neizrazite skupove (slika 3.3):

µmlad(x) =

1, x ≤ 15,35−x35−15

, 15 < x ≤ 35,

0, x > 35.

µstar(x) =

0, x ≤ 30,x−3055−30

, 30 < x ≤ 55,

1, x > 55.

10 20 30 40 50 60 70 800.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 3.3: Neizraziti skupovi "mlad" (crveno) i "star" (zeleno).

M jezi£nom izrazu vrlo pridruºuje operaciju koncentracije (kvadriranje), jezi£nom vezniku "i"pridruºuje operaciju presjeka neizrazitih skupova, jezi£nom vezniku "ili" pridruºuje operaciju unijeneizrazitih skupova te negaciji pridruºuje operaciju komplementa neizrazitog skupa (presjek, unijui komplement ra£una prema de�niciji Zadeha; ZadehT, ZadehS, ZadehNot).Ovime je u potpunosti de�nirana jezi£na varijabla "starosna dob".

Primjer: 10Prethodni primjer de�nira jezi£nu varijablu "starosna dob". Pokaºite kako se moºe izvesti izraz"mlad ili vrlo star i ne vrlo vrlo star". Primjenom pravila koja propisuje M izvedite neizrazitiskup koji odgovara tom izrazu.

Rje²enje:

Svi izrazi izvode se pomo¢u gramatike G. Po£etni nezavr²ni znak smo de�nirali kao S, pa odtuda i kre¢emo, primjenjuju¢i uzastopno pravila gramatike.

S → E

→ E ili D

→ D ili D i C

→ C ili C i ne C

→ B ili B i ne B

→ A ili vrlo B i ne vrlo B

→mlad ili vrlo A i ne vrlo vrlo B

→mlad ili vrlo star i ne vrlo vrlo A

→mlad ili vrlo star i ne vrlo vrlo star.

Da bismo izveli neizraziti skup koji odgovara ovom izrazu, potrebno je primjenjivati operacijeonim redosljedom kako to diktira gramatika (jer gramatika odre�uje prioritete pojedinih opera-cija). Tako ¢e se rezultantni neizraziti skup dobiti primjenom operacija:

47

izraz = ZadehS( mlad, ZadehT( vrlo(star), ZadehNot( vrlo( vrlo(star) ) ) ) );

Ovaj neizraziti skup ima funkciju pripadnosti koju prikazuje slika 3.4.

10 20 30 40 50 60 70 800.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 3.4: Funkcija pripadnosti izvedenog izraza (plavo, podebljano).

Poglavlje 4

Neizrazite relacije

4.1 Klasi£na relacija

Svima nam je poznata de�nicija klasi£ne relacije: klasi£na relacija je podskupkartezijevog produkta R ⊂ A×B = {(x, y)|x ∈ A∧ y ∈ B}. Ako su skupoviA i B kona£ni, tada smo ovakve relacije mogli zapisivati i matri£no, pri£emu je i-ti redak matrice odgovarao elementu xi ∈ A, a j-ti stupac matriceodgovarao elementu yj ∈ B. Na mjestu R[i, j] nalazio se broj 1 ako suelementi xi i yj bili u relaciji ili 0 ako nisu bili.

Npr. neka su zadani univerzalni skupoviA = {1, 2, 3, 4} iB = {2, 3, 4, 5, 6, 7}.Zadana je relacija R za koju su elementi xi i yj u relaciji akko je yj prim-broji to xi-ti. Zna£i, ure�eni par (1, 2) je u relaciji, jer je broj 2 prvi prim broj.Ure�eni par (2, 3) je u relaciji jer je broj 3 drugi prim broj. Ure�eni par (1, 3)nije u relaciji jer broj 3 nije prvi po redu prim-broj. Zapi²imo ovu relacijukao skup ure�enih parova te kao matricu.

Relaciju moºemo zapisati kao skup ure�enih parova na sljede¢i na£in:R = {(1, 2), (2, 3), (3, 5), (4, 7)}. U matri£nom obliku zapis relacije je:

R =

2 3 4 5 6 7

1 1 0 0 0 0 02 0 1 0 0 0 03 0 0 0 1 0 04 0 0 0 0 0 1

.Relacija je zapisana kao matrica dimenzija 4× 6 jer je kardinalni broj skupaA jednak 4 a kardinalni broj skupa B jednak 6.

4.2 Neizrazita relacija

Ako sada umjesto 0 ili 1 uvedemo stupanj s kojim ure�eni par pripada relaciji(pa umjesto broja iz skupa {0, 1} uzmemo broj iz intervala [0, 1]) dobili smoneizrazitu relaciju; dok kod klasi£ne relacije ure�eni par ili pripada relaciji

49

50 POGLAVLJE 4. NEIZRAZITE RELACIJE

ili ne pripada, kod neizrazite relacije ure�eni parovi relaciji mogu pripadatis odre�enom mjerom. Princip je isti kao i kod prelaska s klasi£nih skupovana neizrazite skupove. Ako neizrazitu relaciju zapisujemo matri£no, tada¢e u i-tom retku i j-tom stupcu pisati stupanj s kojim ure�eni par (xi, yj)pripada toj neizrazitoj relaciji.

Kao primjer moºemo uzeti i klasi£nu relaciju jednakosti R= te neizraziturelaciju pribliºne jednakosti R≈ nad U × U , gdje je U = {1, 2, 3}.

R= =

1 2 3

1 1 0 02 0 1 03 0 0 1

.

R≈ =

1 2 3

1 1 0.6 0.12 0.6 1 0.63 0.1 0.6 1

.Op¢enito se n-arna neizrazita relacija de�nira na sljede¢i na£in.

De�nicija 25 (Neizrazita relacija). Neka su U1, U2, . . . , Un univerzalni sku-povi. Neizrazita relacija R nad U1×U2×. . .×Un de�nira se kao preslikavanjeµR : U1 × U2 × . . .× Un → [0, 1].

Binarne relacije (relacije koje su de�nirane nad U1 × U2) su poop¢enjepojma "funkcije"; dok funkcija svakom elementu domene pridruºuje to£nojedan element kodomene, relacija svakom elementu domene moºe pridruºitivi²e elemenata kodomene. Sukladno tome, za binarne relacije se tako�erde�niraju pojmovi domene i kodomene.

De�nicija 26 (Domena binarne neizrazite relacije). Neka su U1 i U2 univer-zalni skupovi i neka je R neizrazita relacija de�nirana nad U1×U2. Domena(engl. domain) neizrazite relacije R je neizraziti skup:

dom(R) = {(x;µdom(R)(x))|x ∈ U1, µdom(R)(x) = maxy∈U2

(R(x, y))}.

Element x pripada domeni relacije u mjeri koja odgovara najve¢em stupnjus kojim je taj element uspostavio vezu s bilo kojim elementom kodomene.

De�nicija 27 (Kodomena binarne neizrazite relacije). Neka su U1 i U2

univerzalni skupovi i neka je R neizrazita relacija de�nirana nad U1 × U2.Kodmena (engl. range) neizrazite relacije R je neizraziti skup:

ran(R) = {(y;µran(R)(y))|y ∈ U2, µran(R)(y) = maxx∈U1

(R(x, y))}.

Element y pripada kodomeni relacije u mjeri koja odgovara najve¢em stup-nju s kojim je bilo koji element domene uspostavio vezu s tim elementomkodomene.

4.2. NEIZRAZITA RELACIJA 51

De�nicija 28 (Visina binarne neizrazite relacije). Neka su U1 i U2 univer-zalni skupovi i neka je R neizrazita relacija de�nirana nad U1 × U2. Visina(engl. height) neizrazite relacije R je broj:

hgt(R) = maxx∈U1

maxy∈U2

(R(x, y)).

Relaciju £ija je visina jednaka 1 zovemo normalnom.

Moºda Vam se ova de�nicija visine ve¢ odnegdje £ini poznata? To jestoga ²to je to upravo de�nicija visine neizrazitog skupa. Naime, iako re-lacije tipi£no zapisujemo matri£no, neizrazita relacija nije ni²ta drugo doliobi£an neizraziti skup £ija domena me�utim nije skup "obi£nih" elemenatave¢ skup ure�enih parova! Stoga ¢e se i sve operacije, poput unije, presjekai komplementa direktno ponoviti.

Neizrazite relacije pojavljuju se u puno situacija. Za sada ¢emo pogledatinajjednostavniji primjer � izgradnju neizrazite relacije kartezijevnim produk-tom dvaju neizrazitih skupova.

De�nicija 29 (Kartezijev produkt neizrazitih skupova). Neka je de�niranneizraziti skup A nad univerzalnim skupom U1 te neizraziti skup B nad uni-verzalnim skupom U2. Kartezijev produkt A×B de�nira binarnu relaciju Rnad U1 × U2 sa sljede¢im svojstvom:

µR(x, y) = min(µA(x), µB(y)) ∀x ∈ A, ∀y ∈ B.

Ovako izgra�enu relaciju moºemo shvatiti kao model jednostavnog sus-tava s jednim ulazom i jednim izlazom £ija je prijenosna funkcija de�niranapravilom "ako ulaz je A tada izlaz je B". Vi²e o modeliranju nelinearnih od-nosa, neizrazitom zaklju£ivanju i neizrazitom upravljanju govorit ¢emo malokasnije. Pogledajmo najprije uporabu kartezijevog produkta za izgradnjubinarne relacije na jednostavnom primjeru.

Primjer: 11Nad univerzalnim skupom U = {1, 2, 3, 4} zadana su dva neizrazita: neizraziti skup A predstavljakoncept "broj oko 1" dok neizraziti skup B predstavlja koncept "broj oko 4".

A = 1.01

+ 0.72

+ 0.33

+ 0.14

B = 0.11

+ 0.32

+ 0.73

+ 1.04.

Odredite relaciju koja se dobiva kartezijevim produktom A i B.

Rje²enje:

Kako su oba neizrazita skupa de�nirana nad univerzalnim skupom U , relacija ¢e biti de�nirananad univerzalnim skupom U ×U . Oba neizrazita skupa zapisat ¢emo matri£no i potom napraviti


"mnoºenje" (umjesto umno²ka, dakako, uzimat ¢emo minimum).

R = AT ×B

=[1.0 0.7 0.3 0.1

]T × [0.1 0.3 0.7 1.0]

=

1.00.70.30.1

× [0.1 0.3 0.7 1.0]

=

0.1 0.3 0.7 1.00.1 0.3 0.7 0.70.1 0.3 0.3 0.30.1 0.1 0.1 0.1

4.3 Operacije nad neizrazitim relacijama

De�nira se 5 osnovnih operacija s neizrazitim relacijama:

• unija,

• presjek,

• projekcija,

• cilindri£no pro²irenje te

• kompozicija.

De�nicija 30 (Unija i presjek neizrazitih relacija). Neka su U1, U2, . . . ,Un univerzalni skupovi. Neka su de�nirane neizrazite relacije A i B nadU1 × U2 × . . .× Un.Unija neizrazitih relacija je opet neizrazita relacija nad U1 × U2 × . . . × Unsa svojstvom: µA∪B(x1, . . . , xn) = s-norma(µA(x1, . . . , xn), µB(x1, . . . , xn)).Presjek neizrazitih relacija je opet neizrazita relacija nad U1×U2× . . .×Unsa svojstvom: µA∩B(x1, . . . , xn) = t-norma(µA(x1, . . . , xn), µB(x1, . . . , xn)).

Naj£e²¢e se kao s-norma za uniju koristi Zadehov maksimum, a kao t-norma za presjek Zadehov minimum. Uo£ite da relacije izme�u kojih sera£una unija/presjek moraju biti de�nirane nad istim univerzalnim skupo-vima.

Primjer: 12Zadane su relacije A i B nad univerzalnim skupom {1, 2, 3, 4}×{1, 2, 3}. Izra£unajte njihovu unijui presjek koriste¢i Zadehove de�nicije unije i presjeka.

A =

1.0 0.9 0.00.8 1.0 0.30.6 0.8 0.70.1 0.4 1.0

B =

0.6 0.1 0.10.5 0.7 0.40.8 0.9 0.60.2 0.3 0.0

4.3. OPERACIJE NAD NEIZRAZITIM RELACIJAMA 53

Rje²enje:

Unija se ra£una kao (A ∪B)[i, j] = max(A[i, j], B[i, j]).

A ∪B =

1.0 0.9 0.00.8 1.0 0.30.6 0.8 0.70.1 0.4 1.0

∪

0.6 0.1 0.10.5 0.7 0.40.8 0.9 0.60.2 0.3 0.0

=

1.0 0.9 0.10.8 1.0 0.40.8 0.9 0.70.2 0.4 1.0

Presjek se ra£una kao (A ∪B)[i, j] = min(A[i, j], B[i, j]).

A ∪B =

1.0 0.9 0.00.8 1.0 0.30.6 0.8 0.70.1 0.4 1.0

∩

0.6 0.1 0.10.5 0.7 0.40.8 0.9 0.60.2 0.3 0.0

=

0.6 0.1 0.00.5 0.7 0.30.6 0.8 0.60.1 0.3 0.0

De�nicija 31 (Projekcija neizrazite relacije). Neka su U1, . . . , Uk, . . . , Ununiverzalni skupovi. Neka je de�nirana neizrazita relacija A nad U1 × . . .×Uk × . . .× Un. Projekcija neizrazite relacije A je opet neizrazita relacija alinad U1 × . . .× Uk−1 × Uk+1 × . . .× Un sa svojstvom:

µproj(x1, . . . , xk−1, xk+1, . . . , xn) = maxk

(µA(x1, . . . , xk−1, xk, xk+1, . . . , xn)).

Postupkom projekcije smanjuje se red relacije; tako ¢e se, primjerice,projekcijom ternarne relacije dobiti binarna relacija a projekcijom binarnerelacije obi£an neizraziti skup.

De�nicija 32 (Cilindri£no pro²irenje). Neka su U1, . . . , Un te Un+1 uni-verzalni skupovi. Neka je de�nirana neizrazita relacija A nad U1× . . .×Un.Cilindri£no pro²irenje neizrazite relacije A je opet neizrazita relacija ali nadU1 × . . .× Un × Un+1 sa svojstvom:

µcil(x1, . . . , xn, xn+1) = µA(x1, . . . , xn).

Primjer: 13Zadana je relacija A nad univerzalnim skupom U1 × U2 = {1, 2, 3, 4} × {1, 2, 3}. Izra£unajtenjezine projekcije na U1 i na U2. Izra£unajte cilindri£na pro²irenja tih projekcija na univerzalniskup U1 × U2.

A =

1.0 0.9 0.00.8 1.0 0.30.6 0.8 0.70.1 0.4 1.0

Rje²enje:

Projekcija relacije A na U1 dobije se tako da se u svakom retku prona�e maksimum, a projek-cija relacije A na U2 dobije se tako da se u svakom stupcu prona�e maksimum. Kako je A binarna


relacije, rezultat projekcije relacije A na U1 je neizraziti skup de�niran nad U1. Element xi ∈ U1

tom neizrazitom skupu pripada s maksimalnom mjerom s kojom su parovi oblika (xi, y) ∀y ∈ U2

pripadali relaciji A. Rezultat projekcije relacije A na U2 je neizraziti skup de�niran nad U2. Ele-ment yj ∈ U2 tom neizrazitom skupu pripada s maksimalnom mjerom s kojom su parovi oblika(x, yj) ∀x ∈ U1 pripadali relaciji A.

AprojU1=

1.01.00.81.0

AprojU2=[1.0 1.0 1.0

]

Cilindri£no pro²irenje relacije (projekcije) AprojU1 na U1×U2 dobije se tako da se matrica AprojU1

preoblikuje tako da ima onoliko stupaca koliko U2 ima elemenata, i u prazna mjesta prekopiravrijednost iz prvog stupca. Ono ²to time radimo jest da za svaki element xi ∈ U1 pogledamo skojom on mjerom pripada relaciji AprojU1

, i potom stvorimo za svaki yj ∈ U2 par oblika (xi, yj)i postavimo da on cilindri£nom pro²irenju pripada s istom mjerom s kojom je xi pripadao relacijiAprojU1

. Cilindri£no pro²irenje projekcije AprojU2na U1 × U2 dobije se tako da se matrica

AprojU2 preoblikuje tako da ima onoliko redaka koliko U1 ima elemenata, i u prazna mjestaprekopira vrijednost iz prvog retka.

Acil_projU1→U1×U2=

1.0 1.0 1.01.0 1.0 1.00.8 0.8 0.81.0 1.0 1.0

Acil_projU2→U1×U2=

1.0 1.0 1.01.0 1.0 1.01.0 1.0 1.01.0 1.0 1.0

Zgodno je ovdje spomenuti i sljede¢e pitanje. Relacija A de�nirana na U1×U2 u matri£nom prikazuima |U1| · |U2| elemenata. Ako bismo takvu matricu prenosili komunikacijskim kanalom, trebalibismo prenijeti sve te elemente. Obje projekcije zajedno imaju samo |U1| + |U2| elemenata, ²toje bitno manje i moºe se e�kacije prenijeti. S obzirom da projekcije moºemo cilindri£no pro²iriti,postavlja se pitanje: moºe li se samo iz projekcija rekonstruirati originalna relacija? Odgovor naovo pitanje dat ¢emo uskoro.

De�nicija 33 (Kompozicija binarnih relacija). Neka su X, Y i Z univer-zalni skupovi. Neka je A neizrazita relacija na X×Y , i neka je B neizrazitarelacija na Y ×Z. Neka su odabrane jedna s-norma i jedna t-norma. Kom-pozicija binarnih relacija A i B s obzirom na odabranu s-normu i t-normu,oznaka A ◦B, je opet binarna relacija de�nirana nad X × Z, sa svojstvom:

µA◦B(x, z) = s-norma(t-norma(µA(x, y), µB(y, z))) ∀x ∈ X, y ∈ Y, z ∈ Z.

Naj£e²¢e kori²tene kompozicije su sup-min kompozicija, kod koje se kao s-norma koristi Zadehov maksimum (ili supremum) a kao t-norma Zadehovminimum pa vrijedi:

µA◦B(x, z) = supy∈Y

(min(µA(x, y), µB(y, z))) ∀x ∈ X, z ∈ Z

odnosno sup-produkt kompozicija, kod koje se kao s-norma koristi Zadehovmaksimum (ili supremum) a kao t-norma algebarski produkt pa vrijedi:

µA◦B(x, z) = supy∈Y

(µA(x, y) · µB(y, z)) ∀x ∈ X, z ∈ Z.

4.3. OPERACIJE NAD NEIZRAZITIM RELACIJAMA 55

Sup-min kompozicija jo² se naziva i max-min kompozicija. Obja²njenjeza ovakav na£in izra£unavanja moºe se dobiti promatranjem ²to zapravo re-lacija dobivena kompozicijom predstavlja: komponirana relacija predstavljadirektnu vezu izme�u parova (x, z) ako smo po£etno znali veze izme�u pa-rova (x, y) i (y, z). Budu¢i da treba izra£unati s kojim stupnjem par (x, z)pripada komponiranoj relaciji, kodmax-min kompozicije primjenjuje se staraposlovica koja kaºe da lanac puca na najslabijoj karici. Ovo moºemo zamis-liti na sljede¢i na£in. Neizrazita relacija za svaki par (α, β) de�nira stupanjpripadnosti tog para toj relaciji. Moºemo zamisliti da su element α i ele-ment β povezani lancem £ija je prekidna sila jednaka stupnju pripadnostitog para relaciji. Ako se element α i element β poku²aju razdvojiti, lanackoji ih povezuje odrºat ¢e ih zajedno sve dok se ne primjeni sila koja je ve¢aprekidnoj sili lanca koji ih povezuje.

Kod kompozicije imamo dvije relacije. U slu£aju binarnih relacija, akoje prva relacija de�nirana nad X×Y a druga nad Y ×Z, kompozicija ¢e bitide�nirana nad X × Z; ta relacija uspostavlja veze izme�u elemenata skupaX i elemenata skupa Z. Primjenimo sada istu analogiju s prekidnim silamalanaca. Pitanje na koje treba odgovoriti jest: kolikom silom treba djelovatida bismo razdvojili konkretan element x ∈ X od konkretnog elementa z ∈ Z?Iz relacije A znamo da je x povezan s nizom elemenata y. Iz relacije B zasvaki takav y moºemo utvrditi koliko je povezan sa z. Ako u skupu Y imamotri elementa y1, y2 i y3, to zna£i da od konkretnog x do konkretnog z moºemodo¢i preko tri puta x→ y1 → z, x→ y2 → z te x→ y3 → z.

Svaki od tih puteva predstavlja serijski spoj dvaju lanaca: x → yi iyi → z. Taj ¢e spoj puknuti na prekidnoj sili slabijeg lanca. Zato se zasve parove (x, yi) − (yi, z) traºi minimum. Me�utim, kako od x do z uovom primjeru postoje tri paralelna puta (tri paralelna lanca), x i z ¢e sedrºati zajedno tako dugo dok ne pukne i ona najja£a veza: stoga se od svihprona�enih minimuma traºi maksimum � taj maksimum odgovara jakostiveze izme�u x i z i on se uzima kao stupanj pripadnosti para (x, z) relacijikoja se dobije kompozicijom.

Osim sup-min kompozicije u praksi se koristi i sup-produkt kompozicijakod koje je operacija minimuma zamijenjena umno²kom.

Primjer: 14Zadane su binarne relacije A nadX×Y , B nad Y ×Z i C nad Y . Izra£unajtemax-min kompozicijerelacija A ◦B i C ◦B.

A =

0.1 0.7 0.5 0.10.5 1.0 0.9 0.40.2 0.1 0.6 0.9

B =

1.0 0.20.7 0.50.3 0.90.0 0.4

C =[0.7 0.9 1.0 0.3

]

Rje²enje:


Izra£un kompozicije moºe se zamisliti kao modi�cirano izvo�enje mnoºenja matrica. Matricese mnoºe tako da se pomnoºi odgovaraju¢i redak s odgovaraju¢im stupcem i rezultati se zbroje.Kompozicija se radi na sli£an na£in: uzima se minimum elemenata (redak sa stupcem) koje bismoina£e mnoºili, a zbrajanje se zamijeni s uzimanjem maksimuma. Npr. ako mnoºimo matrice A iB, element u prvom retku i prvom stupcu umno²ka dobio bi se tako da pomnoºimo prvi redakmatrice A s prvim stupcem matrice B i pri tome pozbrajamo umno²ke:

0.1 · 1.0 + 0.7 · 0.7 + 0.5 · 0.3 + 0.1 · 0.0 = 0.74;

kompozicija ¢e za prvi redak i prvi stupac ra£unati:

max(min(0.1, 1.0),min(0.7, 0.7),min(0.5, 0.3),min(0.1, 0.0)) = max(0.1, 0.7, 0.3, 0.0) = 0.7.

Provedeno nad svim elementima, dobit ¢e se rezultat prikazan u nastavku.

A ◦B =

0.1 0.7 0.5 0.10.5 1.0 0.9 0.40.2 0.1 0.6 0.9

◦

1.0 0.20.7 0.50.3 0.90.0 0.4

=

0.7 0.50.7 0.90.3 0.6

.Izra£unavanje C ◦B moºe se na prvi pogled u£initi malo £udnim. Naime, C je de�niran samo

nad Y , pa se moºda ne vidi odmah ²to ¢e biti rezultat. Da bi se razrije²io problem, jednostavnotreba zamisliti da je C de�niran nadW×Y gdje jeW jedno£lani skup, pa je tada rezultat de�nirannad W × Y ◦ Y × Z = W × Z → Z a postupak ra£unanja je isti kao i u prethodnom slu£aju.

C ◦B =[0.7 0.9 1.0 0.3

]◦

1.0 0.20.7 0.50.3 0.90.0 0.4

=[0.7 0.9

].

Sljede¢i jednostavan primjer pokazat ¢e nam kako moºemo kompozicijukoristiti za izvo�enje jednostavnih zaklju£aka.

Primjer: 15Zadana je neizrazita relacija R na U × U , U = {1, 2, 3}. Relacija opisuje koncept "pribliºno zajedan ve¢i". De�nirajte dva neizrazita skupa N1 i N2 nad U , na sljede¢i na£in. Skup N1 nekaopisuje koncept "to£no broj 1", a skup N2 neka opisuje koncept "pribliºno broj 1". Uporabomneizrazite relacije R izra£unajte koji su brojevi "pribliºno za jedan ve¢i" od brojeva N1 i N2.Relacija R je:

R =

0.3 1.0 0.30.1 0.3 1.00.0 0.1 0.3

.

Rje²enje:

Ve¢ smo pokazali kako treba £itati ovakve relacije. Svakom retku pridruºen je jedan elementiz prvog univerzalnog skupa (U1 × U2 op¢enito), a svakom stupcu jedan element iz drugog uni-verzalnog skupa. Tako npr. relacija u drugom retku i tre¢em stupcu ima broj 1.0, ²to ozna£avada je ure�eni par (2, 3) pripadnik relacije "pribliºno za jedan ve¢i" sa stupnjem 1.0 jer je 3 doistapribliºno za jedan ve¢e od 2.

Neizraziti skup koji opisuje koncept "to£no broj 1" glasi:

N1 =1.0

1+

0.0

2+

0.0

3

²to matri£no zapisujemo kao:N1 =

[1.0 0.0 0.0

].

4.4. SVOJSTVA BINARNIH NEIZRAZITIH RELACIJA 57

Prilikom de�niranja ovog skupa odabrali smo da broj 1 skupu pripada sa stupnjem pripadnosti1.0 a brojevi 2 i 3 sa stupnjem pripadnosti 0.0. Neizraziti skup koji opisuje koncept "pribliºnobroj 1" glasi:

N2 =1.0

1+

0.4

2+

0.1

3

²to matri£no zapisujemo kao:N2 =

[1.0 0.4 0.1

].

Za²to ba² ovako � sjetite se, de�nicija je subjektivna; ako se ne slaºete, slobodno rede�nirajte ovajkoncept i izra£unajte rezultat za vjeºbu. Ovako de�nirani skup nam govori da mu broj 1 pripadasa stupnjem pripadnosti 1.0, broj 2 sa stupnjem pripadnosti 0.4 a broj 3 sa stupnjem pripadnosti0.1.

Sada kada imamo de�nirane ove skupove, i relaciju R, kako ¢emo do¢i do ºeljenog odgovora?Vrlo jednostavno � relacija R nam govori u kakvom su odnosu elementi s U1 i elementi s U2. Akove¢ znamo elemente s U1, tada ¢e nam kompozicija neizrazitog skupa s U1 i relacije R dati upravoneizrazit skup na U2. Idemo ovo izra£unati.

N∗1 = N1 ◦R =[1.0 0.0 0.0

]◦

0.3 1.0 0.30.1 0.3 1.00.0 0.1 0.3

=[0.3 1.0 0.3

].

N∗2 = N2 ◦R =[1.0 0.4 0.1

]◦

0.3 1.0 0.30.1 0.3 1.00.0 0.1 0.3

=[0.3 1.0 0.4

].

Jo² je potrebno izvr²iti jezi£nu aproksimaciju kako bismo dodijelili neko zna£enje dobivenim rezul-tatima. Skup N∗1 moºemo pro£itati kao "pribliºno broj 2". I doista, "pribliºno za jedan ve¢i" brojod broja "to£no broj 1" je "pribliºno broj 2". Skup N∗2 moºemo pro£itati kao "broj manje-vi²eoko broja 2". Naime, ovakav rezultat je i bio za o£ekivati jer smo sada krenuli s brojem koji nijeto£no jedan, ve¢ je negdje oko 1 ("pribliºno broj 1"). Tada ¢e i rezultat operacije "pribliºno zajedan ve¢i" biti opet "pribliºno broj 2" ali u ne²to ²irim granicama oko broja 2, jer je i po£etnibroj imao dosta ²iroke granice oko broja 1. Stoga ¢emo ovaj broj pro£itati kao "broj manje-vi²eoko broja 2".

De�nirajmo jo² dva pojma vezana uz relacije: inverz relacije te potencijurelacije.

De�nicija 34 (Inverz relacije). Neka je zadana binarna relacije R nadU1 × U2. Relacija R uspostavlja veze od elemenata univerzalnog skupa U1

do elemenata univerzalnog skupa U2. Inverz relacije R je relacija R−1 kojaje de�nirana nad U2 × U1 i koja uspostavlja veze od elemenata univerzal-nog skupa U2 do elemenata univerzalnog skupa U1. Matrica koja odgovararelaciji R−1 je transponirna matrica od R. Tako�er, direktno slijedi da je(R−1

)−1= R.

De�nicija 35 (Potencije relacije). Neka je zadana binarna relacije R. Po-tencije relacije de�niraju se uporabom kompozicije. Pri tome vrijedi: Ri =Ri−1 ◦R. Primjerice, vrijedi R1 = R, R2 = R1 ◦R, R3 = R2 ◦R itd.

4.4 Svojstva binarnih neizrazitih relacija

Po£et ¢emo s tri osnovna svojstva koja se de�niraju za relacije: re�eksivnost,simetri£nost i tranzitivnost (te ina£ice).


De�nicija 36 (Re�eksivnost neizrazite binarne relacije). Neka je R binarnarelacija de�nirana nad U × U , pri £emu je U univerzalni skup. R je re�ek-sivna ako je µR(x, x) = 1 ∀x ∈ U . Ako postoji barem jedan x ∈ U za koji tone vrijedi, tj. za koji je µR(x, x) 6= 1, takva relacija je ire�eksivna. Ako pakto ne vrijedi niti za jedan x ∈ U , drugim rije£ima ako je µR(x, x) 6= 1 ∀x ∈ U ,takva relacija je antire�eksivna.

Relacije od kojih o£ekujemo svojstvo re�eksivnosti su relacije poput re-lacije ekvivalencije (o£ekujemo da je x ≡ x). S druge strane, od relacijastrogog ure�aja ovo svojstvo ne o£ekujemo (primjerice, ne o£ekujemo davrijedi x < x gdje je "<" operator stroge usporedbe).

De�nicija 37 (Simetri£nost neizrazite binarne relacije). Neka je R binarnarelacija de�nirana nad U × U , pri £emu je U univerzalni skup. R je si-metri£na ako je µR(x, y) = µR(y, x) ∀x ∈ U, y ∈ U . Ako postoji baremjedan x i y za koje ne vrijedi µR(x, y) = µR(y, x), kaºemo je da relacijeasimetri£na. Relaciju pak zovemo antisimetri£nom ako za svaki x i y vrijediR(x, y) 6= R(y, x) ili R(x, y) = 0 ∧ R(y, x) = 0. Kona£no, relacija R jeperfektno antisimetri£na ako ∀x ∈ U,∀y ∈ U : R(x, y) > 0⇒ R(y, x) = 0.

I opet, simetri£nost je svojstvo koje o£ekujemo od relacija poput relacijeekvivalencije: ako je x ≡ y u nekoj mjeri, tada o£ekujemo i da je y ≡ xu toj istoj mjeri. Kod relacija strogog ure�aja ovo nikako ne o£ekujemo;primjerice, ako pogledamo relaciju "<" de�niranu nad cijelim brojevima,o£ekujemo da joj par (1, 100) pripada s visokim stupnjem (jer je 1 doistamanje od 100 i to zna£ajno), ali nikako ne o£ekujemo da joj s tim istimstupnjem pripada i par (100, 1).

Kod neizrazitih relacija ne de�nira se klasi£na tranzitivnost, ve¢ ne²tomodi�cirani oblik.

De�nicija 38 (Max-min tranzitivnost neizrazite binarne relacije). Neka jeR binarna relacija de�nirana nad U × U , pri £emu je U univerzalni skup.Relacija R je max-min tranzitivna ako

µR(x, z) ≥ maxy∈U

min(µR(x, y), µR(y, z)) ∀x ∈ U,∀z ∈ U.

Prethodnu de�niciju mogu¢e je poop¢iti tako da se gledaju proizvoljnes-norme i t-norme. Sljede¢a de�nicija prikazuje kako.

De�nicija 39 (s-t tranzitivnost neizrazite binarne relacije). Neka je R bi-narna relacija de�nirana nad U×U , pri £emu je U univerzalni skup. Neka jeodabrana neka s-norma i neka t-norma. Relacija R je tranzitivna s obziromna odabrane s- i t-normu ako

µR(x, z) ≥ s-normay∈U t-norma(µR(x, y), µR(y, z)) ∀x ∈ U,∀z ∈ U.

U tom smislu, max-min tranzitivnost samo je poseban slu£aj op¢enite tranzi-tivnosti, pri £emu se kao s-norma koristi operator maksimuma a kao t-normaoperator minimuma.


Ovdje je potrebno napomenuti jo² jedno svojstvo vezano uz kompozicijurelacije same sa sobom: nakon kona£no mnogo koraka komponiranja relacijesame sa sobom dobiva se relacija koja je max-min tranzitivna. Ovo svojstvokoristi se kada se poku²ava izgraditi relacija ekvivalencije iz relacije koja tonije.

Pogledajmo sada neke tipi£ne neizrazite relacije i njihove klasi£ne pan-dane.

4.4.1 Relacija ekvivalencije i neizrazita relacija ekvivalencije

Klasi£na relacija ekvivalencije de�nirana nad kartezijevim produktom U×Uklasi£nog skupa U je svaka klasi£na relacija koja je re�eksivna, simetri£nai tranzitivna. Za svaki element u ∈ U moºe se izgraditi skup Pu koji jepodskup od U i koji sadrºi sve elemente iz U koji su u relaciji ekvivalencijes u:

Pu = {v | R(u, v) = 1 ∧ y ∈ U}.

Element u bit ¢e u tom skupu, i niti jedan element tog skupa ne¢e biti urelaciji niti s jednim drugom elementom iz U koji nije u Pu. Ovaj skupnaziva se razred ekvivalencije relacije ekvivalencije s obzirom na element u.Dva razreda ekvivalencije ili su jednaki ili disjunktni. Skup svih porodicarazreda ekvivalencije £ini particiju skupa U (disjunktni su a unija im jejednaka £itavom skupu U) i obi£no se ozna£ava s U/R.

Neizrazita relacija ekvivalencije (ili relacija sli£nosti) je neizrazita relacijakoja je re�eksivna, simetri£na i tranzitivna (naj£e²¢e se misli na max-mintranzitivnost, ali moºe biti bilo koji oblik). α-presjeci relacije sli£nosti surelacije ekvivalencije. Binarne relacije koje su simetri£ne i tranzitivne alinisu re�eksivne nazivaju se kvazi-relacije ekvivalentnosti.

Relacija sli£nosti ne generira direktno particiju skupa U ve¢ omogu¢avapodesivo generiranje particija ovisno o tome koliku minimalnu mjeru sli£nostitraºimo da bismo elemente grupirali zajedno. Pogledajmo to na sljede¢emprimjeru.

Primjer: 16U autosalonu posjetitelje su pitali da procjene od £etiri ponu�ena automobila koji je automobilkoliko sli£an drugim automobilima (na skali od 0 do 1 pri £emu 0 zna£i da uop¢e nisu sli£ni a 1da su jako sli£ni). Temeljem te ankete dobiveni su rezultati koji su prikazani relacijom sli£nosti Rizgra�enom nad univerzalnim skupom U = {A1, A2, A3, A4} gdje su A1, . . . , A4 automobili. Kakosve skup automobila moºemo grupirati prema sli£nosti?

R =

1.0 0.0 0.8 0.00.0 1.0 0.0 0.60.8 0.0 1.0 0.00.0 0.6 0.0 1.0

.

Rje²enje:


Jedna mogu¢nost jest zahtjevati da dva automobila pripadaju u isti skup samo ako im jemjera sli£nosti 1. U tom slu£aju potrebno je napraviti α-presjek relacije sli£nosti za α = 1:

Rα=1 =

1 0 0 00 1 0 00 0 1 00 0 0 1

.Relacija Rα=1 je klasi£na relacija, i ona jest relacija ekvivalencije. Razredi ekvivalencije kojede�nira ova relacija su:

UA1 = {A1}UA2

= {A2}UA3

= {A3}UA4

= {A4}

Dobili smo £etiri porodice razreda ekvivalencije i U/Rα=1 moºemo zapisati kao {A1} ∪ {A2} ∪{A3} ∪ {A4}. Kako vidimo, ni²ta se nije grupiralo niti s £ime.

Poku²ajmo me�utim biti manje zahtjevni. Dopustimo da u isti skup sli£nih automobilaupadnu svi oni automobili koji su barem sli£ni s mjerom 0.8. Ra£unamo stoga α-presjek relacijesli£nosti za α = 0.8:

Rα=0.8 =

1 0 1 00 1 0 01 0 1 00 0 0 1

.Relacija Rα=0.8 je klasi£na relacija, i ona je relacija ekvivalencije. Razredi ekvivalencije kojede�nira ova relacija su:

UA1= {A1, A3}

UA2 = {A2}UA3

= {A3, A1}UA4

= {A4}

Ovaj puta smo dobili samo tri porodice razreda ekvivalencije i U/Rα=0.8 moºemo zapisati kao{A1, A3} ∪ {A2} ∪ {A4}. Automobil A1 grupiran je zajedno s automobilom A3, dok su preostaliautomobili ostali u zasebnim grupama.

Smanjimo kriterije jo² malo. Dopustimo da u isti skup sli£nih automobila upadnu svi oniautomobili koji su barem sli£ni s mjerom 0.7. Ra£unamo stoga α-presjek relacije sli£nosti zaα = 0.7:

Rα=0.7 =

1 0 1 00 1 0 11 0 1 00 1 0 1

.Relacija Rα=0.7 je klasi£na relacija, i ona je relacija ekvivalencije. Razredi ekvivalencije kojede�nira ova relacija su:

UA1= {A1, A3}

UA2= {A2, A4}

UA3 = {A3, A1}UA4

= {A4, A2}

Ovaj puta smo dobili samo dvije porodice razreda ekvivalencije i U/Rα=0.7 moºemo zapisati kao{A1, A3} ∪ {A2, A4}. Automobili A1 i A3 upali su u jednu grupu a automobili A2 i A4 u drugu.U praksi, ovakvo podesivo grupiranje £esto moºe biti vrlo koristan alat pri razli£itim analizama ikao pomo¢ u postupcima dono²enja odluka.

Pogledajmo jo² jedan primjer.


Primjer: 17Kako bi se kupce u trgova£kom centru motiviralo da vi²e kupuju, uprava trgovine napravila jeanalizu sedam proizvoda s ciljem ustanovljavanja koji se proizvodi £esto kupuju zajedno. Idejaje, dakako, takve proizvode postaviti jedne uz druge tako da, kada kupac potraºi jedan od njih,po navici uzme i drugi, £ak i ako nije do²ao po njega. U kojoj mjeri se svaki od proizvoda kupujezajedno s drugim proizvodima prikazano je u matrici R koja je de�nirana nad univerzalnim skupomod sedan proizvoda: U = {a, b, c, d, e, f}. Ispalo je da je prikazana relacija simetri£na, re�eksivnai tranzitivna. Kakve grupacije proizvoda se mogu dobiti iz te relacije?

R =

1.0 1.0 0.4 0.4 0.0 0.01.0 1.0 0.4 0.4 0.0 0.00.4 0.4 1.0 0.7 0.0 0.00.4 0.4 0.7 1.0 0.0 0.00.0 0.0 0.0 0.0 1.0 0.90.0 0.0 0.0 0.0 0.9 1.0

.

Rje²enje:

Potrebno je napraviti α-presjeke relacije R za vrijednosti α = 1.0, α = 0.9, α = 0.7, α = 0.4i α = 0.0. Ovo ostavljamo £itatelju za vjeºbu. Rezultat ¢emo me�utim prikazati gra�£ki.

Za α = 1 samo su proizvodi a i b grupirani zajedno, dok su svi ostali proizvodi grupa zasebe. Za α = 0.9 pojavljuju se dvije dvo£lane grupe: {a, b} i {e, f}. Za α = 0.7 proizvodi c id se zdruºuju pa imamo tri dvo£lane grupe: {a, b}, {c, d} i {e, f}. Za α = 0.4 prve dvije grupese spajaju tako da imamo jednu £etvero£lanu grupu {a, b, c, d} i jednu dvo£lanu grupu {e, f}.Kona£no, uz α = 0.0 svi proizvodi se zdruºuju u jednu grupu.

4.4.2 Relacija kompatibilnosti i neizrazita relacija kompati-

bilnosti

Klasi£ne binarne relacije koje su re�eksivne i simetri£ne nazivamo relacijamakompatibilnosti ili relacijama tolerancije. Neizrazite binarne relacije kojesu re�eksivne i simetri£ne nazivamo neizrazitim relacijama kompatibilnostiili neizrazitim relacijama tolerancije ili ponekad i relacijama blizine (engl.proximity relations).


Sli£no kao kod klasi£ne relacije ekvivalencije, kod klasi£ne relacije kom-patibilnosti de�nira razred kompatibilnosti. Neka je binarna relacija R de-�nirana nad U × U . Razred kompatibilnosti P je podskup od U takav da∀x ∈ P,∀y ∈ P : R(x, y) = 1; drugim rije£ima, svaka dva elementa iz raz-reda kompatibilnosti me�usobno su kompatibilna. Razreda kompatibilnostimoºe biti mnogo. Posebno zanimljivi su maksimalni razredi kompatibilnosti:to su razredi kompatibilnosti koji nisu pravi podskup niti jednog drugog raz-reda kompatibilnosti � stoga naziv maksimalni. Ovi razredi ne £ine particijuskupa U jer ne moraju biti disjunktni (razli£iti razredi kompatibilnosti mogusadrºavati neke iste elemente). Skup svih maksimalnih razreda kompatibil-nosti naziva se potpuno prekrivanje od U inducirano s R.

Kod neizrazite relacije kompatibilnosti de�nira se razred α-kompatibilnostiPα (gdje je α minimalni stupanj pripadnosti) kao podskup od U takav da∀x ∈ Pα, ∀y ∈ Pα : R(x, y) ≥ α; drugim rije£ima, svaka dva elementa izrazreda α-kompatibilnosti me�usobno su kompatibilna barem s mjerom α.α-presjek neizrazite relacije kompatibilnosti je klasi£na relacija kompatibil-nosti. Stoga se razred α-kompatibilnosti neizrazite relacije kompatibilnostimoºe de�nirati i kao razred kompatibilnosti α-presjeka neizrazite relacijekompatibilnosti. Pogledajmo primjer.

Primjer: 18Nad univerzalnim skupom U = {a, b, c, d, e, f} de�nirana je relacija R kako je prikazano u nas-tavku. Izra£unajte sva potpuna α-prekrivanja.

R =

1.0 1.0 0.4 0.4 0.0 0.01.0 1.0 0.4 0.4 0.0 0.00.4 0.4 1.0 0.7 0.0 0.00.4 0.4 0.7 1.0 0.0 0.00.0 0.0 0.0 0.0 1.0 0.90.0 0.0 0.0 0.0 0.9 1.0

.

Rje²enje:

U relaciji R imamo £etiri razli£ita stupnja pripadnosti; stoga ¢emo raditi £etiri α-presjeka (za1.0, 0.9, 0.5 i 0.0).

Rα=1.0 =

1 1 0 0 0 01 1 0 0 0 00 0 1 0 0 00 0 0 1 0 00 0 0 0 1 00 0 0 0 0 1

.

Rα=0.9 =

1 1 1 0 0 01 1 1 0 0 01 1 1 0 0 00 0 0 1 0 00 0 0 0 1 10 0 0 0 1 1

.


Rα=0.5 =

1 1 1 1 0 01 1 1 1 0 01 1 1 0 0 01 1 0 1 0 00 0 0 0 1 10 0 0 0 1 1

.

Rα=0.0 =

1 1 1 1 1 11 1 1 1 1 11 1 1 1 1 11 1 1 1 1 11 1 1 1 1 11 1 1 1 1 1

.

Relacija kompatibilnosti Rα=1.0 generira potpuno prekrivanje {a, b} ∪ {c} ∪ {d} ∪ {e} ∪ {f}.Relacija kompatibilnosti Rα=0.9 generira potpuno prekrivanje {a, b, c} ∪ {d} ∪ {e, f}. Relacijakompatibilnosti Rα=0.5 generira potpuno prekrivanje {a, b, c}∪{a, b, d}∪{e, f}. Kona£no, relacijakompatibilnosti Rα=0.0 generira potpuno prekrivanje {a, b, c, d, e, f}. Ovo je gra�£ki prikazano naslici u nastavku.

4.4.3 Relacije ure�aja

Svaka neizrazita relacija koja je re�eksivna i tranzitivna naziva se neizrazitapred-ure�ajna relacija (engl. Fuzzy pre-order relation); ovdje se naj£e²¢emisli na max-min tranzitivnost (ali moºe se raditi i s drugim tranzitivnos-tima).

Svaka neizrazita relacija koja je re�eksivna, antisimetri£na i tranzitivna,naziva se neizrazita ure�ajna relacija (engl. fuzzy order relation). Klasi£nase relacija R∗ koja odgovara neizrazitoj ure�ajnoj relaciji R moºe dobiti takoda se vrijednost karakteristi£ne funkcije postavi na sljede¢i na£in:

• ako je µR(x, y) ≥ µR(y, x), postavi µR∗(x, y) = 1 i µR∗(y, x) = 0;

• ako je µR(x, y) = µR(y, x), postavi µR∗(x, y) = µR∗(y, x) = 0.

Primjer relacija R de�nirane nad U = {a, b, c, d} koja je re�eksivna,antisimetri£na i max-min tranzitivna prikazan je u nastavku.

R =

1.0 0.0 0.0 0.00.0 1.0 0.1 0.00.4 0.9 1.0 0.30.5 0.0 0.0 1.0

.


Odgovaraju¢a klasi£na relacija je:

R∗ =

1 0 0 00 1 0 01 1 1 11 0 0 1

.Uo£imo da se u prethodno de�niranoj neizrazitoj relaciji R (kao i njezinomklasi£nom pandanu R∗) svi elementi me�usobno ne daju usporediti (odnosnonisu u relaciji). Tako vidimo da elemente a i d moºemo usporediti; R(a, d) =0 ali R(d, a) = 0.5. S druge pak strane, elemente a i b ova relacija ne moºeusporediti: R(a, b) = R(b, a) = 0; niti ure�eni par (a, b) pripada relaciji,niti ure�eni par (b, a). Ovakve relacije stoga zovemo relacija parcijalnog (ilidjelomi£nog) ure�aja (engl. partial order relation).

Relacija potpunog ure�aja (ili linearnog ure�aja) je svaka relacija ure-�aja (dakle, re�eksivna, antisimetri£na i tranzitivna) kod koje su svakadva elementa usporediva: nije istina da postoji x ∈ U, y ∈ U takav da jeR(x, y) = 0 ∧R(y, x) = 0.

4.5 Zatvaranje binarne relacije

Uz binarne relacije vezan je jo² i pojam "zatvaranja" s obzirom na neko svoj-stvo (engleski termin je closure). Tako se pojavljuju pojmovi poput re�ek-sivnog zatvaranja relacije, simetri£nog zatvaranja relacije, i moºda naj£e²¢e:tranzitivnog zatvaranja relacije. Idemo stoga de�nirati te pojmove.

De�nicija 40 (Zatvaranje relacija). Neka je zadana binarna relacije R. Za-tvaranje te relacije s obzirom na svojstvo ξ je najmanje pro²irenje te relacijeuz koje se postiºe zadano svojstvo ξ.

De�nicija 41 (Re�eksivno zatvaranje relacije). Neka je zadana relacija R.Re�eksivno zatvaranje relacije R je relacija R

′ako i samo ako:

1. R′je re�eksivna relacija,

2. R ⊆ R′ te

3. za svaku relaciju R′′, ako je R ⊆ R

′′i ako je R

′′tako�er re�eksivna,

tada je nuºno R′ ⊆ R′′ ; drugim rije£ima: R

′je najmanja relacija koja

zadovoljava zahtjeve (1) i (2).

Na identi£an se na£in de�niraju i simetri£no zatvaranje relacije te tranzi-tivno zatvaranje relacije. Re�eksivno zatvaranje relacije R jo² ¢emo ozna£a-vati s r(R), simetri£no zatvaranje sa s(R) a tranzitivno zatvaranje sa t(R).Uz ove oznake sada moºemo de�nirati i svojstva ovih zatvaranja.

4.5. ZATVARANJE BINARNE RELACIJE 65

1. Re�eksivno zatvaranje: r(R) = R ∪ E, gdje je E relacija jednakosti(jedinice po dijagonali, svi ostali elementi su nula).

2. Simetri£no zatvaranje: s(R) = R ∪R−1 gdje je R−1 inverzna relacija.

3. Tranzitivno zatvaranje: t(R) = ∪∞i=1Ri. Ako je univerzalni skup U nad

kojim je de�nirana relacija kona£an (pa ima kardinalitet |U |), vrijedi:t(R) = ∪|U |i=1R

i.

4. Relacija R je re�eksivna ako vrijedi r(R) = R.

5. Relacija R je simetri£na ako vrijedi s(R) = R.

6. Relacija R je tranzitivna ako vrijedi t(R) = R.

Ako imamo neizrazitu relaciju kompatibilnosti (re�eksivna i simetri£na)de�niranu nad kona£nim univerzalnim skupom kardinaliteta |U |, kompozicijarelacije R sa samom sobom u najvi²e |U |−1 koraka ¢e dati relaciju koja imai svojstvo tranzitivnosti, £ime ¢e takva relacija postati relacija sli£nosti. Ovose u praksi moºe zgodno iskoristiti. Pogledajmo to na primjeru.

Primjer: 19Turisti£ka zajednica ºeli izraditi web-sustav koji ¢e turistima za svaku lokaciju koju odaberu pred-lagati i sli£ne lokacije. Kako bi to ostvarili, u pet gradova su anketirali turiste vrlo jednostavnomanketom. Anketa se sastojala od jednog pitanja s £etiri ponu�ene opcije; pitanje je bilo formuli-rano na sljede¢i na£in: "koja od ovih £etiri opcije najbolje opisuje ovu lokaciju?". Prilikom obradeankete za svaku je lokaciju i za svaku opciju izra£unat postotak turista koji su odabrali tu opciju.Rezultati su prikazani u sljede¢oj tablici.

Lokacija Opcija 1 Opcija 2 Opcija 3 Opcija 4∑

L1 0.1 0.1 0.4 0.4 1L2 0.5 0.1 0.3 0.1 1L3 0.4 0.1 0.4 0.1 1L4 0.4 0.1 0.1 0.4 1L5 0.1 0.3 0.3 0.3 1

Pojasnite kako biste temeljem tih podataka omogu¢ili grupiranje lokacija?

Rje²enje:

Na raspolaganju su nam podatci za 5 gradova. Temeljem tih podataka najprije moºemoizgraditi relaciju kompatibilnosti koja se temelji na nekoj od mjera sli£nosti. Naime, uo£imoda podatke za svaku lokaciju moºemo shvatiti kao 4-dimenzijski vektor realnih brojeva: L1 =[0.1 0.1 0.4 0.4

], L2 =

[0.5 0.1 0.3 0.1

]i tako dalje. Sli£nost izme�u dva vektora

moºemo izgraditi izra£unom kosinusa kuta izme�u njih: vektori koji su jako razli£iti (tj. okomiti)imat ¢e mjeru sli£nosti 0, vektori koji su identi£ni imat ¢e mjeru sli£nosti 1. Ako su Li i Lj dvavektora, kosinus kuta izme�u njih de�niran je izrazom:

cos(Li, Lj) =Li · Lj‖Li‖ · ‖Lj‖

odnosno kao omjer njihovog skalarnog produkta i umno²ka njihovih normi.


Prvi korak je stoga izgraditi relaciju koja govori koliko su svake dvije lokacije me�usobnosli£ne odnosno kompatibilne. Uo£ite da ¢e to biti relacija de�nirana nad univerzalnim skupomL× L gdje je L = {L1, L2, L3, L4, L5}, i za koju ¢e vrijediti:

µR(li, lj) = cos(Li, Lj).

Relacija koja se time dobiva jest:

R =

1.000 0.629 0.735 0.735 0.9070.629 1.000 0.972 0.800 0.6300.735 0.972 1.000 0.735 0.7130.735 0.800 0.735 1.000 0.7130.907 0.630 0.713 0.713 1.000

Uo£ite da je ova relacija, po de�niciji, re�eksivna i simetri£na, jer je to svojstvo kosinusa izme�udva vektora. Stoga je ta relacija doista relacija kompatibilnosti.

Za podesivo grupiranje trebali smo relaciju ekvivalencije. Relacija ekvivalencije uz svojstvore�eksivnosti i simetri£nosti zahtjeva i tranzitivnost; razmatrat ¢emo max-min tranzitivnost. Re-lacija R, naºalost, nije max-min tranzitivna: to se vidi ve¢ iz para (L1, L2) za koji tranzitivnostne vrijedi. Idemo stoga izra£unati relaciju R2 = R ◦R:

R2 = R ◦R =

1.000 0.735 0.735 0.735 0.9070.735 1.000 0.972 0.800 0.7130.735 0.972 1.000 0.800 0.7350.735 0.800 0.800 1.000 0.7350.907 0.713 0.735 0.735 1.000

.Relacija R2 i dalje nije tranzitivna; primjerice, problem je par (L2, L5). Napravimo jo² jednukompoziciju, tj. izra£unajmo R3:

R3 = R2 ◦R =

1.000 0.735 0.735 0.735 0.9070.735 1.000 0.972 0.800 0.7350.735 0.972 1.000 0.800 0.7350.735 0.800 0.800 1.000 0.7350.907 0.735 0.735 0.735 1.000

.Relacija koju smo dobili je tranzitivna relacija. Stoga je R3 koju ¢emo dalje u primjeru ozna£avatis R neizrazita relacija ekvivalencije. I dalje je jednostavno: prisjetimo se � α-presjek neizraziterelacije ekvivalencije je klasi£na relacija ekvivalencija koja generira particiju univerzalnog skupa,a time i grupiranje elemenata u razrede ekvivalencije.

Kako u relaciji imamo pet razli£itih vrijednosti: 0.735, 0.800, 0.907, 0.972 te 1.000, moºemonapraviti pet α-presjeka (£ime dobivamo pet klasi£nih relacija ekvivalencije) i pet particija skupagradova. α-presjeci i pripadne particije navedeni su u nastavku.

Rα=0.735 =

1 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 1

Particija L/Rα=0.735 je {{L1, L2,L3, L4, L5}}.

Rα=0.800 =

1 0 0 0 10 1 1 1 00 1 1 1 00 1 1 1 01 0 0 0 1

Particija L/Rα=0.800 je {{L1, L5}, {L2, L3, L4}}.

Rα=0.907 =

1 0 0 0 10 1 1 0 00 1 1 0 00 0 0 1 01 0 0 0 1

4.6. NEINTERAKTIVNOST BINARNE RELACIJE 67

Particija L/Rα=0.907 je {{L1, L5}, {L2, L3}, {L4}}.

Rα=0.972 =

1 0 0 0 00 1 1 0 00 1 1 0 00 0 0 1 00 0 0 0 1

Particija L/Rα=0.972 je {{L1}, {L2, L3}, {L4}, {L5}}.

Rα=1.000 =

1 0 0 0 00 1 0 0 00 0 1 0 00 0 0 1 00 0 0 0 1

Particija L/Rα=1.000 je {{L1}, {L2}, {L3}, {L4}, {L5}}.

4.6 Neinteraktivnost binarne relacije

U jednom od prethodnih primjera pitali smo se je li mogu¢e izvornu rela-ciju rekonstruirati iz njezinih projekcija. Odgovor na to pitanje daje pojamneinteraktivnosti relacije.

De�nicija 42 (Neinteraktivnost binarne relacije). Neka je R binarna rela-cija de�nirana nad U1 × U2, pri £emu su U1 i U2 univerzalni skupovi. Nekaje X projekcija relacije R na U1 a Y projekcija relacije R na U2. RelacijaR je neinteraktivna ukoliko vrijedi: X ×Y = R. Drugi na£in da ovo kaºemojest: relacija je neinteraktivna ako je spoj svojih projekcija: ako se R dobijeupravo kao presjek cilindri£nih pro²irenja projekcija. Relacija je interaktivnaukoliko nije neinteraktivna.

Primjer: 20Utvrdite je li neizrazita relacija R neinteraktivna.

R =

1.0 0.7 0.20.7 1.0 0.30.3 0.6 0.80.0 0.2 1.0

.

Rje²enje:

Najprije je potrebno utvrditi projekcije ove relacije.

RprojU1 =

1.01.00.81.0

RprojU2 =[1.0 1.0 1.0

]


Potom ra£unamo presjek cilindri£nih pro²irenja, ²to je ekvivalentno izra£unu kartezijevog pro-dukta:

RprojU1×RprojU2

=

1.01.00.81.0

× [1.0 1.0 1.0]

=

1.0 1.0 1.01.0 1.0 1.00.8 0.8 0.81.0 1.0 1.0

Budu¢i da je spoj projekcija relacije razli£it od izvorne relacije, relacija nije neinteraktivna, od-nosno relacije je interaktivna.

Napomenimo i da je ra£unanje kartezijevog produkta jednako ra£unanju spoja cilindi£nihpro²irenja projekcija (pri £emu spoj podrazumijeva operaciju presjeka). Pokaºimo to i uvjerimose da je rezultat jednak.

Rcil_projU1→U1×U2∩Rcil_projU2→U1×U2

=

1.0 1.0 1.01.0 1.0 1.00.8 0.8 0.81.0 1.0 1.0

∩

1.0 1.0 1.01.0 1.0 1.01.0 1.0 1.01.0 1.0 1.0

=

1.0 1.0 1.01.0 1.0 1.00.8 0.8 0.81.0 1.0 1.0

Pogledajmo jo² jedan primjer.

Primjer: 21Utvrdite je li neizrazita relacija R neinteraktivna.

R =

0.7 0.5 0.7 0.20.9 0.5 1.0 0.20.5 0.5 0.5 0.20.4 0.4 0.4 0.2

.

Rje²enje:

Najprije je potrebno utvrditi projekcije ove relacije.

RprojU1=

0.71.00.50.4

RprojU2=[0.9 0.5 1.0 0.2

]

Potom ra£unamo presjek cilindri£nih pro²irenja, ²to je ekvivalentno izra£unu kartezijevog pro-dukta:

RprojU1×RprojU2

=

0.71.00.50.4

× [0.9 0.5 1.0 0.2]

=

0.7 0.5 0.7 0.20.9 0.5 1.0 0.20.5 0.5 0.5 0.20.4 0.4 0.4 0.2

= R

Budu¢i da je spoj projekcija relacije jednak izvornoj relaciji, relacija je neinteraktivna.

Poglavlje 5

Neizrazito zaklju£ivanje i

upravljanje

Jedna od temeljnih primjena neizrazite logike, neizrazitih skupova i neiz-razitih relacija je pomo¢ u modeliranju sloºenih sustava te izrada sustavaneizrazitog upravljanja. Stoga ¢emo u ovom poglavlju zaokruºiti sve ²to smodo sada obradili i pogledati konkretnu primjenu.

5.1 Modeliranje nelinearnih sustava

Relacije se mogu iskoristiti za modeliranje funkcijskog preslikavanja; ²tovi²e,ve¢ smo i rekli da je relacija poop¢enje pojma funkcija, jer omogu¢ava dase jednom elementu domene pridruºi vi²e od jednog elementa kodomene.Neizrazite relacije tu su posebno pogodne jer omogu¢avaju da se svakoj us-postavljenoj vezi pridruºi mjera s kojom ta veza vrijedi.

Pretpostavimo da smo mjerili ulazno-izlaznu nekog sustava koji je, ²to senas ti£e, crna kutija o kojoj ne znamo nikakve detalje. Mjerenja smo radiliza 5 ulaznih vrijednosti napona i dobili smo rezultate koje prikazuje sljede¢atablica.

Ulazni napon 1V 2V 3V 4V 5VIzlazni napon 1V 3V 4V 2V 1V

Ova tablica predstavlja prijenosnu karakteristiku sustava i sastoji se odpet parova (ulazni napon, izlazni napon): (1, 1), (2, 3), (3, 4), (4, 2) te (5, 1).Kako su vrijednosti ulaznog napona cijeli brojevi od 1 do 5, de�nirajmos Uu = {1, 2, 3, 4, 5} univerzalni skup koji de�nira mogu¢e ulazne napone.Vrijednosti izlaznog napona se kre¢u sli£no, pa ¢emo s Ui = {1, 2, 3, 4, 5}ozna£iti univerzalni skup koji de�nira mogu¢e izlazne napone.

Sada moºemo de�nirati relaciju R de�niranu nad Uu×Ui koja predstavljaprijenosnu karakteristiku i radi upravo preslikavanje koje je de�nirano tabli-com odnosno prethodno navedenim parovima ulaz -izlaz ; svaki navedeni par

69

70 POGLAVLJE 5. NEIZRAZITO ZAKLJU�IVANJE I UPRAVLJANJE

relaciji ¢e pripadati sa stupnjem pripadnosti 1. Time ¢emo dobiti relaciju:

R =

1.0 0.0 0.0 0.0 0.00.0 0.0 1.0 0.0 0.00.0 0.0 0.0 1.0 0.00.0 1.0 0.0 0.0 0.01.0 0.0 0.0 0.0 0.0

Uporabom ove relacije za bilo koji ulazni napon moºemo izra£unati iz-

lazni napon uporabom kompozicije. Primjerice, neka smo na ulaz dovelinapon od 3V . Ovaj napon treba predstaviti neizrazitim skupom de�niranimnad univerzalnim skupom Uu. Kako znamo da je ulazni napon to£no 3V ,predstavit ¢emo ga neizrazitim skupom X:

X =0.0

1V+

0.0

2V+

1.0

3V+

0.0

4V+

0.0

5V

Izra£unajmo sada o£ekivani izlazni napon kompozicijom Y = X ◦R:

Y = X ◦R =[0.0 0.0 1.0 0.0 0.0

]◦

1.0 0.0 0.0 0.0 0.00.0 0.0 1.0 0.0 0.00.0 0.0 0.0 1.0 0.00.0 1.0 0.0 0.0 0.01.0 0.0 0.0 0.0 0.0

=[0.0 0.0 0.0 1.0 0.0

]=

0.0

1V+

0.0

2V+

0.0

3V+

1.0

4V+

0.0

5V

Kako neizrazitom skupu Y koji predstavlja vrijednost izlaznog napona pri-pada samo jedan element s mjerom pripadnosti ve¢om od 0, taj ¢emo elementproglasiti izlaznim naponom, i to je, ba² u skladu s o£ekivanjima, napon od4V . Na isti na£in moºete provjeriti i za sve ostale ulazne napone � kompozi-cijom s relacijom R dobit ¢emo upravo o£ekivane izlazne napone (napraviteto za vjeºbu).

Prikazani primjer ilustrira jednostavan scenarij gdje nam neizraziti sku-povi prakti£ki nisu niti trebali � sve vrijednosti funkcija pripadnosti bile suili 0 ili 1 pa su u tom smislu to bile klasi£ne relacije i klasi£ni skupovi. Ne-izrazitost moºemo iskoristiti ako postoji mjerna nesigurnost. Pretpostavimoda ulazni napon za promatrani sustav pode²avamo preciznim naponskim ge-neratorom, no izlazni napon mjerimo analognim voltmetrom koji je dostaneprecizan. Tada bismo izmjerene podatke mogli prikazati kako je to na-pravljeno u sljede¢oj tablici.

Ulazni napon 1V 2V 3V 4V 5VIzlazni napon ≈1V ≈3V ≈4V ≈2V ≈1V

5.1. MODELIRANJE NELINEARNIH SUSTAVA 71

Kako napraviti relaciju koja modelira ovakvu karakteristiku? Osnovnopitanje je sljede¢e: ²to zna£i da je izlazni napon pribliºno 3V ? Taj pojammoºemo modelirati neizrazitim skupom. Iskoristimo primjerice trokutastufunkciju pripadnosti s polu²irinom baze trokuta iznosa 3 � ako je trokutcentriran na vrijednost c, za vrijednost c funkcija pripadnosti ¢e biti 1.00, zavrijednost c± 1 funkcija pripadnosti ¢e biti 0.67, za vrijednost c± 2 funkcijapripadnosti ¢e biti 0.33 i za vrijednost c± 3 funkcija pripadnosti past ¢e na0.00. U tom slu£aju moºemo re¢i da je ulaznom naponu 2V pridruºen izlazninapon modeliran neizrazitim skupom:

"pribliºno 3V" =0.33

1V+

0.67

2V+

1.00

3V+

0.67

4V+

0.33

5V.

Stoga ¢e u relaciji koja modelira ovakvo preslikavanje u retku koji odgovaraulaznom naponu od 2V u stupcima biti upisane upravo vrijednosti funkcijepripadnosti izlaznog napona "pribliºno 3V". Relacija koja se dobije na ovajna£in je:

R =

1.00 0.67 0.33 0.00 0.000.33 0.67 1.00 0.67 0.330.00 0.33 0.67 1.00 0.670.67 1.00 0.67 0.33 0.001.00 0.67 0.33 0.00 0.00

.Utvr�ivanje odnosa ulaz-izlaz i dalje se provodi na isti na£in. Ako znamoulazni napon, izlazni ¢emo dobiti kompozicijom ulaznog napona i relacijekoja predstavlja prijenosnu karakteristiku. Provjerimo to na primjeru ulaz-nog napona X ≡ 4V :

Y = X ◦R =[0.0 0.0 0.0 1.0 0.0

]◦

1.00 0.67 0.33 0.00 0.000.33 0.67 1.00 0.67 0.330.00 0.33 0.67 1.00 0.670.67 1.00 0.67 0.33 0.001.00 0.67 0.33 0.00 0.00

=[0.67 1.00 0.67 0.33 0.00

]=

0.67

1V+

1.00

2V+

0.67

3V+

0.33

4V+

0.0

5V≡ " pribliºno 2V".

Kona£no, sustav koji modeliramo moºe biti takav da za njega niti imamoprecizne ulazne podatke, niti imamo precizne izlazne podatke. A mogu¢je i druga£iji scenarij: promatrani sustav ne ºelimo modelirati do najsitni-jeg detalja ve¢ ºelimo dobiti grubu aproksimaciju prijenosne funkcije sus-tava. Uzmimo za primjer sustav koji ima prijenosnu karakteristiku y =−0.5x2 + 3x−2.5 (ali pretpostavimo da mi to ne znamo). Da bismo do²li doprijenosne karakteristike, napravit ¢emo nekoliko mjerenja; dovodit ¢emo naulaz razli£ite vrijednosti napona (x) i mjeriti ¢emo odziv (napon y). Kakovrijednosti koje daju instrumenti nisu ba² precizne, dolazimo do sljede¢egniza AKO-ONDA pravila:


• AKO je "x oko 1" ONDA je "y oko 0",

• AKO je "x oko 3" ONDA je "y oko 2",

• AKO je "x oko 5" ONDA je "y oko 0".

De�nirajmo kori²tene neizrazite skupove:

• "x oko 1" = FuzzyTrokut(-0.5,1,2.5),

• "x oko 3" = FuzzyTrokut( 1.5,3,4.5),

• "x oko 5" = FuzzyTrokut( 3.5,5,6.5),

• "y oko 0" = FuzzyTrokut(-1.5,0,1.5),

• "y oko 2" = FuzzyTrokut( 0.5,2,3.5).

AKO A ONDA B pravila moºemo shvatiti kao binarne relacije koje sedobiju kartezijevim produktom A×B. Sada jo² samo treba napraviti unijukartezijevih produkata koji su nastali iz pravila koja imamo, i dobili smorelaciju koja odgovara prijenosnoj karakteristici (slika 5.1). Ovo se moºekoristiti uvijek kada je prijenosna karakteristika sustava nepoznata, ili pakprevi²e komplicirana da bi se mogla opisati direktno konvencionalnim mate-mati£kim modelima.

Slika 5.1: Prijenosna karakteristika sustava.

5.2. DEKODIRANJE NEIZRAZITOSTI 73

Evo i poja²njenja postupka. Svako AKO-ONDA pravilo de�nira jednurelaciju. Ako imamo k pravila, imat ¢emo k relacija: R1, R2, . . . , Rk.Pri tome izme�u svakog pravila stoji logi£ki vezik ili. Stoga izlaz moºemode�nirati kao:

y = (x ◦R1) ∪ (x ◦R2) ∪ . . . ∪ (x ◦Rk)

a to je pak jednako:

y = x ◦ (R1 ∪R2 ∪ . . . ∪Rk).

Ako uniju relacija proglasimo kona£nom relacijom R:

R = R1 ∪R2 ∪ . . . ∪Rk,

slijedi da je:y = x ◦R.

Relacija R de�nirana kao unija relacija koje de�nira svako od pravila pred-stavlja relaciju koja modelira prijenosnu karakteristiku sustava.

5.2 Dekodiranje neizrazitosti

Kroz sva poglavlja do sada govorili smo i radili s neizrazitim skupovima. Me-�utim, ponekad se iz neizrazitosti treba vratiti i natrag. Npr. neka imamoneizraziti sustav koji na temelju nekoliko ulaznih senzora mjeri tempera-turu i vlaºnost zraka. Od takvog sustava ipak o£ekujemo da na kraju daodgovor oblika: "trenutna temperatura je x stupnjeva celzijusa", a nikakoodgovor tipa "stupanj pripadnosti temperature od 15◦ trenutnoj tempera-turi je 0.7, stupanj pripadnosti temperature od 16◦ trenutnoj temperaturi je0.73, stupanj pripadnosti. . . ". Proces kojim se vr²i ova transformacija na-ziva se dekodiranje neizrazitosti (engl. defuzzy�cation). I odmah dobra (ililo²a) vijest. Ne postoji jednozna£an, najbolji na£in da se ovo obavi. Postojesamo na£ini na koje se to obi£no radi, iako se svakim danom javljaju i novemetode.

Naj£e²¢e metode dekodiranja neizrazitosti su sljede¢e: teºi²te (engl. Cen-ter of Area) koja odre�uje to£ku na x-osi koja u �zikalnom smislu odgovarateºi²tu lika koji tvori funkcija pripadnosti neizrazitoga skupa, polovi²te (engl.Bisector of Area) koja odre�uje onu to£ku na x-osi koja predstavlja to£kukroz koju prolazi okomiti pravac koji lik ²to ga tvori funkcija pripadnostineizrazitoga skupa dijeli na dvije povr²inom jednake polovice, srednji maksi-mum (engl. Mean of Max ) koja odre�uje srednju vrijednosti onih to£aka zakoje je funkcija pripadnosti neizrazitog skupa maksimalna, najmanji maksi-mum (engl. Smallest of Max ) koja daje najmanji element za koji je funkcijapripadnosti neizrazitog skupa maksimalna, najve¢i maksimum (engl. Largestof Max ) koja daje najve¢i element za koji je funkcija pripadnosti neizrazitogskupa maksimalna te druge.


CenterOfArea de�niran je za kona£ni neizraziti skup A kao:

XCoA(A) =

∑i µA(xi) · xi∑i µA(xi)

(5.1)

dok za kontinuirane skupove vrijedi:

XCoA(A) =

∫µA(x) · x dx∫µA(x) dx

. (5.2)

Metoda BisectorOfArea u op¢em slu£aju ne daje jednozna£no rje²enje,odnosno moºe se dogoditi da postoji beskona£no to£aka koje ga zadovolja-vaju. Ovo je jasno ilustrirano na slici 5.2 na kojoj je prikazan neizraziti skupde�niran nad univerzalnim skupom relanih brojeva � kao rezultat dekodira-nja neizrazitosti metodom BisectorOfArea moºe se uzeti bilo koji x iz skupa[8, 12], a takvih je beskona£no. Za koji god x iz tog intervala, povr²ina slijeve strane bit ¢e jednaka povr²ini s desne strane.

6 7 8 9 10 11 12 13 140.00

0.25

0.50

0.75

1.00

µA(x)

x

Slika 5.2: Nejednozna£nost pri dekodiranju neizrazitosti metodom Bisecto-rOfArea.

Spomenimo jo² jednu metodu dekodiranja neizrazitosti koja se povre-meno koristi jer je dosta jednostavna. Pretpostavimo da je neizraziti skupA koji dekodiramo nastao kao unija r neizrazitih skupova Ai, gdje je i ∈{1, . . . , r}. Neka je xci centar neizrazitog skupa Ai a wi njegova visina:wi = hgt(Ai).

Tada se kao rezultat dekodiranja neizrazitosti moºe uzeti uprosje£eni cen-tar pri £emu ra£unamo teºinski prosjek s visinama kao teºinama:

XCA(A) =

∑ri=1 x

ci · wi∑r

i=1wi. (5.3)

Engleski naziv ove metode je center average defuzzi�er.

Primjer: 22


Neizraziti skup A de�niran je nad univerzalnim skupom U = {6, 7, 8, 9, 10, 11, 12, 13, 14} i nastaoje kao rezultat unije dvaju neizrazitih skupova £ije su funkcije pripadnosti bile trokutaste. Funkcijapripadnosti skupa A prikazana je na slici u nastavku.

6 7 8 9 10 11 12 13 140.00

0.25

0.50

0.75

1.00

µA(x)

x

Provedite postupak dekodiranja neizrazitosti metodom CenterOfArea te metodom MeanOfMax.

Rje²enje:

Sa slike moºemo rekonstruirati parametre trokutastih funkcija pripadnosti izvornih skupovai temeljem toga moºemo o£itati (tj. izra£unati) vrijednosti funkcije pripadnosti za sve elementeuniverzalnog skupa:

A =0

6+

1/3

7+

2/3

8+

1

9+

2/3

10+

0.5

11+

1

12+

0.5

13+

0

14.

Dekodiranje metodom CenterOfArea daje:

XCoA(A) =

∑i µA(xi) · xi∑i µA(xi)

=0 · 6 +1 /3 · 7 +2 /3 · 8 + 1 · 9 +2 /3 · 10 + 0.5 · 11 + 1 · 12 + 0.5 · 13 + 0 · 14

0 +1 /3 +2 /3 + 1 +2 /3 + 0.5 + 1 + 0.5 + 0

=142/314/3

=71

7≈ 10.143

Kada bismo temeljem neizrazitog skupa A morali generirati jednu jasnu vrijednost koja ga pred-stavlja, metodom CenterOfArea dobivamo vrijednost koja je pribliºno 10.143 � najbliºi predstav-nik u univerzalnom skupu je element 10.

Za dekodiranje metodom MeanOfMax trebamo utvrditi za koje sve vrijednosti univerzalnogskupa funkcija pripadnosti zadanog neizrazitog skupa ima maksimalne vrijednosti. Uvidom u sliku(ili u skup koji smo o£itali) vidimo da funkcija pripadnosti kao maksimalnu vrijednost poprimavrijednost 1, i ona se postiºe za dva elementa univerzalnog skupa � za 9 i 12. Stoga je rezultat:

XMoM (A) =9 + 12

2

=21

2

= 10.5

Rezultat dekodiranja neizrazitosti ovom metodom je 10.5. U univerzalnom skupu imamo dvaelementa koja su najbliºa toj vrijednosti: 10 i 11 i bilo koja od njih moºe biti odgovor.

Primjer: 23


Pretpostavite da je neizraziti skup iz prethodnog zadatka de�niran nad univerzalnim skupom re-alnih brojeva. U tom slu£aju njegova je funkcija pripadnosti skicirana zelenom crtkanom linijom.Provedite postupak dekodiranja neizrazitosti metodama CenterOfArea te BisectorOfArea.

Rje²enje:

Kako je u ovom slu£aju funkcija pripadnosti de�nirana nad skupom realnih brojeva, metodaCenterOfArea koristit ¢e izraz koji je de�niran preko integrala. Pro£itajmo stoga najprije kako jeto£no de�nirana funkcija pripadnosti skupa A. Kao pomo¢ izra£unajmo gdje se sijeku dva izvornatrokuta £iju uniju analiziramo: dobit ¢emo vrijednosti x = 10.8 i µA(x) = 0.4. �itava funkcijapripadnosti tada je:

µA(x) =

0, x ≤ 6,x−63

x ≤ 9,12−x

3, x ≤ 10.8,

x−102

, x ≤ 12,14−x

2, x ≤ 14,

0, x > 14.

Da bismo proveli dekodiranje neizrazitosti, koristimo izraz:

XCoA(A) =

∫∞−∞ µA(x) · x dx∫∞−∞ µA(x) dx

.

S obzirom da je funkcija pripadnosti zadana po dijelovima, gornji integral ¢emo ra£unati podijelovima, ²to ¢emo zapisati simboli£ki kao:

∞∫−∞

µA(x) · x dx =

6∫−∞

+

9∫6

+

10.8∫9

+

12∫10.8

+

14∫12

+

∞∫14

=

9∫6

+

10.8∫9

+

12∫10.8

+

14∫12

U svakom od tih dijelova za µA(x) ¢emo uvrstiti izraz koji ga de�nira. Ra£un je prikazan unastavku.

9∫6

(1

3x− 2

)x dx =

9∫6

(1

3x2 − 2x

)dx =

(1

9x3 − x2

)∣∣∣∣96

= 12.

10.8∫9

(4−

1

3x

)x dx =

9∫6

(4x−

1

3x2)dx =

(2x2 −

1

9x3)∣∣∣∣10.8

9

= 12.312.

12∫10.8

(1

2x− 5

)x dx =

9∫6

(1

2x2 − 5x

)dx =

(1

6x3 −

5

2x2)∣∣∣∣12

10.8

= 9.648.

14∫12

(7−

1

2x

)x dx =

9∫6

(7x−

1

2x2)dx =

(7

2x2 −

1

6x3)∣∣∣∣14

12

= 13−1

3.

Ukupna vrijednost integrala u nazivniku jednaka je sumi upravo izra£unatih dijelova:

∫ ∞−∞

µA(x) · x dx = 12 + 12.312 + 9.648 + 13−1

3= 46.96−

1

3≈ 46.6266667.

Integral u nazivniku predstavlja povr²inu ispod funkcije pripadnosti; £itateljima se ostavlja zavjeºbu da postupak provedu direktno integriranjem, a mi ¢emo se posluºiti £injenicom da su


funkcije po£etnih skupova bile trokutaste, pa se povr²ina moºe direktno izra£unati kako slijedi:

∞∫−∞

µA(x) dx =

6∫−∞

+

9∫6

+

10.8∫9

+

12∫10.8

+

14∫12

+

∞∫14

=

9∫6

+

10.8∫9

+

12∫10.8

+

14∫12

= povr²ina 1 + povr²ina 2 + povr²ina 3 + povr²ina 4

= (1.5) + (1.5−1.2 · 0.4

2) + (1−

0.8 · 0.42

) + (1)

= 4.6.

Time moºemo izra£unati i traºeni omjer:

XCoA(A) =

∫∞−∞ µA(x) · x dx∫∞−∞ µA(x) dx

=46.6266667

4.6= 10.136.

Provedimo dekodiranje i metodom BisectorOfArea. Ve¢ smo utvrdili da se £itava povr²inaispod funkcije pripadnosti raspada na £etiri podpovr²ine ukupne sume 4.6. Pola od toga je 2.3 ²tose postiºe zbrajanjem prve povr²ine i dijela druge povr²ine; traºeni x stoga je negdje u rasponux-eva koji pripadaju drugoj povr²ini. Moºemo postaviti sljede¢u jednadºbu:

P1 + P2a = P2b+ P3 + P4.

Raspisivanjem imamo:

(1.5) +

(3 · 1

2−

(12− x)(4− 1/3 x)

2

)=

((12− x)(4− 1/3 x)

2−

1.2 · 0.42

)+ (0.84) + (1).

pri £emu su zagradama grupirani dijelovi koji predstavljaju svaku od povr²ina. Ova jednadºbamoºe se svesti na klasi£nu kvadratnu jednadºbu:

5x2 − 120x+ 699 = 0

£ije je prihvatljivo rje²enje:x = 9.951,

i to je rje²enje jedinstveno.

5.2.1 Numeri£ki postupci pri dekodiranju neizrazitosti

Ako su neizraziti skupovi de�nirani nad diskretnim univerzalnim skupovima,tada se postupci dekodiranja neizrazitosti mogu vrlo jednostavno implemen-tirati na ra£unalu � naime, imamo jasne de�nicije koje se tipi£no svode naizra£une suma odre�enih izraza nad elementima univerzalnog skupa. Pro-blem me�utim nastaje ako sustav implementiramo na ra£unalu i kao domenukoristimo podskup realnih brojeva. U tom slu£aju na raspolaganju su namformule koje se svode na izra£une integrala. Ra£unanje to£nog iznosa in-tegrala pri tome moºe biti neprihvatljivo sloºen (ili £ak nemogu¢) zadatak,pa takvo ra£unanje treba nekako aproksimirati. U ovom podpoglavlju os-vrnut ¢emo se stoga na jednostavan postupak numeri£kog aproksimiranjavrijednosti integrala.


Pretpostavimo da je zadan neizraziti skup prikazan na slici 5.3a. Po-trebno je izra£unati povr²inu ispod funkcije pripadnosti tog neizrazitog skupa,odnosno integral:

I =

xmax∫xmin

µA(x) dx

pri £emu je pretpostavka da je univerzalni skup nad koji je de�niran ovajneizraziti skup jednak [xmin, xmax] ∈ R. Ako promatramo samo onaj diokoji je prikazan slikom, moºemo pretpostaviti da je to [0, 40].

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

(a) Funkcija £ija se ra£una povr²ina.

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

h

a b

µA(a)

(b) Aproksimacija dijela povr²ine s lijevestrane.

10 20 30 400.00

0.25

0.50

0.75

1.00

µA(x)

x

h

a b

µA(b)

(c) Aproksimacija dijela povr²ine s desnestrane.

Slika 5.3: Aproksimacija povr²ine tj. vrijednosti integrala trapeznom formu-lom.

Postoji vi²e na£ina kako se moºe pristupiti ovom problemu, i mi ¢emo seovdje fokusirati na najjednostavniji koji ¢e u praksi £esto biti dovoljno dobar.�itav interval [xmin, xmax] podijelit ¢emo u n uniformnih podintervala, svaki²irine h:

h =xmax − xmin

n.

Vrijednost integrala tada moºemo zapisati kao sumu integrala nad svakim


podintervalom, tj.:

I =n−1∑i=0

I[xmin+i·h,xmin+(i+1)·h].

Time smo problem odre�ivanja jednog integrala sveli na problem odre�ivanjan integrala; me�utim, varijabilnost funkcije unutar svakog od tih n integralanadamo se da je zna£ajno manja u odnosu na varijabilnost funkcije nad£itavim univerzalnim skupom, i pretpostavka je da ¢e uz dovoljno velik n(odnosno uz dovoljno mali h) na svakom podintervalu funkcija poprimitilinearni karakter. Pogledajmo stoga jedan istaknuti podinterval [a, b] ²irineh = b − a. I bez pretpostavke da je unutar tog funkcija strogo linearna,povr²inu moºemo aproksimirati na dva na£ina, kako to prikazuju slike 5.3bi 5.3c. Prva mogu¢nost je da izra£unamo vrijednost funkcije u to£ki a ito uzmemo kao visinu stupca, te povr²inu nad intervalom aproksimiramos h · µA(a). Alternativa je da izra£unamo vrijednost funkcije u to£ki b ito uzmemo kao visinu stupca, te povr²inu nad intervalom aproksimiramo sh · µA(b). Kako je µA(a) < µA(b), vidimo da smo u prvom slu£aju povr²inupodcijenili, a u drugom precijenili. Stoga se kao kona£na aproksimacija moºeuzeti aritmeti£ka sredina tih dviju procjena povr²ina:

I[a,b] =h · µA(a) + h · µA(b)

2= h · µA(a) + µA(b)

2= (b− a) · µA(a) + µA(b)

2.

Izraz koji smo upravo izveli poznat je pod nazivom trapezna aproksimacijavrijednosti integrala funkcije µA(x). Uo£ite da, za slu£aj da se funkcija nasvakom od intervala doista pona²a linearno, ova aproksimacija daje pravuvrijednost povr²ine. Ako se funkcija ne pona²a linearno, dobit ¢emo aprok-simaciju; to bolju ²to je h manji, ali kako time n nuºno raste, postupakra£unanja ¢e biti sve dulji i dulji. Dakle, kao op¢eniti izraz za aproksimacijuintegrala:

I =

xmax∫xmin

f(x) dx (5.4)

moºe se koristiti uniformna diskretizacija u n podintervala:

h =xmax − xmin

n(5.5)

te izraz:

I =n−1∑i=0

I[xmin+i·h,xmin+(i+1)·h] (5.6)

=n−1∑i=0

h · f(xmin + i · h) + f(xmin + (i+ 1) · h)

2. (5.7)


Primjerice, u slu£aju dekodiranja neizrazitosti metodom CenterOfAreapotrebno je izra£unati dva integrala:

∫µA(x) · x dx i

∫µA(x) dx; za izra£un

prvog integrala uzet ¢emo f(x) = µA(x) · x i provesti postupak dok ¢emo zaizra£un drugog uzeti f(x) = µA(x) i ponoviti postupak.

Osim opisanog postupka, mogu¢e je posegnuti i za drugim na£inom iz-ra£una integrala. Prethodno opisani postupak aproksimirao je vrijednostintegrala funkcije koju nismo mogli to£no integrirati. Umjesto toga, pro-blem bismo mogli postaviti i ovako: poku²ajmo funkciju koju integriramoaproksimirati nekom funkcijom koju znamo to£no integrirati, i potom oba-vimo integraciju. Dakle, umjesto da aproksimiramo povr²inu ispod funkcije,mi ¢emo aproksimirati funkciju nekom drugom (ali takvom da nju znamointegrirati) i potom ¢emo provesti integraciju nad aproksimacijskom funk-cijom. I tu se otvara £itav niz mogu¢nosti kako to napraviti, £ime se bavijedan velik dio numeri£ke matematike.

Jedna od vrsta funkcija koje znamo integrirati su polinomi. Naime, akoimamo zadan polinom:

P (x) =n∑i=0

ai · xi

neodre�eni integral tog polinoma dan je sljede¢im izrazom:∫P (x) dx =

n∑i=0

aii+ 1

· xi+1 = Q(x)

²to je opet polinom. Tada vrijedi:xmax∫xmin

P (x) dx = Q(x)|xmaxxmin= Q(xmax)−Q(xmin) (5.8)

i ²to je jednostavno za izra£unati (i isprogramirati).Problem koji time ostaje za rije²iti jest kako prona¢i polinom koji dobro

aproksimira zadanu funkciju f(x) koju trebamo integrirati, i na to pita-nje nema jednozna£nog odgovora. Jedna mogu¢nost jest odlu£iti se zadanufunkciju f(x) uniformno uzorkovati u n + 1 to£ki, i zatim prona¢i polinomminimalnog stupnja koji to£no prolazi kroz svih n+ 1 to£ku. Takav polinomje jednozna£no odre�en, i to je polinom n-tog stupnja. Do koe�cijenata po-linoma moºemo do¢i na vi²e na£ina, a ovdje ¢emo opisati na£in koji koristiLagrangeov zapis polinoma.

Neka je funkcija f(x) uniformno uzorkovana u n + 1 to£ki, £ime smodobili n + 1 par (xi, yi) gdje je yi = f(xi). Za slu£aj interpolacije u n + 1to£ki de�nira se n + 1 bazni Lagrangeov polinom, pri £emu je j-ti bazniLagrangeov polinom lj(x) de�niran kao:

lj(x) =∏

0≤m≤nm 6=j

(x− xm)

xj − xm=

(x− x0) · · · (x− xj−1)(x− xj+1) · · · (x− xn)

(xj − x0) · · · (xj − xj−1)(xj − xj+1) · · · (xj − xn).

5.3. PRIBLI�NO ZAKLJU�IVANJE 81

Uo£ite da je brojnik razlomka upravo polinom n-tog stupnja £ije su nulto£kesvih n vrijednosti xi osim xj , i £iji je nazivnik konstanta koja ovisi o svimvrijednostima xi u kojima je napravljeno uzorkovanje. Stoga slijedi da zai 6= j vrijedi lj(xi) = 0. Ako pak u lj uvrstimo vrijednost xj , brojnik inazivnik postaju identi£ni i pokrate se; tada vrijedi: lj(xj) = 1. j-ti bazniLagrangeov polinom, dakle, u to£ki xj poprima vrijednost 1 a u svim ostalimto£kama u kojima je ra�eno uzorkovanje poprima vrijednost 0. Ako s L(x)ozna£imo aproksimaciju funkcije f(x) (to£nije njezinu interpolaciju u n+ 1uniformno distribuiranoj to£ki), tada moºemo pisati:

L(x) =n∑j=0

yj · lj(x). (5.9)

Funkcija L(x) doista jest interpolacija funkcije f(x) � onda prolazi kroz svihn + 1 zadanih to£aka zbog svojstva funkcije lj koja je u x = xj jednaka 1pa je tada doprinos yj · lj(xj) = yj a u x = xi za i 6= j jednaka 0 pa jedoprinos yi · lj(xi) = 0 £ime je £itava suma jednaka upravo yj . Me�utim,isto tako, funkcija L(x) je samo aproksimacija funkcije f(x) jer ona sigurnopoprima iste vrijednosti kao funkcija f(x) samo u n+1 zadanoj to£ki; u svimostalim me�uto£kama razlika izme�u L(x) i f(x) moºe biti zamjetna. Ovo jeposebice istina zbog Rungeovog fenomena, pojave koju je spoznao Carl DavidTolmé Runge, njema£ki matemati£ar i �zi£ar, i koja se ispoljava kao pojavasve ve¢ih oscilacija interpolacijskog polinoma n-tog reda uz krajeve intervala,kako n raste. To pak zna£i da ¢e se, za odre�ene funkcije, s pove¢anjem brojato£aka u kojima se radi uzorkovanje aproksimacija pogor²avati, a ne postajatisve bolja. Na£ini zaobilaºenja ovog problema izlaze iz opsega ovog teksta,i zainteresirane £itatelje se upu¢uje da pogledaju interpolacijske pristupekoji se temelje na neuniformnom uzorkovanju (ideja je da se rje�e uzorkujeoko sredine intervala a sve gu²¢e kako se pribliºavamo rubovima intervala,jer tamo ina£e dolazi do oscilacija � vidi Chebyshevljevo uzorkovanje). OsimLagrangeovog oblika polinoma koristi se i Newtonov oblik polinoma te drugi.

Jednom kad smo utvrdili svih n+ 1 baznih Lagrangeovih polinoma (kojisu svaki stupnja n), kona£ni aproksimacijski polinom L(x) koji je teºinskasuma baznih polinoma (gdje su vrijednosti funkcije f u uzorkovanim to£kamateºine) tako�er je polinom n-tog stupnja. Koe�cijente uz sve potencije od xje mogu¢e programski izra£unati, a to zna£i da moºemo primjeniti izraz 5.8za izra£un to£ne vrijednosti integrala ispod aproksimacijske funkcije.

5.3 Pribliºno zaklju£ivanje

Pribliºno zaklju£ivanje sluºi nam za predstavljanje znanja i zaklju£ivanjekada je znanje izraºeno prirodnim jezikom, ili kada je neprecizno ili nejasnode�nirano. Pri tome se koriste jezi£ne varijable i neizraziti skupovi. U klasi£-noj logici osnova svega su propozicije. To je atomarna jedinica kojoj se pri-


djeljuje vrijednost istinitosti; primjerice, propozicija "Pero je doktor" moºebiti istinita ili laºna, ili moºe poprimiti neki nivo istinitosti ako govorimo ovi²evrijednosnoj logici. U neizrazitoj logici radimo s neizrazitim propozici-jama koje se u op¢em obliku zapisuju kao "X je A", pri £emu je x varijablaa A neizraziti skup. Npr. u neizrazitoj propoziciji "temperatura je vrlovisoka", "temperatura" je varijabla, a "vrlo visoka" je neizraziti skup kojiopisuje koncept vrlo visoke temperature. Uo£ite odmah da je zna£enje ovepropozicije potpuno subjektivno jer je de�nicija "vrlo visoke" temperaturesubjektivna. Nije isto ako govorimo da £ovjek (pacijent) ima visoku tempe-raturu (≈ 40◦C) ili da je tali²te nekog metalaM2 na vrlo visokoj temperaturi(par tisu¢a ◦C) jer smo kao referentnu temperaturu uzeli tali²te nekog me-talaM1 koja iznosi par stotina ◦C. Vrijednost istinitosti propozicije "x je A"de�nirana je s funkcijom pripadnosti µA(x).

Sloºene neizrazite propozicije grade se uporabom veznika i, ili, ne, ako-onda i sli£no. Tako primjerice od jednostavnih propozicija "x je A" i "xje B" moºemo izgraditi sloºene propozicije "x je A ILI x je B", "Ako x jeA ONDA x je B" i tako dalje. Pri tome se vrijednosti istinitosti sloºenihpropozicija odre�uju na na£in kako to prikazuje tablica 5.1.

Tablica 5.1: Sloºene neizrazite propozicije

Sloºena propozicija Rezultat Na£in ra£unanja istinitostix je A I x je B x je C, C = A I B µC(x) = µA(x) ∩ µB(x), ∩ oz-

na£ava bilo koju t-normu iakose naj£e²¢e koristi Zadehovaoperacija minimuma

x je A ILI x je B x je C, C = A ILI B µC(x) = µA(x) ∪ µB(x), ∪ oz-na£ava bilo koju s-normu iakose naj£e²¢e koristi Zadehovaoperacija maksimuma

x nije A x je C, C = ne A µC(x) = ¬µA(x), ¬ ozna£avabilo koju operaciju generali-ziranog komplementa, iako senaj£e²¢e koristi Zadehova ope-racija komplementa de�niranakao 1− µA(x)

Osim ovih operacija u uporabi su £esta i neizrazita produkcijska pravilakoja su oblika AKO x je A ONDA y je B, pri £emu je A neizrazitiskup de�niran nad univerzalnim skupom U1, B neizraziti skup de�niran naduniverzalnim skupom U2. Zna£enje ove implikacije predstavljeno je relacijomnad U1 × U2, sa svojstvom: µR(x, y) = µA(x) ∗ µB(y), pri £emu je ∗ bilokoji operator implikacije (a jedan smo ve¢ upoznali iako ga tada nismo zvaliimplikacijom → kartezijev produkt).


U klasi£noj logici jedno od poznatih pravila zaklju£ivanja je modus po-nens. Prisjetimo se ²to nam govori to pravilo:

Premisa 1: x je APremisa 2: AKO x je A ONDA y je BZaklju£ak: y je B.

Pri tome su "x je A" i "y je B" klasi£ne propozicije. Neizrazita logikaomogu¢ava de�niranje generaliziranog modus ponensa koji radi s neizrazitimpropozicijama:

Premisa 1: x je APremisa 2: AKO x je B ONDA y je CZaklju£ak: y je D.

Uporaba generaliziranog modus ponensa omogu¢ava provo�enje zaklju-£ivanja u situacijama u kojima ulazna vrijednost varijable nije ba² identi£naantecedentu u pravilu. Zaklju£ivanje generaliziranim modus ponensom svodise na izra£un kompozicije neizrazitog skupa koji predstavlja ulaznu premisui relacije koju generira AKO-ONDA pravilo:

Premisa 1: x je APremisa 2: (x, y) ∈ RZaklju£ak: y je D.

Ovo pravilo pretpostavlja da relacija R ve¢ postoji, i moºe biti pro-izvoljna. Ako je A de�niran nad univerzalnim skupom U1, tada relacijaR mora biti de�nirana nad U1 × U2, £ime ¢e rezultat Y , tj. kompozicijaA ◦ R, biti de�niran nad U2. AKO-ONDA pravila jedan su na£in dobiva-nja relacije R � ve¢ smo rekli da je zna£enje AKO-ONDA pravila relacijakoja se dobije nekim od operatora implikacije. Naj£e²¢i operatori implikacijenavedeni su u nastavku.

U klasi£noj binarnoj logici vrijedi: (p → q) ≡ (¬p ∨ q) ≡ ((p ∧ q) ∨ ¬p).Koriste¢i s-norme i t-norme te generalizirane komplemente izvodi se ve¢inaoperatora implikacije u neizrazitoj logici.

Pogledajmo malo detaljnije: za²to se zaklju£ivanjemodus ponensom svodina kompoziciju. Neka je dano sljede¢e pravilo.

AKO x = a I y = f(x) TADA y = f(a)

Pravilo se £ini sasvim zdravorazumsko. No pogledajmo njegove dijelove.Antecedent se sastoji od dva dijela: prvi dio utvr�uje vrijednost varijable xa drugi dio de�nira da se varijabla y dobiva kao primjena funkcije f(.) navarijablu x. Ako antecedent vrijedi, pravilo kaºe da je tada vrijednost vari-jable y jednaka rezultatu koji se dobije uvr²tavanjem varijable x u funkciju


x

f(x)

a

y=f(a)

(a) Izrazite vrijednostix

f(x)

a

y=f(a)

(b) Neizrazit xx

f(x)

a

y=f(a)

(c) Neizraziti f i x

Slika 5.4: Inspiracija za postupak izra£una generaliziranog modus ponensa

f . No funkcija nije ni²ta drugo doli specijalan oblik relacije. Stoga se danopravilo moºe direktno pro²iriti i to na sljede¢i na£in (vidi sliku 5.4).

Ako imamo klasi£nu funkciju i izrazitu vrijednost varijable (slu£aj na slici5.4a), tada se svaki x preslikava to£no u jedan y. Ako sada dopustimo da xnije izrazit broj ve¢ neki interval (slu£aj na slici 5.4b), rezultat preslikavanjabit ¢e tako�er interval. Dapa£e, ako dopustimo da x bude neizraziti skupa ne obi£an interval, tada ¢emo za svaki y u koji f preslika x de�nirati istupanj pripadnosti koji ¢e biti jednak stupnju pripadnosti kojim x pripadaulaznom neizrazitom skupu.

Kona£no, sada moºemo pro²iriti i f tako da nije funkcija u strogom ma-temati£kom smislu ve¢ da je neizrazita funkcija: funkcija koja isti �ksirani xpreslikava u razli£ite vrijednosti y sa zadanim stupnjevima pripadnosti (slika5.4c). Ovakvo zadana funkcija zapravo je neizrazita relacija. Da bismo odre-dili neizrazit skup Y u koji se preslikava ulazni neizraziti skup X, potrebnoje za svaki y ∈ V (gdje je V univerzalni skup nad kojim je de�niran Y a Uuniverzalni skup nad kojim je de�niran X) odrediti mjeru pripadnosti kojomtaj element pripada neizrazitom skupu Y . Pogledamo li sliku i �ksiramo lineki y = yi, uo£it ¢emo da se vi²e razli£itih elemenata xj ∈ U preslikava utaj �ksirani yi, ali s razli£itim stupnjevima pripadnosti. Za svaki takav xjtreba odrediti u kojoj mjeri taj xj pripada neizrazitom skupu X te u kojojmjeri relacija (odnosno zadana neizrazita funkcija) taj xj preslikava u zadaniyi. Ta dva stupnja pripadnosti uobi£ajeno se kombiniraju nekom t-normom(primjerice, minimumom). Npr. ako odabrani xj neizrazitom skupu X pri-pada s mjerom 0.4 (µX(xj) = 0.4) te ako neizrazita funkcija taj xj preslikavau yi sa stupnjem pripadnosti 1 (µR(xj , yi) = 1), zaklju£it ¢emo da smo timputem utvrdili da yi neizrazitom skupu pripada sa stupnjem pripadnosti odmin(0.4, 1) = 0.4. Naravno, kako se u isti yi potencijalno preslikava vi²e raz-li£itih xj , ºelimo utvrditi mjeru kojom yi pripada u Y preko svakog mogu¢egpreslikavanja i onda zaklju£iti da u Y pripada mjerom koja je najve¢a utvr-�ena preko svih promatranih xj . Neformalno,postupak bismo mogli opisatiovako: mjera kojom yi pripada neizrazitom skupu Y jednaka je (mjeri kojomx1 pripada neizrazitom skupu X I mjeri kojom relacija f taj x1 preslikava uyi) ILI (mjeri kojom x2 pripada neizrazitom skupu X I mjeri kojom relacijaf taj x2 preslikava u yi) ILI . . . U prethodnoj re£enici namjerno su kori²tene


zagrade u svrhu grupiranja kako bismo prepoznali mjesto na kojem se koristet-norme za kombiniranje dviju mjera te mjesta na kojima se koriste s-normeza kombiniranje dviju mjera.

Isti postupak moºemo prikazati na jo² jedan na£in (poku²ajte se uvjeritida je to isto). Ulazni neizraziti skup X pro²irimo na neizrazitu relacijuR′ de�niranu nad U × V koja opisuje neku funkciju f ′ koja svaki xj ∈U preslikava u sve yi ∈ V onom mjerom kojom xj pripada neizrazitomskupu X. Ovakva relacija direktno odgovara cilindri£nom pro²irenju. Na²azadana funkcija f de�nirana je neizrazitom relacijom R. Sada izgradimokona£nu relacijuR′′ kao presjek ovih dviju relacija: R′′ = R′∩R, koriste¢i bilokoju t-normu. Time smo dobili relaciju koja za svaki (xj , yi) sadrºi supanjpripadnosti koji re�ektira i mjeru kojom xj pripada ulaznom neizrazitomskupu X i mjeru kojom relacija R (tj. funkcija f) taj xj preslikava u yi.Da bismo utvrdili kojom mjerom yi pripada izlaznom neizrazitom skupuY , radimo projekciju relacije R′′ na V pri £emu za kombiniranje stupnjevapripadnosti moºemo koristiti bilo koju s-normu.

Dajmo sada i formalnu de�niciju postupka. Pretpostavimo da znamo davrijedi premisa x je A. Pretpostavimo tako�er da je temeljemAKO-ONDApravila izgra�ena relacija R nad U × V , odnosno da vrijedi i druga premisa.Provodimo sljede¢i postupak.

1. korak: neizraziti skup A ºelimo pro²iriti na istu domenu nad kojom jede�nirana u relacija kako bismo dobili relaciju koju moºemo usporeditisa zadanom relacijom R. Ra£unamo stoga skup Acil kao cilindri£nopro²irenje A na V : µAcil(x, y) = µA(x). Time su Acil i R de�niraninad istom domenom.

2. korak: ra£unamo presjek cilindri£nog pro²irenja i relacije:

µAcil∩R(x, y) = T (µAcil(x, y), µR(x, y)).

gdje je T odabrana t-norma.

3. korak: ra£unamo projekciju tog presjeka na V ; slijedi:

µB(y) = supxµAcil∩R(x, y).

Cjelokupni postupak moºe se kra¢e zapisati kao:

µB(y) = supxT (µA(x), µR(x, y))

Odaberemo li kao t-normu operator minimum ili produkt, direktno dobivamosup-min odnosno sup-produkt kompozicije.

5.3.1 Naj£e²¢i operatori implikacije u neizrazitoj logici

U nastavku je dan kratak pregled naj£e²¢ih operatora implikacije koji sekoriste u neizrazitoj logici.


Implikacija Kleene-Diens

Ova implikacija de�nirana je izrazom:

(p→ q) ≡ (¬p ∨ q)

pri £emu se kao operator ∨ koristi Zadehov operator maksimuma a kao nega-cija Zadehov operator negacije. Stoga je pripadna relacija de�nirana funkci-jom pripadnosti:

µR(x, y) = max(1− µA(x), µB(y)).

Implikacija Lukasiewicz


(p→ q) ≡ (¬p ∨ q)

pri £emu se kao operator ∨ koristi ograni£ena suma a kao negacija Zadehovoperator negacije. Stoga je pripadna relacija de�nirana funkcijom pripad-nosti:

µR(x, y) = min(1, 1− µA(x) + µB(y)).

Implikacija Zadeh


(p→ q) ≡ ((p ∧ q) ∨ ¬p)

pri £emu se kao operator ∨ koristi Zadehov operator maksimuma, kao opera-tor ∧ koristi Zadehov operator minimuma a kao negacija Zadehov operatornegacije. Stoga je pripadna relacija de�nirana funkcijom pripadnosti:

µR(x, y) = max(min(µA(x), µB(y)), 1− µA(x)).

Implikacija Gödel


(p→ q) ≡{

1, p ≤ q,q, p > q

²to je de�nicija implikacije kakva se ina£e koristi u vi²evrijednosnoj logici.Stoga je pripadna relacija de�nirana funkcijom pripadnosti:

µR(x, y) =

{1, µA(x) ≤ µB(y),µB(y), µA(x) > µB(y)


Prije no ²to damo jo² i de�niciju implikacije prema Mamdaniju, osvrnimose malo na uporabu implikacije u neizrazitoj logici. AKO-ONDA pravilakoja su sastavni dio sustava neizrazitog upravljanja uobi£ajeno se shva¢ajukao implikacije. Primjerice, neka je dano sljede¢e pravilo.

AKO struja je mala ONDA napon je visok.

Postoje dva tuma£enja zna£enja danog pravila. Jedno mogu¢e tuma£enjebi bilo: pravilo nam kaºe da je napon visok samo ako je struja mala, aliako struja nije mala, tada napon nije visok. Donekle blisko tuma£enje bilobi i re¢i da ako struja nije mala, napon moºe biti i visok i nizak. Ovakvatuma£enja kod kojih je interpretacija pravila u odre�enom smislu globalnaodgovara implikaciji u klasi£noj logici. Sve prethodne de�nicije implikacijaizvedene su upravo iz klasi£ne implikacije.

Pogledajmo to na primjeru. Neka su dani neizraziti skupovi Mala struja={

11A + 0.6

2A + 03A

}i Visoki napon =

{0.11V + 0.5

2V + 13V

}. Relacija koja se

dobije uporabom implikacije prema Zadehu je:

R =

0.1 0.5 1.00.4 0.5 0.61.0 1.0 1.0

.O£ekivano, iz relacije je vidljivo da ako je struja mala (prvi redak koji odgo-vara struji 1A), napon je visok jer za tu struju samo napon od 3V pripadarelaciji sa stupnjem pripadnosti 1: µR(1A, 3V ) = 1 dok ostali naponi pri-padaju s manjim stupnjem. Me�utim, pogledajmo ²to se doga�a za srednjeili velike struje: razmotrimo primjerice tre¢i redak relacije koji opisuje vezuizme�u razli£itih napona i struje 3A. Svi stupnjevi pripadnosti u tom retkusu 1, £ime de�nirana relacija uspostavlja vezu izme�u struje od 3A i svihnapona. Mogli bismo re¢i da je ova relacija zapravo relacija koja de�nira ²tonije mogu¢e: pogledajte distribuciju niskih stupnjeva pripadnosti u toj re-laciji. Relaciju bismo mogli protuma£iti ovako: nije istina da je struja malai napon mali: to je proturje£no pravilu; sve ostalo vrijedi. Ako je strujamala, pravilo de�nira da je napon visok; za sve ostale struje ne znamo pa neisklju£ujemo vezu izme�u takvih struja i svih mogu¢ih napona.

�esto, ovakva interpretacija AKO-ONDA pravila nam ne odgovara.Umjesto globalnog karaktera, pravilu ºelimo dali lokalni karakter: pravilouspostavlja vezu izme�u zadovoljenog antecedenta i danog konsekventa. Akoantecedent ne vrijedi, pravilo ne daje nikakvu dodatnu informaciju, odnosnone uspostavlja relaciju izme�u elemenata koji ne zadovoljavaju antecedent.Posljedi£no, u takvoj situaciji htjeli bismo implikaciju koja ¢e u relaciju uzetisamo one elemente koji zadovoljavaju i antecedent i konsekvent. U konkret-nom slu£aju, visok stupanj pripadnosti o£ekujemo od elemenata koji pred-stavljaju male struje i visoke napone. �to je struja dalja od "male struje" i


napon dalji od "visokog napona", takav par ¢e imati manji stupanj pripad-nosti relaciji, jer se pravilo ne odnosi na takvu situaciju. Stoga se kao mogu¢imodel implikacije za AKO-ONDA pravilo kojemu dajemo lokalni karaktername¢u upravo t-norme (odnosno logi£ki I). Ra£unamo li implikaciju kao mi-nimum (²to smo radili i kada smo gradili kartezijev produkt dvaju neizrazitihskupova), za prethodno AKO-ONDA pravilo dobit ¢emo sljede¢u relaciju(provjerite):

R =

0.1 0.5 1.00.1 0.5 0.60.0 0.0 0.0

.Uo£ite sada kako su raspore�ene vrijednosti mjere pripadnosti u relaciji.Dajmo sada i formalnu de�niciju implikacije koja odgovara lokalnoj inter-pretaciji AKO-ONDA pravila.

Implikacija Mamdani


(p→ q) ≡ (p ∧ q)

pri £emu se kao operator ∧ koristi ili Zadehov operator minimuma ili Algebar-ski produkt. Stoga je, u slu£aju da se koristi Zadehov operator minimuma,pripadna relacija de�nirana funkcijom pripadnosti:

µR(x, y) = min(µA(x), µB(y)) tj. R = A×B

a u slu£aju da se koristi Algebarski produkt, pripadna relacija de�nirana jefunkcijom pripadnosti:

µR(x, y) = µA(x) · µB(y).

Uo£ite da je ovakva de�nicija implikacije i ra£unski najjednostavnija.Stoga se upravo ova de�nicija implikacije naj£e²¢e koristi u neizrazitomupravljanju.

5.4 Neizrazito upravljanje

Jedno od podru£ja u kojima se koristi neizrazita logika jest upravljanje,odnosno neizrazito upravljanje. Pogledajmo koje se metode koriste i nakoji na£in rade sustavi neizrazitog upravljanja. Naj£e²¢e se za opisivanjepona²anja sustava koristeAKO-ONDA pravila. Npr. AKO x je AONDAy je B. Pri tome je A neizraziti skup de�niran nad univerzalnim skupomU1, a B je neizraziti skup de�niran nad univerzalnim skupom U2. Ulazi usustav mogu ali i ne moraju biti neizraziti (£esto nisu ²to olak²ava izvo�enjezaklju£aka). Postavlja se pitanje kako sada na temelju ulazne vrijednosti

5.4. NEIZRAZITO UPRAVLJANJE 89

dobiti odgovaraju¢u izlaznu vrijednost. I opet, metoda je nekoliko, i naravno,nema one koja bi bila najbolja u svim situacijama.

Prvo ¢emo opisati metodu koju smo ve¢ koristili. Ako imamo obi£anulaz (npr. realni broj b), transformirat ¢emo taj broj u neizraziti skup x(npr. "pribliºno broj b", ili "to£no broj b"). Neizrazito pravilo AKO x je AONDA y je B predstavlja relaciju R koja se dobije kao implikacija (metodesu opisane u podpoglavlju 5.3.1, primjerice npr. R = A × B). Koriste¢ipravilo kompozicije izvodimo vrijednost izlaza y = x ◦ R, pri £emu je yopet neizraziti skup nad U2. Ako kao izlaz ne ºelimo neizraziti skup, jo² jepotrebno provesti postupak dekodiranja neizrazitosti (poglavlje 5.2).

Drugu metodu koja se £esto koristi opisuje slika 5.5. Postupak se provoditako da se izra£una s kojim stupnjem pripadnosti ulazna vrijednosti xulpripada neizrazitom skupu A. Zatim se kao rezultat y∗ uzima modi�kacijaneizrazitog skupa B, na sljede¢i na£in:

µy∗(y) =

{µB(y), µB(y) ≤ µA(xul)µA(xul), µB(y) > µA(xul)

.

Ovaj postupak jo² se zove odsijecanje (engl. clipping). Kao rezultat se opetdobije neizraziti skup y∗, pa ako je potrebno, moºe se jo² izvr²iti i dekodiranjeneizrazitosti.

Slika 5.5: Izvo�enje zaklju£ka odsijecanjem.

Tre¢a metoda samo je mala modi�kacija upravo pokazanog postupka,slika 5.6.

Umjesto da skup B odsije£emo na visini µA(xul), rezultantni skup y∗

dobije se skaliranjem skupa B na visinu µA(xul):

µy∗(y) = µA(xul) · µB(y).

Sada smo se upoznali s razrje²avanjem jednog AKO-ONDA pravila. No²to ako takvih pravila ima vi²e?


Slika 5.6: Izvo�enje zaklju£ka skaliranjem.

• AKO x je A1 ONDA y je B1

• AKO x je A2 ONDA y je B2

• . . .

• AKO x je An ONDA y je Bn

U tom slu£aju moºemo postupiti na dva na£ina. Prvi na£in svodi sena izra£unavanje unije svih relacija koje se dobiju iz ovih AKO-ONDApravila. Naime, i-to AKO-ONDA pravilo prestavlja relaciju Ri. Skupod n AKO-ONDA pravila tada predstavlja relaciju R = ∪ni=1Ri. Sadamoºemo pravilom kompozicije izvoditi zaklju£ivanje y = x ◦R.

Moºemo postupiti i na drugi na£in. Moºemo izvoditi pravilo po pravilo tedobiti n izlaznih neizrazitih skupova. Izvo�enjem i-tog pravila dobiti ¢emoizlazni neizraziti skup y∗i . Kada ovo izra£unamo za sva pravila, kona£niizlazni skup y∗ moºemo dobiti kao uniju svih pojedina£nih izlaznih skupova:y∗ = ∪ni=1y

∗i .

I na kraju, AKO-ONDA pravila mogu biti puno sloºenija od oblika"AKO x je A ONDA y je B". Pogledajmo jo² kako se razrje²avaju takvesituacije. Ukoliko imamo oblik: "AKO x je A1 I x je A2 ILI x je A3

ONDA y je B", pravilo se moºe svesti na oblik "AKO x je A∗ ONDAy je B" budu¢i da sve propozicije imaju istu varijablu x pa se "I", "ILI" isli£no moºe izra£unati prema tablici 5.1. No ²to uraditi s pravilima oblika:"AKO x je A1 I y je A2 ONDA z je B"? Varijabla x i neizraziti skup A1

de�nirani su nad univerzalnim skupom U1 dok su varijabla y i neizraziti skupA2 de�nirani su nad univerzalnim skupom U2. O£ito ne moºemo izraze "I","ILI" i sl. ra£unati kao presjek ili uniju, jer nisu po domenama kompatibilni.U tom slu£aju postupa se na na£in kako to pokazuje slika 5.7.

Ideja je da se razrije²e "visine" za svaku varijablu koja se pojavljuje:kod nas su to varijable x i y pa imamo visine µA1(xul) i µA2(yul). Zatim


Slika 5.7: Izvo�enje pri sloºenim izrazima.

se ovisno o vezniku izme�u tih varijabli rezultantna visina ra£una pomo¢uneke od t-normi (ako je veznik I), pomo¢u neke od s-normi (ako je veznikILI), odnosno pomo¢u nekog od generaliziranih komplemenata (ako imamonegaciju). Kada se izra£una rezultantna visina, moºe se izvesti odsijecanjeili pak skaliranje, ovisno o tome na koji na£in dalje ºelimo ra£unati.

Prethodno opisani metode djeluju dosta "proizvoljno" de�nirane. Me�u-tim, u pozadini postoji i formalni model koji ¢emo opisati u nastavku.

5.4.1 Zaklju£ivanje u sustavima neizrazitog upravljanja

Sustavi neizrazitog upravljanja koje ovdje razmatramo su produkcijski sus-tavi. Njihova baza znanja sastoji se od niza AKO-ONDA pravila. Gra�ajednog takvog sustava prikazana je na slici 5.8.

Ulazx

nadU

Pretvorba uneizraziteveličine

BazaAKO-ONDA

pravila

Dekodiranjeneizrazitosti

Sustav zaneizrazito

zaključivanje

Izlazy

nadV

Neizraziti skupovinad U

Neizraziti skupovinad V

Slika 5.8: Gra�a sustava neizrazitog upravljanja.

Pretpostavimo da sustav kao ulaz dobiva r podataka � ozna£it ¢emo ih sx1 do xr koji kao vrijednosti poprimaju elemente univerzalnih skupova U1 doUn. Tako�er neka se baza pravila sastoji od nR pravila kako je prikazano unastavku, pri £emu je Aij neizraziti skup de�niran nad univerzalim skupomUj . Svi neizraziti skupovi Bi de�nirani su nad istim univerzalnim skupomV .


• AKO x1 je A11 I · · · I xr je A1r ONDA y je B1

• . . .

• AKO x1 je Ai1 I · · · I xr je Air ONDA y je Bi

• . . .

• AKO x1 je AnR1 I · · · I xr je AnRr ONDA y je BnR

x1 do xr su, op¢enito govore¢i, neizraziti skupovi koji predstavljaju trenutneulaze sustava.

U opisanom scenariju razvijena su dva na£ina izvo�enja zaklju£aka:

• zaklju£ivanje temeljeno na kompoziciji te

• zaklju£ivanje temeljeno na pojedina£nim pravilima.

U nastavku ¢emo razmotriti oba na£ina.

Zaklju£ivanje temeljeno na kompoziciji

Razmotrimo i-to pravilo. Antecedent se sastoji od konjunkcije r zahtjeva.�itav antecedent moºemo prikazati kao neizrazitu relaciju koja je de�nirananad U1×· · ·×Ur kao kartezijev produkt neizrazitih skupova Ai1 do Air. Dru-gim rije£ima, de�niramo relaciju £ija je funkcija pripadnosti dana sljede¢imizrazom:

µAi1×···×Air(x1, . . . , xr) = T (µAi1(x1), . . . , µAir(xr)).

U ovom izrazu T (...) predstavlja bilo koju t-normu a uobi£ajeno je koristitiminimum. �injenica da smo dobili relaciju nas ne treba smetati � relacijajest neizraziti skup. No sada kada smo to utvrdili, navedeno AKO-ONDApravilo moºemo promatrati kao pravilo £iji je antecedent jedan neizrazitiskup a konsekvent drugi neizraziti skup. Stoga ¢emo £itavo pravilo predsta-viti kao jednu relaciju de�niranu nad univerzalnim skupom U1×· · ·×Ur×Vuporabom bilo kojeg od operatora implikacije koje smo prethodno opisali.

Temeljem i-tog pravila dobili smo relaciju Ri. Kako imamo nR pravila,dobit ¢emo ukupno nR relacija: R1, · · · , RnR .

Sljede¢i korak je izgradnja kona£ne relacije R koja ¢e predstavljati cjelo-kupni sustav. Prisjetimo se sada prethodne diskusije o lokalnosti semantikepravila. AkoAKO-ONDA pravila imaju lokalnu semantiku (odnosno koris-timo implikaciju takvih karakteristika), tada svako pravilo generira relacijukoja ima ve¢e vrijednosti funkcije pripadnosti samo u onom podprostoru nakoji se to pravilo odnosi dok je na svim ostalim mjestima vrijednost funk-cije pripadnosti nula (ili mala). Stoga se u takvom slu£aju ukupna relacija


dobiva kao unija pojedina£nih relacija (ra£unamo je uporabom bilo koje ods-normi):

R = R1 ∪ . . . ∪RnR .

U kona£noj relaciji trebaju biti oni parovi elemenata koji su uklju£eni u bilokoju od relacija.

Ako pak za AKO-ONDA pravila koristimo implikaciju koja daje glo-balnu semantiku, prisjetimo se, u dobivenoj relaciji nisu vrijednost funkcijepripadnosti imat ¢e oni parovi elemenata koji su kontradiktorni pravilu asvi ostali parovi ¢e imati visoke vrijednosti funkcije pripadnosti. Stoga ukona£noj relaciji visok stupanj funkcije pripadnosti trebaju imati samo oniparovi elemenata koje niti jedno pravilo nije isklju£ilo, ²to zna£i da ¢emo utom slu£aju koristiti presjek pojedina£nih relacija (ra£unamo ga uporabombilo koje od t-normi):

R = R1 ∩ . . . ∩RnR .

Ovime smo osigurali da je par elemenata koji je bilo koja relacija isklju£ilaisklju£en i u kona£noj relaciji.

Prethodne korake bilo je potrebno provesti kako bismo do²li do relacije Rkoja predstavlja cjelokupni neizraziti sustav (odnosno koja u sebi ima ugra-�ena sva pravila). Jednom kada imamo relaciju R, zaklju£ivanje se svodi nauporabu modus ponensa. Pretpostavimo da je korisnik kao ulaz neizrazitogsustava de�nirao x1 je C1, . . ., xr je Cr, gdje su C1 do Cr neizraziti sku-povi. Gradimo neizraziti skup C kao kartezijev produkt neizrazitih skupovaC1×· · ·×Cr i potom izvodimo kao kompoziciju neizrazitog skupa C i relacijeR:

Kompozicijskozaklju£ivanje

µB(y) = supx1,...,xr

T (µC(x1, . . . , xr), µR(x1, . . . , xr, y)). (5.10)

Izra£un zaklju£ka, kako se vidi iz prethodnog pravila, ra£unski ¢e biti vrloskup: supremum se traºi po kartezijevom produktu univerzalnih skupovanad kojima su de�nirane ulazne varijable. Stoga se u praksi £esto uvodijedno pojednostavljenje koje ¢e osigurati e�kasniji izra£un zaklju£ka: uvodise restrukcija da neizraziti skupovi Ci moraju biti jednoelementni neizrazitiskup (singletoni). Ozna£imo u svakom od neizrazitih skupova Ci oznakomx∗i taj element domene za koji je µCi jednaka 1:

µCi(xi) =

{1, xi = x∗i0, ina£e

i pogledajmo malo bolje ²to se pretraºuje u izrazu 5.10. U slu£aju da su Cijednoelementni neizraziti skupovi, funkcija pripadnosti µC(x1, . . . , xr) po-primit ¢e vrijednost 1 samo kada je x1 = x∗1 ∧ . . . ∧ xr = x∗r dok ¢e u svimdrugim slu£ajevima biti 0. No iz rubnih uvjeta t-normi znamo da ¢e rezultatt-norme biti 0 ako je jedan od operanada jednak 0. Slijedi da se traºi supre-mum (maksimum) od jako puno nula te one jedne speci�£ne situacije u kojoj


je x1 = x∗1 ∧ . . . ∧ xr = x∗r za koju je µC(x∗1, . . . , x∗r) = 1 pa se tada ra£una

t-norma izme�u 1 i µR(x∗1, . . . , x∗r , y); opet iz rubnih uvjeta t-normi znamo

da je tada rezultat jednak upravo ovom posljednjem operandu. Slijedi da secjelokupni zaklju£ak tada svodi na:

Pojednostavljenje µB(y) = µR(x∗1, . . . , x∗r , y). (5.11)

²to se, uz pretpostavku da je R unaprijed izra£unat, moºe vrlo e�kasnoodrediti te nije potrebno provoditi vremenski zahtjevnu kompoziciju.

Zaklju£ivanje temeljeno na pojedina£nim pravilima

Kod zaklju£ivanje temeljenog na kompoziciji prvi korak je bio izgradnja re-lacije koja u sebe ugra�uje znanje dano kroz sva pravila sustava. Jednomkada je relacija izgra�ena, pravila se vi²e ne koriste. Umjesto pomo¢u njih,za svaki zadani ulaz radi se njegova kompozicija s dobivenom relacijom i takogenerira izlaz.

Za razliku od zaklju£ivanja temeljenog na kompoziciji, zaklju£ivanje te-meljeno na pravilima £itavo vrijeme radi direktno s pravilima. Pretpostavimoda je korisnik kao ulaz neizrazitog sustava de�nirao x1 je C1, . . ., xr je Cr,gdje su C1 do Cr neizraziti skupovi.

1. Za svako pravilo potrebno je izgraditi relaciju koja predstavlja to pra-vilo. Konkretno, za i-to pravilo gradimo relaciju Ri(x1, . . . , xr, y) najednak na£in kako smo to napravili kod zaklju£ivanja temeljenog nakompoziciji.

2. Ozna£imo s C(x1, . . . , xr) relaciju koja je dobivena kao kartezijev pro-dukt neizrazitih skupova Ci (ulaza u sustav), koriste¢i odabranu t-normu.

3. Za svako pravilo ra£unamo neizrazit skup koji predstavlja lokalni za-klju£ak B

′i kao generalizirani modus ponens pri £emu je prva premisa

"x je C" a druga promatrano pravilo. Tako dobiveni zaklju£ak je ne-izraziti skup sa sljede¢om funkcijom pripadnosti:

Izvo�enje pojedi-na£nih zaklju£aka

µB′i(y) = sup

x1,...,xrT (µC(x1, . . . , xr), µRi(x1, . . . , xr, y)). (5.12)

Provo�enjem ovog koraka zavr²avamo s nR razli£itih zaklju£aka (svakopravilo generiralo je jedan; to su neizraziti skupovi B

′1 do B

′nR).

4. Zaklju£ke svakog pravila sada je potrebno kombinirati u jedan jedins-tveni zaklju£ak i to kao uniju zaklju£aka (ako je kori²tena implikacijakoja pravilu daje lokalnu semantiku):

Kombiniranjezaklju£aka

µB′ (y) =⋃

i=1,...,nR

µB′i(y) = S(µ

B′1(y), . . . , µB′nR

(y)) (5.13)


ili kao presjek zaklju£aka (ako je kori²tena implikacija koja svakompravilu daje globalnu semantiku):

µB′ (y) =⋂

i=1,...,nR

µB′i(y) = T (µ

B′1(y), . . . , µB′nR

(y)). (5.14)

Stroj za zaklju£ivanje koji se temelji na minimumu

Stroj za zaklju£ivanje koji se temelji na minimumu (engl. Minimuminference engine) je implementacija zaklju£ivanja koje:

• se temelji na zaklju£ivanju prema pojedina£nim pravilima,

• kao operator implikacije koristi Mamdanijevu minimum-implikaciju,

• za sve s-norme koristi operator maksimuma,

• za sve t-norme koristi operator minimuma te

• pojedina£ne zaklju£ke svakog pravila kombinira unijom u kona£an za-klju£ak.

µB′ (y) = maxi=1,...,nR

(sup

x1,...,xrmin(µC(x1, . . . , xr), µRi(x1, . . . , xr, y))

)(5.15)

= maxi=1,...,nR

{sup

x1,...,xrmin (µC(x1, . . . , xr),min(µAi1(x1), . . . , µAir(xr), µBi(y)))

}(5.16)

= maxi=1,...,nR

(sup

x1,...,xrmin(µC1(x1), . . . , µCr(xr), µAi1(x1), . . . , µAir(xr), µBi(y))

)(5.17)

U slu£aju da se kao ulaz koriste singleton neizraziti skupovi i ako ozna-£imo s x∗1 do x∗r konkretne vrijednosti koje jedine pripadaju ulaznim neizra-zitim skupovima C1 do Cr, tada se prethodni izraz pojednostavljuje u:

µB′ (y) = maxi=1,...,nR

{min(µAi1(x∗1), . . . , µAir(x∗r), µBi(y))} . (5.18)

Stroj za zaklju£ivanje koji se temelji na produktu

Stroj za zaklju£ivanje koji se temelji na produktu (engl. Product inferenceengine) je implementacija zaklju£ivanja koje:



• kao operator implikacije koristi Mamdanijevu produkt-implikaciju,


• za sve t-norme koristi operator produkt te

• pojedina£ne zaklju£ke svakog pravila kombinira unijom u kona£an za-klju£ak.

µB′ (y) = maxi=1,...,nR

(sup

x1,...,xrµC(x1, . . . , xr) · µRi(x1, . . . , xr, y)

)(5.19)

= maxi=1,...,nR

supx1,...,xr

µC(x1, . . . , xr) ·

∏j=1,...,r

µAij (xj)

· µBi(y)

(5.20)

= maxi=1,...,nR

supx1,...,xr

∏j=1,...,r

µCj (xj)

· ∏j=1,...,r

µAij (xj)

· µBi(y)

(5.21)


µB′ (y) = maxi=1,...,nR

∏j=1,...,r

µAij (x∗j )

· µBi(y)

. (5.22)

Kod prethodna dva opisana stroja moºe se javiti problem male visinegeneriranog zaklju£ka. Naime, ako je visina barem jednog od ulaznih neizra-zitih skupova mala, ta visina ograni£ava i visiku generiranog rezultata (²toje posebice istaknuto kod stroj za zaklju£ivanje koji se temelji na produktu).Zbog toga ¢emo jo² navesti i strojeve koji koriste implikacije koje pravilimadaju globalnu semantiku i koji u odre�enoj mjeri prevladavaju ovaj problem.

Dienes-Rescherov stroj za zaklju£ivanje

Dienes-Rescherov stroj za zaklju£ivanje (engl. Dienes-Rescher inferenceengine) je implementacija zaklju£ivanja koje:


• kao operator implikacije koristi Dienes-Rescherovu implikaciju,



• za sve t-norme koristi operator minimum te

• pojedina£ne zaklju£ke svakog pravila kombinira presjekom u kona£anzaklju£ak.

µB′ (y) = mini=1,...,nR

supx1,...,xr

min(

µC(x1, . . . , xr),max(1− minj=1,...,r

(µAij (xj)), µBi(y))

)


µB′ (y) = mini=1,...,nR

max(1− minj=1,...,r

(µAij (x∗j )), µBi(y))

Zadehov stroj za zaklju£ivanje

Zadehov stroj za zaklju£ivanje (engl. Zadeh inference engine) je imple-mentacija zaklju£ivanja koje:


• kao operator implikacije koristi Zadehovu implikaciju,




µB′ (y) = mini=1,...,nR

supx1,...,xr

min(

µC(x1, . . . , xr),

max(min( minj=1,...,r

(µAij (xj)), µBi(y)), 1− minj=1,...,r

(µAij (xj)))

)


µB′ (y) = mini=1,...,nR

max(min( minj=1,...,r

(µAij (x∗j )), µBi(y)), 1− min

j=1,...,r(µAij (x

∗j )))


Lukasiewiczev stroj za zaklju£ivanje

Lukasiewiczev stroj za zaklju£ivanje (engl. Lukasiewicz inference engine)je implementacija zaklju£ivanja koje:


• kao operator implikacije koristi Lukasiewiczevu implikaciju,




µB′ (y) = mini=1,...,nR

supx1,...,xr

min(

µC(x1, . . . , xr),

min(1, 1− ( minj=1,...,r

(µAij (xj))) + µBi(y))

)

²to se dalje moºe pojednostavniti u:

µB′ (y) = mini=1,...,nR

supx1,...,xr

min(

µC(x1, . . . , xr),

1− ( minj=1,...,r

(µAij (xj))) + µBi(y)

)


µB′ (y) = mini=1,...,nR

(1, 1− minj=1,...,r

(µAij (x∗j )) + µBi(y))

5.5 Primjer sustava neizrazitog upravljanja: okre-

nuto njihalo

Okrenuto njihalo jedan je od sustava koji se koriste za ispitivanje i demons-traciju sustava upravljanja. Taj je sustav nelinearan i mogu¢e ga je opisati

5.5. PRIMJER SUSTAVANEIZRAZITOGUPRAVLJANJA: OKRENUTONJIHALO99

preko dvije diferencijalne jednadºbe drugog reda, ²to je izvedeno u podpo-glavlju 5.5.2. Te su jednadºbe sljede¢e.

(M +m)x−mL sin (φ)φ2 +mL cos (φ)φ = u (5.23)

mx cos (φ) +mLφ = mg sin (φ). (5.24)

Sustav je prikazan na slici 5.9.

u

m

M

xcart

φ

L

x

y

(0,0)

Slika 5.9: Obrnuto njihalo.

Na kolica maseM koja se mogu gibati samo vodoravno montirana je ²ipkaduljine L na zglob koji nema trenja niti drugih gubitaka i koji omogu¢avarotaciju ²ipke samo u xy ravnini (drugim rije£ima, gledano sliku, ili premanaprijed, ili prema natrag). Na vrh ²ipke montirana je kugla mase m. Zapotrebe izvoda pretpostavit ¢emo da je ²ipka zanemarive mase a kolica ikuglu aproksimirat ¢emo to£kastim masama. U svakom trenutku na kolicadjeluje vanjska sila u(t) £ije je djelovanje strogo horizontalno.

Pogledajmo na tren sliku 5.9 i pretpostavimo da nema vanjske sile: uslijedsile gravitacije koja djeluje na kuglu o£ekujemo da ¢e ²tap po£eti rotiratiprema desno. Potrebno je razviti upravlja£ki sustav koji ¢e odre�ivati iznosi smjer sile koju treba primijeniti sa svrhom da se ²tap postavi u okomiti

100POGLAVLJE 5. NEIZRAZITO ZAKLJU�IVANJE I UPRAVLJANJE

poloºaj (kut φ = 0) te da se kolica pozicioniraju u ishodi²te koordinatnogsustava (xcart = 0). Neovisno o na£inu izvedbe takvog upravlja£kog sustava,njegovo uklapanje u okolinu prikazano je na slici 5.10.

Sustav okrenutognjihala na kolicima

Upravljački sustav

silau(t)

Stanje sustava:kut, kutna brzina,

pozicija i brzina kolica

Željeno stanje sustava:kut, kutna brzina,

pozicija i brzina kolica

Slika 5.10: Sustav i upravlja£ki sklop.

Upravlja£ki sklop od sustava moºe dobiti £etiri podatka koja ujedno £inei stanje sustava:

1. vodoravni poloºaj kolica xcart (u m),

2. brzinu kojom se kolica gibaju vcart (u m/s),

3. kut koji njihalo zatvara s okomicom (u rad; za okomiti poloºaj φ = 0,za otklon u desno kut je pozitivan, za otklon u lijevo kut je negativan)te

4. kutnu brzinu (u rad/s; pozitivna vrijednost zna£i da se kut pove¢ava,negativna da se smanjuje).

Temeljem tih podataka zada¢a upravlja£kog sustava je prilagoditi silu kja¢e djelovati na kolica a u svrhu stabilizacije njihava u okomitom poloºaju.Opisana kon�guracija predstavlja zatvorenu petlju: u nekom trenutku sustavse nalazi u nekom stanju, temeljem tog stanja upravlja£ki sklop generiranovi ulaz za sustav; vrijednost ulaza pak u sljede¢em trenutku dovodi dopotecijalne promjene stanja i postupak se zatvara u krug.


-3 -2 -1 0 1 2 30.00

0.25

0.50

0.75

1.00

µA(x)

x

NB NS ZO PS PB

Jezična varijabla KUT

(a) Jezi£na varijabla KUT.

-9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 90.00

0.25

0.50

0.75

1.00

µA(x)

x

NB NS ZO PS PB

Jezična varijabla KUTNA BRZINA

(b) Jezi£na varijabla KUTNA BRZINA.

-30 -25 -20 -15 -10 -5 0 5 10 15 20 25 300.00

0.25

0.50

0.75

1.00

µA(x)

x

NB NS ZO PS PB

Jezična varijabla SILA

(c) Jezi£na varijabla SILA.

Slika 5.11: Jezi£ne varijable sustava za upravljanje okrenutim njihalom.


Upravlja£ki sustav koji ¢emo opisati razmatrat ¢e samo dvije od varijablistanja: trenutni kut te trenutnu kutnu brzinu. Temeljem tih podataka sustav¢e generirati iznos sile koji je potrebno primijeniti na kolica. De�nicije trijuodgovaraju¢ih jezi£nih varijabli dane su u nastavku a gra�£ki prikaz dajeslika 5.11.

Neizraziti skupovi koji pripadaju jezi£noj varijabli KUT de�nirani su nasljede¢i na£in.

NB µNB(x) = L(x;−0.79,−0.50)NS µNS(x) = Λ(x;−0.75,−0.38, 0.00)ZO µZO(x) = Λ(x;−0.25, 0.00, 0.25)PS µPS(x) = Λ(x; 0.00, 0.38, 0.75)PB µPB(x) = Γ(x; 0.50, 0.79)

Neizraziti skupovi koji pripadaju jezi£noj varijabli KUTNA BRZINA de-�nirani su na sljede¢i na£in.

NB µNB(x) = L(x;−2.5,−1.5)NS µNS(x) = Λ(x;−2.5,−1.25, 0.0)ZO µZO(x) = Λ(x;−1.0, 0.0, 1.0)PS µPS(x) = Λ(x; 0.0, 1.25, 2.5)PB µPB(x) = Γ(x; 1.5, 2.5)

Kona£no, neizraziti skupovi koji pripadaju jezi£noj varijabli SILA de�-nirani su na sljede¢i na£in.

NB µNB(x) = L(x;−20.0,−12.5)NS µNS(x) = Λ(x;−15.0,−9,−2.5)ZO µZO(x) = Λ(x;−5.0, 0.0, 5.0)PS µPS(x) = Λ(x; 2.5, 9, 15.0)PB µPB(x) = Γ(x; 12.5, 20.0)

Sustav neizrazitog upravljanja koristit ¢e pravila oblika:AKO kutna brzina je Ai1 I kut je Ai2 TADA sila je Bipri £emu ¢e neizraziti skupovi Ai1 biti de�nirani nad univerzalnim skupom[−9,+9], neizraziti skupovi Ai2 bit ¢e de�nirani nad univerzalnim skupom[−3,+3] dok ¢e neizraziti skupovi Bi biti de�nirani nad univerzalnim skupom[−35,+35]. Ulazne vrijednosti pretvarat ¢e se u jednoelementne neizraziteskupove (singletone). Stroj za zaklju£ivanje koji ¢emo koristiti je stroj kojise temelji na produktu.

Kako jezi£ne varijable KUTNA BRZINA i KUT svaka moºe poprimitipo 5 razli£itih temeljnih vrijednosti, slijedi da ¢emo imati 5×5 = 25 pravila.Pravila ¢emo saºeto prikazati tablicom u nastavku: za svaki redak (kutnubrzinu) i svaki stupac (kut) sadrºaj ¢elije sadrºi silu koju daje pravilo kojepredstavlja odabranu kutnu brzinu i kut.


KutNB NS ZO PS PB

NB NB NB NB NS ZONS NB NB NS ZO PS

Kutna brzina ZO NB NS ZO PS PBPS NS ZO PS PB PBPB ZO PS PB PB PB

Tako primjerice, ako je kutna brzina negativna i velika (prvi redak; kuglase kre¢e u lijevo) i ako je kut negativan i velik (prvi stupac; kugla je ve¢ dalekolijevo od ravnoteºnog poloºaja), potrebno je na kolica djelovati silom velikogiiznosa koja je negativna (djeluje u lijevo) kako bi se stvorio zakretni momentkoji ¢e zaustaviti pad kugle i kutnu brzinu poku²ati okrenuti u pozitivnu;takva sila modelirana je neizrazitim skupom NB ²to je upravo sadrºaj prve¢elije. Sli£nom analizom moºemo proanalizati svih 25 situacija i odreditikakvom silom trebamo djelovati.

Primijetite da je tablica u odre�enom smislu simetri£na: situacija u gor-njem lijevom uglu tablice opisuje kuglu s lijeve strane koja pada lijevo dokdonji desni ugao opisuje situaciju u kojoj je kugla desno i pada desno: za-klju£ak ²to treba poduzeti je isti (u smislu iznosa sile), samo se mijenja smjersile, pa kako je u gornjem lijevom uglu zaklju£ak NB, u donjem desnom jePB.

Rad opisanog neizrazitog upravlja£kog sustava prikazan je na slici 5.12.Parametri sustava kojim je upravljano su: M = 2 kg, m = 0.1 kg, L =0.5m, g = 9.81m/s2. Kut pod kojim je po£etno postavljeno njihalo jeπ8 . Pona²anje njihala simulirano je metodom Runge-Kutta £etvrtog redauz korak integracije 2ms. Isti vremenski razmak kori²ten je i od stranerazvijenog sustava neizrazitog upravljanja: svakih 2ms o£itavan je ulaz igenerirana je odgovaraju¢a sila.

Za potrebe dekodiranja neizrazitosti domena nad kojom je de�niran neiz-raziti skup SILA diskretizirana je na elemente {−35, −34.9, −34.8, . . ., 34.8,34.9, 35}. Potom je dekodiranje neizrazitosti provedeno metodom pronalaskateºi²ta (engl. Center of Area).

Je li opisani sustav uspje²an u stabilizaciji njihala? Slika 5.12a prikazujepo£etno stanje a slika 5.12b stanje nakon 15 sekundi. Pogledamo li grafovisnosti kuta o vremenu (tre¢i po redu s desne strane na slici), vidimo da jeodgovor pozitivan: upravlja£ki sustav je kut uspio svesti na kut od 0 radijana.Me�utim, poloºaj kolica nije niti blizu po£etnog poloºaja; dapa£e, pogledamoli graf ovisnosti poloºaja kolica o vremenu (drugi po redu s desne strane naslici), uo£it ¢emo da se nakon po£etnih promjena poloºaj kolica u odnosu napo£etni poloºaj linearno mijenja � kolica se udaljavaju konstantnom brzinomi na kraju simulacije su preko 70m udaljena od po£etnog poloºaja. Ovosvakako nije ºeljeni rezultat. Me�utim, ne moºemo kriviti upravlja£ki sklop:sklop koji smo razvili kao jedini ulaz dobiva kut i kutnu brzinu: upravlja£ki


(a) Po£etno stanje

(b) Nakon 15 sekundi

Slika 5.12: Prikaz rada sustava i upravljanje razvijenim upravlja£kim sklo-pom.


sklop obje vrijednosti uspje²no je sveo na nulu.Da bismo dobili i stabilizaciju poloºaja, odnosno osigurali da se kolica

vrate na poloºaj xcart = 0 i da tamo ostanu stabilna morat ¢emo modi�ciratirazvijeni upravlja£ki sklop. Prva modi�kacija jest koristiti sve £etiri raspo-loºive varijable stanja: kut i kutnu brzinu njihala te poloºaj i brzinu kolica.Potom imamo dvije mogu¢nosti.

1. pristup. De�nirat ¢emo jo² dvije jezi£ne varijable: jednu za poloºajkolica a drugu za brzinu kolica. Potom ¢emo modi�cirati pravila takoda uklju£uju i te jezi£ne varijable. Za slu£aj da za svaku od njih de�ni-ramo po 5 temeljnih vrijednosti, prostor koji moºemo prekriti pravilimapenje se s 5 × 5 = 25 na 5 × 5 × 5 × 5 = 625. Za takav upravlja£kisustav svakako nam ne bi bilo jednostavno (a niti prakti£no) de�niratipravila.

2. pristup. Integrirat ¢emo informaciju o poloºaju i brzini kolica u kut ikutnu brzinu i time ostaviti upravlja£ki sustav nepromijenjen.

S obzirom na jednostavnost, odabrat ¢emo drugi pristup: upravlja£kisustav koristit ¢e kao prividni kut stvarni kut modi�ciran informacijom opoloºaju:

φ′

= φ+ k1 · xcartte kao prividnu kutnu brzinu stvarnu kutnu brzinu modi�ciranu informacijomo brzini kolica:

φ′

= φ+ k2 · xcart.Pitanje je samo kako odabrati konstante k1 i k2. Uz nepovoljan odabir ovihkonstanti rad sustava se moºe destabilizati. Razmislimo: upravlja£ki sustavnuºno mora osigurati da njihalo ne padne � pode²avanje poloºaja je manjevaºan cilj. Osim toga, skale kuteva i pomaka nisu iste: pomak za 1m na staziima puno manje posljedice od rotacije za 1 radijan (²to je ne²to manje od60◦). Stoga je o£ito da konstanta k1 mora biti manja od 1 i to dosta. Stoga¢emo za konstante odabrati sljede¢e vrijednosti: k1 = 10−2 i k2 = 10−1 £imedobivamo kona£ne izraze:

φ′

= φ+xcart100

,

φ′

= φ+xcart10

.

Rad upravlja£kog sustava koji koristi ovako de�nirani kut i kutnu brzinuprikazan je na slici 5.13.

Sa slike je jasno vidljivo da smo postigli traºeno: na po£etku, poloºaj ko-lica raste u desno jer je potrebno stabilizirati njihalo pa upravlja£ki sklop nakolica primjenjuje pozitivnu silu. Me�utim, potom se kolica po£inju vra¢atiu lijevo i polako se stabiliziraju oko ishodi²ta. Ovo se lijepo vidi na prvomgra�konu prikazanom u desnom dijelu slike 5.13 koji prikazuje ovisnost kutao poloºaju kolica.


Slika 5.13: Simulacija rada sustava i upravljanje razvijenim izmijenjenimupravlja£kim sklopom.

Izra£un po£etne sile

U trenutku t = 0 stanje sustava je sljede¢e: φ = π8 rad, φ = 0 rad/s, xcart =

0m te xcart = 0m/s. Izra£unajmo koju ¢e silu vratiti upravlja£ki sklop akokoristimo modi�ciranu verziju upravlja£kog sklopa.

Ra£unamo:φ′

=π

8+

0

100=π

8≈ 0.393 rad,

φ′

= 0 +0

10= 0 rad/s.

Ulazne vrijednosti pretvaraju se u jednoelementne neizrazite skupove: C1 ={ 1

0.393 rad}, C2 = { 10 rad/s}. Stoga se zaklju£ivanje provodi prema izrazu

(5.22). Trebamo stoga najprije za svaku jezi£nu varijablu utvrditi stupanjpripadnosti ulazne vrijednosti temeljnim neizrazitim skupovima jezi£ne va-rijable koji su kori²teni u pravilima.

Jezi£na varijabla µNB(·) µNS(·) µZO(·) µPS(·) µPB(·)KUTNA BRZINA = 0 0 0 1 0 0

KUT = 0.393 0 0 0 0.965 0

Svih 25 pravila koja imamo razmatraju jednu vrijednost za jezi£nu va-rijablu KUTNA BRZINA i jednu vrijednost za jezi£nu varijablu KUT. Kodstroja za zaklju£ivanje koji koristimo jakost antecedenta jednaka je umno²ku


stupnjeva pripadnosti obaju jezi£nih varijabli neizrazitim skupovima nave-denim u pravilu. Stoga ¢e u na²em slu£aju samo jedno pravilo generiratineprazan zaklju£ak: pravilo koje ispituje je li kutna brzina ZO i kut PS.U tom pravilu jakost antecedenta bit ¢e 1 · 0.965 = 0.965 i to ¢e pravilogenerirati zaklju£ak da je sila PB' gdje je µsila=PS' = 0.965 · µsila=PS, od-nosno zaklju£ak je opisan neizrazitim denormaliziranim trokutastim skupom(odnosno lambda funkcijom s parametrima 2.5, 9 i 15 te visinom 0.965). Za-klju£ci svih ostalih pravila su neizraziti skupovi visine 0 pa je i kona£na unijajednaka ovom jedinom zaklju£ku. Dekodiranje neizrazitosti metodom teºi²tadaje sila = 8.333, i to je upravo sila koja je prikazana u simulaciji u trenutkut = 0. Programski, dekodiranje je provedeno diskretizacijom domene. Pra-vimo li se da je domena kontinuirana, kona£ni zaklju£ak je neizraziti skupdan funkcijom pripadnosti µ(x) = 0.965 · Λ(2.5, 9, 15). Dekodiranje neizra-zitosti tada moºemo provesti i analiti£ki.

XCoA =

35∫−35

x · µ(x) · dx

35∫−35

µ(x) · dx

=

15∫2.5

x · µ(x) · dx

15∫2.5

µ(x) · dx

Ovo se dalje moºe raspisati kako slijedi:

XCoA =

9∫2.5

x · 0.965 · x−2.59−2.5 · dx+

15∫9

x · 0.965 · 15−x15−9 · dx

9∫2.5

0.965 · x−2.59−2.5 · dx+

15∫9

0.965 · 15−x15−9 · dx

=

16.5 ·

(x3

3 −2.5x2

2

)∣∣∣92.5

+ 16 ·(

15x2

2 − x3

3

)∣∣∣15

9

16.5 ·

(x2

2 − 2.5x)∣∣∣9

2.5+ 1

6 ·(

15x− x2

2

)∣∣∣15

9

=55.2083333332

6.25= 8.83328.

Sloºeniji slu£aj

Pretpostavimo da je nekom trenutku stanje sustava je sljede¢e: φ = 0.55 rad,φ = 0 rad/s, xcart = 0m te xcart = 0m/s. Izra£unajmo koju ¢e silu vratitiupravlja£ki sklop ako koristimo modi�ciranu verziju upravlja£kog sklopa.


Ra£unamo:φ′

= 0.55 +0

100= 0.55 rad,

φ′

= 0 +0

10= 0 rad/s.

Ulazne vrijednosti pretvaraju se u jednoelementne neizrazite skupove: C1 ={ 1

0.55 rad}, C2 = { 10 rad/s}. Utvrdimo za svaku jezi£nu varijablu stupanj pri-

padnosti ulazne vrijednosti temeljnim neizrazitim skupovima te jezi£ne va-rijable.

Jezi£na varijabla µNB(·) µNS(·) µZO(·) µPS(·) µPB(·)KUTNA BRZINA = 0 0 0 1 0 0

KUT = 0.55 0 0 0 0.5405 0.1724

Sada imamo dva pravila koja generiraju neprazan zaklju£ak. Prvo jepravilo:AKO kutna brzina je ZO I kut je PS TADA sila je PSdok je drugo pravilo:AKO kutna brzina je ZO I kut je PB TADA sila je PB.Prvo pravilo izvodi zaklju£ak uz iznos jakosti antecedenta od 1 · 0.5405 =0.5405 dok drugo pravilo izvodi zaklju£ak uz iznos jakosti antecedenta od1 · 0.1724 = 0.1724. Kona£ni zaklju£ak je unija ovih zaklju£aka pa je toneizraziti skup de�niran funkcijom pripadnosti:

µ(x) = max(0.5405 · Λ(x; 2.5, 9, 15), 0.1724 · Γ(x; 12.5, 20.0).

Ova funkcija pripadnosti prikazana je na slici 5.14.

-35 -30 -25 -20 -15 -10 -5 0 5 10 15 20 25 30 350.00

0.25

0.50

0.75

1.00

µA(x)

x

Zaključak: unija pojedinačnih zaključaka

Slika 5.14: Izvedeni zaklju£ak.


Dekodiranjem neizrazitosti metodom teºi²ta uz domenu [−35, 35] za siludobivamo vrijednost 17.033. I opet, u ovom slu£aju postupak bismo mogliprovesti i analiti£ki da se uvjerimo u korektnost rezultata. O£ito je sada da¢e integraciju trebati podijeliti u £etiri segmenta. Ovo ostavljamo £itateljuza vjeºbu.

5.5.1 Ubrzavanje rada upravlja£kog sustava

Ako se na rad upravlja£kog sustava postavljaju vremenski strogi zahtjevi,tada se, posebice u slu£aju da postoji puno pravila moºe razmotriti pretvorbasustava u oblik pregledne tablice (engl. look-up table). Da bi to bilo mogu¢e,sve ulazne domene treba diskretizirati.

Na primjeru upravljanja okrenutim njihalom to bi zna£ilo sljede¢e. De�-nirali bismo diskretnu domenu, primjerice, {−3, −2.9, . . ., 2.9, 3} nad kojombismo izgradili neizrazite skupove koji opisuju kut. Ozna£imo kardinalni brojovog skupa oznakom K1. Tako�er, de�nirali bismo diskretnu domenu, pri-mjerice, {−9, −8.9, . . ., 8.9, 9} nad kojom bismo izgradili neizrazite skupovekoji opisuju kutnu brzinu. Ozna£imo kardinalni broj ovog skupa oznakomK2. U slu£aju da se diskretizacija radi linearno od minimalne vrijednostiL do maksimalne vrijednosti U uz korak ∆, kardinalni broj tako dobivenogskupa bio bi:

U − L∆

+ 1

²to bi u danom primjeru dalo K1 = 61 te K2 = 181.Sljede¢i korak je de�niranje funkcija Ξi koja bi elemente tih diskretnih

skupova preslikalo u redni broj elementa (ako elemente skupa razmatramoporedano). Tako bi de�nirali funkciju Ξ1 na na£in da vrijedi Ξ1(−3) = 0,Ξ1(−2.9) = 1, Ξ1(−2.8) = 2, . . ., Ξ1(3) = 61 te funkciju Ξ2 na na£in davrijedi Ξ1(−9) = 0, Ξ1(−8.9) = 1, Ξ1(−8.8) = 2, . . ., Ξ1(9) = 181.

Kona£no, sada bismo za svaku diskretnu vrijednost kuta i kutne brzine(a takvih je kona£no mnogo � to£nije K1 · K2) izra£unali vrijednost silekoriste¢i razvijeni upravlja£ki sustav. Ovo je mno²tvo izra£una, ali kakose radi jednom, ne predstavlja problem. Izra£unatu vrijednost zapamtilibismo u matrici na poziciji (Ξ1(φ),Ξ2(φ)); primjerice, silu izra£unatu za kut−3 rad i kutnu brzinu od −9 rad/s pohranili bismo u matricu na poziciju(0, 0). Dimenzije ovako dobivene matrice su K1 ×K2.

Nakon ²to je matrica izgra�ena, moºemo napraviti novi sustav neizrazitogupravljanja koji prima iste ulaze kao i postoje¢i, de�nira nove funkcije Ψ1(x) iΨ2(x) koje za ulaznu vrijednost x vra¢aju najbliºi element diskretne domenezadane vrijednosti te koji u memoriji £uva pohranjenu prethodno izra£unatumatricu. Ovakav sustav upravljanja odgovor ra£una izuzetno e�kasno:

sila = matrica[Ξ1(Ψ1(φ)),Ξ2(Ψ2(φ))]

²to se prakti£ki svodi na dohvat pohranjene vrijednosti u matrici.


Prilikom posezanja za ovakvim rje²enjem treba imati na umu da ono nijeuvijek prikladno. Primjerice, ako su kardinalni brojevi diskretnih skupovaveliki, matrica bi mogla biti neprihvatljivo velika. Isto se moºe dogoditi akosu kardinalni brojevi diskretnih skupova relativno mali ali ako pravila razma-traju vi²e varijabli: broj elemenata matrice jednak je umno²ku kardinalnihbrojeva svih diskretnih skupova.

Drugo pitanje koje treba razmotriti jest kako napraviti diskretizaciju?Je li linearna (odnosno uniformna) diskretizacija prihvatljiva? U na²em kon-kretnom slu£aju gdje je zadatak balansirati njihalo oko kuta 0◦, moºda bi bo-lje bilo imati �nije uzorkovan prostor koji je u blizini te vrijednosti a ostatakprostora grublje uzorkovan. Tu se onda postavlja pitanje kako to napraviti?Da li ru£no prostor podijeliti u podprostore i svaki zasebno diskretiziratiili se pak za gusto¢u diskretizacije osloniti na neku prikladnu matemati£kufunkciju? Koliko to komplicira de�niranje funkcija Ψi(x)?

Unato£ tim svim pitanjima, neosporna je me�utim prednost ovog pris-tupa: ako ga je mogu¢e provesti, sustav neizrazitog upravljanja moºe bitiizuzetno brz.

5.5.2 Izvod jednadºbi gibanja okrenutog njihala

Za potrebe izvoda jednadºbi gibanja na slici 5.15 ponovno je prikazan sustavkolica i okrenutog njihala. Na sliku su dodana djelovanja svih relevantnihsila.

Izvod radimo uz pretpostavku da je ²ipka zanemarive mase te da se kolicai kugla mogu aproksimirati to£kastim masama. U tom slu£aju imamo sustavkoji se sastoji od dvije mase: M i m koje su u prostoru uvijek razmaknute zaudaljenost L ²to osigurava ²ipka. Kako se poloºaj kolica po okomici ne moºemijenjati, sila N predstavlja reakciju podloge koja ¢e osigurati da se takvogibanje sprije£i. Uo£imo da je gibanje kugle ograni£eno na kruºno gibanjeoko �ksirane osi: sila T prikazana kod kugle je napetost koja osigurava takvogibanje. Me�utim, s obzirom da je ²ipka kruta, protusila jednakog iznosa ilisuprotnog smjera javlja se na zglobu kolica oko kojega kugla rotira.

Gibanje kod razmatranog sustava doga�a se u dvije dimenzije. Stoga¢emo razmatrati vektore poloºaja kolica ~pcart i kugle ~ppend. Kako smo naslici nazna£ili sile koje djeluju na svaku od masa, gibanje mase moºemorazmatrati pojedina£no.

Pozicija kolica odre�ena je s:

~pcart = ( xcart ycart ) (5.25)

= ( xcart 0 ), (5.26)

brzina kolica je:~vcart =~pcart = ( xcart 0 ), (5.27)


mg

N

u

m

M

xcart

φ

L

xpend

ypend

x

y

(0,0)

Mg

T

T

Slika 5.15: Obrnuto njihalo.

a akceleracija:~acart =~vcart = ( xcart 0 ). (5.28)

Pozicija kugle de�nirana je s:

~ppend = ( xpend ypend ) = ( xcart + L · sin(φ) L · cos(φ) ), (5.29)

brzina kugle je:

~vpend =~ppend = ( xcart + L · cos(φ) · φ −L · sin(φ) · φ ), (5.30)

a akceleracija:

~apend =~vpend (5.31)

= ( xcart − L · sin(φ) · φ2 + L · cos(φ) · φ −L · cos(φ) · φ2 − L · sin(φ) · φ ).

(5.32)

Ukupna sila koja djeluje na kolica je:

~Fcart = N~j −Mg~j + u~i+ T sin(φ)~i+ T cos(φ)~j (5.33)


²to je prema tre¢em Newtonovom zakonu jednako:

~Fcart = M · ~acart. (5.34)

Ukupna sila koja djeluje na kuglu je:

~Fpend = −mg~j − T sin(φ)~i− T cos(φ)~j (5.35)

²to je prema tre¢em Newtonovom zakonu jednako:

~Fpend = m · ~apend. (5.36)

Izjedna£avanjem sile ~Fcart iz izraza 5.33 i 5.34 dobiva se vektorska jed-nadºba odnosno dvije jednadºbe po komponentama. Uz supstituciju kom-ponenata ~acart iz izraza 5.28 dobiva se jedna jednadºba po komponenti ~i:

M · xcart = u+ T sin(φ) (5.37)

te druga po komponenti ~j:

0 = N −Mg + T cos(φ). (5.38)

Izjedna£avanjem sile ~Fpend iz izraza 5.35 i 5.36 dobiva se tako�er vektor-ska jednadºba odnosno dvije jednadºbe po komponentama. Uz supstitucijukomponenata ~apend iz izraza 5.32 dobiva se jedna jednadºba po komponenti~i:

m ·(xcart − L · sin(φ) · φ2 + L · cos(φ) · φ

)= −T sin(φ) (5.39)

te druga po komponenti ~j:

m ·(−L · cos(φ) · φ2 − L · sin(φ) · φ

)= −mg − T cos(φ). (5.40)

Uvr²tavanjem T sin(φ) iz izraza 5.39 u izraz 5.37 slijedi:

M · xcart = u−m ·(xcart − L · sin(φ) · φ2 + L · cos(φ) · φ

)²to nakon grupiranja daje:

(M +m) · xcart −m · L · sin(φ) · φ2 +m · L · cos(φ) · φ = u. (5.41)

Izraz 5.40 pomnoºit ¢emo sa sin(φ) i presloºiti:

−T cos(φ) sin(φ) = m·(−L · cos(φ) · φ2 − L · sin(φ) · φ

)·sin(φ)+mg ·sin(φ).

Izraz 5.39 pomnoºit ¢emo s cos(φ) i presloºiti:

−T sin(φ) cos(φ) = m ·(xcart − L · sin(φ) · φ2 + L · cos(φ) · φ

)· cos(φ).


Izjedna£avanjem desnih strana prethodna dva izraza, kra¢enjem izraza kojise poni²tavaju te saºimanjem mL sin2(φ)φ+mL cos2(φ)φ u mLφ dobiva se:

mx cos(φ) +mLφ = mg sin(φ). (5.42)

Izrazi 5.41 i 5.42 predstavljaju traºene jednadºbe gibanja. Ovaj sustavjednadºbi moºe se uz malo algebarskih manipulacija dalje raspisati tako dase dobiju dvije jednadºbe pri £emu svaka ima drugu derivaciju samo jednevarijable (ili xcart ili φ). Jednadºbe su sljede¢e.

xcart =u+mL sin(φ)φ2 −mg cos(φ) sin(φ)

M +m−m cos2(φ)(5.43)

φ =u cos(φ)− (M +m)g sin(φ) +mL sin(φ) cos(φ)φ2

mL cos2(φ)− (M +m)L(5.44)

Kako bismo sustav mogli simulirati na ra£unalu, prikladno ga je pretvoritiu oblik u kojem je opisan preko jednadºbi stanja. Uvedemo li vektor stanja~z = z1 z2 z3 z4 £ije su £etiri varijable stanja: z1 = φ (kut otklona),z2 = φ (kutna brzina rotacije), z3 = xcart (pozicija kolica) te z4 = xcart(brzina kolica) te uo£imo li da vrijedi: z1 = z2 i z3 = z4 dobivamo traºenisustav prikazan u nastavku.

d

dt~z =

d

dt

z1

z2

z3

z4

=d

dt

z2

u cos(z1)−(M+m)g sin(z1)+mL sin(z1) cos(z1)z22mL cos2(z1)−(M+m)L

z4u+mL sin(z1)z22−mg sin(z1) cos(z1)

M+m−m cos2(z1)

(5.45)

Uz poznato po£etno stanje (vektor ~z0) sada je mogu¢e primijeniti bilokoji od algoritama za numeri£ku integraciju kako bi se izra£unalo pona²a-nje sustava u traºenom vremenskom intervalu. Zainteresiranog £itatelja seupu¢uje na metode Runge-Kutta £etvrtog reda ili £ak na metodu Dormand-Prince koja omogu¢ava adaptivno pode²avanje koraka integracije £ime moºebiti ra£unski dosta e�kasnija.

Poglavlje 6

Princip pro²irenja i neizrazita

aritmetika

Do sada smo se ve¢ upoznali s na£inima na koje teorija neizrazitih skupovapomaºe u savladavanju ograni£enja koja postavlja klasi£na teorija skupova:pripadnost elementa skupu vi²e ne mora biti binarna odluka (pripada ili ne)ve¢ nam je omogu¢eno modeliranje mjere u kojoj pojedini elementi pripadajuneizrazitim skupovima. Pojam klasi£ne relacije tako�er je trivijalno pro²irivna neizrazite relacije koje su, u svojoj osnovi, opet neizraziti skupovi.

U ovom poglavlju pokazat ¢emo kako se uporabom principa pro²irenjaneizrazitost moºe uvesti i u op¢enita funkcijska preslikavanja, preslikavanjatemeljena na relacijama pa £ak i preslikavanja temeljena na neizrazitim re-lacijama. Potom ¢emo pokazati na koji se na£in neizrazitost moºe uvesti uaritmetiku, tj. kako ra£unati ako ve¢ u startu imamo nesigurnost u ulaznimpodatcima.

6.1 Princip pro²irenja

U klasi£noj matematici, funkcija je preslikavanje elemenata domene u ele-mente kodomene uz ograni£enje da se svaki element domene moºe presli-kati u to£no jedan element kodomene. Istovremeno, da bismo preslikavanjesmatrali funkcijom, ne postavlja se nikakvo ograni£enje na broj elemenatadomene koji se preslikavaju u isti element kodomene. Uvo�enjem dodat-nih restrikcija tada se dolazi do funkcija koje imaju neka posebna svojstva,primjerice, injektivnost, surjektivnost ili pak bijektivnost.

Polaze¢i me�utim od ideje uvo�enja neizrazitosti, ograni£enje s kojimsmo ovdje suo£eni upravo leºi u de�niciji funkcije: to je preslikavanje kojesvakom elementu domene pridruºuje neki element kodomene. Primjerice,neka je de�nirana funkcija f : Z→ Z na sljede¢i na£in f(x) = 2 · x.

Elementi nad kojima djeluje funkcija f tada su cijeli brojevi. Primjerice,funkcija f preslikat ¢e element domene−2 u element kodomene−4, a element

115

116POGLAVLJE 6. PRINCIP PRO�IRENJA I NEIZRAZITA ARITMETIKA

domene 3 u element kodomene 6. Pri tome za element kodomene −4 kaºemoda je slika elementa domene −2 a za element kodomene 6 kaºemo da je slikaelementa domene 3. Drugim rije£ima, za preslikavanje y = f(x) jo² kaºemoi da je y slika od x pod djelovanjem funkcije f . Uo£imo da, u op¢em slu£aju,inverzno preslikavanje vi²e ne mora biti funkcija u strogom smislu de�nicijefunkcije. Naime, ako s f−1 ozna£imo inverzno preslikavanje, tj. x = f−1(y),x vi²e ne mora biti jednozna£no de�niran ve¢ moºe biti skup. Ovo se jasnovidi na primjeru funkcije g : Z→ N0 de�nirane na sljede¢i na£in g(x) = x2.Ova funkcija elementu domene −2 kao i elementu domene +2 pridruºuje istusliku: element kodomene 4. Stoga inverzno preslikavanje odnosno funkcijag−1 elementu kodomene 4 pridruºuje skup elemenata domene {−2,+2} tekaºemo da je skup {−2,+2} originalna slika od 4.

Pitanje na koje valja odgovoriti jest kako izra£unati koliko iznosi g(x)ako ve¢ po£etno nemamo jasno de�niranu vrijednost na koju primjenjujemofunkciju ve¢ ako znamo da je, primjerice, x broj oko -1 de�niran nad univer-zalnim skupom Z na sljede¢i na£in:

A =

{0.2

−3+

0.7

−2+

1.0

−1+

0.7

0+

0.2

1

}.

Odgovor na ovo pitanje daje nam Zadehov princip pro²irenja koji kaºesljede¢e.

De�nicija 43 (Princip pro²irenja). Neka je f preslikavanje s X1×X2×· · ·×Xn na Y , odnosno f : X1 ×X2 × · · · ×Xn → Y . Neka su nad univerzalnimskupovima Xi de�nirani neizraziti skupovi Ai. Princip pro²irenja kaºe da sedjelovanjem funkcije f nad neizrazitim skupovima A1×A2×· · ·×An dobivaneizraziti skup B de�niran nad univerzalnim skupom Y £ija je vrijednostfunkcije pripadnosti de�nirana sljede¢im izrazom:

µB(y) = maxy=f(x1,x2,...,xn)

{min(µA1(x1), µA2(x2), . . . , µAn(xn))}.

Pogledajmo to na primjeru.

Primjer: 24Neka je f : Z → N0 de�nirana izrazom f(x) = x2. Potrebno je utvrditi u ²to se preslikava x akoga de�niramo kao broj oko -1 (vidi prethodnu de�niciju).

Rje²enje:

Potpora zadanog neizrazitog skupa je klasi£ni skup {−3,−2,−1, 0, 1}. Stoga ¢emo pogledati ukoji se podskup kodomene preslikavaju ti elementi. Vrijedi (−3)2 = 9, (−2)2 = 4, (−1)2 = 12 = 1te 02 = 0. Elementi skupa {−3,−2,−1, 0, 1} preslikavaju se dakle na skup {0, 1, 4, 9}. Utvrdimo zasvaki od elemenata skupa {0, 1, 4, 9} mjeru pripadnosti kojom oni pripadaju rezultatu djelovanjafunkcije f na neizraziti skup broj oko -1.

Element kodomene 0 dobiva se preslikavanjem elementa domene 0. Kako broj 0 neizrazitomskupu A pripada sa stupnjem pripadnosti µA(0) = 0.7, tada rezultat preslikavanja 0 pripadaneizrazitom skupu B sa stupnjem pripadnosti µB(0) = max(µA(0)) = max(0.7) = 0.7.

6.1. PRINCIP PRO�IRENJA 117

Element kodomene 1 dobiva se preslikavanjem elemenata domene −1 i +1. Kako broj −1neizrazitom skupu A pripada sa stupnjem pripadnosti µA(−1) = 1.0 a broj +1 neizrazitom skupuA pripada sa stupnjem pripadnosti µA(1) = 0.2, tada rezultat preslikavanja 1 pripada neizrazitomskupu B sa stupnjem pripadnosti µB(1) = max(µA(−1), µA(+1)) = max(1.0, 0.2) = 1.0.

Element kodomene 4 dobiva se preslikavanjem elementa domene −2. Kako broj −2 neiz-razitom skupu A pripada sa stupnjem pripadnosti µA(−2) = 0.7, tada rezultat preslikavanja 4pripada neizrazitom skupu B sa stupnjem pripadnosti µB(4) = max(µA(−2)) = max(0.7) = 0.7.

Element kodomene 9 dobiva se preslikavanjem elementa domene −3. Kako broj −3 neiz-razitom skupu A pripada sa stupnjem pripadnosti µA(−3) = 0.2, tada rezultat preslikavanja 9pripada neizrazitom skupu B sa stupnjem pripadnosti µB(9) = max(µA(−3)) = max(0.2) = 0.2.

Slijedi da se neizraziti skup:

A =

{0.2

−3+

0.7

−2+

1.0

−1+

0.7

0+

0.2

1

}pod djelovanjem funkcije f preslikava u neizraziti skup:

B =

{0.7

0+

1.0

1+

0.7

4+

0.2

9

}.

Primjer: 25Neka je f : R→ [−1, 1] de�nirana izrazom f(x) = sin(x). Potrebno je utvrditi neizraziti skup Bu koji se preslikava neizraziti skup A ="kut oko 45◦" de�niran izrazom FuzzyTrokut(40,45,50).

Rje²enje:

Neizraziti skup A koji odgovara konceptu kut oko 45◦ moºemo prikazati na sljede¢i na£in.

µA(x) =

x < 40 0

x >= 40 ∧ x < 45 x−455

x >= 45 ∧ x < 50 50−x5

x >= 50 0

Prema principu pro²irenja, za svaki element kodomene potrebno je prona¢i elemente domenekoje funkcija u njih preslikava i razmotriti njihov stupanj pripadnosti. Kako je funkcija sin(x) naintervalu [0− 90] injektivna, rezultat je lagano odrediti.

µB(y) =

arcsin(y) < 40 0

arcsin(y) >= 40 ∧ arcsin(y) < 45arcsin(y)−45

5

arcsin(y) >= 45 ∧ arcsin(y) < 5050−arcsin(y)

5arcsin(y) >= 50 0

Gra�£ki prikaz oba neizrazita skupa dan je u nastavku.

0

0.2

0.4

0.6

0.8

1

0 10 20 30 40 50 60 70 80 90

kut oko 45

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 1

sinus kuta oko 45


Primjer: 26Neka je f : Z × Z → N0 de�nirana izrazom f(x, y) = x2 + y2. Potrebno je utvrditi neizrazitiskup koji nastaje pod djelovanjem funkcije f ako je x broj oko -1 a y broj oko 1. Neka pri tomeneizraziti skup A ozna£ava koncept broj oko -1 a neizraziti skup B ozna£ava koncept broj oko 1 teneka su ti neizraziti skupovi de�nirani kako slijedi. Neizraziti skup C tada je rezultat od f(A,B).

A =

{0.2

−3+

0.7

−2+

1.0

−1+

0.7

0+

0.2

1

}

B =

{0.2

−1+

0.7

0+

1.0

1+

0.7

2+

0.2

3

}

Rje²enje:

Potpora neizrazitog skupa A je klasi£ni skup {−3,−2,−1, 0, 1}; potpora neizrazitog skupa Bje klasi£ni skup {−1, 0, 1, 2, 3}. Stoga ¢emo pogledati u koji se podskup kodomene preslikavajuelementi kartezijevog produkta tih skupova. Drugim rije£ima, trebamo pogledati f(x, y) za svex ∈ {−3,−2,−1, 0, 1} i y ∈ {−1, 0, 1, 2, 3}, £ime imamo ukupno 5 · 5 = 25 parova. Uz zadanufunkciju f ti se parovi preslikavaju u {0, 1, 2, 4, 5, 8, 9, 10, 13, 18}. Za svaki od tih brojeva potrebnoje utvrditi elemente domene koji funkcijsko preslikavanje preslikava u te brojeve.

Element kodomene 0 dobiva se funkcijskim preslikavanjem elementa domene (0, 0). Kakobroj 0 neizrazitom skupu A pripada sa stupnjem pripadnosti µA(0) = 0.7 i kako broj 0 ne-izrazitom skupu B pripada sa stupnjem pripadnosti µB(0) = 0.7, tada rezultat preslikavanja0 pripada neizrazitom skupu C sa stupnjem pripadnosti µC(0) = max(min(µA(0), µB(0))) =max(min(0.7, 0.7)) = 0.7.

Element kodomene 1 dobiva se preslikavanjem elemenata domene (−1, 0), (0,−1), (0, 1) i(1, 0). Rezultat preslikavanja 1 pripada neizrazitom skupu C sa stupnjem pripadnosti µC(1) =max(min(µA(−1), µB(0)),min(µA(0), µB(−1)),min(µA(0), µB(1)),min(µA(1), µB(0))) =max(min(1, 0.7),min(0.7, 0.2),min(0.7, 1),min(0.2, 0.7)) = max(0.7, 0.2, 0.7, 0.2) = 0.7.

Na sli£an na£in dolazi se i do vrijednosti funkcije pripadnosti za preostale elemente. Kona£navrijednost neizrazitog skupa C tada je:

C =

{0.7

0+

0.7

1+

1

2+

0.7

4+

0.7

5+

0.7

8+

0.2

9+

0.2

10+

0.2

13+

0.2

18

}.

Nakon ²to smo na ovim primjerima ilustrirali uporabu principa pro²irenjana primjeru funkcije, slijedi jo² nekoliko primjera.

6.1.1 Primjena principa pro²irenja na funkcije

Neka je f funkcija de�nirana nadX → Y . Neka je A neizraziti skup de�nirannad univerzalnim skupom X. Funkcija f tada inducira neizraziti skup Bde�niran nad univerzalnim skupom Y kako slijedi.

µB(y) =

{maxx∈f−1(y)(µA(x)) ako je f−1(y) 6= ∅0 ako je f−1(y) = ∅

Primjer je prikazan na slici u nastavku. Skup X = {a1, a2, a3, a4} a skupY = {b1, b2, b3}. Funkcija f preslikava elemente skupa X na skup Y (lijevidio slike).


a1

a2

a3

a4

b1

b2

b3

a1

a2

a3

a4

b1

b2

b3

0.4

0.5

0.9

0.6

max(0.4,0.9)=0.9

max(0.5)=0.5

max(0.6)=0.6

f f

Neka je sada de�niran neizraziti skup A:

A =

{0.4

a1+

0.5

a2+

0.9

a3+

0.6

a4

}.

Funkcija f tada kao rezultat djelovanja nad neizrazitim skupom A induciraneizraziti skup B (desni dio slike):

B =

{0.9

b1+

0.5

b2+

0.6

b3

}.

6.1.2 Primjena principa pro²irenja na klasi£ne relacije

Relacija izme�u dva skupa poop¢enje je pojma funkcijskog preslikavanja:dok funkcijsko preslikavanje svakom elementu domene pridruºuje to£no je-dan element kodomene, relacije dozvoljavaju da je svaki element domeneistovremeno povezan s vi²e elemenata kodomene.

Neka je R relacija de�nirana nad kartezijevim produktom X × Y . Nekaje A neizraziti skup de�niran nad univerzalnim skupom X. Relacija R tadainducira neizraziti skup B de�niran nad univerzalnim skupom Y kako slijedi.

µB(y) =

{maxx∈R−1(y)(µA(x)) ako je R−1(y) 6= ∅0 ako je R−1(y) = ∅

Pri tome je R−1 inverzna relacija relacije R.

Primjer je prikazan na slici u nastavku. Skup X = {a1, a2, a3, a4} a skupY = {b1, b2, b3}. Relacija R preslikava elemente skupa X na skup Y (lijevidio slike).


a1

a2

a3

a4

b1

b2

b3

a1

a2

a3

a4

b1

b2

b3

0.4

0.5

0.9

0.6

max(0.4,0.9)=0.9

max(0.5,0.6)=0.6

max(0.6)=0.6

R R


A =

{0.4

a1+

0.5

a2+

0.9

a3+

0.6

a4

}.

Relacija R tada kao rezultat djelovanja nad neizrazitim skupom A induciraneizraziti skup B (desni dio slike):

B =

{0.9

b1+

0.6

b2+

0.6

b3

}.

6.1.3 Primjena principa pro²irenja na neizrazite relacije

Neizrazita relacija poop¢enje je klasi£ne relacije; to je preslikavanje izme�udva skupa pri £emu je dodatno de�nirana i vrijednost funkcije pripadnost zasvako preslikavanje.

Neka je R neizrazita relacija de�nirana nad kartezijevim produktom X×Y . Neka je A neizraziti skup de�niran nad univerzalnim skupom X. Neiz-razita relacija R tada inducira neizraziti skup B de�niran nad univerzalnimskupom Y kako slijedi.

µB(y) =

{maxx∈R−1(y)(min(µA(x), µR(x, y))) ako je R−1(y) 6= ∅0 ako je R−1(y) = ∅

Pri tome je R−1 inverzna relacija relacije R.

Primjer je prikazan na slici u nastavku. Skup X = {a1, a2, a3, a4} askup Y = {b1, b2, b3}. Neizrazita relacija R izgra�ena je nad kartezijevimproduktom X × Y (lijevi dio slike).


a1

a2

a3

a4

b1

b2

b3

a1

a2

a3

a4

b1

b2

b3

0.4

0.5

0.9

0.6

0.4

0.6

0.4

R R0.8

0.2

0.3

0.7

0.4

0.8

0.2

0.7

0.4

0.3


A =

{0.4

a1+

0.5

a2+

0.9

a3+

0.6

a4

}.

Neizrazita relacija R tada kao rezultat djelovanja nad neizrazitim skupom Ainducira neizraziti skup B (desni dio slike):

B =

{0.4

b1+

0.6

b2+

0.4

b3

}.

Naime, do elementa b1 moºe se do¢i na dva na£ina. Neizrazita relacijaR uspostavlja vezu izme�u a1 i b1 uz mjeru pripadnosti 0.8; kako a1 pri-pada neizrazitom skupu A mjerom pripadnosti 0.4, tim putem zaklju£u-jemo da b1 pripada induciranom neizrazitom skupu B mjerom pripadnostimin(0.4, 0.8) = 0.4. Me�utim, do b1 se moºe do¢i i drugim putem: ne-izrazita relacija R uspostavlja vezu izme�u a3 i b1 uz mjeru pripadnosti0.3; kako a3 pripada neizrazitom skupu A mjerom pripadnosti 0.9, timputem zaklju£ujemo da b1 pripada induciranom neizrazitom skupu B mje-rom pripadnosti min(0.9, 0.3) = 0.3. Kona£na mjera pripadnosti elementab1 neizrazitom skupu B odre�ena je maksimumom svih utvr�enih mjera:max(0.4, 0.3) = 0.4. Sli£nim postupkom dolazi se do vrijednosti mjera pri-padnosti za sve ostale elemente skupa Y .

6.1.4 Neizrazita udaljenost

Da bismo de�nirali neizrazitu udaljenost, prisjetimo se najprije pojma me-trike.

De�nicija 44 (Metrika). Neka je X neprazni klasi£ni skup. Neka je zasvaka dva elementa x1, x2 ∈ X de�nirana funkcija d(x1, x2) : X ×X → R+

koja zadovoljava sljede¢a svojstva:

1. d(x1, x2) ≥ 0 uz d(x1, x2) = 0 ako i samo ako x1 = x2,


2. d(x1, x2) = d(x2, x1) te

3. d(x1, x2) ≤ d(x1, x3) + d(x3, x2) ∀x3 ∈ X.

Funkcija d tada se zove metrika a ure�en par (X, d) metri£ki prostor.

De�nicija 45 (Neizrazita to£ka). Neka je A = (X,µA(x)) neizrazit skupde�niran nad univerzalnim skupom X i neka je X linearni prostor. Takavneizraziti skup A naziva se neizrazitom to£kom ako je A konveksan i norma-lan. Neizrazita to£ka A = (R, µA(x)) naziva se neizrazitim brojem. Neizrazitbroj je ne-negativan ako i samo ako je µA(x) = 0 ∀x < 0.

Pojam neizrazite to£ke moºemo ilustrirati neizrazitim skupovima kojesmo ve¢ koristili; primjerice: broj oko -1 te broj oko 1. Promatramo lijednodimenzijski prostor, u njemu dvije to£ke a = −1 i b = 1, Manhattanudaljenost moºemo izra£unati na uobi£ajen na£in: |(−1) − (1)| = 2. Idejaneizrazite udaljenosti koju ¢emo de�nirati u nastavku jest opisati udaljenostizme�u dvije neizrazite to£ke � primjerice, kolika je udaljenost izme�u brojaoko -1 i broja oko 1. Kako se moºe naslutiti, neizrazita ¢e udaljenost bitineizraziti skup.

De�nicija 46 (Neizrazita udaljenost). Neka je (X, d) linearni metri£ki pros-tor. Neka su A i B dvije neizrazite to£ke de�nirane nad X. Neizrazita uda-ljenost neizrazitih to£aka A i B je neizraziti skup df (A,B) de�niran nad R£ija je funkcija pripadnosti de�nirana na sljede¢i na£in:

µdf (A,B)(y) = max(x1, x2) ∈ X2

d(x1, x2) = y

min{µA(x1), µB(x2)}.

Primjer: 27Zadani su neizraziti skupovi A =broj oko -1 te B =broj oko 1. Ti su neizraziti skupovi de�niranikako slijedi.

A =

{0.2

−3+

0.7

−2+

1.0

−1+

0.7

0+

0.2

1

}

B =

{0.2

−1+

0.7

0+

1.0

1+

0.7

2+

0.2

3

}Potrebno je izra£unati neizrazitu udaljenost ovih neizrazitih skupova.

Rje²enje:

Potpora neizrazitog skupa A je klasi£ni skup {−3,−2,−1, 0, 1}; potpora neizrazitog skupaB je klasi£ni skup {−1, 0, 1, 2, 3}. Za sve parove gdje je prvi element uzet iz potpore skupa Aa drugi element iz potpore skupa B potrebno je izra£unati udaljenost tih brojeva kao i mjerupripadnosti kojom ta udaljenost pripada traºenoj neizrazitoj udaljenosti. Alternativno, kako jeskup X diskretan, postupak moºemo provesti i na na£in da za zadanu udaljenost traºimo sveparove koji je generiraju, utvrdimo mjeru pripadnosti za taj par te uzmemo maksimum od mjerapripadnosti parova koji daju �ksiranu udaljenost. Taj ¢emo postupak i provesti.

Udaljenost 0 dobit ¢emo za sljede¢e parove (a ∈ A, b ∈ B): (−1,−1), (0, 0) i (1, 1); pa-rovima odgovaraju sljede¢e vrijednosti funkcije pripadnosti: min(1.0, 0.2) = 0.2 za prvi par,


min(0.7, 0.7) = 0.7 za drugi par te min(0.2, 1.0) = 0.2 za tre¢i par. Stoga element 0 neizrazi-toj udaljenosti izme�u A i B pripada s mjerom max(0.2, 0.7, 0.2) = 0.7.

Udaljenost 1 dobit ¢emo za sljede¢e parove (a ∈ A, b ∈ B): (−2,−1), (−1, 0), (0, 1), (0,−1),(1, 2) i (1, 0); pripadni iznosi funkcije pripadnosti po parovima su min(0.7, 0.2) = 0.2, min(1.0, 0.7) =0.7, min(0.7, 1.0) = 0.7, min(0.7, 0.2) = 0.2, min(0.2, 0.7) = 0.2 i min(0.2, 0.7) = 0.2. Stoga ele-ment 1 neizrazitoj udaljenosti izme�u A i B pripada s mjerom max(0.2, 0.7, 0.7, 0.2, 0.2, 0.2) = 0.7.

Udaljenost 2 dobit ¢emo za sljede¢e parove (a ∈ A, b ∈ B): (−3,−1), (−2, 0), (−1, 1),(0, 2), (1, 3) i (1,−1); pripadni iznosi funkcije pripadnosti po parovima su min(0.2, 0.2) = 0.2,min(0.7, 0.7) = 0.7, min(1.0, 1.0) = 1.0, min(0.7, 0.7) = 0.7, min(0.2, 0.2) = 0.2 i min(0.2, 0.2) =0.2. Stoga element 2 neizrazitoj udaljenosti izme�uA iB pripada s mjerom max(0.2, 0.7, 1.0, 0.7, 0.2, 0.2) =1.0.

Udaljenost 3 dobit ¢emo za sljede¢e parove (a ∈ A, b ∈ B): (−3, 0), (−2, 1), (−1, 2) i (0, 3);pripadni iznosi funkcije pripadnosti po parovima su min(0.2, 0.7) = 0.2, min(0.7, 1.0) = 0.7,min(1.0, 0.7) = 0.7 i min(0.7, 0.2) = 0.2. Stoga element 3 neizrazitoj udaljenosti izme�u A i Bpripada s mjerom max(0.2, 0.7, 0.7, 0.2) = 0.7.

Udaljenost 4 dobit ¢emo za sljede¢e parove (a ∈ A, b ∈ B): (−3, 1), (−2, 2) i (−1, 3); pripadniiznosi funkcije pripadnosti po parovima su min(0.2, 1.0) = 0.2, min(0.7, 0.7) = 0.7 i min(1.0, 0.2) =0.2. Stoga element 4 neizrazitoj udaljenosti izme�u A i B pripada s mjerom max(0.2, 0.7, 0.2) =0.7.

Udaljenost 5 dobit ¢emo za sljede¢e parove (a ∈ A, b ∈ B): (−3, 2) i (−2, 3); pripadni iznosifunkcije pripadnosti po parovima su min(0.2, 0.7) = 0.2 i min(0.7, 0.2) = 0.2. Stoga element 5neizrazitoj udaljenosti izme�u A i B pripada s mjerom max(0.2, 0.2) = 0.2.

Udaljenost 6 dobit ¢emo samo za jedan par (a ∈ A, b ∈ B): (−3, 3); pripadni iznosi funkcijepripadnosti za taj par je min(0.2, 0.2) = 0.2. Stoga element 6 neizrazitoj udaljenosti izme�u A iB pripada s mjerom max(0.2) = 0.2.

Time smo za udaljenost dobili sljede¢i neizraziti skup:

df (A,B) =

{0.7

0+

0.7

1+

1.0

2+

0.7

3+

0.7

4+

0.2

5+

0.2

6

}.

0

0.2

0.4

0.6

0.8

1

-4 -3 -2 -1 0 1 2 3 4

Broj oko -1

0

0.2

0.4

0.6

0.8

1

-4 -3 -2 -1 0 1 2 3 4

Broj oko 1

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6 7

Neizrazita udaljenost

U slu£aju da su neizrazite to£ke de�nirane nad kontinuiranim univerzal-nim skupovima (primjerice nad R), neizrazitu udaljenost trebalo bi ra£unati


za beskona£no mnogo vrijednosti. Tada bismo koristili izraz:

∀δ ∈ R+ µdf (A,B)(δ) = sup(x1, x2) ∈ X2

d(x1, x2) = δ

min{µA(x1), µB(x2)}.

6.2 Neizrazita aritmetika

Rije£ima Lot�ja Zadeha, neizrazita aritmetika omogu¢ava nam ra£unanje srije£ima. U osnovi neizrazite aritmetike nalazi se pojam neizrazitog broja.Taj pojam omogu¢ava nam modeliranje koncepata poput broj vrlo blizakbroju 3, broj oko 5, broj manje-vi²e jednak broju 12 i sli£no. Kako nam jepojam neizrazitog broja vrlo vaºan, ponovimo jo² jednom njegovu de�niciju.

De�nicija 47 (Neizraziti broj). Neka je A = (R, µA(x)) neizrazit skup de-�niran nad univerzalnim skupom R. Takav neizraziti skup A naziva se neiz-raziti broj ako je A konveksan i normalan. Ponekad se od neizrazitog brojazahtjeva jo² i da ima po dijelovima neprekinutu funkciju pripadnosti, da zasamo jedan element poprima visinu 1 te da je funkcija pripadnosti simetri£naoko tog elementa. Iako poºeljna, ta svojstva nisu nuºna.

Posljedica ovakve de�nije neizrazitog broja jest konveksnost i zatvorenostsvih njegovih α-presjeka. Naime, α-presjek svakog neizrazitog broja bit ¢eAα = [aα1 , a

α2 ]. Tako�er, ako razmotrimo dva α-presjeka, konkretno Aα1 i Aα2

te ako vrijedi α1 < α2, tada ¢e vrijediti aα11 ≤ aα2

1 i aα12 ≥ aα2

2 ; posljedicatoga je i sljede¢e svojstvo: Aα2 ⊆ Aα1 .

6.2.1 Intervalna aritmetika

Za potrebe pro²irenja aritmetike na neizrazitu aritmetiku, pogledajmo naj-prije kako bismo pro²irili aritmeti£ke operacije ako na²u nesigurnost o vrijed-nosti broja modeliramo intervalom mogu¢ih vrijednosti koje taj broj moºepoprimiti.

De�nicija 48 (Intervalna aritmetika). Neka je nesigurnost u to£nu vrijed-nost brojeva a i b modelirana zatvorenim intervalima iz kojih ti brojevi mogupoprimiti vrijednost. Konkretno, neka je vrijednost broja a modelirana inter-valom [a1, a2] a vrijednost broja b modelirana intervalom [b1, b2], pri £emu sua1, a2, b1 i b2 ∈ R. Operacije zbrajanja, oduzimanja, mnoºenja i dijeljenjatada moºemo de�nirati na sljede¢i na£in.

• Nesigurnost u vrijednost zbroja brojeva a i b tada modeliramo interva-lom:

a+ b = [a1 + b1, a2 + b2].

6.2. NEIZRAZITA ARITMETIKA 125

• Nesigurnost u vrijednost razlike brojeva a i b tada modeliramo interva-lom:

a− b = [a1 − b2, a2 − b1].

• Nesigurnost u vrijednost umno²ka brojeva a i b tada modeliramo inter-valom:

a · b = [min(a1 ·b1, a1 ·b2, a2 ·b1, a2 ·b2),max(a1 ·b1, a1 ·b2, a2 ·b1, a2 ·b2)].

• Nesigurnost u vrijednost kvocijenta brojeva a i b tada modeliramo in-tervalom:

a

b= [a1, a2] ·

[1

b2,

1

b1

]=

[min

(a1

b1,a1

b2,a2

b1,a2

b2

),max

(a1

b1,a1

b2,a2

b1,a2

b2

)]

uz ograni£enje da 0 ne smije biti u intervalu kojim modeliramo b, tj.0 /∈ [b1, b2].

Lagano se je uvjeriti da ove de�nicije doista vrijede. Primjerice, ako za aznamo da je broj iz intervala [1, 3] i za b znamo da je broj iz intervala [2, 4],suma ta dva broja bit ¢e negdje u intervalu [3, 7].

Sada moºemo de�nirati £etiri osnovne operacije nad neizrazitim broje-vima oslanjaju¢i se upravo na intervalnu aritmetiku i teorem predstavljanja.

6.2.2 Neizrazita aritmetika de�nirana preko intervalne arit-

metike

Podsjetimo se, teorem predstavljanja nam govori da se svaki neizraziti skupmoºe prikazati kao zbroj njegovih α-presjeka pomnoºenih s vrijedno²¢u sva-kog α, odnosno:

A =∑α

α ·Aα.

Uo£imo pri tome da je kod neizrazitog broja svaki α-presjek po de�nicijikonveksan zatvoreni interval. Stoga se rezultat proizvoljne aritmeti£ke ope-racije � nad neizrazitim brojevima A i B, dakle, A �B de�nira direktno nadintervalima koji odgovaraju α-presjecima neizrazitih brojeva A i B. Time se


de�nira:

A �B =∑α

α ·Aα �∑α

α ·Bα

=∑α

α · [aα1 , aα2 ] �∑α

α · [bα1 , bα2 ]

=∑α

α · ([aα1 , aα2 ] � [bα1 , bα2 ])

=∑α

α · (Aα �Bα)

=∑α

α · (A �B)α.

Pogledajmo to na slu£aju dva neizrazita broja koja su de�nirana troku-tastim funkcijama pripadnosti. Neka je neizraziti broj A de�niran funkcijomFuzzyTrokut(a1,a2,a3), odnosno:

µA(x) =

0 x < a1x−a1a2−a1 a1 ≤ x ∧ x < a2a3−xa3−a2 a2 ≤ x ∧ x < a3

0 x ≥ a3

Kako je α-presjek tog skupa zatvoreni interval, uvedimo za njega oznaku[aαL, a

αD] pri £emu aαL ozna£ava granicu s lijeve strane a aαR granicu s desne

strane. S obzirom na de�niciju trokutaste funkcije pripadnosti, za nekukonkretnu vrijednost α granice moºemo dobiti iz sljede¢ih izraza:

aαL − a1

a2 − a1= α

a3 − aαRa3 − a2

= α

iz £ega dalje slijedi:

aαL = α(a2 − a1) + a1 aαR = α(a2 − a3) + a3.

α-presjek neizrazitog broja s trokutastom funkcijom pripadnosti tada je kla-si£ni skup, odnosno interval, [α(a2 − a1) + a1, α(a2 − a3) + a3]. Ako jeneizrazit broj B zadan funkcijom FuzzyTrokut(b1,b2,b3), njegov α-presjekbit ¢e, analogno, [α(b2 − b1) + b1, α(b2 − b3) + b3].

Sada moºemo koriste¢i teorem o predstavljanju de�nirati zbroj dvajutrokutastih neizrazitih brojeva. Prema prethodno napisanom izrazu za nekiop¢eniti operator �, mora vrijediti:

A �B =∑α

α · ([aα1 , aα2 ] � [bα1 , bα2 ])


²to uz pretpostavku da radimo operaciju zbrajanja te da su u prethodnomizrazu aα1 = aαL, a

α2 = aαR, b

α1 = bαL i bα2 = bαR daje:

A+B =∑α

α · ([aαL, aαR] + [bαL, bαR])

=∑α

α · ([aαL + bαL, aαR + bαR])

=∑α

α · ([α(a2 − a1) + a1 + α(b2 − b1) + b1, α(a2 − a3) + a3 + α(b2 − b3) + b3])

=∑α

α · ([α(a2 − a1 + b2 − b1) + a1 + b1, α(a2 − a3 + b2 − b3) + a3 + b3])

=∑α

α · ([α((a2 + b2)− (a1 + b1)) + (a1 + b1), α((a2 + b2)− (a3 + b3)) + (a3 + b3)])

=∑α

α · ([α(c2 − c1) + c1, α(c2 − c3) + c3])

=∑α

α · ([cαL, cαR])

= FuzzyTrokut(c1,c2,c3)

= FuzzyTrokut(a1 + b1,a2 + b2,a3 + b3)

£ime smo pokazali da je zbroj dvaju neizrazitih trokutastih brojeva opetneizraziti trokutasti broj.

Na sli£an se na£in moºe provesti analiza i za ostale operacije ²to ostav-ljamo £itatelju za vjeºbu. Kona£ni rezultat za operaciju oduzimanja dan jeu nastavku uz pretpostavku da su A i B zadani kao prethodno de�niranitrokutasti neizraziti brojevi.

A−B = FuzzyTrokut(a1 − b3,a2 − b2,a3 − b1)

Mnoºenje i dijeljenje trokutastih brojeva ne daje trokutaste brojeve.

6.2.3 Neizrazita aritmetika de�nirana preko principa pro²i-

renja

Princip pro²irenja primijenjen na de�niranje neizrazite aritmetike kaºe daza proizvoljan operator � primijenjen nad neizrazitim brojevima de�niranimnad R mora vrijediti:

µA�B(z) = maxz=x�y

min(µA(x), µB(y)).

To zna£i da redom vrijedi ∀x, y, z ∈ R:

µA+B(z) = maxz=x+y



µA−B(z) = maxz=x−y


µA·B(z) = maxz=x·y


µAB

(z) = maxz=x

y


Primjenom ovog principa dolazi se do identi£nih de�nicija kao i prekointervalne aritmetike i teorema o predstavljanju. �itatelju se ostavlja zavjeºbu da to pokaºe na primjeru operacije zbrajanja.

Primjer: 28Zadana su dva neizrazita broja:

A(x) =

0, x < −1 ili x > 3,x+12, −1 ≤ x ≤ 1,

3−x2, 1 ≤ x ≤ 3,

B(x) =

0, x < 1 ili x > 5,x−12, 1 ≤ x ≤ 3,

5−x2, 3 ≤ x ≤ 5.

Izra£unajte njihov zbroj, razliku, umnoºak i kvocijent.

Rje²enje:

Izra£unajmo najprije α-presjeke brojeva A i B. Vrijedi: Aα = [aαL, aαR] te Bα = [bαL, b

αR]. Vrijedi:

α =aαL + 1

2⇒ aαL = 2α− 1

α =3− aαR

2⇒ aαR = 3− 2α

α =bαL − 1

2⇒ bαL = 2α+ 1

α =5− bαR

2⇒ bαR = 5− 2α

Traºeni α-presjeci tada su:Aα = [2α− 1, 3− 2α],

Bα = [2α+ 1, 5− 2α].

Neizraziti broj koji predstavlja sumu, prema teoremu predstavljanja i s obzirom na intervalnuaritmetiku, de�niran je kao:

A+B =∑

α · (A+B)α

=∑

α ([2α− 1, 3− 2α] + [2α+ 1, 5− 2α])

=∑

α[4α, 8− 4α]

=

0, x < 0 ili x > 8,x4, 0 ≤ x ≤ 4,

8−x4, 4 ≤ x ≤ 8.

= FuzzyTrokut(0, 4, 8).


Neizraziti broj koji predstavlja razliku, prema teoremu predstavljanja i s obzirom na intervalnuaritmetiku, de�niran je kao:

A−B =∑

α · (A−B)α

=∑

α ([2α− 1, 3− 2α]− [2α+ 1, 5− 2α])

=∑

α[4α− 6, 2− 4α]

=

0, x < −6 ili x > 2,x+64, −6 ≤ x ≤ −2,

2−x4, −2 ≤ x ≤ 2.

= FuzzyTrokut(0, 4, 8).

Neizraziti broj koji predstavlja umnoºak, prema teoremu predstavljanja i s obzirom na intervalnuaritmetiku, de�niran je kao:

A ·B =∑

α · (A ·B)α

=∑

α ([2α− 1, 3− 2α] · [2α+ 1, 5− 2α])

Kako bismo razrije²ili interval koji odgovara umno²ku dobivenih intervala, ozna£imo s S skupvrijednosti:

S = {(2α− 1)(2α+ 1), (2α− 1)(5− 2α), (3− 2α)(2α+ 1), (3− 2α)(5− 2α)}.

Vrijedi:

A ·B =∑

α[min(S),max(S)]

Potrebno je odrediti vrijednost minimuma i maksimuma. Pri traºenju minimalne vrijednostimoºe se vidjeti da postoje dva podru£ja. Za α ∈ [0, 0.5] vrijedi min(S) = (2α − 1)(5 − 2α) =−4α2 + 12α− 5, dok je za α ∈ [0.5, 1] vrijedi min(S) = (2α− 1)(2α+ 1) = −4α2− 1. Maksimalnavrijednost de�nirana je samo jednim £lanom za £itavo legalno podru£je od α, i to je max(S) =(3− 2α)(5− 2α) = 4α2 − 16α+ 15. Stoga je α-presjek umno²ka de�niran po dijelovima:

(A ·B)alpha =

{ [−4α2 + 12α− 5, 4α2 − 16α+ 15

]0 ≤ α ≤ 0.5,[

−4α2 − 1, 4α2 − 16α+ 15]

0.5 < α ≤ 1.

Za α = 1 dobit ¢emo jezgru neizrazitog skupa koji predstavlja umnoºak. Uvr²tavanjem dobivamoda je jezgra [3, 3]. Za α = 0 dobit ¢emo potporu neizrazitog skupa koji predstavlja umnoºak.Uvr²tavanjem dobivamo da je potpora (−5, 15). Za α = 0.5 donja granica intervala (koja jede�nirana po dijelovima) postaje −4 · 0.52 + 12 · 0.5 − 5 = 0. To zna£i da za donju granicuintervala u rasponu x ∈ [−5, 0] vrijedi izraz x = −4α2 + 12α− 5 a u rasponu od x ∈ [0, 3] vrijediizraz x = −4α2−1; gornja granica intervala kre¢e se u intervalu [3, 15] i vrijedi x = 4α2−16α+15.Iz x = −4α2 + 12α− 5 slijedi:

α1,2 =−12±

√144− 4 · 4 · (5 + x)

−8=−12± 4

√9− (5 + x)

−8=

3∓√

4− x2

Kako na intervalu x ∈ [−5, 0] vrijednost za α mora biti u intervalu [0, 1], pravo rje²enje je α1 tj.:

α =3−√

4− x2

.

Iz x = −4α2 − 1 slijedi:

α1,2 = ±1

2

√1 + x.

Kako na intervalu x ∈ [0, 3] vrijednost za α mora biti u intervalu [0, 1], pravo rje²enje je α1 tj.:

α =1

2

√1 + x.


Iz x = 4α2 − 16α+ 15 slijedi:

α1,2 =16±

√256− 16 · (15− x)

8=

16± 4√

16− (15− x)

8=

4±√

1 + x

2

Kako na intervalu x ∈ [3, 15] vrijednost za α mora biti u intervalu [0, 1], pravo rje²enje je α2 tj.:

α =4−√

1 + x

2.

Sada kona£ni rezultat moºemo raspisati po dijelovima:

(A ·B)(x) =

0, x < −5 ili x > 15,3−√4−x2

, −5 ≤ x ≤ 0,12

√1 + x, 0 ≤ x ≤ 3,

4−√1+x2

, 3 ≤ x ≤ 15.

Uo£imo da ova funkcija pripadnosti nije trokutasta funkcija � umnoºak dvaju trokutastih brojevavi²e nije trokutasti broj.Neizraziti broj koji predstavlja kvocijent, prema teoremu predstavljanja i s obzirom na intervalnuaritmetiku, de�niran je kao:

A ·B =∑

α · (A/B)α

=∑

α ([2α− 1, 3− 2α]/[2α+ 1, 5− 2α])

=∑

α

([2α− 1, 3− 2α] ·

[1

5− 2α,

1

2α+ 1

])Kako bismo razrije²ili interval koji odgovara umno²ku dobivenih intervala, ozna£imo s T skupvrijednosti:

T =

{2α− 1

5− 2α,

2α− 1

2α+ 1,

3− 2α

5− 2α,

3− 2α

2α+ 1

}.

Vrijedi:

A/B =∑

α[min(T ),max(T )]

Nakon malo ra£unanja dobiva se:

(A ·B)alpha =

[2α−12α+1

, 3−2α2α+1

]0 ≤ α ≤ 0.5,[

2α−15−2α

, 3−2α2α+1

]0.5 ≤ α ≤ 1.

te nakon jo² pone²to ra£una koji ostavljamo £itatelju za vjeºbu slijedi:

(A/B)(x) =

0, x < −1 ili x > 3,x+12−2x

, −1 ≤ x ≤ 0,5x+12x+2

√1 + x, 0 ≤ x ≤ 1

3,

3−x2x+2

, 13≤ x ≤ 3.

Uo£imo da ova funkcija pripadnosti nije trokutasta funkcija � kvocijent dvaju trokutastih brojevavi²e nije trokutasti broj.

Dio II

Umjetne neuronske mreºe

131

Poglavlje 7

Op¢enito o neuronskim

mreºama

Razvoj neurora£unarstva zapo£eo je sredinom 20. stolje¢a spojem niza bi-olo²kih spoznaja i njihovim modeliranjem prikladnim za ra£unalnu obradu.Jo² davne 1943. Warren McCulloch i Walter Pitts u radu A Logical Calculusof Ideas Immanent in Nervous Activity de�nirali su model umjetnog neurona(tzv. TLU perceptron) i pokazali da se njime mogu ra£unati logi£ke funkcijeI, ILI i NE. Uzev²i u obzir da se uporabom tih triju funkcija moºe izgraditiproizvoljna Booleova funkcija, slijedi da se izgradnjom (tj. prikladnom kons-trukcijom) umjetnom neuronskom mreºom sastavljenom od TLU neuronamoºe dobiti proizvoljna Booleova funkcija. Me�utim, problem koji ovdje va-lja jo² jednom istaknuti jest da se radi o rje²avanju problema konstrukcijom,a ne u£enjem.

Nekoliko godina kasnije, britanski biolog Donald Hebb u svojoj knjiziThe Organization of Behavior iz 1949. godine objavljuje svoje spoznaje oradu i interakciji biolo²kih neurona. Konkretno, njegovo je zapaºanje da,ako dva neurona £esto zajedno pale, tada dolazi do metaboli£kih promjenakojima e�kasnost kojom jedan neuron pobu�uje drugoga s vremenom raste.

Tom spoznajom stvoreni su svi preduvjeti za de�niranje algoritma u£enjaTLU perceptrona, i to je upravo kroz izvje²taj The Perceptron: A Perceivingand Recognizing Automaton iz 1957. i knjigu Principles of Neurodynamics iz1962. napravio Frank Rosenblatt de�niraju¢i algoritam u£enja TLU percep-trona, iskoristiv²i Hebbovu ideju da u£iti zna£i mijenjati jakost veza izme�uneurona.

7.1 Motivacija

Razvoj umjetnih neuronskih mreºa zapo£eo je kao poku²aj da se objasniinteligentno pona²anje ljudi i ºivotinja. Jedan od poku²aja obja²njavanja ipostizanja inteligentnog pona²anja kod strojeva je poznati simboli£ki pristup.

133

134 POGLAVLJE 7. OP�ENITO O NEURONSKIM MRE�AMA

Me�utim, spoznaje o funkcioniranju biolo²kih organizama do danas nisu us-pjele pokazati i dokazati da se u mozgovima odsnosno u ºiv£anom sustavuodvija simboli£ka obrada podataka i simboli£ko zaklju£ivanje. Umjesto toga,£ini se da inteligentno pona²anje izranja iz velikog broja jednostavnih pro-cesnih elemenata (neurona) koji podatke obra�uju masovno paralelno i uzveliku redundanciju � ²to je temelj pristupa danas poznatog pod nazivomkonektivizam. Istraºivanja su pokazala da se u ljudskom mozgu nalazi popri-lici 1011 neurona koji su me�usobno povezani s oko 1015 veza. To zna£i daje svaki neuron povezan s u prosjeku 104 veza iz £ega je jasno da je obradapodataka u ljudskom mozgu masovno paralelna. Dodatni argument tezio masovno parelnoj obradi podataka slijedi i iz vrlo sporog rada neurona;naime, vrijeme paljenja neurona je poprilici 1 ms. Uzmemo li u obzir da£ovjek moºe izuzetno kompleksnu obradu podataka rije²iti u vrlo kratkomvremenu (primjerice, vlastitu majku moºemo prepoznati sa slike u vremenuod ≈ 0.1 s), o£ito je da se obrada ne moºe odvijati slijedno jer je broj korakakoje je u tako kratkom vremenu mogu¢e napraviti vrlo mali.

S obzirom da se podru£je umjetnih neuronskih mreºa razvija ve¢ posljed-njih sedamdesetak godina, do danas je napravljen niz uspje²nih primjena.Neuronske mreºe su se pokazale kao uspje²an model za aproksimaciju funk-cija, klasi�kaciju podataka, predvi�anje trendova i sli£no. Zgodno je spo-menuti i eksperimentalnu neuronsku mreºu Alvin razvijenu na sveu£ili²tuCarnegie Mellon. Radi se o umjetnoj neuronskoj mreºi koja u£i kako vozitiautomobil promatraju¢i kako to radi £ovjek. Kroz napravljene eksperimenteta je mreºa uspje²no upravljala vozilom na dionici duljine 100 km voze¢i pritome vr²nom brzinom od 110 km/h.

S obzirom na niz dobrih svojstava neuronskih mreºa, poput njihove ro-busnosti na pogre²ke u podatcima, otpornosti na ²um, masovno paralelnuobradu podataka te mogu¢nost u£enja, ova je paradigma i danas u fokusuistraºivanja i primjene.

7.2 Osnovni model neurona

Upoznavanje s umjetnim neuronskim mreºama zapo£et ¢emo promatranjemjednog neurona. Pojednostavljeno, biolo²ki neuron sastoji se od dendrita,tijela neurona i aksona. U prosjeku, svaki je neuron povezan s 104 drugihneurona preko dendrita, i preko njih prikuplja elektri£ke impulse koje aku-mulira u tijelu. Nakon ²to se akumulira odre�ena koli£ina naboja (ugruboodre�ena pragom), neuron pali � akumulirani naboj ²alje kroz svoj aksonprema drugim neuronima i time se prazni. U tom smislu, dendriti predstav-ljaju ulaze preko kojih neuron prikuplja informacije, tijelo stanice ih obra�ujei na kraju generira rezultat koji se prenosi kroz akson � izlaz neurona.

Temeljem ovako pojednostavljenog opisa de�niran je osnovni model ne-urona koji je prikazan na slici 7.1. Model se sastoji od ulaza x1 do xn

7.2. OSNOVNI MODEL NEURONA 135

Slika 7.1: Osnovni model neurona

("dendriti"), teºina w1 do wn koje odre�uju u kojoj mjeri svaki od ulazapobu�uje neuron, tijela neurona koje ra£una ukupnu pobudu (koju ¢emo£esto ozna£avati s net) te prijenosne funkcije f(net) ("akson" neurona) kojapobudu obra�uje i proslije�uje na izlaz neurona.

Ukupna pobuda net ra£una se prema izrazu:

net = w1 · x1 + w2 · x2 + . . .+ wn · xn − θ

pri £emu θ predstavlja prag paljenja neurona. Kako se iznos praga ne bimorao posebno tretirati u izrazima za net, naj£e²¢e se de�nira da neuronima jo² jedan "�ktivni" ulaz x0 na koji je uvijek dovedena vrijednost 1, aprag θ tada se zamjenjuje teºinom w0 £ime se dobije kona£ni izraz:

net = w0 · x0 + w1 · x1 + w2 · x2 + . . .+ wn · xn

=n∑i=0

wi · xi

= ~w · ~x

pri £emu je ~x = (1, x1, x2, . . . , xn) (n+1)-dimenzijski vektor koji predstavljaulaz u neuron a ~w = (w0, . . . , wn) (n+ 1)-dimenzijski vektor teºina.

Prijenosna funkcija modelira pona²anje aksona i u praksi se koristi neko-liko tipi£nih prijenosnih funkcija koje su prikazane na slici 7.2.

Prijenosna funkcija prikazana na slici 7.2 (a) je funkcija skoka (engl. step-function). Ta je funkcija de�nirana na sljede¢i na£in:

f(net) =

{0, net ≤ 01, ina£e

Ovu prijenosnu funkciju koristili su Warren McCulloch i Walter Pitts 1943.godine prilikom de�niranja modela TLU perceptrona (engl. Threshold LogicUnit). Temelje¢i se na takvom modelu neurona pokazali su kako je njimemogu ra£unati osnovne Booleove funkcije I, ILI i NE.

Prijenosna funkcija prikazana na slici 7.2 (b) je linearna funkcija de�ni-rana izrazom:

f(net) = k · net+ l


-0.2 0

0.2 0.4 0.6 0.8

1 1.2

-6 -4 -2 0 2 4 6

a) Funkcija skoka

-0.2 0

0.2 0.4 0.6 0.8

1 1.2

-6 -4 -2 0 2 4 6

b) Linearna funkcija

-0.2 0

0.2 0.4 0.6 0.8

1 1.2

-6 -4 -2 0 2 4 6

c) Po dijelovima linearna funkcija

-0.2 0

0.2 0.4 0.6 0.8

1 1.2

-6 -4 -2 0 2 4 6

d) Sigmoidalna (logistička) funkcija

Slika 7.2: Tipi£ne prijenosne funkcije

gdje su k i l konstante. Neuroni s ovakvim prijenosnim funkcijama £esto sekoriste u izlaznim slojevima neuronskih mreºa. Valja me�utim napomenutida se samo ovakvim neuronima ne mogu graditi sloºene neuronske mreºe jerse od samo linearnih elemenata ne moºe dobiti ni²ta sloºenijega (odnosno,£itava se mreºa opet pretvara u jedan linearni element).

Kako bi se rije²io uo£eni problem, umjesto linearne prijenosne funkcijemoºe se koristiti funkcija prikazana na slici 7.2 (c): po dijelovima linearnafunkcija koja je de�nirana izrazom:

f(net) =

0, net ≤ l

net−lu−l , l < net < u

1, net ≥ u

Me�utim, uz sve navedene prijenosne funkcije nije se znalo kako de�niratialgoritam u£enja sloºenijih neuronskih mreºa koje su sastavljene od takvihelemenata. Rje²enje u obliku algoritma Backpropagation pojavilo se tekuvo�enjem derivabilnih prijenosnih funkcija £iji je najpoznatiji predstavniksigmoidalna (ili logisti£ka) prijenosna funkcija koja je prikazana na slici 7.2(d) i de�nirana izrazom:

f(net) =1

1 + e−net

Uz ovu funkciju zgodno je jo² i primijetiti da je derivacija te funkcije:

df(net)

dnet= f(net) · (1− f(net))

²to ¢emo kasnije £esto koristiti. Poku²ajte stoga to izvesti za vjeºbu.

7.3. OSNOVNI MODEL NEURONSKE MRE�E 137

Slika 7.3: Tipi£na gra�a neuronske mreºe

7.3 Osnovni model neuronske mreºe

Izolirani neuron, kako smo vidjeli u prethodnom poglavlju, moºe obavljatisamo jednostavnu obradu podataka. Stoga se vi²e neurona povezuje u raz-li£ite strukture poznate pod op¢enitim nazivom umjetne neuronske mreºe.Jedan primjer takve mreºe prikazan je na slici 7.3.

S lijeve strane mreºe nalaze se ulazni neuroni. To su neuroni na kojese dovodi informacija koju je potrebno obraditi. Ulazni neuroni pri tomene obavljaju nikakvu obradu ve¢ ulaz dovode do ostalih neurona u mreºi.Unutra²njost mreºe sastoji se od neurona koji se izvana ne vide i koji nemajunikakvog doticaja niti s ulazom, niti s izlazom mreºe. Kona£no, krajnje desnonalazi se izlazni sloj neurona koji rezultat obrade dostavljaju okolini.

Mreºa prikazana u ovom primjeru je slojevita mreºa. Me�utim, op¢e-nito, mreºa ne mora biti takva. U op¢em slu£aju mogu¢e je da bilo kojineuron bude povezan s bilo kojim drugim neuronom, £ime se otvara mogu¢-nost de�niranja vrlo velikog broja razli£itih arhitektura umjetnih neuronskihmreºa. Pri tome valja voditi ra£una o tome da pona²anje neuronske mreºekao i u£enje, odnosno lako¢a u£enja, ovisi velikim dijelom o samoj arhitek-turi neuronske mreºe. Primjerice, slojevite neuronske mreºe uz �ksan ulazgenerirat ¢e stabilan izlaz i u tom smislu odgovarat ¢e funkcijskom presli-kavanju. Dozvoli li se pak da u neuronskoj mreºi postoje cikli£ki povezanineuroni, izlaz takve mreºe £ak ¢e i uz �ksne ulaze biti vremenski promjenjivjer ¢e unura²njost mreºe tada mo¢i pohranjivati stanje. Algoritmi za u£enjetakvih mreºa bit ¢e bitno kompleksniji (i nee�kasniji).


7.4 Vrsta i podjela neuronskih mreºa

Ovisno o gra�i i namjeni umjetnih neuronskih mreºa, do danas je razvijen £i-tav niz razli£itih vrsta umjetnih neuronskih mreºa, od kojih ¢emo u nastavkunabrojiti samo neke.

• Meºe za u£enje s u£iteljem

� Unaprijedne

∗ Linearne· Perceptron: Rosenblatt (1958), Minsky and Papert (1969/1988)· Adaline: Widrow and Ho� (1960)

∗ Vi²eslojni perceptron· Backpropagation: Rumelhart, Hinton, andWilliams (1986)

∗ RBF mreºe (mreºe s radijalnim baznim funkcijama)

� Mreºe s povratnim vezama

∗ Boltzmanov stroj∗ Mreºe za vremenske serije (Backpropagation kroz vrijeme,Mreºe s vremenskim pomakom � Time Delay NN)

� Mreºe s natjecanjem

∗ Counterpropagation mreºe

• Mreºe za u£enje bez u£itelja

� Mreºe s natjecanjem

∗ Mreºe za kvantizaciju vektora∗ Samoorganiziraju¢e mreºe (npr. Kohonenov SOM)

Poglavlje 8

Unaprijedne neuronske mreºe

Unaprijedna slojevita neuronska mreºa (£esto jo² poznata i pod nazivomvi²eslojni perceptron, odnosno engl. multilayer perceptron) je vrsta neuronskemreºe £ija je struktura prikazana na slici u nastavku.

Prikazana neuronska mreºa sastoji se od tri sloja.

• 1. sloj odnosno ulazni sloj sastoji se od neurona koji ne obavljajunikakvu funkciju ve¢ naprosto preslikavaju dovedene ulazne podatke i£ine ih dostupnima ostatku mreºe. U tom smislu to su neuroni £ija jeprijenosna funkcija upravo funkcija identiteta. Mreºa prikazana na sliciima 4 neurona u ulaznom sloju pa radi s 4-dimenzijskim podatcima.Ulaz stoga moºemo zapisati kao ~x = (x1, x2, x3, x4). Za neurone ovogsloja vrijedi y(1)

i = xi.

• 2. sloj odnosno skriveni sloj sastoji se od neurona koji na svoje ulazedobivaju isklju£ivo vrijednosti izlaza neurona 1. sloja. Pri tome izlazneurona i iz 1. sloja na neuron j u 2. sloju utje£e s teºinom w

(1)ij .

139

140 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MRE�E

• 3. sloj odnosno izlazni sloj sastoji se od neurona koji na svoje ulazedobivaju isklju£ivo vrijednosti izlaza neurona 2. sloja. Na prikazanojslici neurona u izlaznom sloju ima 3 ²to zna£i da prikazana neuronskamreºa generira 3-dimenzijske izlaze, odnosno ~y(3) = (y

(3)1 , y

(3)2 , y

(3)3 ).

Prikazana neuronska mreºa, dakle, ostvaruje preslikavanje podataka iz4-dimenzijskog prostora ~x u 3-dimenzijski prostor ~y(3).

Za mreºu kaºemo da je slojevita ako u svakom sloju k vrijedi da se izlazineurona tog sloja ra£unaju samo i isklju£ivo temeljem izlaza neurona slojak − 1. Kod slojevitih mreºa lateralne veze (veze izme�u neurona u istomsloju) nisu dozvoljene.

Da bi mreºa bila unaprijedna, nije nuºno da bude slojevita: slojeviteneuronske mreºe samo su jedan od posebnih oblika unaprijednih neuronskihmreºa. Da bi mreºa bila unaprijedna, nuºan i dovoljan uvjet je da nemaciklusa. Algoritam Backpropagation za u£enje neuronskih mreºa koji je opi-san u nastavku primjenjiv je na op¢enitu kategoriju unaprijednih neuronskihmreºa, iako ¢emo ga izvesti na primjeru slojevite mreºe.

8.1 U£enje gradijentnim spustom

Prije no ²to obradimo najpoznatiji algoritam za u£enje unaprijednih neuron-skih mreºa, podsjetimo se osnovne ideje pronalaska minimuma funkcije kojase temelji na uporabi derivacije funkcije odnosno op¢enitije na uporabi gra-dijenta. Neka je dana funkcija f(x) = 1

5(x − 4)2 + 2 koja je prikazana naslici u nastavku.

0

2

4

6

8

10

12

-3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11

f(x)

x

Zadatak je prona¢i onu vrijednost varijable x∗ za koju funkcija poprimaminimalnu vrijednost. Sa slike je jasno da je x∗ = 4. Ideja gradijentnog

8.1. U�ENJE GRADIJENTNIM SPUSTOM 141

spusta je krenuti od neke po£etne slu£ajno odabrane vrijednosti za x i potomtu vrijednost umanjivati ili uve¢avati ovisno o iznosu derivacije funkcije u tojto£ki. Gra�£ko je to prikazano na slici u nastavku.

Za zadanu funkciju derivaciju je trivijalno odrediti:

f ′(x) =df(x)

dx=

2

5(x− 4).

Pretpostavimo da smo za po£etnu vrijednost varijable x odabrali x0 =−1. Vrijednost derivacije funkcije u toj to£ki je df(x)

dx |x=x0 = −2. Kako jepredznak derivacije negativan a sa slike je jasno da je x potrebno uve¢ati, po-mak koji je potrebno napraviti bit ¢e proporcionalan negativnoj vrijednostiderivacije. Koristit ¢emo sljede¢i izraz:

xi+1 = xi − ψ ·df(x)

dx|x=xi


pri £emu uobi£ajeno mala pozitivna konstanta ψ kontrolira veli£inu korekcije.Prvih nekoliko iteracije uzvrijednost ψ = 4 daju:

x0 = −1 (slu£ajno odabrano)

x1 = x0 − ψ ·df(x)

dx|x=x0 = −1− 4 · df(x)

dx|x=−1 = −1− 4 · (−2) = 7

x2 = x1 − ψ ·df(x)

dx|x=x1 = 7− 4 · df(x)

dx|x=7 = 7− 4 · 1.2 = 2.2

x3 = x2 − ψ ·df(x)

dx|x=x2 = 2.2− 4 · df(x)

dx|x=2.2 = 2.2− 4 · (−0.72) = 5.08

x4 = x3 − ψ ·df(x)

dx|x=x3 = . . .

Za prikazani primjer, postupak ¢e u kona£nici konvergirati prema x∗.Op¢enito, postoje tri situacije koje se mogu pojaviti prilikom provo�enjagradijentnog spusta.

1. Monotona konvergencija. Ako je faktor ψ dovoljno mali, vrijednosti zax bi se monotono pribliºavale prema x∗. U primjeru koji smo provelito nije bio slu£aj. No da je, primjerice, ψ bio postavljen na vrijednost1, dobili bismo slijed x-eva: -1, 1, 2.2, 2.92, 3.352, 3.6112, 3.76672,3.86003, 3.91602, 3.94961, 3.96977, 3.98186, 3.98912, . . . koji polakoteºi prema vrijednosti x∗ = 4. Ovaj hod x-eva u na²em primjeruodgovarao bi spustu po lijevom dijelu parabole prema minimumu.

2. Alterniraju¢a konvergencija. Ako je faktor ψ umjereno velik, vrijed-nosti za x vi²e se ne bi monotono pribliºavale prema x∗ ve¢ bi alter-nirale oko njega (svaki puta sve bliºe i bliºe). To je upravo slu£aj uprimjeru koji smo proveli gdje je ψ = 4. Uz malo vi²e napravljenihkoraka, slijed x-eva koji se dobiva je: -1, 7, 2.2, 5.08, 3.352, 4.3888,3.76672, 4.13997, 3.91602, 4.05039, 3.96977, 4.01814, 3.98912, . . .. Tajniz opet polako teºi prema vrijednosti x∗ = 4 ali uo£ite kako su svakadva susjedna elementa niza sa suprotnih strana optimalne vrijednostiza x.

3. Divergencija. Ako je faktor ψ prevelik, vrijednosti za x vi²e se uop¢e nebi pribliºavale optimalnoj vrijednosti x-a ve¢ bi alternirale i svaki putana sve ve¢im udaljenostima. Primjerice, uz ψ = 8, slijed x-eva kojise dobiva je: -1, 11, -5.8, 17.72, -15.208, 30.8912, -33.64768, 56.70675,-69.78945, 107.30523, -140.62733, 206.47826, -279.46956, . . .. U zada-nom primjeru grani£ni slu£aj uz koji jo² uvijek nema divergencije jeψ = 5 uz koji postupak niti konvergira niti divergira ve¢ oscilira; uzx0 = −1 dobiva se slijed -1, 9, -1, 9, -1, 9, . . .. Treba napomenuti daje ova vrijednost karakteristi£na upravo za ovaj konkretan primjer: uzdruge funkcije grani£na ¢e vrijednost biti druga£ija.

8.2. ALGORITAM BACKPROPAGATION 143

Ako znamo algebarski oblik funkcije koju optimirano i ako je on dovoljnojednostavan, prethodna tri slu£aja moºemo izvesti i formalno. Evo samoideje ukratko.

1. Ograda divergencije. Pretpostavimo da je ψ takav da iz koraka u korakrje²enja alterniraju. Sustav jo² uvijek ne¢e divergirati ako vrijedi:

x1 = x0 − ψ ·df(x)

dx|x=x0

x2 = x1 − ψ ·df(x)

dx|x=x1 = x0

odnosno ako se po povratku na po£etnu stranu vratimo u to£ku iz kojesmo krenuli (a ne dalje od nje). Uvr²tavanjem izraza za x1 u izraz zax2 i izjedna£avanjem tog izraza s x0 te uz zadanu funkciju f s kojomsmo radili i £ija je derivacija 2

5(x − 4) direktno slijedi da je grani£navrijednost ψgr = 5 (probajte to za vjeºbu).

2. Ograda monotonosti. Promotrimo ²to se doga�a kada ψ postupno sma-njujemo od ψgr na niºe. Postupak ¢e alternirati sa sve manjom i ma-njom amplitudom sve do trenutka kada korekcija ne¢e biti dovoljnovelika da xi koji se nalazi s jedne strane x∗ prebaci na njegovu drugustranu � slu£aj od interesa je dakle situacija koja xi promijeni to£notoliko da postane jednak x∗. No sada je lagano. Moºemo pisati:

x1 = x0 − ψ ·df(x)

dx|x=x0 = x∗

²to u slu£aju na²e zadane funkcije (i uz x∗ = 4) direktno daje iznosψalt = 2.5 (napravite taj izvod za vjeºbu).

Uz ovako odre�ene vrijednosti sada moºemo opisati pona²anje gradijent-nog spusta za zadanu funkciju:

1. Uz ψ ≤ ψalt konvergencija je monotona.

2. Uz ψalt < ψ < ψgr konvergencija je alterniraju¢a.

3. Uz ψ = ψgr postupak oscilira (niti konvergira niti divergira).

4. Uz ψ > ψgr postupak divergira.

8.2 Algoritam Backpropagation

Najpoznatiji algoritam za u£enje unaprijednih neuronskih mreºa izvest ¢emokrenuv²i od op¢enite slojevite unaprijedne neuronske mreºe koja ima d ulaza,m izlaza i za £ije nam je u£enje na raspolaganju N parova (~xi,~ti) gdje je ~xid-dimenzijski vektor koji predstavlja i-ti ulazni uzorak a ~ti m-dimenzijski


vektor koji predstavlja ºeljeni odziv mreºe za promatrani i-ti ulazni uzorak.Tako�er, pretpostavka ¢e biti da svi neuroni imaju sigmoidalnu prijenosnufunkciju, tj. da vrijedi:

y =1

1 + e−net,

gdje je net teºinska suma za pronatrani neuron. Promatrat ¢emo neuronskumreºu koja ima k+1 sloj: 1. sloj je ulazni sloj, 2. sloj do k-ti sloj su skrivenislojevi i k+1-vi sloj je izlazni sloj. Neurone u svakom sloju ¢emo numeriratipa ¢emo tako oznakom y

(k)i ozna£avati izlaz i-tog neurona u k-tom sloju.

Za potrebe de�niranja postupka u£enja moramo de�nirati kriterijskufunkciju koja mjeri kvalitetu neuronske mreºe. U ovom slu£aju de�nirat¢emo da je kriterijska funkcija jednaka polovici srednjeg kvadratnog odstu-panja izme�u svakog ºeljenog izlaza mreºe i stvarne vrijednosti koju mreºagenerira na izlazu i to kumulativno za sve raspoloºive uzorke. Kako je izlaznisloj promatrane mreºe k + 1-vi sloj, moºemo pisati:

E =1

2N

N∑s=1

m∑o=1

(ts,o − y(k+1)

s,o

)2

pri £emu indeks s ide po svim uzorcima za u£enje a indeks o ide po svimizlaznim neuronima. Oznaka ts,o tada predstavlja o-tu dimenziju ºeljenogizlaza koji je pridruºen s-tom uzorku za u£enje a oznaka y(k+1)

s,o predstav-lja izlaz o-tog neurona izlaznog sloja (dakle k + 1-vog sloja) koji je mreºagenerirala kada joj je na ulaz doveden upravo s-ti uzorak za u£enje.

De�nirana funkcija E funkcija je od zadanog skupa uzoraka (koji je zapostupak u£enja nepromjenjiv) te vrijednosti teºinskih faktora, uz pretpos-tavku da je struktura mreºe tako�er nepromjenjiva. U tom slu£aju na iznosfunkcije E moºemo utjecati samo promjenom vrijednosti teºinskih faktora.Stoga ¢e zada¢a postupka u£enja biti prona¢i takve vrijednosti teºinskih fak-tora uz koje ¢e iznos funkcije E biti minimalan.

U skladu s prethodno poja²njenom idejom gradijentnog spusta, to zna£ida je potrebno izra£unati gradijent od E kojeg £ine redom parcijalne deri-vacije od E po svakom od teºinskih faktora, tj. ºelimo izra£unati:

∂E

∂w(k)ij

.

Tada ¢emo, u skladu s pravilom gradijentnog spusta, mo¢i aºurirati teºinuw

(k)ij na sljede¢i na£in:

w(k)ij ← w

(k)ij − ψ ·

∂E

∂w(k)ij

(8.1)

gdje ¢e ψ biti mala pozitivna konstanta.


8.2.1 Slu£aj 1: izlazni sloj

Najprije ¢emo razmotriti slu£aj u kojem teºinski faktor pripada neuronuizlaznog sloja. Takva situacija prikazana je na sljede¢oj slici.

Potrebno je izra£unati ∂E

∂w(k)ij

. Moºemo pisati:

∂E

∂w(k)ij

=∂

∂w(k)ij

[1

2N

N∑s=1

m∑o=1

(ts,o − y(k+1)

s,o

)2]

(8.2)

=1

2N

N∑s=1

m∑o=1

2 ·(ts,o − y(k+1)

s,o

)· (−1) · ∂y

(k+1)s,o

∂w(k)ij

(8.3)

= − 1

N

N∑s=1

m∑o=1

(ts,o − y(k+1)

s,o

)· ∂y

(k+1)s,o

∂w(k)ij

. (8.4)

Kako je teºina w(k)ij teºina koja spaja i-ti neuron u k-tom sloju i j-ti

neuron u k + 1-vom sloju, on utje£e samo na izlaz neurona j u k + 1-vom

sloju. Stoga parcijalne derivacije ∂y(k+1)s,o

∂w(k)ij

za slu£aj da je o 6= j i²£ezavaju te

vrijedi:m∑o=1

∂y(k+1)s,o

∂w(k)ij

=∂y

(k+1)s,j

∂w(k)ij

tako da moºemo pisati:

∂E

∂w(k)ij

= − 1

N

N∑s=1

(ts,j − y(k+1)

s,j

)·∂y

(k+1)s,j

∂w(k)ij

. (8.5)


Za izra£un preostale parcijalne derivacije posluºit ¢emo se pravilom ulan£a-vanja derivacija pa moºemo pisati:

∂y(k+1)s,j

∂w(k)ij

=∂y

(k+1)s,j

∂net(k+1)s,j

·∂net

(k+1)s,j

∂w(k)ij

(8.6)

Uo£imo da za sigmoidalnu prijenosnu funkciju vrijedi:

∂y(k+1)s,j

∂net(k+1)s,j

= y(k+1)s,j · (1− y(k+1)

s,j ).

Tako�er, uo£imo da je net(k+1)s,j teºinska suma za neuron k + 1-vog sloja,

odnosno da se ra£una kao:

net(k+1)s,j = w

(k)1,j · y

(k)s,1 + w

(k)2,j · y

(k)s,2 + · · ·+ w

(k)i,j · y

(k)s,i + · · ·

Uo£imo sada da, zbog svojstva slojevitosti mreºe (nema cikli£kih i lateralnihveza) niti jedan od izlaza y(k)

s,1 , y(k)s,2 , . . . temeljem kojih se ra£una net(k+1)

s,j

ne ovise o teºini w(k)i,j ve¢ su s obzirom na nju konstante. Tada je traºena

parcijalna derivacija jednaka:

∂net(k+1)s,j

∂w(k)ij

= y(k)s,i .

Slijedi da je:

∂y(k+1)s,j

∂w(k)ij

= y(k+1)s,j · (1− y(k+1)

s,j ) · y(k)s,i

²to uvr²tavanjem u izraz (8.5) daje:

∂E

∂w(k)ij

= − 1

N

N∑s=1

y(k+1)s,j ·

(1− y(k+1)

s,j

)·(ts,j − y(k+1)

s,j

)· y(k)s,i (8.7)

= − 1

N

N∑s=1

δ(k+1)s,j · y(k)

s,i (8.8)

pri £emu je:

δ(k+1)s,j = y

(k+1)s,j ·

(1− y(k+1)

s,j

)·(ts,j − y(k+1)

s,j

).


Veli£ina δ(k+1)s,j predstavlja pogre²ku j-tog izlaznog neurona za s-ti uzorak za

u£enje. Pravilo za aºuriranje teºine w(k)ij tada glasi:

w(k)ij ← w

(k)ij − ψ ·

∂E

∂w(k)ij

(8.9)

← w(k)ij − ψ ·

(− 1

N

N∑s=1

δ(k+1)s,j · y(k)

s,i

)(8.10)

← w(k)ij + η ·

(N∑s=1

δ(k+1)s,j · y(k)

s,i

)(8.11)

gdje smo umjesto umno²ka konstanti ψ · 1N uveli novu konstantu η.

8.2.2 Slu£aj 2: teºina pripada skrivenom sloju

Ovaj slu£aj razmotrit ¢emo na primjeru teºine koja se nalazi u zadnjemskrivenom sloju i potom napraviti poop¢enje na proizvoljni sloj. Ovaj slu£ajprikazan je na sljede¢oj slici.

Potrebno je izra£unati parcijalnu derivaciju kriterijske funkcije po pro-matranoj teºini w(k−1)

ij .


∂E

∂w(k−1)ij

=∂

∂w(k−1)ij

[1

2N

N∑s=1

m∑o=1

(ts,o − y(k+1)

s,o

)2]

(8.12)

=1

2N

N∑s=1

m∑o=1

2 ·(ts,o − y(k+1)

s,o

)· (−1) · ∂y

(k+1)s,o

∂w(k−1)ij

(8.13)

= − 1

N

N∑s=1

m∑o=1

(ts,o − y(k+1)

s,o

)· ∂y

(k+1)s,o

∂w(k−1)ij

(8.14)

= − 1

N

N∑s=1

m∑o=1

(ts,o − y(k+1)

s,o

)· ∂y

(k+1)s,o

∂net(k+1)s,o

· ∂net(k+1)s,o

∂w(k−1)ij

(8.15)

(8.16)

Raspi²imo svaku od prikaznih parcijalnih derivacija. Prva je derivacija sig-moidalne prijenosne funkcije ²to je trivijalno:

∂y(k+1)s,o

∂net(k+1)s,o

= y(k+1)s,o · (1− y(k+1)

s,o ).

Da bismo razrije²ili preostalu parcijalnu derivaciju, �ksirajmo na trenutak oi pogledajmo kako se ra£una net(k+1)

s,o . Vrijedi:

net(k+1)s,o = w1o · y(k)

s,1 + w2o · y(k)s,2 + · · ·wjo · y(k)

s,j + · · ·

Zbog toga ²to je mreºa slojevita, teºina w(k−1)ij koja se nalazi u teºinskoj

sumi j-tog neurona u k-tom sloju utje£e samo na njegov izlaz, odnosno na

y(k)s,j . Stoga ∀o 6= j vrijedi ∂y

(k)s,o

∂w(k−1)ij

= 0 jer promjena te teºine nema nikakvog

utjecaja na te izlaze. Slijedi da je samo∂y

(k)s,j

∂w(k−1)ij

6= 0, pa je:

∂net(k+1)s,o

∂w(k−1)ij

=∂

∂w(k−1)ij

(w1o · y(k)

s,1 + w2o · y(k)s,2 + · · ·wjo · y(k)

s,j + · · ·)

= w1o ·∂y

(k)s,1

∂w(k−1)ij

+ w2o ·∂y

(k)s,2

∂w(k−1)ij

+ · · ·wjo ·∂y

(k)s,j

∂w(k−1)ij

+ · · ·

= wjo ·∂y

(k)s,j

∂w(k−1)ij

.


Kombiniranjem ovih rezultata slijedi:

∂E

∂w(k−1)ij

= − 1

N

N∑s=1

m∑o=1

[(ts,o − y(k+1)

s,o

)· y(k+1)s,o · (1− y(k+1)

s,o ) · wjo ·∂y

(k)s,j

∂w(k−1)ij

]

= − 1

N

N∑s=1

[∂y

(k)s,j

∂w(k−1)ij

m∑o=1

(ts,o − y(k+1)

s,o

)· y(k+1)s,o · (1− y(k+1)

s,o ) · wjo

]

= − 1

N

N∑s=1

[∂y

(k)s,j

∂w(k−1)ij

m∑o=1

δ(k+1)s,o · wjo

]

Kona£no, preostalu parcijalnu derivaciju∂y

(k)s,j

∂w(k−1)ij

sada je trivijalno razrije²iti

jer je teºina w(k−1)ij upravo teºina neurona £iji je izlaz y(k)

s,j . Koriste¢i praviloulan£avanja moºemo pisati:

∂y(k)s,j

∂w(k−1)ij

=∂y

(k)s,j

∂net(k)s,j

·∂net

(k)s,j

∂w(k−1)ij

= y(k)s,j · (1− y

(k)s,j ) · y(k−1)

s,i

Uvr²tavanjem slijedi:

∂E

∂w(k−1)ij

= − 1

N

N∑s=1

[y

(k)s,j · (1− y

(k)s,j ) · y(k−1)

s,i ·m∑o=1

δ(k+1)s,o · wjo

]

= − 1

N

N∑s=1

[y

(k−1)s,i ·

{y

(k)s,j · (1− y

(k)s,j ) ·

m∑o=1

δ(k+1)s,o · wjo

}]

= − 1

N

N∑s=1

[y

(k−1)s,i · δ(k)

s,j

]

pri £emu je pogre²ka skrivenog neurona j u sloju k za uzorak s de�niranakao derivacija njegove prijenosne funkcije pomnoºena teºinskom sumom po-gre²aka neurona sljede¢eg sloja, odnosno:

δ(k)s,j = y

(k)s,j · (1− y

(k)s,j ) ·

m∑o=1

δ(k+1)s,o · wjo.

Aºuriranje teºine w(k−1)ij tada se obavlja na sljede¢i na£in:


w(k−1)ij ← w

(k−1)ij − ψ · ∂E

∂w(k−1)ij

(8.17)

← w(k−1)ij − ψ ·

(− 1

N

N∑s=1

[y

(k−1)s,i · δ(k)

s,j

])(8.18)

← w(k−1)ij + η ·

(N∑s=1

[δ

(k)s,j · y

(k−1)s,i

])(8.19)

gdje smo umjesto umno²ka konstanti ψ · 1N uveli novu konstantu η.

Razmotrimo li umjesto neurona iz zadnjeg skrivenog sloja neki od ne-urona iz prethodnih slojeva, dolazi se do strukturno istih formula: za svakineuron iz skrivenog sloja l pogre²ka se ra£una kao derivacija njegove pri-jenosne funkcije pomnoºena teºinskom sumom pogre²aka neurona sljede¢egsloja na koje je promatrani neuron direktno spojen.

8.2.3 Op¢i slu£aj

Analizom neurona izlaznog sloja dobili smo izraz za aºuriranje teºina:

w(k)ij ← w

(k)ij + η ·

(N∑s=1

δ(k+1)s,j · y(k)

s,i

)

a analizom neurona skrivenog sloja izraz:

w(k−1)ij ← w

(k−1)ij + η ·

(N∑s=1

δ(k)s,j · y

(k−1)s,i

)

Pravilo aºuriranja je dakle isto � razlika je samo u na£inu kako se ra£unapogre²ka. Za neurone izlaznog sloja pogre²ku je mogu¢e izra£unati direktno:ona je jednaka derivaciji prijenosne funkcije pomnoºenoj s razlikom izme�uo£ekivane vrijednosti izlaza i dobivene vrijednosti izlaza. Pogre²ke neuronaskrivenih slojeva potom se ra£unaju na opisani na£in temeljem pogre²akaizlaznih neurona.

Teºinski faktore koje do sada nismo razmatrali su slobodni teºinski fak-tori (odnosno ono ²to u net-u odgovara teºini w0). Napravimo li i taj izvod(ostavljamo £itatelju za vjeºbu), dobit ¢e se izrazi koji odgovaraju prethodnoizvedenima uz postavljanje y(k)

s,i = 1 odnosno y(k−1)s,i = 1; drugim rije£ima,

moºemo se praviti da su te teºine spojene izme�u �ksnih neurona koji stalnona izlazu generiraju vrijednost 1.

8.3. INA�ICE ALGORITMA BACKPROPAGATION 151

8.3 Ina£ice algoritma Backpropagation

Direktnom primjenom metode gradijentnog spusta na minimizaciju srednjekvadratne pogre²ke nad cjelokupnim skupom uzoraka za u£enje dobili smosljede¢i izraz za aºuriranje teºinskih faktora:

w(k)ij ← w

(k)ij + η ·

(N∑s=1

δ(k+1)s,j · y(k)

s,i

).

U tom izrazu suma:N∑s=1

δ(k+1)s,j · y(k)

s,i

dolazi iz izraza za to£nu vrijednost gradijenta kriterijske funkcije u to£ki kojaje odre�ena trenutnim vrijednostima teºinskih faktora. Algoritam u£enjaostvaren na ovaj na£in spada u porodicu algoritama grupnog u£enja (engl.batch learning algorithm) kod kojih se u£enje doga�a tek po predo£enju svihuzoraka za u£enje. U tom smislu, jedna je epoha jednaka jednoj iteracijiovako izvedenog algoritma.

S obzirom da ovako izvedeni algoritam u svakoj to£ki ra£una to£an iznosgradijenta, algoritam garantira da se nakon svakog koraka ukupna pogre²ka(uz dovoljno malu konstantu η) ne¢e pove¢avati: ili ¢e stagnirati, ili ¢e sesmanjivati. Problem ove izvedbe, me�utim, leºi u tome ²to je funkcija koja seminimizira visoko multimodalana te gradijent u svakoj to£ki uvijek pokazujeu smjeru najbliºeg lokalnog optimuma a ne globalnog. Stoga ovakva izvedbaalgoritma u£enja pokazuje vrlo malu otpornost na zaglavljivanje u lokalnimoptimumima.

Kako bi se rije²io ovaj problem, mogu¢e je napraviti modi�kaciju algo-ritma koja umjesto prave vrijednosti gradijenta u svakoj to£ki radi procjenugradijenta samo na temelju jednog uzorka i zatim odmah radi korekciju te-ºina temeljem te procjene � takva izvedba poznata je pod nazivom stohasti£kiBackpropagation. To se postiºe tako da se umjesto sume:

N∑s=1

δ(k+1)s,j · y(k)

s,i

u s-toj iteraciji koristi aproksimacija gradijenta:

δ(k+1)s,j · y(k)

s,i

i korekcija radi samo temeljem te aproksimacije:

Za svaki s iz [1, ..., N] w(k)ij ← w

(k)ij + η · δ(k+1)

s,j · y(k)s,i .

Time se postiºe da algoritam u£i nakon svakog predo£enog uzorka. Takvavarijanta algoritma pripada porodici algoritama pojedina£nog u£enja (engl.


online learning algorithm). Kod ove izvedbe algoritma jednu iteraciju £inipredo£avanje to£no jednog uzorka i korigiranje teºina dok se slijed od Niteracija u kojima se redom mreºi predo£e svi uzorci naziva jednom epohom.Faktor η koji se ovdje koristi moºe biti N puta ve¢i od faktora koji se koristikod klasi£nog algoritma Backpropagation (razmislite za²to?).

Za razliku od klasi£nog algoritma Backpropagation, stohasti£ki Backpro-pagation pokazuje pove¢anu otpornost na zapinjanje u lokalnim optimumimai time je algoritam koji se naj£e²¢e bira.

8.3.1 Dodavanje inercije

Jo² jedan od na£ina kako pospje²iti otpornost na lokalne optimume jest uizraz za aºuriranje teºine dodati novi £lan koji ¢e trenutnoj korekciji dodatiodre�en iznos korekcije iz prethodnog koraka. Time se simulira utjecaj iner-cije koji moºe pospije²iti prolazak kroz lokalni optimum. Izraz koji se tadakoristi opisan je u nastavku, na primjeru stohasti£kog algoritma Backpropa-gation.

Prikaºimo izvedeno pravilo aºuriranja teºina na malo druga£iji na£in:

w(k)ij ← w

(k)ij + ∆w

(k)ij

pri £emu smo uveli posebnu oznaku za iznos promjene:

∆w(k)ij = η · δ(k+1)

s,j · y(k)s,i .

Novo pravilo aºuriranja koje ima inercijski £lan tada glasi:

∆w(k)ij = η · δ(k+1)

s,j · y(k)s,i + α ·∆w(k)′

ij

gdje je s ∆w(k)′

ij ozna£ena vrijednost korekcije iz prethodnog koraka. Vari-janta pravila koje dodaje moment tako�er je:

∆w(k)ij = (1− α) · η · δ(k+1)

s,j · y(k)s,i + α ·∆w(k)′

ij .

Kod ove varijante odabirom razli£itih vrijednosti parametra α moºe se direk-tno podesiti u kojoj mjeri aºuriranje teºinskih faktora uzima u obzir trenutnuvrijednost gradijenta pogre²ke a u kojoj mjeri aºuriranje iz prethodnog ko-raka.

8.4 Dodatne napomene

8.4.1 Kriteriji zaustavljanja postupka u£enja

Prilikom postupka u£enja treba odlu£iti u kojem je trenutku najbolje preki-nuti postupak u£enja. Tih kriterija moºe biti nekoliko.

8.4. DODATNE NAPOMENE 153

1. Kriterij maksimalne pogre²ke. Za svaki se uzorak s i za svaki izlaz oprovjerava je li zadovoljeno:∣∣∣ts,o − y(k+1)

s,o

∣∣∣ ≤ εgdje je ε unaprijed zadan mali pozitivni broj. Time se postupak prekidatek kada je i najve¢a pogre²ka na bilo kojem od izlaza manja ili jednakazadanoj ogradi ε.

2. Kriterij ukupne kvadratne pogre²ke. Zahtjevamo da je:

N∑s=1

m∑o=1

(ts,o − y(k+1)

s,o

)2≤ ε

odnosno postupak se zaustavlja £im ukupna kvadratna pogre²ka pos-tane manja ili jednaka danoj ogradi ε. U ovom slu£aju mogu¢e je damreºa neke uzorke nau£i jako lo²e a druge jako dobro jer jedini kriterijkoji se koristi je provjera zdruºene pogre²ke.

3. Uporaba unakrsne validacije. Dostupan skup uzoraka veli£ineM teme-ljem kojih bismo htjeli obaviti u£enje podijeli se u dva skupa: skup zau£enje, obi£no veli£ine 9

10M i skup za validaciju, obi£no veli£ine 110M .

Mreºa se u£i samo temeljem skupa za u£enje, a pona²anje mreºe naskupu za validaciju se periodi£ki provjerava. Inicijalno, kako mreºau£i, pogre²ka na oba skupa ¢e padati. Me�utim, u jednom trenutkumreºa ¢e se po£eti jako dobro prilago�avati uzorcima skupa za u£enje ipo£et ¢e gubiti sposobnost generalizacije. To ¢emo primjetiti na skupuza validaciju jer ¢e tada pogre²ka na tom skupu po£eti rasti. Postupaku£enja stoga treba prekinuti u trenutku kada pogre²ka na skupu navalidaciju dosegne svoj minimum � nakon toga mreºa postaje pretre-nirana.

8.4.2 Ubrzavanje postupka u£enja

Po£etne vrijednosti koje se dodjeljuju teºinskim faktorima biraju se sasvimslu£ajno. Me�utim, to moºe imati zna£ajne posljedice na brzinu kojommreºa po£inje u£iti. Pogledajmo to na primjeru jednostavnog sigmoidalnogneurona s 5 ulaza. Njegov je izlaz de�niran izrazom:

y = f(net), net =

5∑i=1

wixi + w0, f(net) =1

1 + e−net.

Prisjetimo se tako�er kako je de�nirana korekcija teºine:

∆w(k)ij = η · δ(k+1)

s,j · y(k)s,i

= η · y(k+1)s,j ·

(1− y(k+1)

s,j

)·(ts,j − y(k+1)

s,j

)· y(k)s,i


Primijetimo da se korekcija mnoºi s derivacijom sigmoidalne funkcije od-nosno £lanom y

(k+1)s,j ·

(1− y(k+1)

s,j

). Raspi²emo li to kao funkciju od net,

imamo:

f ′(net) =1

1 + e−net·(

1− 1

1 + e−net

)

²to je gra�£ki prikazano na slici u nastavku.

0

0.05

0.1

0.15

0.2

0.25

-10 -5 0 5 10

f’(ne

t)

net

Ta funkcija ve¢ i za relativno male vrijednosti net-a poprima vrlo mali iz-nos kojim prigu²uje ukupnu korekciju i time zna£ajno usporava postupaku£enja. Stoga se preporu£a po£etne vrijednosti za teºinske faktore birati slu-£ajno iz intervala koji ¢e garantirati da inicijalna vrijednost net-a ne budeprevelika. Primjerice, za net = 2.4 vrijednost umno²ka je ne²to manja od0.1. Postavimo li stoga kao uvjet net <= 2.4 i uzev²i u obzir da u na²emprimjeru s 5-ulaznim neuronom ulaze generiraju opet drugi neuroni £iji je


izlaz ograni£en s +1, imamo:

net ≤ 2.4

5∑i=1

wixi + w0 ≤ 2.4

5∑i=1

wi + w0 ≤ 2.4

6 · w ≤ 2.4

w ≤ 2.4

6w ≤ 0.4

iz £ega slijedi da bi svaku teºinu inicijalno trebali postaviti na slu£ajni brojiz intervala [−0.4,+0.4].

Osim prikladnog odabira po£etnih vrijednosti za teºinske faktore, trebaobratiti paºnju na jo² nekoliko pojedinosti.

• Razli£iti uzorci za mreºu mogu biti razli£ito zahtjevni za nau£iti. Stogaumjesto da se uzorci mreºi prikazuju slijedno i svaki u trajanju od jedneiteracije, algoritam se moºe modi�cirati na na£in da se za svaki uzoraku£i tako dugo dok se ne nau£i pa se tek potom krene na sljede¢i uzorak.Takav se postupak potom ponavlja iz epohe u epohu.

• Parametri η i α mogu se dinami£ki mijenjati. U literaturi je za tu svrhuopisano nekoliko mogu¢nosti koje mogu doprinijeti ubrzanju postupkau£enja.

• Korekcija teºinskog faktora moºe se skalirati faktorom eρ·cos(φ) gdjeje ρ ≈ 0.2 a φ kut izme�u trenutnog vektora gradijenta i vektoragradijenta iz prethodnog koraka. Ideja je sljede¢a: ako je taj kut 0 ilivrlo mali, korekcije idu u istom smjeru pa se isplati pomak i dodatnopove¢ati u tom smjeru jer je za o£ekivati da bi i sljede¢a korekcija tadamogla biti u istom smjeru. S druge pak strane, ²to je taj kut ve¢i (ili£ak ve¢i od 90◦) iznos faktora pada £ime se korekcija prigu²uje jer smoo£ito u podru£u gdje se gradijent jako mijenja pa treba raditi malekorake.

8.4.3 Primjeri u£enja unaprijedne slojevite neuronske mreºe

Primjer u£enja pokazat ¢emo na primjeru u£enja funkcije:

f(x) = 0.2sin(x) + 0.2sin(4x+π

7) + 0.5.


Za potrebe pripreme podataka funkcija f uzorkovana je na intervalu [0, 2π]u 200 to£aka. Time je prikupljen skup od 200 uzoraka za u£enje. Taj je skuppotom podijeljen (slu£ajno) u 100 uzoraka koji £ine skup za u£enje te 100uzoraka koji £ine skup za validaciju. Prilikom postupka u£enja, neuronskamreºa teºinske faktore mijenja isklju£ivo temeljem skupa za u£enje.

Tijek u£enja provedenog postupkom Backpropagation prikazan je na sliciu nastavku. Postupak u£enja je proveden kroz 100 000 epoha. Kako se radi oklasi£nom postupku Backpropagation, svaka se epoha sastoji od predo£avanjasvih 100 uzoraka iz skupa za u£enje neuronskoj mreºi i akumuliranja korekcijaza svaki uzorak. Tek na kraju epohe kada je za svaku teºinu poznata kona£nakumulativna korekcija mijenjaju se teºinski faktori. Prisjetimo se, ovo jepotrebno kako bi se u trenutku korekcije znao pravi iznos gradijenta i kakobi pomak bio u suprotnom smjeru od smjera pravog gradijenta. Tijekompostupka u£enja, teºine su, dakle, promijenjene 100 000 puta.

Na slici u nastavku prikazan su stanja (smjer £itanja je s lijeva u desno paodozgo prema dolje): stanje s nasumi£no odabranim teºinama, stanje nakon500 epoha, 1000 epoha, 1500 epoha, 2000 epoha, 5000 epoha, 10000 epoha,20000 epoha, 30000 epoha, 40000 epoha, 50000 epoha, 60000 epoha, 70000epoha, 80000 epoha, 90000 epoha i kona£no stanje nakon 100000 epoha.

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

Pogre²ke na skupovima za u£enje i validaciju prikazane su na slici unastavku.


0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0 20000 40000 60000 80000 100000

Greska na skupu za ucenjeGreska na skupu za validaciju

S obzirom da se radi o u£enju klasi£nim algoritmom Backpropagation,pogre²ka na skupu za u£enje o£ekivano relativno monotono pada (razmisliteza²to nemamo garanciju da ¢e gre²ka doista monotono padati?).

Postupak u£enja stohasti£kom izvedbom algoritma Backpropagation pri-kazan je na slikama u nastavku.


0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

0.09

0.1

0 20000 40000 60000 80000 100000


Kona£no, postupak u£enja stohasti£kom izvedbom algoritma Backpropa-gation uz dodatno u£enje svakog pojedinog uzorka dok gre²ka na njemu nijedovoljno mala (ili dok se ne do�e do zadanog broja poku²aja) prikazan je naslikama u nastavku.

8.5. PREGLED ALGORITAMA U�ENJA 159

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.2

0.4

0.6

0.8

1

0 1 2 3 4 5 6

0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

0.09

0 20000 40000 60000 80000 100000


8.5 Pregled algoritama u£enja

Najve¢i dio ovog poglavlja bio je fokusiran na, s povijesnog stajali²ta gledano,osnovni algoritam za u£enje vi²eslojnih unaprijednih neuronskih mreºa: al-


goritam Backpropagation [Rumelhart et al.(1986)Rumelhart, Hinton, andWilliams]. U ovom podpoglavlju dat ¢emo pregled sli£nih metoda koje sekoriste za ovaj zadatak i koje su nastale kako bi pobolj²ale e�kasnost togalgoritma.

Algoritam Backpropagation razvijen je kao rje²enje problema Credit Assig-nment : to je algoritam koji je omogu¢io u£enje vi²eslojnih unaprijednih ne-uronskih mreºa. Me�utim, praksa je pokazala da je upravo to zadatak nakojem ovaj algoritam zakazuje: umjesto da smo sada u stanju u£iti neuronskemreºe s pet, ²est ili vi²e slojeva, na takvim arhitekturama mreºa algoritamne radi dobro. Osnovni razlog tome leºi u £injenici da se gradijent koji sevra¢a iz kasnijeg sloja u raniji konzistentno i eksponencijalno smanjuje odizlaznog sloja gdje ima maksimalnu vrijednost. To nije pretjeran problemako mreºa ima samo jedan skriveni sloj, ali ako mreºa ima primjerice 5skrivenih slojeva, vrijednosti gradijenta koje dolaze do prvog sloja prakti£kisu zanemarive. Stoga ovaj algoritam naj£e²¢e zakazuje upravo na ovakvimzadatcima.

Stoga je razvijen niz algoritama (od kojih ¢emo ovdje spomenuti samoneke) koji na razli£ite na£ine poku²avaju popraviti odre�ena svojstva algo-ritma Backpropagation. Osnovna ideja svih tih algoritama jest na odre�enna£in utjecati na iznos stope u£enja koja se koristi u svakom koraku. Jed-nostavna podjela ovakvih algoritama prikazana je na slici 8.1.

Direktni pristupi

Globalni Lokalni

Metoda najstrmijeg spusta

(Steepest DescentMethod)

Metoda konjugiranih gradijenata

(Conjugate Gradient Method)

Delta-Bar-Delta

MetodaLevenberg-Marquarta

SuperSAB

QuickProp

Rprop

Adaptivni pristupi

Indirektni pristupi

Dodavanje momenta

Metoda hrabrogvozača

(Bold DriverMethod)

iRprop+

Rprop+

Slika 8.1: Pristupi pode²avanja stope u£enja.

Indirektni pristupi su pristupi koji stopu u£enja ne mijenjaju direktnove¢ nekim drugim mehanizmima postiºu da se u£enje pona²a kao da je stopau£enja modi�cirana. Primjer takvog pristupa je prethodno opisan postu-pak dodavanja inercije pravilu u£enja. Stopa u£enja η se tijekom u£enja ne


mijenja. Me�utim, ako u dva uzastopna koraka gradijenti pogre²ke poka-zuju u istom smjeru, prilikom druge korekcije teºina ukupna korekcija bit¢e jednaka trenutno izra£unatoj zbog stope u£enja uve¢anoj za isti takaviznos iz prethodnog koraka £ime se algoritam pona²a kao da radi korekcijuefektivnom stopom u£enja koja je ve¢a od η. S druge pak strane, ako smo uprethodnom koraku bili s jedne strane minimuma a u trenutnom smo s drugestrane, gradijenti u te dvije to£ke bit ¢e suprotni pa ¢e ukupna korekcija bitinapravljena za iznos koji je manji od onoga koji de�nira η.

Direktne pristupe moºemo podijeliti na globalne i lokalne. Globalni pris-tupi su pristupi koji koriste jednu (globalnu) stopu u£enja i nju direktno mo-di�ciraju. Lokalni pristupi su pristupi koji za svaku teºinu uvode zasebnustopu u£enja i informacije o promjenama pojedine stope u£enja tipi£no do-nose na temelju samo lokalno dostupnih informacija (primjerice, prethodnekorekcije pripadne teºine ili pak iznosa parcijalne derivacije funkcije pogre²kes obzirom na pripadnu teºinu).

8.5.1 Algoritam najstrmijeg spusta

Algoritam najstrmijeg spusta (engl. Steepest Descent Algorithm) je klasi£nialgoritam matemati£ke optimizacije primijenjen na traºenje optimalnih pa-rametara neuronske mreºe.

U svakom koraku algoritam ponavlja sljede¢e korake.

1. Izra£unaj vrijednost gradijenta funkcije pogre²ke ∇E(k).

2. Klasi£ni Backpropagation teºine bi aºurirao prema izrazu

~w(k + 1) = ~w(k)− η · ∇E(k)

rade¢i korekciju uz �ksni korak η · ∇E(k). Algoritam najstrmijegspusta umjesto toga zahtjeva da se prona�e η∗ koji minimizira funkcijuE(~w(k)− η∗ · ∇E(k)) i da se potom napravi aºuriranje:

~w(k + 1) = ~w(k)− η∗ · ∇E(k).

Pojasnimo malo detaljnije drugi korak. U koraku k teºine su postavljenena vrijednost ~w(k). Uz te teºine i sve uzorke za u£enje moºemo utvrditiiznos funkcije pogre²ke E(k) kao i njezin gradijent ∇E(k) u to£ki ~w(k). Tajgradijent je vektor koji pokazuje u smjeru najve¢eg porasta funkcije pogre²ke.Moºemo stoga de�nirati vektor ~d(k) = −∇E(k) kao vektor koji pokazujekako treba mijenjati teºine gledano iz to£ke ~w(k) a da bi funkcija imalamaksimalni pad vrijednost. Potom moºemo de�nirati pomo¢nu skalarnufunkciju:

Ψ(η) = E(~w(k) + η · ~d(k)).

S obzirom da su ~w(k) i ~d(k) �ksirani vektori, ono ²to zapravo radimo jestargument funkcije E mijenjamo krenuv²i od to£ke ~w(k) po pravcu koji je


odre�en vektorom ~d(k); koliko se pomi¢emo po tom �ksiranom pravcu odre-�eno je parametrom η. Za pretpostaviti je da, kako η raste, iznos funkcijeΨ(η) ¢e najprije padati (u okolici to£ke ~w(k) to nam garantira £injenica dakretanje radimo u smjeru negativnog gradijenta) a potom rasti. �elimo stogaprona¢i onaj η (ozna£it ¢emo ga s η∗) za koji je funkcije Ψ(η∗) minimalna.

Jednostavan algoritam za pronalazak η∗ bismo mogli implementirati nasljede¢i na£in. Krenemo s nekim malim η izra£unamo vrijednost funkcijeE(~w(k) + η · ~d(k)) u tako dobivenoj to£ki. Ako je vrijednost funkcije ma-nja, pove¢amo η (primjerice, pomnoºimo ga s 1.5) i izra£unamo vrijednostfunkcije E u tako dobivenoj to£ki; postupak ponavljamo sve dok vrijednostifunkcije E padaju. Prvi puta kada vrijednost funkcije E poraste, kao η∗

uzmemo η iz posljednjeg koraka prije porasta.Treba uo£iti da algoritam koji pronalazi optimalan η zahtjeva izra£un

funkcije E u razli£itim to£kama u prostoru teºina: to me�utim zna£i daza svaki izra£un funkcije E moramo na ulaz mreºe dovesti sve uzorke zau£enje i izra£unati ukupnu pogre²ku ²to moºe biti skupo. Stoga je prikladnijeposegnuti za nekim boljim algoritmom za pronalazak optimalnog η koji traºi²to je mogu¢e manje razli£itih to£aka u kojima treba ra£unati funkciju E(£itatelj se upu¢uje na porodicu algoritama poznatu pod nazivom line-searchalgorithms).

Jednom kada je prona�en optimalan η∗, radi se korekcija teºina. S ob-zirom da je η∗ optimalan, u smjeru vektora ~d(k) pogre²ku vi²e sigurno nijemogu¢e smanjiti. Lako je stoga pokazati da ¢e sljede¢a korekcija teºinakoja ¢e biti provedena u sljede¢em koraku biti napravljena u smjeru vektora~d(k + 1) koji je okomit na prethodni vektor ~d(k).

8.5.2 Algoritam hrabrog voza£a

Algoritam hrabrog voza£a (engl. Bold Driver Method) aºuriranje teºina radiprema uobi£ajenom pravilu:

wij(k + 1) = wij(k)− η · ∂E∂wij

(k)

gdje je ∂E∂wij

(k) pravi iznos parcijalne derivacije dobiven temeljem svih ras-poloºivih uzoraka za u£enje. Po£etnu stopu u£enja η0 de�nira korisnik (pri-mjerice, η0 = 0.1).

Prilikom u£enja, u svakom se koraku k promatra pona²anje funkcije po-gre²ke E. Ako je nakon promjene teºina iznos funkcije pogre²ke u sljede¢emkoraku smanjen, stopa u£enja se pove¢ava mnoºenjem s konstantom ρ > 1.Ovo ¢e osigurati da se pomicanje u podprostoru funkcije pogre²ke u kojem jevrijednost gradijenta mala ubrza. Ako se iznos funkcije pogre²ke u sljede¢emkoraku pove¢a, pretpostavka je da je stopa u£enja bila prevelika. Stoga sepoduzimaju sljede¢e akcije.


1. Posljednja napravljena korekcija teºina (koja je dovela do pove¢anjapogre²ke) se otkazuje. Teºine se postavljaju na one koje su bile prije tekorekcije (treba dakle pamtiti teºinske faktore iz prethodnog koraka).

2. Stopa u£enja se smanjuje mnoºenjem s faktorom 0 < σ < 1.

3. Radi se korekcija teºina prema novoj stopi. Ako se pogre²ka smanji,nova stopa se prihva¢a; ako pogre²ka i dalje raste, stopa se ponovnosmanjuje mnoºenjem s faktorom σ i provjerava se funkcija pogre²ke �postupak se ponavlja sve dok funkcije pogre²ke ne po£ne padati. Pred-loºene vrijednosti za koe�cijente su ρ = 1.1 i σ = 0.5 [Battiti(1989)].

8.5.3 Algoritam Delta-Bar-Delta

Algoritam Delta-Bar-Delta [Jacobs(1988)] pripada u porodicu lokalnih al-goritama. Svaka teºina wij ima svoju stopu u£enja ηij . Za svaku teºinualgoritam promatra pona²anje parcijalne derivacije funkcije pogre²ke s ob-zirom na tu teºinu. Prisjetimo se, parcijalna derivacija funkcije s obziromna veku varijablu govori kako ¢e se funkcija promijeniti ako se promatranavarijabla pove¢a. Stoga je ideja algoritma sljede¢a: ako se u dva uzastopnakoraka predznak parcijalne derivacije funkcije pogre²ke s obzirom na pro-matranu teºinu ne mijenja, tada se stopa u£enja pridruºena toj teºini moºepove¢ati kako bismo ubrzali promjenu teºine; algoritam propisuje pove¢anjeza �ksni iznos κ+ > 0. Ako se pak predznak parcijalne derivacije funkcijepogre²ke s obzirom na promatranu teºinu promijeni iz prethodnog korakau trenutni korak, to zna£i da je teºina upravo presko£ila optimalnu vrijed-nost (prethodni korak je bio prevelik); stoga se stopa u£enja eksponencijalnosmanjuje mnoºenjem trenutne stope s faktorom 0 < κ− < 1. Postupak jeopisan u nastavku.

ηij(k) =

κ+ + ηij(k − 1), ako je ∂E

∂wij(k − 1) · ∂E∂wij (k) > 0,

κ− · ηij(k − 1), ako je ∂E∂wij

(k − 1) · ∂E∂wij (k) < 0,

ηij(k − 1), ina£e.

Pri tome mora vrijediti 0 < κ− < 1. ηij(k) ozna£ava vrijednost stope u£enjateºine wij u trenutku k; ∂E

∂wij(k−1) odnosno ∂E

∂wij(k) su vrijednosti parcijalne

derivacije funkcije pogre²ke s obzirom na teºinu wij u trenutcima k − 1 i k.Aºuriranje teºina obavlja se prema izrazima:

∆wij(k) = −ηij(k) · ∂E∂wij

(k) + α ·∆wij(k − 1),

wij(k + 1) = wij(k) + ∆wij(k).


8.5.4 Algoritam SuperSAB

Algoritam SuperSAB [Tollenaere(1990)] tako�er pripada u porodicu lokalnihalgoritama gdje svaka teºina ima svoju stopu u£enja. Algoritam je sli£analgoritmu Delta-Bar-Delta ali uz dvije modi�kacije: pove¢anje stope u£enjaje tako�er eksponencijalno a u slu£aju preskakanja optimuma poni²tava seprethodni korak aºuriranja teºine. Postupak je opisan u nastavku.

ηij(k) =

κ+ · ηij(k − 1), ako je ∂E

∂wij(k − 1) · ∂E∂wij (k) > 0,

κ− · ηij(k − 1), ako je ∂E∂wij

(k − 1) · ∂E∂wij (k) < 0,

ηij(k − 1), ina£e.

Pri tome mora vrijediti 0 < κ− < 1 < κ+. Primjerice, parametri se mogupostaviti na sljede¢i na£in κ− = 0.5, κ+ = 1.1. U slu£aju da je nastupioslu£aj ∂E

∂wij(k − 1) · ∂E

∂wij(k) < 0 (postoji razlika u predznaku derivacije u

prethodnom i trenutnom koraku), vrijednost teºine wij se restaurira na onu izprethodnog koraka. U ostalim slu£ajevima radi se aºuriranje prema izrazima:

∆wij(k) = −ηij(k) · ∂E∂wij

(k) + α ·∆wij(k − 1),

wij(k + 1) = wij(k) + ∆wij(k).

8.5.5 Algoritam Quickprop

Algoritam QuickProp [Fahlman(1988a),Fahlman(1988b)] jo² je jedan od al-goritama koji pripadaju u porodicu lokalnih algoritama gdje svaka teºina imasvoju stopu u£enja. Me�utim, po na£inu rada bitno se razlikuje od prethodnoopisanih algoritama. Pretpostavka ovog algoritma je da je u okolici teºinewij funkcija pogre²ke kvadratnog karaktera s obzirom na tu teºinu (i to jepretpostavka koja vrijedi za svaku teºinu u mreºi). Algoritam stoga funkcijupogre²ke kada razmatra teºinu wij aproksimira Taylorovim razvojem drugogreda:

E(wij + ∆wij) = E(wij) +∂E(wij)

∂wij·∆wij +

1

2

∂2E(wij)

∂w2ij

· (∆wij)2

Shvatimo li ovdje ∆wij kao slobodnu varijablu, funkcija E(wij + ∆wij) zarazli£ite vrijednosti varijable ∆wij poprima razli£ite iznose. Mi traºimo onuvrijednost ∆wij za koju funkcija postaje minimalna: ra£unamo stoga deriva-ciju te funkcije s obzirom na ∆wij i tu derivaciju izjedna£avamo s 0 (uo£iteda su u prethodnom izrazu parcijalne derivacije i E(wij) konstante s obziromna ∆wij pa se tako i tretiraju):

dE(wij + ∆wij)

d(∆wij)=∂E(wij)

∂wij+∂2E(wij)

∂w2ij

·∆wij = 0


Slijedi da je traºeni korak jednak:

∆wij = −∂E(wij)∂wij

∂2E(wij)

∂w2ij

.

Drugu parcijalnu derivaciju aproksimirat ¢emo omjerom variranja prve par-cijalne derivacije u trenutnom i prethodnom koraku i variranja teºine u tre-nutnom i prethodnom koraku:

∂2E(wij)

∂w2ij

=

∂E(wij)∂wij

(k)− ∂E(wij)∂wij

(k − 1)

wij(k)− wij(k − 1)=

∂E(wij)∂wij


(k − 1)

∆wij(k − 1)

Uvr²tavanjem ovog izraza u prethodno dobiveni izraz za ∆wij dobivamopravilo:

∆wij(k) = −∂E(wij)∂wij

(k)

∂E(wij)∂wij


(k − 1)·∆wij(k − 1).

Kako izraz u nazivniku moºe postati vrlo malen, promjena teºine bi moglaispasti vrlo velika pa se uvodi ograda γ koja odre�uje koliko puta korekcija∆wij(k) smije biti ve¢a od korekcije ∆wij(k − 1).

Kona£ni izraz koji se koristi korekciju jo² skalira stopom u£enja η paimamo kona£an izraz:

∆wij(k) = −η ·∂E(wij)∂wij

(k)

∂E(wij)∂wij


(k − 1)·∆wij(k − 1).

Kod prethodno opisanih algoritama koji dinami£ki aºuriraju stopu u£enja(bilo globalno, bilo lokalno), moºe se pojaviti problem ilustriran na slici 8.2.

Pretpostavimo da je po£etna vrijednost teºine na lijevoj strani grafa.Kako je u tom dijelu funkcija pogre²ke vrlo malog nagiba, algoritmi kojidinami£ki modi�ciraju stopu u£enja na tom dijelu stopu ¢e dosta pove¢ati;me�utim, koraci ¢e ostati relativno mali jer je gradijent u tom podru£ju vrlomalen (prisjetite se: promjena teºine proporcionalna je umno²ku negativnoggradijenta i stope u£enja). Pretpostavite sada da je pretraga pomaknulateºinu na ulaz minimuma prikazanog u desnom dijelu slike. Sada imamosituaciju da je stopa u£enja vrlo velika i gradijent je istovremeno postaovrlo velik (jer je oko prikazanog optimuma funkcija dosta strma): njihovumnoºak bit ¢e stoga vrlo velik i algoritam koji napravi promjenu teºine strenutne na sljede¢u uz takvu korekciju moºe izletiti daleko izvan podru£jaovog optimuma.

Rje²enje ovog problema nude algoritmi koji samostalno upravljaju kom-pletnim iznosom korekcije: korekcija se vi²e ne¢e ra£unati kao umnoºak ne-£ega ²to algoritam drºi pod kontrolom i ne£ega nad £im algoritam nemakontrolu. Takav algoritam je Rprop koji je razvijen u nekoliko ina£ica. Os-novna ina£ica opisana je u nastavku.


x

f(x)

Slika 8.2: Jedan od problema adaptivnih pristupa.

8.5.6 Algoritam Rprop

Algoritam Rprop (engl. Resiliant Backpropagation) [Riedmiller and Braun(1993)]pripada u porodicu lokalnih algoritama gdje svaka teºina ima svoju stopuu£enja. Algoritam u potpunosti upravlja stopom u£enja i parcijalne deriva-cije (odnosno gradijent) koristi samo za indikaciju ide li u dobrom smjeru iline � gleda se samo predznak dok je iznos nebitan.

Amplitudu korekcije teºine wij ozna£it ¢emo s ∆ij ; to je broj koji jenenegativan. Amplituda korekcije iz koraka u korak se korigira na sljede¢ina£in:

∆ij(k) =

κ+ ·∆ij(k − 1), ako je ∂E

∂wij(k − 1) · ∂E∂wij (k) > 0,

κ− ·∆ij(k − 1), ako je ∂E∂wij

(k − 1) · ∂E∂wij (k) < 0,

∆ij(k − 1), ina£e.

uz 0 < κ− < 1 < κ+. Razmi²ljanje iza ovog pravila bi trebalo biti jasno: akose preznak derivacije ne mijenja, amplitudu korekcije moºemo pove¢ati; akose mijenja, amplitudu moramo smanjiti. Inicijalno, svi se ∆ij postavljajuna vrijednost ∆0 (npr. 0.1). Uvodi se gornja ograda ∆max koja ograni£avamaksimalni iznos koji ∆ij(k) moºe poprimiti (npr. ∆max = 50) a mogu¢e jeuvesti i donju ogradu ∆min. Kao vrijednosti parametara mogu se koristitiprimjerice κ− = 0.5 i κ+ = 1.2.

Jednom kada je utvr�ena amplituda korekcije, odre�uje se i iznos korek-cije prema pravilu:

∆wij(k) =

−∆ij(k), ako je ∂E

∂wij(k) > 0,

∆ij(k), ako je ∂E∂wij

(k) < 0,

0, ina£e.

Ovo pravilo je direktna implementacija algoritma koji slu²a gradijent: ako


je u to£ki gradijent pozitivan, varijablu treba umanjiti; ako je negativan,varijablu treba pove¢ati.

8.5.7 Algoritam Rprop+

Algoritam Rprop+ [Igel and Hüsken(2000)] dodatno je pobolj²anje algoritmaRprop. Razlika u odnosu na algoritam je Rprop je pona²anje u slu£ajukada se detektira promjena predznaka derivacije. U tom slu£aju algoritamRprop+ poni²tava prethodnu korekciju doti£ne teºine na na£in da postavlja∆wij(k) = −∆wij(k − 1) te zabranjuje promjenu ∆ij u sljede¢em korakualgoritma. Ovo se programski moºe posti¢i tako da se za teºinu wij postavi∆wij(k) = −∆wij(k−1) i da se ∂E

∂wij(k) postavi na nulu. Time ¢e u sljede¢em

koraku pravilo za aºuriranje ∆ij(k) zavr²iti u ina£e grani koja ne mijenjavrijednost. Isto se, naravno, moºe posti¢i uvo�enjem po jedne zastavice zasvaku teºinu i upravljanja njome.

8.5.8 Algoritam iRprop+

Kona£no, posljednja modi�kacija algoritma Rprop+ je algoritam iRprop+

[Igel and Hüsken(2000)] u nekim slu£ajevima dodatno popravlja svojstva al-goritma, a radi se o kombiniranju lokalne informacije s globalnom informaci-jom. Konkretno, algoritam Rprop+ uvodi poni²tavanje prethodne korekcijeteºine ako njezina parcijalna derivacija promijeni predznak, ne uzimaju¢iu obzir ²to se doga�a s globalnim iznosom funkcije pogre²ke. AlgoritamiRprop+ zahtjeva da se uz iznos funkcije pogre²ke E(k) pamti i iznos funk-cije pogre²ke u prethodnom koraku E(k − 1) (²to je samo jedan broj vi²ekoji treba zapamtiti). Potom se poni²tavanje prethodne korekcije (odnosnopostavljanje ∆wij(k) = −∆wij(k − 1) i ∂E

∂wij(k) = 0) radi samo u slu£aju

da je do²lo do promjene predznaka derivacije i da je istovremeno do²lo i dopove¢anja funkcije pogre²ke, tj. da je E(k) > E(k − 1); u suprotnom sekorekcija ra£una na uobi£ajeni na£in.

Poglavlje 9

Samoorganiziraju¢e neuronske

mreºe

Neuronske mreºe koje smo do sada obradili bile su prikladne za u£enje su£iteljem: temeljem poznatog ulaza i ºeljenog izlaza korigirani su teºinskifaktori kako bi stvarni izlaz mreºe bio bliºi ºeljenom izlazu. Samoorganizi-raju¢e neuronske mreºe predstavnik su mreºa koje u£e bez u£itelja: takvimneuronskim mreºama daje se samo niz podataka; neuronska mreºa potomkorigira teºinske faktore kako bi postigla neko ºeljeno pona²anje. Ovo je ilus-trirano na slici 9.1. Za razliku od mreºa koje u£e s u£iteljem i koje obavljajuklasi�kaciju podataka ili regresiju funkcije, mreºe koje u£e bez u£itelja uobi-£ajeno obavljaju zadatak grupiranja podataka te su u tom smislu jednakepo funkciji kao razli£iti algoritmi za grupiranje poput k-srednjih vrijednostii sli£nih.

9.1 Natjecanje

Kod samoorganiziraju¢ih neuronskih mreºa centralni je pojam natjecanje.Kao ²to je poznato i iz biologije, priroda £esto poseºe za ovim mehanizmomu svrhu optimizacije: prisjetimo se samo Darwinovih spoznaja o evoluciji

Slika 9.1: Vrste u£enja, primjeri mreºa i zadatci koje rje²avaju

169

170 POGLAVLJE 9. SAMOORGANIZIRAJU�E NEURONSKE MRE�E

vrsta � evoluciji koja je direktno potaknuta borbom za razmnoºavanje i pre-ºivljavanje u zadanom okoli²u. Mehanizam natjecanja vodi do optimizacijedirektno na lokalnoj razini, bez ikakve potrebe za globalnom kontrolom.Stoga je primjena ovog mehanizma vrlo interesantna, posebice u raspodije-ljenim sustavima.

Kod samoorganiziraju¢ih neuronskih mreºa natjecanje ¢e se odvijati di-rektno izme�u procesnih elemenata (odnosno, neurona). Mehanizam natje-canja se pri tome moºe ostvariti na dva na£ina:

1. lateralnim vezama ili

2. formulacijom principa u£enja.

Kod neuronskih mreºa koje mehanizam natjecanja implementiraju late-ralnim vezama, ideja je sljede¢a. Svaki procesni element direktno dobivaulazni podatak. Izlaz neurona ra£una se kao teºinska suma dovedenog ulaz-nog podatka i izlaza svih preostalih neurona pri £emu su teºine na vezamaprema preostalim neuronima (tzv. lateralne veze) negativne. Time ¢e svakiod neurona to vi²e gu²iti izlaz drugih neurona ²to je njegov vlastiti izlaz ve¢i.Primjer ovakve arhitekture je mreºa Winner-takes-all koju ¢emo obraditi unastavku.

Natjecanje formulacijom principa u£enja uobi£ajeno se pak izvodi na al-goritamskoj razini i naj£e²¢e podrazumijeva da u sustavu postoji globalninadzornik koji promatra odziv mreºe za svaku ulaznu pobudu i de�nira kojise procesni elementi smiju prilagoditi i u kolikoj mjeri kako bi njihov odzivna trenutnu pobudu postao jo² ve¢i. Primjeri ovakvih mreºa bit ¢e mreºeINSTAR te Kohonenov SOM koje ¢emo tako�er obraditi u nastavku.

9.1.1 Zahtjevi na samoorganiziraju¢e neuronske mreºe

Da bismo neuronsku mreºu zvali samoorganiziraju¢om, uobi£ajeno se o£e-kuje da takva mreºa zadovoljava sljede¢a £etiri zahtjeva.

1. Teºinski faktori u procesnim elementima trebaju biti predstavnici grupaulaznih podataka. Time se kod ovakvih sustava uobi£ajeno odstupa odsemantike teºine kao broja s kojim se ulaz mnoºi. Umjesto toga, pro-cesni elementi ¢e preko teºina pamtiti primjerke ulaznih podataka ilipredstavnike grupa ulaznih podataka. Time automatski svaki neuronpostaje, u odre�enom smislu, predstavnik jednog od razreda ulaznihpodataka.

2. Nema skrivenih neurona. Ulazni podatak dovodi se do svih neuronai svaki je neuron ujedno i izlazni. Vrijednost izlaza pri tome je, uodre�enom smislu, mjera sli£nosti izme�u uzorka dovedenog na ulazmreºe i predstavnika razreda pohranjenog u teºinama neurona.

9.2. MRE�A WINNER-TAKES-ALL 171

3. Koristi se strategija u£enja koja se temelji na mehanizmu natjecanja(engl. competitive learning strategy) koja odabire neuron s najve¢imizlazom.

4. Da bi £itav algoritam funkcionirao, postoje metode poticanja najve¢egizlaza, odnosno postupak prilagodbe teºina provodi se upravo na na£inda neuron tim promjenama poku²ava do¢i do stanja u kojem mu vri-jednost izlaza raste, kako bi, potencijalno, ²to £e²¢e postajao pobjedniku natjecanju.

Prilikom implementacije mehanizma natjecanja koriste se dva tipa natje-canja: £vrsto natjecanje i meko natjecanje.

• �vrsto natjecanje (engl. hard competition) je vrsta natjecanja kod kojeuvijek postoji samo jedan pobjednik i samo je njemu dopu²teno da u£i,odnosno da prilagodi svoje teºinske faktore kako bi dodatno pove¢aovrijednost svojeg izlaza.

• Meko natjecanje (engl. soft competition) je vrsta natjecanja kod kojeuvijek postoji samo jedan pobjednik no u£enje se dopu²ta njemu i umanjoj mjeri njegovoj bliskoj okolini. Na taj na£in pobjednik i njegovaokolina u razli£im mjerama smiju prilagoditi svoje teºinske faktore kakobi im se dodatno pove¢ala vrijednost njihovog izlaza. Kako se to£node�nira okolina i na koji se na£in de�nira mjera u kojoj se smije ra-diti prilagodba ovisit ¢e o svakoj pojedinoj vrsti samoorganiziraju¢eneuronske mreºe koja koristi ovakav oblik natjecanja.

9.2 Mreºa Winner-Takes-All

Prva od samoorganiziraju¢ih neuronskih mreºa koju ¢emo obraditi je mreºaWinner-Takes-All koja je prikazana na slici 9.2. To je mreºa koja dobiva n-dimenzijski ulazni vektor podataka i ima upravo n neurona. Svaki neuron pritome ima prema sebi samome povratnu vezu s pozitivnom teºinom (iznosane²to ve¢eg od +1, primjerice +1.05) te prema svim drugim neuronima imaveze ali s negativnim teºinama. Iznosi tih teºina uobi£ajeno su mali negativnibrojevi (u prikazanom primjeru oznaka −ε, gdje je 0 < ε < 1

N ).Zada¢a koju obavlja ovakva mreºa jest pronalazak neurona na koji je do-

veden ulazni podatak s najve¢im iznosom. Primjerice, zamislimo da imamomreºu koja radi s 4-dimenzijskim vektorima. Takva ¢e mreºa za ulaz (0.1,0.5, 0.3, 0.8) generirati izlaz (0.0, 0.0, 0.0, 1.0) dok ¢e ulaz (0.1, 0.5, 0.3,0.4) generirati izlaz (0.0, 1.0, 0.0, 0.0); dakle, samo ¢e onaj neuron na kojije dovoden najve¢i podatak na svojem izlazu generirati vrijednost 1.0 dok ¢esvi ostali neuroni na svojim izlazima generirati vrijednost 0.0. Ova mreºa to¢e posti¢i bez postojanja centralnog nadzornika. Evo kako.


1+1+ 1+

ε−

ε−

ε−

ε−

x1 x2 xn

y1 y2 yn

Slika 9.2: Mreºa Winner-Takes-All

9.2.1 Rad mreºe

Izlaz i-tog neurona ra£una se prema izrazu:

yi ← 1.05 · yi − ε ·N∑

j=1,j 6=iyj uz ogradu 0 ≤ yi ≤ 1.

Me�utim, mreºa Winner-Takes-All s obzirom na postojanje povratnih vezaispoljava vremenski-ovisan odziv, pa se odziv (odnosno izlazi) ra£unaju pokoracima sve do postizanja stabilnog stanja. U trenutku t = 0 izlazi svihneurona postavljaju se na vrijednost 0 i na ulaz mreºe se dovodi ulaznivektor. Svaki neuron po prvi puta ra£una svoj izlaz koji ¢e biti upravojednak dovedenom podatku s obzirom da su dotada²nji izlazi svih neuronajednaki 0.0 pa nema gu²enja. Tako izra£unate vrijednosti upisuju se na izlazeneurona i s ulaza se uklanja ulazni vektor podataka (tj. na sve se ulaze daljepostavlja vrijednost 0.0).

U sljede¢em koraku, svaki od neurona opet ra£una svoj izlaz. Pozitivnidoprinos izra£unatom iznosu pri tome dobiva samo od svojeg vlastitog iz-laza uve¢anog za mali postotak dok izlazi svih ostalih neurona umanjujuizra£unatu vrijednost jer se mnoºe negativnom teºinom −ε. Nakon ²to susvi neuroni izra£unali novu vrijednost, ta se vrijednost postavlja na izlazeneurona i postupak se ponavlja.

Primjer odziva troulazne mreºe Winner-Takes-All uz ulaz (0.4, 0.8, 0.5),teºinu pozitivne povratne veze +1.05 i vrijednost ε = 1

6 prikazan je na slici9.3. U prvih nekoliko koraka jasno je vidljivo da svaki neuron svojim izlazomgu²i sve preostale neurone, pa izlazi svih neurona postaju sve manji i manji.Me�utim, jednom kada izlaz pojedinog neurona postane dovoljno malen, gu-²enje postaje zanemarivo i pobjedni£ki neuron vrlo brzo postiºe maksimalnuvrijednost izlaza.

9.3. MRE�A INSTAR 173

0

0.2

0.4

0.6

0.8

1

2 4 6 8 10 12 14 16 18 20

a) izlaz y1

0

0.2

0.4

0.6

0.8

1

2 4 6 8 10 12 14 16 18 20

b) izlaz y2

0

0.2

0.4

0.6

0.8

1

2 4 6 8 10 12 14 16 18 20

c) izlaz y3

Slika 9.3: Odziv mreºe Winner-Takes-All uz zadanu pobudu

(a) Po£etna situacija (b) �eljeno krajnje stanje

Slika 9.4: Zadatak kvantizacije vektora

9.3 Mreºa INSTAR

Mreºa INSTAR primjer je mreºe kod koje se neuroni specijaliziraju kako bipostali predstavnici razreda ulaznih uzoraka. Primjer je prikazan na slici9.4. Pretpostavka je da ¢e podatci koji se dovode kao ulaz neuronske mreºebiti u prostoru grupirani u 3 grupe (razreda). U istom primjeru radi se smreºom INSTAR koja ima tri neurona (svaki je prikazan crvenom bojom).U tom primjeru pretpostavka je da teºine neurona predstavljaju pozicijereprezentanata svakog od razreda, i te su pozicije inicijalno odabrane sasvimslu£ajno (slika 9.4a). Kroz postupak u£enja ove mreºe kona£no ¢e stanjeodgovarati onome prikazanome na slici 9.4b gdje ¢e svaki od tri neuronapostati reprezentant jednog od razreda.

Primjer op¢enite mreºe INSTAR prikazan je na slici 9.5. Prikazana mreºaradi s n-dimenzijskim uzorcima, odnosno ulaz je vektor ~X = (x1, x2, . . ., xn).Mreºa na slici sastoji se od m neurona. Svaki neuron i ima n teºina kojimaje povezan sa svakim od ulaza, i ra£una neti na uobi£ajen na£in: ~W T

i~X.

Izlaz neurona yi trebao bi odgovarati mjeri sli£nosti izme�u pohranjenogteºinskog vektora ~Wi i predo£enog ulaznog vektora ~X. Prisjetimo se daje skalarni produkt dvaju vektora zapravo jednak umo²ku njihovih normi i


1

2

m

1

2

m

1

2

m

1

2

n

Slika 9.5: Mreºa INSTAR

xr

iwr

ϕ

Slika 9.6: Mjera bliskosti temeljena na kutu izme�u vektora

kosinusa kuta koji ti vektori zatvaraju:

~Wi · ~X = | ~Wi| · | ~X| · cos(φ)

gdje je φ kut koji ti vektori zatvaraju. Ako pretpostavimo da su vektori ~Wi

i ~X normirani, tada je njihov skalarni produkt upravo jednak kosinusu kuta.Kako je kosinus upravo funkcija koja za manje kuteve (sli£nije vektore) dajeve¢u vrijednost, skalarni produkt normiranih vektora moºe se koristiti kaotraºena mjera sli£nosti (slika 9.6).

Pretpostavimo sada da su ulazni podatci normirani. Postavljanjem po-datka na ulaz mreºe, taj se podatak dovodi do svakog neurona, i svaki neuronra£una vrijednost skalarnog produkta. Ta ¢e vrijednost, s obzirom na nor-miranost ulaza i teºina biti broj iz intervala [−1, 1]. net svakog neurona po-tom se vodi na mreºu Winner-Takes-All koja generira kona£ni izlaz. MreºaWinner-Takes-All odabrat ¢e kao pobjednika onaj neuron j koji je spojenna neuron koji je generirao najve¢i iznos skalarnog produkta. Nakon ²toje utvr�en pobjednik, samo se njemu dopu²ta u£enje: taj neuron obavljaaºuriranje teºinskog vektora u skladu s Kohonenovim pravilom u£enja:

~Wj ← ~Wj + η( ~X − ~Wj)yj

9.3. MRE�A INSTAR 175

xr

iwr

iwx rr−

)( iwx rr−⋅η

Slika 9.7: Mehanizam u£enja kod mreºe INSTAR

pri £emu je yj = 1 jer se radi o pobjedniku. Raspisano po komponentama,imamo:

wij(k + 1)← wij(k) + η(xi − wij)yj .

Ideja u£enja na ovakav na£in prikazana je na slici 9.7: nakon u£enja, dobiveninovi teºinski vektor sli£niji je ulaznom uzorku (zatvara s njime manji kut) itime ¢e ovaj neuron sljede¢i puta kada vidi taj uzorak na svojem izlazu datijo² ve¢u vrijednost izlaza. Nakon aºuriranja teºinskog vektora, potrebno jejo² provesti njegovu normalizaciju.

Umjesto uporabe skalarnog produkta, funkciju neurona u mreºi INSTARmoºemo rede�nirati tako da svaki neuron umjesto skalarnog produkta uzorkai teºinskog vektora ra£una korijen skalarnog produkta izme�u razlike ovihdvaju vektora £ime se na izlazu dobije euklidska udaljenost tih vektora:

d( ~X, ~Wi) =

√( ~X − ~Wi) · ( ~X − ~Wi).

U tom slu£aju kao pobjednika treba izabrati neuron koji daje najmanjiizlaz, i prilikom postupka u£enja ulazni podatci kao niti teºinski vektorine trebaju biti normalizirani. Upravo je ovakva mreºa pretpostavljena upo£etnom primjeru prikazanom na slici 9.4.

9.3.1 Problemi pri u£enju mreºe INSTAR

Kako se po£etne vrijednosti teºinskih faktora biraju slu£ajno, mogu¢e je dataj odabir bude nepovoljan. Scenarij je prikazan na slici 9.8. Neuron £ijesu teºine takve da ga u primjeru na slici 9.8a smje²taju u 3. kvadrant nitiza jedan ulazni uzorak ne¢e biti pobjednik natjecanja i nikada ne¢e aºuriratisvoje teºine; takav se neuron nikada ne¢e pomaknuti sa svoje pozicije. Takvineuroni su mrtvi neuroni. Postupak u£enja u tom ¢e slu£aju uzrokovati dajedan neuron bude odre�en kao predstavnik vi²e od jednog razreda; situacijaje prikazana na slici 9.8b.


(a) Po£etna situacija (b) Krajnje stanje

Slika 9.8: Nepovoljan odabir po£etnih teºina

Kako bi se rije²io ovaj problem, postoji nekoliko rje²enja od kojih ¢emospomenuti dva. Najjednostavnije rje²enje jest dopustiti svakom od neuronada obavi aºuriranje teºinskih faktora. Pri tome se kod pobjednika (neuronj) korekcija mnoºi s faktorom η i obavlja prema uobi£ajenom izrazu:

~Wj ← ~Wj + η( ~X − ~Wj)yj

dok se kod svih ostalih neurona (∀i 6= j) korekcija obavlja koriste¢i faktorλ << η:

~Wi ← ~Wi + λ( ~X − ~Wi)yi.

Ovakva modi�kacija uzrokovat ¢e da i mrtvi neuroni malo po malo iza�uiz podru£ja u kojem nikada nisu pobjednici i po£nu povremeno pobje�ivati£ime ¢e im se omogu¢iti specijalizacija za odre�en dio ulaznog prostora.

Drugo predloºeno rje²enje zasniva se na uvo�enju savjesti. Ideja je slje-de¢a. Svaki neuron procjenjuje postotak slu£ajeva u kojima je pobjednik.�to je taj iznos ve¢i, kod neurona se javlja griºnja savjesti i zbog toga muse udaljenosti do uzoraka koji se dovode na ulaz mreºe prividno pove¢avajute ih on doºivljava ve¢ima no ²to stvarno jesu. S druge pak strane, neuronikoji malo pobje�uju, ºele pobje�ivati vi²e pa im se udaljenosti do uzorakakoji se dovode na ulaz mreºe prividno smanjuju. Ovo ¢e dovesti do togada nakon odre�enog vremena do tada mrtvi neuron po£ne pobje�ivati jer¢e njegova prividno umanjena udaljenost do ulaznog uzorka postati manjaod prividno uve¢anih udaljenosti do svih ostalih neurona, i takav ¢e neuronpo£eti korigirati svoje teºinske faktore. Formalno, ovo moºemo opisati nasljede¢i na£in.

Neka je d( ~Wi, ~X) udaljenost izme�u neurona i i ulaznog uzorka ~X. Tase udaljenost mijenja prema izrazu:

d( ~Wi, ~X)← d( ~Wi, ~X)− bi

gdje je bi promjena duljine uslijed djelovanja savjesti za i-ti neuron. Iznosbi pri tome se ra£una temeljem procjene (oznaka ci) postotka slu£ajeva u

9.4. MRE�A OUTSTAR 177

kojima je i-ti neuron pobjednik. Naime, ako imamo N neurona, o£ekivalibismo da u provednoj situaciji svaki neuron pobje�uje u 1

N posto slu£ajeva,odnosno da je ci = 1

N . Stoga se duljina uslijed savjesti ra£una preko razlikeo£ekivanog postotka pobjeda i procjene postotka pobjeda prema izrazu:

bi = γ ·(

1

N− ci

)gdje γ odre�uje maksimalni iznos promjene stvarne duljine uslijed savjestipa time ovisi o skali prostora iz kojeg se podatci uzimaju. Primjerice, ako seuzorci po svim dimenzijama uzimaju iz raspona [-20,20], mogli bismo raditis γ = 10 ili £ak γ = 20.

Nakon ²to za sve neurone izra£unamo prividne udaljenosti, na uobi£ajense na£in dalje bira pobjednik i radi korekcija. Nakon ²to je odabran pobjed-nik, jo² je potrebno korigirati aktualnu procjenu postotka pobjeda za svakineuron. Izraz koji se koristi je:

ci ← ci + β(yi − ci)

gdje je β mala pozitivna konstanta (npr. 0.001). Uo£imo: samo ¢e neuronkoji je pobjednik na svojem izlazu imati vrijednost yi = 1 £ime ¢e iznosyi − ci biti pozitivan i procjena postotka pobjeda ¢e se malo pove¢ati (toje razlog za razumno malu vrijednost za β). S druge pak strane, svi ostalineuroni koji nisu pobjednici imat ¢e izlaz yi = 0 £ime ¢e iznos yi − ci bitinegativan i procjena postotka pobjeda ¢e se malo smanjiti.

9.4 Mreºa OUTSTAR

Mreºa OUTSTAR radi upravo suprotno od mreºe INSTAR. Dok je mreºaINSTAR na ulaz mogla dobiti proizvoljan podatak a na izlazu je generiralana samo jednom neuronu vrijednosti 1 (svi ostali izlazi su bili 0), mreºaOUTSTAR sluºi za repliciranje pohranjenih uzoraka: ulaz mora biti takavda ima na samo jednom mjestu vrijednost 1 a na izlaz se ne postavljajuograni£enja. Ideja mreºe je sljede¢a: mreºa s m neurona mo¢i ¢e zapamtitim proizvoljnih uzoraka (u odre�enom smislu vrsta memorije) i jedinicomna ulazu nekog neurona odredit ¢emo koji ¢e se od m pohranjenih uzorakapojaviti na izlazu mreºe.

Postupak u£enja ove mreºe je takav da teºinski faktori postaju sli£nizahtjevanim izlazima mreºe a ne ulaznim uzorcima. Primjer ovakve mreºeprikazan je na slici 9.9. Izlaz svakog neurona jednak je klasi£nom skalarnomproduktu ulaza i teºina neurona, odnosno moºemo pisati:

yj = w1jx1 + w2jx2 + . . . wnjxn.

Me�utim, uzev²i u obzir da se na ulazu mreºe, dakle u (x1, . . . , xn) samona jednom mjestu smije pojaviti vrijednost 1 (ozna£imo poziciju tog ulaza s


1

2

m

1

2

m

1

2

m

1

2

n

Slika 9.9: Mreºa OUTSTAR

t) dok svi ostali moraju biti 0, izlaz j-tog neurona ¢e biti jednak:

yj = wtjxt = wtj .

Uz jedinicu na uzlazu t izlaz mreºe tada ¢e dakle bili jednak (wt1, wt2, . . .,wtm). Ozna£imo s (y1, y2, . . ., ym) ºeljeni izlaz mreºe za taj slu£aj. Sada jeevidentno ²to bi pravilo u£enja trebalo posti¢i: teºina wt1 bi trebala postatisli£nija ºeljenom izlazu y1, wt2 bi trebala postati sli£nija ºeljenom izlazu y2,itd. Pravilo u£enja koje se primjenjuje je tzv. Grossbergovo u£enje i ono radiupravo opisano:

wij ← wij + η (yj − wij) · xipri £emu je j broj neurona, i indeks ulaza a η stopa u£enja. Uo£imo: za i 6= tteºine se ne mijenjaju jer su pripadni xi jednaki 0. Za i = t slobodni indeksje samo j koji ide po svim neuronima, i u svakom se promijeni samo teºinakojom je neuron spojen s ulazom t i to tako da postane sli£nija zadanomizlazu tog neurona uz tu pobudu.

9.5 Mreºa Counterpropagation

Najjednostavnija ina£ica mreºe Counterpropagation je direktni spoj mreºaINSTAR i OUTSTAR, kako je to prikazano na slici 9.10.

Ovakva mreºa moºe imati vrlo interesantnu primjenu.

• Prvi dio mreºe, odnosno mreºa INSTAR iz ²umovitih podataka pre-poznaje o kojem se razredu radi i na izlazu daje jedinicu samo kodneurona koji je predstavnik tog razreda.

• Mreºa OUTSTAR temeljem koda koji dobije na ulazu, na izlazu re-konstruira idealnog predstavnika tog razreda i postavlja bilo koji ºeljenipodatak vezan uz taj razred.

9.6. MRE�A SOM 179

PE1

PE2

PEm

net1

net2

netm

y1

y2

ym

PE1

PE2

PEm

Win

ner-t

ake-

all

net1

net2

netm

x1

x2

xn

I N S T A R m r e ž a O U T S T A R m r e ž a

Slika 9.10: Mreºa Counterpropagation

9.6 Mreºa SOM

Samoorganiziraju¢e mape, odnosno punim nazivom Kohonenove samoorga-niziraju¢e mape, jo² su jedan primjer samoorganiziraju¢ih neuronskih mreºa.Za razliku od prethodno spomenutih samoorganiziraju¢ih mreºa, rad Koho-nenove samoorganiziraju¢e mape zasniva se na uporabi mekog natjecanja.Temeljna ideja mekog natjecanja je omogu¢iti u£enje pobjedniku te u ma-njoj mjeri i njegovom bliskom susjedstvu. Ovo je temeljna razlika naspram£vrstom natjecanju gdje u£i samo i isklju£ivo pobjednik.

Kako bismo mogli provoditi meko natjecanje, najprije je potrebno de�-nirati pojam susjedstva, odnosno topologiju mreºe. Naj£e²¢e topologije kojese koriste su:

• jednodimenzijska, pri £emu su neuroni me�usobno povezani u lanac pasvaki neuron osim krajnjih ima dva direktna susjeda (jednog lijevo ijednog desno) te

• dvodimenzijska re²etka, pri £emu svaki neuron osim rubnih ima £etiridirektna susjeda (jednog iznad, jednog ispod, jednog lijevo i jednogdesno).

Primjer dvodimenzijske re²etke prikazan je na slici 9.11 pri £emu je mreºadimenzija 4× 4.

Kohonenove samoorganiziraju¢e mape iskazuju sljede¢a svojstva:

1. o£uvanje distribucije primjera za u£enje � pretpostavimo da primjeriza u£enje dolaze iz dva razreda te da primjera koji pripadaju prvomrazredu ima dvostruko vi²e; tada ¢e i neurona koji predstavljaju repre-zentante prvog razreda biti dvostruko vi²e u odnosu na broj neuronakoji ¢e postati reprezentanti drugog razreda te


PE3,2

PE2,2

PE1,2 PE1,3

PE2,3

PE3,3

PE1,4

PE2,4

PE3,4

PE1,1

PE2,1

PE3,1

PE4,2 PE4,3 PE4,4PE4,1

Slika 9.11: Mreºa SOM

2. topolo²ko preslikavanje � neuroni koji su u samoorganiziraju¢oj mapime�usobno blizu bit ¢e predstavnici primjera koji su u ulaznom pros-toru me�usobno blizu (obrnuto ne mora vrijediti; mogu¢e je da postojeprimjeri koji su u ulaznom prostoru me�usobno blizu a da neuroni kojiih predstavljaju u mapi budu me�usobno daleko).

Susjedstvo se kod samoorganiziraju¢e mape uobi£ajeno de�nira funkci-jom Λi,j koja poprima vrijednost 1 ako su neuroni i i j "maksimalno" susjednite pada prema nuli ²to su neuroni i i j u manjoj mjeri susjedi. Uobi£ajeno jefunkciju susjednosti temeljiti na udaljenosti di,j neurona i i j u mapi kojojpripadaju. Primjerice, ako su neuroni razmje²teni po dvodimenzijskoj re-²etci, tada svakom neuronu k moºemo pridruºiti njegove (xk, yk) koordinateu toj re²etci. Udaljenost izme�u dva neurona tada se naj£e²¢e de�nira kao:

• Manhattan udaljenost, odnosno di,j = |xi − xj |+ |yi − yj | ili pak

• Euklidsku udaljenost, odnosno di,j =√

(xi − xj)2 + (yi − yj)2 ²to je£e²¢i slu£aj.

Naglasimo jo² jednom kako se udaljenost izme�u neurona za potrebe izra£unafunkcije di,j ne promatra u ulaznom prostoru odnosno ne ra£una kao uda-ljenost izme�u primjera koje ti neuroni predstavljaju � udaljenost se ra£unau prostoru same mape. Funkcija susjednosti uz ovako de�niranu udaljenostuobi£ajeno se ra£una prema izrazu:

Λi,j(n) = e−d2i,j2σ2(n)

9.6. MRE�A SOM 181

gdje je s n ozna£ena iteracija odnosno korak algoritma. �irina susjedstvaodre�ena je parametrom σ(n) koji je funkcija od n � prilikom u£enja samo-organiziraju¢e mape taj ¢e se parametar mijenjati ovisno o iteraciji £ime ¢ese i vrijednost funkcije susjednosti mijenjati.

Pravilo aºuriranja teºina koje se koristi kod samoorganiziraju¢e mapeglasi:

~wi ← ~wi + η(n) · Λi,i∗(n) · ( ~X − ~wi)

gdje je ~wi vektor teºina i-tog neurona, η(n) iznos stope u£enja u n-toj itera-ciji, ~X ulazni primjer za u£enje, i∗ indeks neurona pobjednika (dakle neuronakoji je najbliºi ulaznom uzorku za u£enje) te Λi,i∗(n) iznos vrijednosti funk-cije susjednosti izme�u neurona i i pobjedni£kog neurona i∗ u n-toj iteraciji.

Algoritam u£enja Kohonenove samoorganiziraju¢e mape sastoji se oddvije faze.

1. faza odnosno inicijalna faza osigurava grubo pode²avanje samoorga-niziraju¢e mape � sluºi za stvaranje grubog razmje²taja neurona poprostoru primjera za u£enje. U toj fazi kre¢e se od relativno velikog su-sjedstva (primjerice pola ²irine mape ili vi²e) te se susjedstvo postupnosmanjuje prema malom susjedstvu od sveka nekoliko (ili £ak jednog)neurona. Stopa u£enja tako�er treba krenuti s relativno velikim izno-som i potom se postupno smanjivati (primjerice od 0.5 do 0.01). Akoza ovu fazu predvidimo izvo�enje N0 iteracija, za pode�avanje stopeu£enja moºe se koristiti izraz:

η(n) = η0

(1− n

N0 +K

)gdje je n iteracija, η0 po£etni iznos stope u£enja, N0 broj iteracija koje¢e se obaviti tijekom inicijalne faze te K konstanta koja omogu¢avapode²avanje kona£nog iznosa stope u£enja kada n postane jednak N0.Susjedstvo se tako�er smanjuje u skladu s izrazom:

σ(n) = σ0

(1− n

N0

).

2. faza odnosno faza �nog pode²avanja koja se izvodi u N1 koraka pri£emu je N1 >> N0 (tipi£no 10 do 100 puta ili £ak i vi²e). Tijekom ovefaze susjedstvo se drºi na vrlo malom (ili se £ak ograni£ava na samogpobjednika) a stopa u£enja je mala i jo² se smanjuje.

Dio III

Evolucijsko ra£unanje

183

Poglavlje 10

Evolucijsko ra£unanje

�to je to evolucijsko ra£unanje? Na ovo naizgled jednostavno pitanje u da-na²nje doba vi²e nije ba² jednostavno odgovoriti. Jedan kompromisni odgo-vor mogao bi glasiti ovako: evolucijsko ra£unanje je podru£je ra£unarske zna-nosti koje razmatra algoritme koji simuliraju evolucijski razvoj vrsta, ºivoti pona²anje jedinke u dru²tvu ili pak simuliraju razli£ite aspekte umjetnogºivota. U pravilu, svi ovi algoritmi su populacijski algoritmi, iako se ponekadzna dogoditi i da populacija spadne na samo jednu jedinku. Tako�er, najve¢idio algoritama evolucijskog ra£unanja nastao je modeliranjem procesa kojisu opaºeni u prirodi, tj. imaju jaku biolo²ku motivaciju; dakako, niti ovonije pravilo � postoje algoritmi koji nemaju analogiju s procesima u prirodi.

Zajedni£ka obiljeºja ve¢ine algoritama ovog podru£ja je prikladnost zarje²avanje optimizacijskih problema. Uporabom prikladnih algoritama evo-lucijskog ra£unanja mogu¢e je napasti vrlo te²ke optimizacijske problemekoje je u praksi nemogu¢e rje²iti iscrpnom pretragom. Pri tome su razli£itialgoritmi u razli£itoj mjeri prikladni za pojedine vrste optimizacijskih pro-blema: neki je mogu¢e direktno primjeniti samo na kombinatorne optimiza-cijske probleme, neke na probleme optimizacije nad kontinuiranim domenamaa neke na obje vrste problema.

Razvoj ovog podru£ja zapo£eo je ²ezdesetih godina pro²log stolje¢a. Po-dru£je evolucijskog ra£unanja kako ga znamo danas dijeli se u tri velike sku-pine, kako to prikazuje slika 10.1. Podru£ja su redom: evolucijski algoritmi,algoritmi rojeva te ostali algoritmi. U okviru ovog pregleda pobliºe ¢emoopisati samo granu evolucijskih algoritama.

Evolucijske strategije [Rechenberg(1971), Schwefel(1974)] � dominantnioperator za generiranje potomstva je operator mutacije. Najjednostavnijaizvedba, tzv. (1+1)-ES uvijek radi samo s jednim roditeljem; njegovom mu-tacijom nastaje to£no jedno dijete. Ako je dijete lo²ije od roditelja, odbacujese a u suprotnom dijete postaje roditelj za sljede¢u generaciju (a stari rodi-telj se odbacuje). Kod druge varijante evolucijskih strategija, tzv. (1+λ)-ES,iz jednog se roditelja operatorom mutacije stvara λ djece koja se natje£u s

185

186 POGLAVLJE 10. EVOLUCIJSKO RA�UNANJE

Slika 10.1: Pregled podru£ja evolucijskog ra£unanja

roditeljem za preºivljavanje. Najbolja jedinka (bilo roditelj, bilo neko odstvorene djece) prenosi se u sljede¢u generaciju i postaje roditelj. Kod evo-lucijske strategije (1,λ)-ES iz jednog roditelja operatorom mutacije stvara seλ djece i najbolje dijete (£ak ako je i lo²ije od trenutnog roditelja) prenosi seu sljede¢u generaciju gdje postaje roditelj (stari se roditelj uvijek odbacuje).Osim navedenih, razvijen je jo² niz drugih podvrsta.

Evolucijsko programiranje [Fogel et al.(1966)Fogel, Owens, and Walsh] �dominantni operator za generiranje potomstva je operator mutacije; izvornose koristila reprezentacija rje²enja u obliku �ksnog stabla za koje su se traºilisamo optimalni parametri; u dana²nje doba stablo vi²e ne mora biti �ksnestrukture.

Genetski algoritam [Holland(1975)] u odre�enom je smislu poop¢enjeevolucijskih strategija. Naime, iako postoji vi²e izvedbi genetskih algori-tama, svima je zajedni£ko da rade s populacijama roditelja, koriste razli£iteoperatore selekcije za odabir jedinki koje ¢e generirati djecu te osim opera-tora mutacije koriste i operator kriºanja kojim se genetski materijal roditeljame�usobno kombinira kako bi nastalo djete koje dio genetskog materijala do-biva od svakog roditelja.

Genetsko programiranje [Koza(1990),Koza(1992),Koza(1994),Koza et al.(1999)Koza,Andre, Bennett, and Keane] vrlo je sli£no genetskom algoritmu i predstav-lja poop¢enje evolucijskog programiranja. Genetsko programiranje za prikazrje²enja uobi£ajeno koristi stabla koja predstavljaju matemati£ke izraze (akose evoluiraju funkcije) ili pak ra£unalne programe. Genetsko programiranjepri tome koristi i operator mutacije i operator kriºanja.

U£e¢i sustavi klasi�kacije [Holland(1976)] predstavljaju kombinaciju ge-netskih algoritama i podrºanog u£enja. Ideja je izgraditi sustav koji ¢e zasvaki ulaz odabrati tj. izvr²iti onu akciju za koju ¢e primiti maksimalnu na-gradu. Zbog toga su jedinke s kojima rade ovakvi algoritmi upravo pravila.Danas su se uvrijeºile dvije vrste ovih sustava: sustavi tipa Pittsburgh i sus-tavi tipa Michigan. Kod sustava tipa Pittsburgh, svaka je jedinka genetskogalgoritma skup pravila; operator kriºanja tada kombinira dva skupa pravila

187

i stvara novi rezultantni skup pravila koji postaje novo dijete. Kod sustavatipa Michigan u populaciji postoji samo jedan skup pravila; zada¢a genet-skog algoritma u takvom okruºenju je odabrati podskup pravila na na£in dase dobije najbolja klasi�kacija.

Zajedni£ka svojstva algoritama zasnovanih na evolucijskom ra£unanjunavedena su u nastavku.

• Algoritmi su zasnovani na populaciji rje²enja. Uobi£ajeno je da se al-goritam inicijalizira tako da se slu£ajno generira po£etna populacijarje²enja. U po£etnu populaciju se mogu usaditi i rje²enja dobivenanekim drugim algoritmom kako bi se ubrzala konvergencija algoritma.Tijekom evolucijskog procesa broj jedinki u populaciji (veli£ina popu-lacije) moºe se mijenjati, ali se naj£e²¢e ne mijenja, odnosno veli£inapopulacije je konstantna.

• Jedinke su me�usobno usporedive prema dobroti. Jedinka predstav-lja to£ku u prostoru rje²enja, odnosno predstavlja mogu¢e rje²enjeproblema. Primjerice, traºimo li maksimum funkcije f (x), gdje jex ∈ [dg, gg] tada jedinku predstavlja bilo koji broj izme�u donje (dg) igornje ranice (gg) i za svaka dva broja x1, x2 ∈ [dg, gg] se moºe odreditije li f (x1) manji, ve¢i ili jednak f (x2). Treba napomenuti da ovo svoj-stvo imaju algoritmi evolucijskog ra£unanja primijenjeni na problemejednokriterijske optimizacije; kod vi²ekriterijskih optimizacijskih pro-blema ovo svojstvo op¢enito ne vrijedi.

• Populacija jedinki se s vremenom mijenja, evoluira jer se provodi pos-tupak selekcije jedinki. U procesu selekcije bolje jedinke imaju ve¢uvjerojatnost preºivljavanja od onih lo²ijih. Pogre²no bi bilo re¢i da seselkcijom eliminiraju lo²e jedinke!

• Svojstva jedinki se prenose s roditelja na djecu. U stvaranju nove je-dinke (novog rje²enja) sudjeluju izabrane (u pravilu bolje) jedinke izpro²le populacije. Re¢i ¢emo da nad jedinkama djeluju operatori ustvaranju nove populacije. Prema tome, prostor rje²enja se usmjerenopretraºuje na temelju ve¢ postignutih rje²enja kao primjerice u slu£ajuoperatora kriºanja kod genetskih algoritama.

• Prostor rje²enja se pretraºuje osim usmjerenim pretraºivanjem i slu£aj-nim procesom. Evolucijski proces u velikoj mjeri stohasti£ke prirode.Jedinke se slu£ajno odabiru, samo neke s ve¢om, a neke s manjom vje-rojatno²¢u. Tako i promjene koje unose operatori mogu biti slu£ajnekao u slu£aju mutacije kod genetskog algoritma.

U ovom poglavlju nije namjera opisati i razraditi sve algorime zasnovane naevolucijskom ra£unanju, ve¢ je cilj dati upute kako pobolj²ati njihovo pona-²anje. �elimo odabrati takav algoritam da on s odre�enim parametrima uz


prihvatljivo trajanje izvo�enja postigne dovoljno dobro rje²enje. Postupakpode²avanja ili optimiranja algoritma zasnovanog na evolucijskom ra£una-nju bit ¢e opisan na primjeru genetskog algoritma jer genetski algoritam,osim ²to je u povijesti bio prvi predstavljen, je najrasprostranjeniji, odnosnoprimjenjuje se na ²irokom spektru optimizacijskih problema.

10.1 Osvrt na genetske algoritme

Genetski algoritam je heuristi£ka metoda slu£ajnog i usmjerenog pretraºi-vanja prostora rje²enja koja imitira prirodni evolucijski proces. Genetskialgoritam, kao uostalom i svi algoritmi zasnovani na evolucijskom ra£una-nju, sluºi za rje²avanje teºih optimizacijskih problema, za koje ne postojiegzaktna matemati£ka metoda rje²avanja ili su NP-te²ki pa se za ve¢i brojnepoznanica ne mogu rije²iti u zadanom vremenu.

Posao koji obavlja genetski algoritam moºe se opisati jednom re£enicom:nakon ²to se generira po£etna populacija, genetski algoritam cikli£ki obav-lja selekciju boljih jedinki koje potom sudjeluju u reprodukciji, sve dok nijezadovoljen uvjet zavr²etka evolucijskog procesa (slika 10.2). Reprodukcijastvara nove jedinke uz pomo¢ genetskih operatora kriºanja i mutacije. Kri-ºanje prenosi svojstva roditelja na djecu, a mutacija slu£ajno mijenja svojstvajedinke. Genetski algoritam ne speci�cira kako se kriºanjem prenose svoj-stva roditelja na djecu, kako se slu£ajno mijenjaju svojstva jedinki, kako seselektiraju bolje jedinke za reprodukciju, niti kako se generira po£etna po-pulacija. Upravo je ta sloboda u odabiru vrste kriºanja, mutacije, selekcije iinicijalizacije oteºavaju¢a okolnost u procesu izgradnje genetskog algoritmaza rje²avanje speci�£nog optimizacijskog problema. Naime, pokazalo se dane postoji takav skup genetskih operatora za koji bi GA, ako se primijeni zarje²avanje proizvoljnog skupa optimizacijskih problema, davao superiorne re-zultate u odnosu na GA s nekim drugim operatorima [Fogel(1999),Macreadyand Wolpert(1996),Wolpert and Macready(1996),Wolpert(1996)].

1 Genetski_algor itam (){2 gener i ra j_pocetnu_populac i ju ( ) ;3 dok ( n i je_zadovo l jen_uvjet_zavrsetka_evoluc i j skog_procesa ){4 se l ek t i ra j_bo l j e_jed inke_za_reprodukc i ju ( ) ;5 reprodukci jom_gener iraj_novu_populaci ju ( ) ;6 }7 }

Slika 10.2: Genetski algoritam

Genetski algoritam obavlja genetske operatore nad populacijom jedinkiJi ∈ J, gdje je J skup svih mogu¢ih rje²enja. Primjerice, za binarni prikaz,gdje se jedinke sastoje od b binarnih znamenaka, kardinalni broj skupa J je

10.1. OSVRT NA GENETSKE ALGORITME 189

broj svih mogu¢ih rje²enja i iznosi #J = 2b. Jedinke se nazivaju jo² i poten-cijalna rje²enja, jer genetski algoritam manipuliraju¢i genetskim materijalomjedinki, postiºe rje²enje [Blickle and Thiele(1995)]. U ra£unalnom ºargonu,jedinka je nekakva struktura podataka koja se sastoji od kromosoma i vri-jednosti funkcije cilja. Jedinka ili kromosom se sastoji od gena koji opisujusvojstva jedinke.

Populacija P = {J1, J2, . . . , Ji, . . . , JN} ∈ JN se sastoji od N jedinki.Po£etna populacija se naj£e²¢e generira potpuno slu£ajno, ali moºe biti iuniformna (sve jedinke su jednake) ili se moºe sastojati od usa�enih rje-²enja dobivenih nekim drugim optimizacijskim postupkom [Corcoran andWainwright(1992)]. Po£etna populacija P(0) se s vremenom (iz generacijuu generaciju) mijenja i u trenutku (generaciji) t ima oznaku P(t). Obi£no jeuvjet zavr²etka evolucijskog procesa unaprijed zadan broj iteracija I.

Selekcijom se odabiru bolje jedinke za reprodukciju. Kvaliteta jedinkimjeri se s pomo¢u funkcije cilja f : J −→ R. Neki postupci selekcije zahtije-vaju da funkcija cilja ne moºe biti negativna, a niti je poºeljno da funkcijacilja poprima samo velike, pribliºno jednake vrijednosti. Stoga se obi£no usvakom koraku obavlja translacija funkcije cilja, tj. u svakoj iteraciji odu-zima se najmanja vrijednost funkcije cilja u cijeloj populaciji. Rezultat jefunkcija dobrote f : J→ R+ koja se ra£una prema izrazu:

d = f − fmin (t) (10.1)

gdje je fmin (t) najmanja vrijednost funkcije cilja u generaciji t. Jedinka Ji jebolja od jedinke Jk ako je di > dk. Postupci skaliranja i translacije funkcijecilja navedeni su u [Golub(2004a)].

Genetski operatori: selekcija, kriºanje i mutacija u svakoj iteraciji modi-�ciraju populaciju P. Stoga se moºe re¢i da GA pretraºuje prostor rje²enjamijenjaju¢i populaciju u svakoj iteraciji uz pomo¢ nekakve sloºene funkcijeg : JN →JN. Mutacija i kriºanje pretraºuju prostor rje²enja, a selekcijakoristi samo informaciju unutar populacije, odnosno ne traºi nova rje²enja,ve¢ favorizira bolje jedinke. Prostor rje²enja JN naziva se jo² i prostorompretraºivanja.

Danas jo² nije poznat postupak uz pomo¢ kojeg bi se za zadani problemautomatski odredili genetski operatori i prikaz rje²enja. Postupak izgrad-nje genetskog algoritma temelji se na vlastitom i tu�em iskustvu (obi£no izliterature) te na temelju eksperimentiranja i pode²avanjprvom dijelu ovog ra-daa raznih kombinacija genetskih operatora (ve¢inom se to obavlja metodompoku²aja i pogre²aka).

Postupak izgradnje genetskog algoritma moºe se u grubo razloºiti u slje-de¢ih nekoliko koraka:

• stvarni problem postaviti kao optimizacijski problem (primjerice, pro-blem rasporeda se svodi na minimizaciju broja pogre²aka u rasporedu);


• odrediti prikaz i funkciju dobrote;

• odrediti pojedine genetske operatore;

• eksperimentalno podesiti parametre na jednostavnijem problemu zakoji je poznato rje²enje;

• eksperimentalno obaviti �no pode²avanje parametara na stvarnom pro-blemu;

• ukoliko postupak optimiranja stvarnog problema traje predugo, oda-brati najpogodniji paralelni model GA i eksperimentalno podesiti do-datne parametre.

Detaljniji pregled svih genetskih operatora nalazi se u [Golub(2004b),Golub(2004a),�upi¢(2012)].

10.2 Primjer generacijskog genetskog algoritma

U ovom poglavlju razradit ¢emo konkretan primjer genetskog algoritma £iji¢e zadatak biti prona¢i ~x∗ ∈ RN koji maksimizira funkciju

f(~x) =

N∑i=1

e−(xi−i)

2

0.1 ,

pri £emu je oznaka xi kori²tena za i-tu komponentu vektora ~x. Lako je vidjetida je za proizvoljan N ≥ 1 vektor ~x∗ upravo jednak [1 2 . . . N ] i da je tadaf(~x∗) = N . Stoga ¢emo tijekom rada genetskog algoritma uvijek znati kolikosmo blizu (odnosno daleko) od optimalnog rje²enja. Prostor pretraºivanja bit¢e podskup RN takav da je vrijednost koju svaka pojedina£na komponentamoºe poprimiti iz intervala [−50, 50].

Eksperimente opisane u ovom poglavlju radit ¢emo uz n = 4 pa je u tomslu£aju ~x 4-dimenzijski vektor a funkcija postiºe maksimum u ~x∗ = [1 2 3 4]iznosa 4.

Populacija genetskog algoritma sastojat ¢e se od VelPop jedinki pri £emu¢e svaka jedinka biti slijed of Mtot bitova. U tom nizu prva £etvrtina bitovakodirat ¢e prvu komponentu rje²enja, druga £etvrtina bitova drugu kom-ponentu rje²enja i tako dalje. Ovo je prikazano na slici 10.3. Za svakojkomponenti rje²enja pripada M bitova pa je ukupna duljina binarnog nizajednaka Mtot = 4 ·M .

Rje²enja optimizacijskog problema koji trenutno rje²avamo nisu binarninizovi � rje²enja su vektori realnih brojeva. Stoga trebamo de�nirati na£inna koji ¢emo svaki binarni uzorak preslikati u jedan vektor realnih brojeva:trebamo proceduru za dekodiranje rje²enja.

Jedan od najjednostavnijih na£ina dekodiranja jest uporabom prirodnogbinarnog koda. Ako je jedna komponenta predstavljena kao binarni uzorak

10.2. PRIMJER GENERACIJSKOG GENETSKOG ALGORITMA 191

1 0 1 0 1 1 0 1 0 0 1 0 0 1 1 0}

M bitova1. komponente

}


}


}M bitova

4. komponente

Slika 10.3: Kromosom kao niz bitova

od M bitova, taj binarni uzorak moºemo tretirati kao cijeli broj prikazanprirodnim binarnim kodom. U tom slu£aju binarni uzorak 000...00 pred-stavlja broj 0, binarni uzorak 000...01 predstavlja broj 1, i tako redomsve do binarnog uzorka 111...11 koji predstavlja broj 2M − 1. Ove cijelebrojeve moºemo iskoristiti za linearnu interpolaciju raspona decimalnih bro-jeva koji pretraºujemo (odnosno za uniformno uzorkovanje tog intervala).Neka je zadan neki niz bitova i neka taj niz bitova, kada ga se promatrakao cijeli broj kodiran prirodnim binarnim kodom, odgovara cijelom brojum ∈ {0, . . . , 2M −1}. Ako algoritam pretraºuje interval [xmin, xmax], tada jedecimalni broj koji odgovara danom binarnom nizu odnosno cijelom brojum dan izrazom:

x =m

2M − 1· (xmax − xmin) + xmin. (10.2)

Ako je rje²enje vektor decimalnih brojeva, tada se izraz (10.2) primjenjujena svaku pojedina£nu komponentu odnosno podniz binarnog uzorka kojiodgovara promatranoj komponenti rje²enja.

Evo u nastavku primjera koji to ilustrira.

Primjer: 29Genetski algoritam za prikaz rje²enja koristi niz od Mtot = 16 bitova pri £emu se dekodiranje radiuporabom prirodnog binarnog koda. Problem koji se rje²ava je optimizacija nad 4-dimenzijskimpodprostorom decimalnih brojeva koji je po dimenzijama ogra�en na [−50, 50]. Neka je jedan odkromosoma jednak 1101000110100000. O kojem se rje²enju radi?

Rje²enje:

Kako su rje²enja 4-dimenzijski vektori realnih brojeva, svakoj od 4 komponente pripada M =Mtot

4= 16

4= 4 bita. Stoga ¢emo kromosom razdijeliti u 4 grupe, po£ev od lijeve strane: 1101,

0001, 1010 i 0000. Svaki od ova £etiri binarna uzorka predstavlja jedan cijeli broj ako uzorkepromatramo kao cijele brojeve zapisane prirodnim binarnim kodom. Ti brojevi su redom m1 =11012 = 1310, m2 = 00012 = 110, m3 = 10102 = 1010 te m4 = 00002 = 010.

Ako ozna£imo rje²enje ~x = [x1 x2 x3 x4], svaki xi dobit ¢emo iz mi uporabom izraza (10.2)pri £emu je xmin = −50 a xmax = 50. Slijedi:

x1 =m1

2M − 1· (xmax − xmin) + xmin =

13

15· 100− 50 = 36.666,

x2 =m2


1

15· 100− 50 = −43.333,

x3 =m3


10

15· 100− 50 = 16.666 te

x4 =m4


0

15· 100− 50 = −50.


Pripadno rje²enje tada je ~x = [36.666 − 43.333 16.666 − 50].

Uo£imo da algoritam koji koristi binarni kromosom iz prethodnog pri-mjera ne moºe raditi ba² precizno pretraºivanje. Svakoj komponenti u tomprimjeru pripada jedan binarni uzorak duljine 4 bita. Taj binarni uzorakmoºe poprimiti samo 24 = 16 razli£itih kombinacija ²to zna£i da interval[−50, 50] moºe uzorkovati u samo 16 to£aka: dva uzorka su rubovi intervalai jo² se 14 uzoraka uzima uniformno iz unutra²njosti intervala. �elimo li�nije pretraºivanje, potrebno je pove¢ati broj bitova koji se koristi za svakukomponentu rje²enja. De�nirajmo stoga preciznost pretraºivanja kao udalje-nost izme�u dva susjedna rje²enja promatrane komponente. Ta je udaljenostdana izrazom:

∆ =

(m+ 1

2M − 1· (xmax − xmin) + xmin

)−(

m

2M − 1· (xmax − xmin) + xmin

)(10.3)

=xmax − xmin

2M − 1. (10.4)

Ako je pretraºivanje potrebno obaviti uz zadanu preciznost ∆, potreban brojbitova moºe se dobiti direktno iz izraza (10.4) i odre�en je izrazom:

M = ld

(xmax − xmin

∆+ 1

)(10.5)

gdje je ld oznaka za dualni logaritam (tj. logaritam po bazi 2).

Primjer: 30Pretraºivanje opisano u prethodnom primjeru potrebno je obaviti uz preciznost 10−4. Kolikobitova trebamo za svaku komponentu i kolika ¢e biti ukupna veli£ina kromosoma?

Rje²enje:

Koriste¢i izraz (10.5) ra£unamo:

M = ld

(xmax − xmin

∆+ 1

)= ld

(100

10−4+ 1

)= ld

(106 + 1

)≈ 19.93

Slijedi da je potrebno uzeti M = 20 bitova po komponenti odnosno ukupno Mtot = 4 ·M = 80bitova za 4-dimenzijski vektor realnih brojeva i traºenu preciznost. Ovime je de�niran prostorpretraºivanja od 280 unutar kojeg je potrebno prona¢i onaj jedan binarni uzorak koji predstavljaoptimalno rje²enje.

Za implementaciju genetskog algoritma potrebni su nam jo² i operatorkriºanja koji uzima dva rje²enja (roditelje) i temeljem njih generira novorje²enje (dijete) koje sadrºi dio genetskog materijala svakog od roditelja teoperator mutacije koji ¢e na rje²enju napraviti nasumi£nu promjenu.

Za kriºanje ¢emo koristiti operator uniformnog kriºanja koji binarni nizdjeteta konstruira tako da svaki bit sa vjerojatno²¢u od 50% preuzme odprvog roditelja odnosno s vjerojatno²¢u od 50% od drugog roditelja. Imple-mentacija ovog operatora prikazana je u nastavku.


Ispis 10.1: Uniformno kriºanje.1 public stat ic Bi tv e c t o rSo lu t i on uni formCrossover (2 B i tv e c t o rSo lu t i on parent1 , B i t v e c t o rSo lu t i on parent2 ,3 Random rand ) {45 B i tv e c t o rSo lu t i on ch i l d = parent1 . newLikeThis ( ) ;6 for ( int i = 0 ; i < ch i l d . b i t s . l ength ; i++) {7 i f ( parent1 . b i t s [ i ]==parent2 . b i t s [ i ] ) {8 ch i l d . b i t s [ i ] = parent1 . b i t s [ i ] ;9 } else {10 ch i l d . b i t s [ i ] = rand . nextFloat ( ) < 0 .5 ?11 parent1 . b i t s [ i ] : parent2 . b i t s [ i ] ;12 }13 }14 return ch i l d ;1516 }

Operator mutacije izvest ¢emo na sljede¢i na£in. Kako koristimo nizbitova, operator mutacije invertirat ¢e pojedine bitove. Neka je pm vjerojat-nost promjene bita. Tada svaki od bitova binarnog uzorka invertiramo s tomvjerojatno²¢u. To pak zna£i da je mogu¢e da mutacija ne promijeni ni²ta,promjeni nekoliko bitova ili ih promjeni sve; u prosjeku, ako mutaciju pri-mjenjujemo nad binarnim uzorkom duljineMtot, bit ¢e invertirano pm ·Mtot.Izvedba ovakve mutacije dana je u nastavku.

Ispis 10.2: Izvedba mutacije.1 public stat ic void binaryMutate (2 B i tv e c t o rSo lu t i on so lu t i on , Random rand , double pm) {34 f loat fpm = ( f loat )pm;5 for ( int i = 0 ; i < s o l u t i o n . b i t s . l ength ; i++) {6 i f ( rand . nextFloat ()<fpm) {7 s o l u t i o n . b i t s [ i ] = ( byte ) (1 − s o l u t i o n . b i t s [ i ] ) ;8 }9 }1011 }

Jo² je potrebno objasniti kako ¢emo birati roditelje koji sudjeluju u kri-ºanju. Koristit ¢emo proporcionalnu selekciju koja roditelja bira slu£ajnoiz populacije ali na na£in da je vjerojatnost odabira jedinke proporcionalnanjezinoj dobroti. Ako s fi ozna£imo dobrotu i-te jedinke, s pi vjerojatnostodabira i-te jedinke te s popSize broj jedinki u populaciji, tada treba vrije-diti:

p1 = k · fi

. . .

ppopSize = k · fpopSize


gdje je k normalizacijska konstanta. Istovremeno, kako se radi o vjerojat-nostima, mora biti zadovoljeno:

popSize∑i=1

pi = 1.

Slijedi:popSize∑i=1

(k · fi) = k ·popSize∑i=1

fi = 1

²to daje:

k =1∑popSize

i=1 fi.

Stoga je vjerojatnost odabira i-te jedinke jednaka:

pi =fi∑popSize

i=1 fi.

Jednostavna i poprili£no nee�kasna implementacija ovakve selekcije danaje u nastavku.

Ispis 10.3: Proporcionalna selekcija.1 public stat ic <T extends S ing l eOb j e c t i v eSo lu t i on> T [ ]2 proport iona lS impleChoose (3 T [ ] populat ion , Random rand , int howMany) {45 @SuppressWarnings ("unchecked" )6 T [ ] parents = (T [ ] ) Array . newInstance (7 populat ion . ge tC la s s ( ) . getComponentType ( ) ,8 howMany ) ;910 // I z racuna j sumu sv i h dobrota :11 double sum = 0 ;12 for ( int i = 0 ; i < populat ion . l ength ; i++) {13 sum += populat ion [ i ] . f i t n e s s ;14 }1516 // Onoliko puta k o l i k o biramo r o d i t e l j e p ona v l j a j :17 for ( int parentIndex = 0 ; parentIndex < howMany ; parentIndex++) {18 // Gener ira j s l u c a j n i b r o j i z [ 0 , sum ] :19 double r = rand . nextDouble ( ) ;20 double l im i t = r ∗ sum ;21 // Nadi j ed inku koju smo time p o g o d i l i :22 int chosen = 0 ;23 double upperLimit = populat ion [ chosen ] . f i t n e s s ;24 while ( l im i t > upperLimit && chosen < populat ion . length −1) {25 chosen++;26 upperLimit += populat ion [ chosen ] . f i t n e s s ;27 }


28 parents [ parentIndex ] = populat ion [ chosen ] ;29 }30 return parents ;3132 }

Prkazani kod kao argument dobiva populaciju iz koje se biraju roditeljite broj roditelja koje treba odabrati.

Cjeloviti generacijski genetski algoritam napisan uporabom opisanih me-toda (koje su izdvojene u novi razred) prikazan je u nastavku.

Ispis 10.4: Generacijski genetski algoritam.1 private stat ic double [ ] gaLoop ( IFunct ion f ,2 BitvectorDecoder decoder , int popSize , double pm,3 Random rand , int generat ionL imi t ) {45 B i tv e c t o rSo lu t i on [ ] populat ion =6 EvoUtil . i n i t i a l i z e P o p u l a t i o n ( popSize , rand , decoder ) ;78 for ( int i = 0 ; i < populat ion . l ength ; i++) {9 populat ion [ i ] . f i t n e s s = f . valueAt (10 decoder . decode ( populat ion [ i ] )11 ) ;12 }1314 // Ponav l j a j zadani b ro j g ene ra c i j a :15 for ( int gene ra t i on = 1 ; gene ra t i on <= generat ionL imi t ;16 gene ra t i on++) {1718 // Po l j e novih r j e s e n j a :19 B i tv e c t o rSo lu t i on [ ] nextPopulat ion =20 new Bi tv e c t o rSo lu t i on [ popSize ] ;2122 // U novu popu l a c i j u prene s i t renutno23 // n a j b o l j e r j e s e n j e ( e l i t i z am ) :24 B i tv e c t o rSo lu t i on best = EvoUtil . f i ndBes t ( populat ion ) ;25 nextPopulat ion [ 0 ] = best ;2627 // Pr eo s t a l i h popSize−1 r j e s e n j a g en e r i r a j operatorima28 for ( int i = 1 ; i < popSize ; i++) {29 B i tv e c t o rSo lu t i on [ ] parents =30 EvoUtil . proport iona lS impleChoose ( populat ion , rand , 2 ) ;31 B i tv e c t o rSo lu t i on ch i l d =32 EvoUtil . uni formCrossover ( parents [ 0 ] , parents [ 1 ] , rand ) ;33 EvoUtil . binaryMutate ( ch i ld , rand , pm) ;34 ch i l d . f i t n e s s = f . valueAt ( decoder . decode ( ch i l d ) ) ;35 nextPopulat ion [ i ] = ch i l d ;36 }3738 // Ucini novu popu l a c i j u trenutnom39 populat ion = nextPopulat ion ;40 }41


42 return decoder . decode ( EvoUtil . f i ndBes t ( populat ion ) ) ;43 }

Algoritam kao parametar o£ekuje referencu na objekt koji radi dekodira-nje rje²enja, pa je u tom smislu neovisan o to£nom na£inu dekodiranja kojese ºeli koristiti. U prvom skupu eksperimenata koji ¢e ovdje biti prikaza-nim kao dekoder ¢emo koristiti objekt koji radi dekodiranje kod kojeg se nizbitova tuma£i kao cijeli broj zapisan u prirodnom binarnom kodu. Njegovametoda decode prima binarni uzorak a vra¢a polje decimalnih brojeva (tj.vektor koji predstavlja rje²enje). Funkcija koja se optimira modelirana jesu£eljem IFunction koje de�nira metodu double valueAt(double[] x); koja primavektor ~x i vra¢a vrijednost funkcije u toj to£ki.

Tipi£an tijek optimizacije prikazan je na slici 10.4. Graf prikazuje funk-ciju dobrote najboljeg rje²enja kroz generacije, pri £emu je dobrota poisto-vje¢ena s iznosom funkcije koju se optimira, budu¢i da je njezin minimum0 i da radimo maksimizaciju. Rezultati prikazani na grafu dobiveni su uzsljede¢e parametre: veli£ina populacije iznosi 50, vjerojatnost mutacije bitaiznosi 0.05, broj generacija je 1000, broj bitova po komponenti je 20 £imese prostor uz raspon od [−50 50] pretraºuje s precizno²¢u od 10−4. Svakikromosom sastavljen je od 80 bitova.

0 100 200 300 400 500 600 700 800 900 10000.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

Generacija

Dobrota

Slika 10.4: Kretanje dobrote najboljeg rje²enja kroz generacije

Kako je po£etna generacija sastavljena od 50 nasumi£no generiranih bi-narnih nizova, njezina dobrota je bila oko 0.67. Potom, iz generacije u gene-raciju, dobrota najboljeg rje²enja se malo po malo popravlja. Pri tome nijenetipi£no vidjeti da se u vi²e uzastopnih generacija dobrota ne mijenja da bi


se potom skokovito promijenila, potom kroz nekoliko generacija popravljalai potom opet jedno vrijeme stagnirala. Pogledate li malo bolje na kojim todobrotama dolazi do stagnacije, uo£it ¢ete da su to upravo situacije u kojimaje algoritam prona²ao jednu ispravnu komponenta rje²enja, potom jo² jednuispravnu komponentu rje²enja i tako sve do optimalnog rje²enja u kojem suprona�ene sve £etiri komponente.

Pokrenemo li vi²e puta genetski algoritam, ne¢emo svaki puta dobiti kre-tanje dobrote koje je identi£no onome prikazanome na slici 10.4. Razlogtome leºi u stohasti£koj naravi genetskog algoritma. Stoga je prirodno za-pitati se kako izgleda distribucija najboljih rje²enja koja se dobivaju ako sealgoritam pokre¢e vi²e puta? Na pitanje ¢emo odgovoriti eksperimentom.Genetski algoritam pokrenut ¢emo 200 puta uz sljede¢e parametre: veli£inapopulacije iznosi 20, vjerojatnost mutacije bita iznosi 0.05, broj generacija je1000. Najbolje rje²enje dobiveno nakon svakog pokretanja ¢emo pohraniti,£ime ¢emo zavr²iti s 200 rje²enja. Njihova distribucija prikazana je na slici10.5.

2.00 2.25 2.50 2.75 3.00 3.25 3.50 3.75 4.000.00

0.25

0.50

0.75

1.00

Dobrota

Postotak

Slika 10.5: Distribucija najboljih rje²enja

Prikazani histogram dobiven je podjelom 200 najboljih rje²enja u grupeprema dobroti (prvu grupu £ine rje²enja dobrote od 2 do 2.125, drugu grupu£ine rje²enja dobrote od 2.125 do 2.25 i tako dalje sve do zadnje grupe koju£ine rje²enja dobrote od 3.875 do 4). Potom je izra£unato koliko posto rje-²enja se nalazi u kojoj grupi i to je prikazano na gra�konu. Kako moºemovidjeti, razdioba rje²enja nije normalna niti simetri£na. U preko 50% po-kretanja dobiveno je rje²enje koje se nalazi u grupi 3.875�4. U ne²to vi²e


od 25% slu£ajeva rje²enja su u prvoj lo²ijoj grupi. Takve grupe nema sdesne strane najbolje grupe ²to je i jasno: nemogu¢e je da postoje boljarje²enja od optimalnih. Ovo je pak vaºan detalj jer kada krenemo govoritio prosje£nom pona²anju optimizacijskog algoritma, vaºno je razumjeti kojise statisti£ki pokazatelj koristi i za²to. Primjerice, nakon napravljenih 200pokretanja algoritma mogli bismo izra£unati prosje£nu dobrotu rje²enja iistaknuti prosjek. Ovo me�utim ne¢e biti dobar pokazatelj: distribucija rje-²enja nije normalna, nije simetri£na i ima (ponekad i duga£ak) rep premalijevoj strani. Taj ¢e rep prosjek povu¢i u lijevu stranu i stoga ¢e biti manjino ²to bismo htjeli.

Bolji statisti£ki pokazatelj u ovom je slu£aju medijan: medijan niza bro-jeva je onaj broj od kojeg u nizu ima jednak broj manjih i ve¢ih brojeva. Ilidruga£ije, ako 200 dobivenih dobrota sortiramo i potom uzmemo onu kojase nalazi to£no na polovici sortiranog niza, to je medijan. U slu£aju opti-mizacijskih algoritama, medijan je puno realnija mjera: to je broj koji namkaºe da ¢emo u pola slu£ajeva dobiti rje²enje barem takve dobrote a mogu¢ei bolje.

Pogledajmo sada nekoliko tipi£nih eksperimenata: ima li veli£ina po-pulacije, vjerojatnost mutacije ili pak broj generacija utjecaja na najboljeprona�eno rje²enje? Ima li na£in prikaza rje²enja utjecaja na najbolje pro-na�eno rje²enje? Da bismo odgovorili na ova pitanja, napravljene su jo²dvije ina£ice opisanog genetskog algoritma: prva ina£ica umjesto dekodira-nja prirodnim binarnim kodom pretpostavlja da su cijeli brojevi u binarneuzorke kodirani Grayevim kodom pa tako radi i dekodiranje. Druga ina£icau cijelosti mijenja prikaz rje²enja: umjesto da radi s nizom bitova, rje²enjepredstavlja direktno kao polje od 4 decimalna broja koje izravno predstavljavektor ~x. U tom slu£aju mutacija je izvedena tako da u 50% slu£ajeva oda-bere jednu komponentu rje²enja i doda joj slu£ajno generirani broj izvu£eniz normalne distribucije b N (0, 1) pa potom skaliran s 2 a u 50% slu£ajevaodabere jednu komponentu i potpuno je slu£ajno generira prema uniformnojdistribuciji U(−50, 50). U ovoj implementaciji mutacija nikada ne mijenjavi²e od jedne komponente rje²enja. Kriºanje je izvedeno tako da u 50% slu-£ajeva emulira uniformno kriºanje (dijete svaku od 4 komponente rje²enjaslu£ajno bira ili iz jednog roditelja ili iz drugog) a u 50% slu£ajeva svaku odkomponenti rje²enje djeteta postavi na aritmeti£ku sredinu odgovaraju¢ihkomponenti roditelja.

Prva serija eksperimenata ima zada¢u istraºiti ²to se doga�a s najboljimrje²enjima kako variramo veli£inu populacije. Eksperiment je proveden nasljede¢i na£in. Vjerojatnost mutacije bita postavljena je na 0.05, broj gene-racija je 1000, broj bitova po komponenti je 20 £ime se prostor uz raspon od[−50 50] pretraºuje s precizno²¢u od 10−4. Svaki kromosom sastavljen je od80 bitova. Veli£ine populacije varirane su od 5 do 100 i za svaku �ksiranuveli£inu populacije genetski je algoritam pokrenut 200 puta.

Slika 10.6 kao statisti£ki pokazatelj koristi medijan. Za svaku �ksiranu


0 10 20 30 40 50 60 70 80 90 1000.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

Veličina populacije

Dobrota

Slika 10.6: Ovisnost medijana najboljeg rje²enja o veli£ini populacije. Gornjidio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje£nih rje-²enja. Crveno: prirodni binarni kod, zeleno: Grayev kod, plavo: decimalnareprezentacija.

veli£inu populacije genetski algoritam je pokrenut 200 puta i za svako pokre-tanje je pohranjena dobrota najboljeg rje²enja te prosje£na dobrota kona£nepopulacije. Potom su izra£unati medijan dobrota najboljih rje²enja te me-dijan prosje£nih dobrota populacije. To je zatim ponovljeno za niz drugihveli£ina populacija i naravno za tri vrste prikaza.

�to moºemo zaklju£iti sa slike? Na ovom konkretnom primjeru £ak i svrlo malim populacijama (najmanja isprobana populacija bila je veli£ine 5jedinki) genetski algoritam uspjeva u 1000 generacija u barem pola pokreta-nja prona¢i optimalno rje²enje (medijan je 4 neovisno o veli£ini populacije).Ina£ica koja direktno radi s decimalnim brojevima s manjim populacijamane uspjeva nedijan natjerati na 4; me�utim, s porastom veli£ine populacijemedijan brzo deseºe vrijednost 4. Zanimljivo je pogledati donji dio grafa kojiprikazuje medijan dobrota prosje£nih rje²enja 1000-te (tj. zadnje) popula-cije. Kada su populacije vrlo male, u 1000 generacija i prosje£na dobrotapopulacije postaje relativno visoka. Naime, £im se prona�e bolje rje²enje,kako je populacija mala, velika je vjerojatnost da ¢e to rje²enje imati direk-tan utjecaj i na preostale jedinke i da ¢e se populacija brzo prilagoditi. Kakoveli£ina populacije raste, promjene u populaciji postaju sve sporije i utjecajnajboljeg rje²enja pada; to za posljedicu ima da proje£na dobrota populacijesporije raste pa uz ograni£en broj generacija medijan prikazan na slici pada.


0 10 20 30 40 50 60 70 80 90 1000.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

Veličina populacije

Dobrota

Slika 10.7: Ovisnost prosjeka najboljih rje²enja o veli£ini populacije. Gornjidio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje£nih rje-²enja. Crveno: prirodni binarni kod, zeleno: Grayev kod, plavo: decimalnareprezentacija.

Iz prethodne analize £itatelj bi mogao zaklju£iti da je odli£no mjestoupravo po£etak grafa: tamo gdje su veli£ine populacije najmanje prosje£naveli£ina populacije je najve¢a. To je, me�utim, vrlo opasno mjesto � mjestogdje populacija lagano zaglavi u lokalnom optimumu iz kojeg se te²ko moºeizvu¢i. Ovo je najbolje vidljivo na slu£aju algoritma koji koristi polje deci-malnih brojeva: uz veli£inu populacije od 5 jedinki, medijan najboljih rje-²enja je 3. To zna£i da je algoritam uspio prona¢i optimalne vrijednosti za3 od 4 komponente, ali u populaciji nije bilo dovoljno genetske raznolikostida bi se operatorima kriºanja omogu¢ilo da "napipaju" optimalnu vrijednosti preostale £etvrte komponente. S pove¢anjem veli£ine populacije medijanprosje£nih dobrota populacije pada ali raste genetska raznolikost: ve¢ uz po-pulaciju od 30 jedinki algoritam uspjeva konstruirati optimalne vrijednostiza sve £etiri komponente i medijan se penje na 4.

Kako bismo jo² jednom istaknuli razliku izme�u medijana i prosje£nevrijednosti, rezultati istog eksperimenta obra�eni su koriste¢i prosjek a nemedijan kao statisti£ki pokazatelj. Rezultat ove analize dan je na slici 10.7.Pogledajte prosje£ne vrijednosti dobrota najboljih rje²enja i usporedite ih smedijanima dobrota najboljih rje²enja prikazanih na slici 10.6. Za veli£inupopulacije od 5 jedinki prosje£na dobrota najboljih rje²enja je u svim slu£a-jevima manja o 4; to se moºe zahvaliti velikom broju slu£ajeva u kojima je


algoritam zaglavio na nekom od nepovoljnijih lokalnih optimuma pa je tajrep prosjek povukao prema niºim vrijednostima.

Sljede¢e ²to ¢emo istraºiti jest utjecaj vjerojatnosti mutacije bita na me-dijan najboljih rje²enja; eksperimente ¢emo stoga napraviti za ina£ice kojekoriste prirodni binarni kod i Grayev kod. Svi ostali parametri bit ¢e �ksirani(veli£ina populacije 30, 1000 generacija).

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.80.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

Vjerojatnost mutacije bita

Dobrota

Slika 10.8: Ovisnost medijana najboljih rje²enja o vjerojatnosti mutacije bitakod ina£ice koja koristi prirodni binarni kod. Gornji dio prikazuje statistikunajboljih rje²enja a donji dio statistiku prosje£nih rje²enja.

Slika 10.8 prikazuje kretanje medijana kod ina£ice koja koristi prirodnibinarni kod dok slika 10.9 prikazuje kretanje medijana kod ina£ice koja ko-risti Grayev kod. Moºemo uo£iti da razlike postoje ali i pravilnosti. Uzpremalu vjerojatnost mutacije bita dominantni mehanizam koji koristi ge-netski algoritam je kriºanje. Operator kriºanja je operator koji agregirapopulaciju � fokusira je na jedno podru£je i radi pretraºivanje bliske okolicetog podru£ja. Samo pod djelovanjem operatora kriºanja populacija ¢e brzoizgubiti genetsku raznolikost i postupak pretraºivanja ¢e zaglaviti. To se naslici jasno vidi za vrlo male vjerojatnosti. Potom, kako vjerojatnost muta-cije bita raste, dolazimo u podru£je u kojem je uspostavljen balans izme�usila uslijed kojih dolazi do saºimanja populacije te sila koje uzrokuju ²irenjeprostora pretraºivanja (za ovo posljednje u na²em je slu£aju zasluºan upravooperator mutacije). To je podru£je u kojem operator mutacije maksimalnodoprinosi pronalasku dobrog rje²enja.

Daljnjim porastom vjerojatnosti mutacije bita efekti mutacije postaju


0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.80.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

Vjerojatnost mutacije bita

Dobrota

Slika 10.9: Ovisnost medijana najboljih rje²enja o vjerojatnosti mutacijebita. Kod ina£ice koja koristi Grayev kod. Gornji dio prikazuje statistikunajboljih rje²enja a donji dio statistiku prosje£nih rje²enja.

prejaki i kvaliteta rje²enja polagano degradira. Uz velik iznos vjerojatnostimutacije bita svi ostali mehanizmi pretraºivanja koje koristi genetski algo-ritam bivaju potisnuti prevelikom koli£inom nasumi£nih promjena koje radimutacija; u krajnosti postupak pretraºivanja svodi na nasumi£no generiranjenovih binarnih nizova i njihovo vrednovanje, ²to nije e�kasan na£in pretra-ºivanja.

Kona£no, moºemo pogledati i kakav je utjecaj broja generacija koje smospremni £ekati i medijana dobrote najboljih rje²enja koji moºemo o£ekivati.Eksperimenti su ra�eni uz veli£inu populacije od 30 jedinki i vjerojatnostmutacije bita od 0.05. Rezultati eksperiment dani su na slici 10.10 i to zasve tri ina£ice algoritma. O£ekivano, ²to se vi²e generacija dopusti, algoritamse vi²e pribliºava podru£ju u kojem medijan postaje jednak 4.

Prethodni eksperimenti trebali su posluºiti tome da dobijete predodºbukako genetski algoritam "di²e". S obzirom da smo ustanovili da razli£itevrijednosti parametara itekako imaju utjecaj na rezultate koje algoritamdaje, pitanje je: kako do¢i do optimalnih parametara? Pri tome treba uo£itida smo sve eksperimente radili tako da smo �ksirali sve parametre osim onogjednog koji smo istraºivali. Naºalost, promjena bilo kojeg od parametaraautomatski mijenja i dobivene krivulje tako da ovaj odabir nije jednostavan,i o njemu ¢e vi²e rije£i biti u sljede¢em poglavlju.


0 100 200 300 400 500 600 700 800 900 10000.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

Broj generacija

Dobrota

Slika 10.10: Ovisnost medijana najboljih rje²enja o broju generacija. Gornjidio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje£nih rje-²enja. Crveno: prirodni binarni kod, zeleno: Grayev kod, plavo: decimalnareprezentacija.

Poglavlje 11

Na£ini pobolj²anja

djelotvornosti genetskih

algoritama

11.1 Uvod

Genetski algoritam je recept koji kazuje ²to treba raditi s genetskim materi-jalom kako bi se s odre�enom vjerojatno²¢u nakon odre�enog vremena pos-tiglo zadovoljavaju¢e rje²enje zadanog optimizacijskog problema. Genetskimaterijal je skup svojstava koji opisuju neku jedinku. Genetski algoritam neodre�uje na koji na£in je genetski materijal pohranjen u radni spremnik, nitikako treba manipulirati genetskim materijalom, ve¢ samo kaºe da se genet-ski materijal treba razmjenjivati, slu£ajno mijenjati, a bolje jedinke trebajus ve¢om vjerojatno²¢u preºivljavati selekciju. Kako ¢e se bolje jedinke se-lektirati za reprodukciju, te kako ¢e se i s kolikim vjerojatnostima obavitikriºanje i mutacija, odre�uje se na temelju iskustva i eksperimentalno, tj. he-uristi£ki. Stoga postoji velika sloboda u izradi genetskih algoritama. Cijenate slobode su lo²i ili nikakvi rezultati koji se naj£e²¢e dobivaju s genetskimalgoritmom koji nema pode²ene parametre ili nema genetske operatore pri-lago�ene problemu. U ovom poglavlju bavit ¢emo se upravo optimiranjemsamog genetskog algoritma.

Genetski algoritam je vremenski zahtjevan i tro²i najvi²e procesorskogvremena od bilo koje druge metode optimiranja. Cilj pode²avanja, odnosnooptimizacije genetskog algoritma je prona¢i genetski algoritam koji u ²to jemogu¢e kra¢em roku pronalazi zadovoljavaju¢a rje²enja. Jedan od mogu¢-nosti na£ina ubrzanja genetskog algortma je, naravno, njegova paralelizacija.Mi se u ovom poglavlju ne¢emo baviti paralelizacijom genetskog algoritma,ve¢ ¢emo se baviti pobolj²avanju djelotvornosti sekvencijskog genetskog al-goritma. �tovi²e, kada podesimo sekvencijski genetski algoritam, njega jemogu¢e paralelizirati i time posti¢i jo² bolje rezultate.

205

206 POGLAVLJE 11. POBOLJ�ANJE DJELOTVORNOSTI GA

CILJEVI NA�INI

Pove¢anje vjerojatnosti postizanjadobrih rje²enja

Pode²avanje parametaraPove¢anje kvalitete dobivenih rje-²enjaSkra¢enje trajanja izvo�enja pro-grama:- pove¢anje brzine konvergencije ismanjenje broj iteracija- skra¢enje trajanje izvo�enjajedne iteracije

Optimiranje izvornog teksta pro-grama

- paralelizacija Paralelno izvo�enje genetskih ope-racija

Tablica 11.1: Ciljevi i na£ini pobolj²anja djelotvornosti genetskih algoritama

Pode²avanjem (optimiranjem) parametara genetskog algoritma mogu seposti¢i zadovoljavaju¢i rezultati. Me�utim, sâm postupak pode²avanja jedugotrajan proces. Primjerice, u postupku pode²avanja samo tri parametragenetskog algoritma opisanog u ovom poglavlju trebalo je nekoliko tisu¢aputa pokrenuti genetski algoritam. Cijeli postupak trajao je oko 100 sati nadana²njim PC ra£unalima, unato£ tome ²to je jedan evolucijski proces trajaosvega nekoliko minuta. Drugim rije£ima, postupak pode²avanja parametaraje vremenski vrlo zahtjevan. Sre¢om, postoje i neke pravilnosti u pona²a-nju genetskog algoritma koje se mogu iskoristiti za skra£ivnje pretrage zaoptimalnim parametrima algoritma.

Djelotvornost genetskog algoritma se moºe pobolj²ati na tri na£ina: po-ve¢anjem vjerojatnosti postizanja dobrih rje²enja, pove¢anjem kvalitete do-bivenih rje²enja i skra¢enjem trajanja izvo�enja. Trajanje izvo�enja se moºeskratiti tako�er na tri na£ina: pove¢anjem brzine konvergencije £ime se sma-njuje broj iteracija, smanjenjem trajanja izvo�enja jedne iteracije i para-lelnim izvo�enjem cijelog genetskog algoritma ili samo pojedinih genetskihoperatora. Navedeni ciljevi mogu se ostvariti pode²avanjem parametara, op-timiranjem izvornog teksta programa i paralelizacijom genetskog algoritma(tablica 11.1).

Pove¢anje vjerojatnosti postizanja dobrih rje²enja, pove¢anje kvaliteterje²enja i smanjenje broja iteracija moºe se posti¢i pode²avanjem parame-tara genetskog algoritma. Pode²avanje parametara je dugotrajan posao, jerse obavlja isklju£ivo eksperimentalno. Mnogi autori se bave tom problema-tikom, pa se u literaturi mogu prona¢i neki skupovi parametara, koji supode²eni za odre�eni genetski algoritam primijenjen za rje²avanje odre�e-nog optimizacijskog problema. Ta tu�a iskustva mogu posluºiti kao dobresmjernice ili po£etne vrijednosti prilikom eksperimentalnog pode²avanja pa-

11.2. ODABIR PRIKLADNOG PRIKAZA RJE�ENJA 207

rametara za speci�£an genetski algoritam i speci�£an optimizacijski problem.S obzirom da je proces pode²avanja parametara dugotrajan, prilikom izgrad-nje genetskog algoritma treba voditi ra£una da broj parametara bude ²to jemogu¢e manji.

Trajanje izvo�enja jedne iteracije moºe se skratiti optimiranjem izvor-nog koda. Time su iscrpljene sve mogu¢nosti skra¢enja trajanja izvo�enjasekvencijskog GA, odnosno genetskog algoritma koji se izvodi na jednoproce-sorskom ra£unalu. Paraleliziranjem algoritma dodatno se skra¢uje trajanjeizvo�enja. Paralelizirati se mogu svi ili samo neki genetski operatori. Ako seve¢ ne obavljaju svi genetski operatori paralelno, poºeljno je da se paralelnoobavljaju oni operatori, koji tro²e najvi²e procesorskog vremena.

11.2 Odabir prikladnog prikaza rje²enja

Za genetski algoritam jedinke su potencijalna rje²enja, a okolinu predstavljafunkcija cilja. �eli li se implementirati genetski algoritam kao metoda opti-miranja, potrebno je de�nirati proces dekodiranja i preslikavanja podatakazapisanih u kromosomu te odrediti funkciju dobrote. U kona£nici svaka ¢ejedinka, £ije su osobine zapisane u kromosomu, biti u ra£unalu zapisana kaoniz jeinica i nula. Me�utim, ono ²to predstavljaju te jedinice i nule naziva seprikazom rje²enja. Tako primjerice postoje sljede¢i na£ini prikaza rje²enja:

• binarni prikaz,

• prikaz brojevima s pomi£nom to£kom,

• permutirani niz cijelih brojeva,

• niz brojeva,

• matrica,

• program,

• stablo te drugi.

Nisu svi genetski operatori primijenjivi za sve vrste prikaza rje²enja. Za-pravo, genetski operatori su prilago�eni upravo vrsti prikaza rje²enja. Pri-mjerice, primijeni li se kriºanje s jednom to£kom prekida na dva permutirananiza cijelih brojeva dobit ¢e se niz koji najvjerojatnije sadrºi vi²e istih cjelo-brojnih vrijednosti. Radi se o nemogu¢em rje²enju, odnosno rezultat kriºanjaje niz cijelih brojeva, ali nije permutirani niz cijelih brojeva.


11.3 Vrednovanje jedinki

Postupak vrednovanja jedinki, odnosno postupak evaluacije provodi se izra-£unavanjem vrijednosti funkcije dobrote, odnosno funkcije kazne (ovisno otome koristi li se generacijska ili eliminacijska selekcija, tj, izabire li se jedinkaza reprodukciju u idu¢oj generaciji ili za brisanje iz populacije). Pravilnimizborom funkcije dobrote (ili kazne) uvelike se moºe utjecati na djelotvornostgenetskog algoritma. Funkcija dobrote mora dobro oslikavati optimizacijskiproblem. Funkcija dobrote mora biti ²to je mogu¢e jednostavnija, jer seu praksi pokazalo na mno²tvu primjera da genetski algoritam tro²i najvi²evremena upravo za evaluaciju.

11.4 Selekcije

11.4.1 Podjela

Genetski algoritmi koriste selekcijski mehanizam za odabir jedinki koje ¢esudjelovati u reprodukciji. Selekcijom se omogu¢ava preno²enje boljeg ge-netskog materijala iz generacije u generaciju. Zajedni£ko svojstvo svih vrstaselekcija je ve¢a vjerojatnost odabira boljih jedinki za reprodukciju. Postupciselekcije se me�usobno razlikuju po na£inu odabira boljih jedinki. Premana£inu preno²enja genetskog materijala boljih jedinki u sljede¢u iteracijupostupci selekcije se dijele na (slika 11.1):

• generacijske selekcije - selekcijom se direktno biraju bolje jedinke £iji¢e se genetski materijal prenijeti u sljede¢u iteraciju i

• eliminacijske selekcije - biraju se lo²e jedinke za eliminaciju, a boljejedinke preºive postupak selekcije.

Generacijskom selekcijom se odabiru bolje jedinke koje ¢e sudjelovati u re-produkciji. Izme�u jedinki iz populacije iz prethodnog koraka biraju se boljejedinke i kopiraju u novu populaciju. Ta nova populacija, koja sudjeluje ureprodukciji, naziva se me�upopulacijom. Na taj na£in se priprema novageneracija jedinki za postupak reprodukcije. To je ujedno prvi nedostatakgeneracijskih selekcija, jer se u radnom spremniku odjednom nalaze dvijepopulacije jedinki. Broj jedinki koje preºive selekciju je manji od veli£inepopulacije. Naj£e²¢e se ta razlika u broju preºivjelih jedinki i veli£ine popu-lacije popunjava duplikatima preºivjelih jedinki. Pojava duplikata u sljede-¢oj iteraciji je drugi nedostatak generacijskih selekcija, jer duplikati nikakone doprinose kvaliteti dobivenog rje²enja, ve¢ samo usporavaju evolucijskiproces. Generacijska selekcija postavlja granice me�u generacijama. Svakajedinka egzistira to£no samo jednu generaciju. Izuzetak su jedino najboljejedinke koje ºive duºe od jedne generacije i to samo ako se primijeni elitizam.

11.4. SELEKCIJE 209

Generacijskeselekcije

Pi Pi'

1234567

1317477

Eliminacijskeselekcije

Pi

12X4XX7

Slika 11.1: Podjela postupaka selekcije prema na£inu preno²enja genetskogmaterijala boljih jedinki u novu iteraciju

Kod eliminacijskih selekcija bolje jedinke preºivljavaju mnoge iteracijepa stroge granice izme�u generacija nema, kao ²to je to slu£aj kod generacij-skih selekcija. Eliminacijska selekcija bri²e M jedinki. Parametar M nazivase mortalitetom ili generacijskim jazom. Izbrisane jedinke bivaju nadomje-²tene jedinkama koje se dobivaju reprodukcijom. Eliminacijskom selekcijomse otklanjaju oba nedostatka generacijske selekcije: nema dvije populacijeu istoj iteraciji i u postupku selekcije se ne stvaraju duplikati. Na prvi po-gled je uvo�enje novog parametra M nedostatak eliminacijske selekcije, jerse svakim dodatnim parametrom zna£ajno produºava postupak pode²ava-nja algoritma. Me�utim, uvo�enjem novog parametra, nestaje parametarvjerojatnost kriºanja, jer kriºanje treba obaviti to£no onoliko puta kolikoje potrebno da se nadopuni populacija do po£etne veli£ine N. �to je ve¢avjerojatnost kriºanja, treba biti ve¢i mortalitet i obrnuto. Primjerice, ako sekoristi uniformno kriºanje, koje producira jednu novu jedinku, tada se to£noM puta treba ponoviti kriºanje kako bi se nadopunila populacija, odnosnozamijenile eliminirane jedinke. Selekcijom se osigurava preno²enje boljeg ge-netskog materijala s ve¢om vjerojatno²¢u u sljede¢u iteraciju. Ovisno o me-todi odabira boljih jedinki kod generacijskih selekcija, odnosno lo²ih jedinkikod eliminacijskih selekcija, postupci selekcije se dijele na proporcionalne irangiraju¢e. Vaºno je napomenuti da je zajedni£ko obiljeºje svim selekci-jama ve¢a vjerojatnost preºivljavanja bolje jedinke od bilo koje druge lo²ijejedinke. Selekcije se razlikuju prema na£inu odre�ivanja vrijednosti vjero-jatnosti selekcije odre�ene jedinke. Proporcionalne selekcije odabiru jedinkes vjerojatno²¢u koja je proporcionalna dobroti jedinke, odnosno vjerojatnostselekcije ovisi o kvocijentu dobrote jedinke i prosje£ne dobrote populacije.Broj jedinki s odre�enim svojstvom u sljede¢oj iteraciji je proporcionalan


kvocijentu prosje£ne dobrote tih jedinki i prosje£ne dobrote populacije. Takoglasi dio teorema sheme koji se odnosi na selekciju.

Rangiraju¢e selekcije odabiru jedinke s vjerojatno²¢u koja ovisi o polo-ºaju jedinke u poretku jedinki sortiranih po dobroti. Rangiraju¢e selekcijese dijele na sortiraju¢e i turnirske selekcije. Sortiraju¢e sbilaelekcije su: line-arno sortiraju¢a selekcija, µ−λ selekcije i krnja selekcija. Turnirske selekcijese dijele prema broju jedinki koje sudjeluju u turniru. Na slici 11.2 prikazanaje podjela selekcija na proporcionalne i rangiraju¢e, te na njihove podvrste.

Vrste selekcija

Proporcionalne selekcije Rangirajuće selekcije

Jednostavnaproporcionalna

selekcija

Stohastičkauniverzalna

selekcija

Sortirajućeselekcije

Selekcijenajboljih

Linearnosortirajućaselekcija

Turnirskeselekcije

(µ,λ)selekcija

(µ+λ)selekcija

Krnjaselekcija

k-turnirskaselekcija

Jednostavnaturnirskaselekcija

Slika 11.2: Vrste selekcija

Genetski algoritam eksplicitno ne de�nira genetske operatore (slika 10.2),tj. genetski algoritam ne kaºe na koji na£in, odnosno kako genetski opera-tori obavljaju svoj posao, ve¢ ²to trebaju u£initi. Selekcija odabire boljejedinke za reprodukciju. Kriºanjem se svojstva roditelja prenose na djecu,a mutacijom se slu£ajno mijenja genetski materijal. Kako ¢e kriºanje osigu-rati preno²enje genetskog materijala na djecu i kako ¢e mutacija izmijenitigenetski materijal, ovisi o samom problemu koji se rje²ava i o vrsti prikazarje²enja. Tako, primjerice, kriºanje s jednom to£kom prekida nije pogodno zarje²avanje problema trgova£kog putnika, ali se zato moºe primijeniti za op-timiranje funkcija realne varijable i binarni prikaz. Jednako tako nije vaºnokako ¢e selekcija odabrati bolje jedinke za reprodukciju, ve¢ je vaºno da boljejedinke imaju ve¢u vjerojatnost preºivljavanja od lo²ijih. Osim toga, vaºnoje i koliko ve¢u vjerojatnost odabira imaju bolje jedinke od lo²ijih.

11.4. SELEKCIJE 211

11.4.2 Selekcijski pritisak

Selekcijski pritisak je odnos vjerojatnosti preºivljavanja dobrih i lo²ih je-dinki. Drugim rije£ima, selekcijski pritisak je sposobnost preºivljavanja je-dinki. Neka vjerojatnosti selekcije dvije jedinke s oznakama i i j iznose p(i)i p(j) respektivno. Neka je jedinka s oznakom i bolja od one s oznakom j,tj. neka je d(i) > d(j), odnosno p(i) > p(j). Selekcijski pritisak je ve¢i ²to jekvocijent p(i)/p(j) ve¢i ili ²to je ve¢a razlika p(i)− p(j). Selekcija ima velikiselekcijski pritisak ukoliko s velikom vjerojatno²¢u prenosi bolje jedinke uidu¢u iteraciju, odnosno s velikom vjerojatno²¢u eliminira jedinke ispodpro-sje£ne dobrote. Selekcijski pritisak utje£e na kvalitetu rje²enja. Genetskialgoritmi s velikim selekcijskim pritiskom pronalaze prije rje²enje, tj. brºekonvergiraju ºrtvuju¢i kvalitetu dobivenog rje²enja, jer brºa konvergencijauzrokuje ve¢u vjerojatnost zaglavljivanja u lokalnom optimumu. S drugestrane, ako je selekcijski pritisak premali, nepotrebno se tro²i vrijeme nabeskorisne iteracije jer je konvergencija u tom slu£aju prespora.

Parametri selekcije utje£u na selekcijski pritisak, odnosno na brzinu ko-nvergencije algoritma. Na konvergenciju algoritma ne utje£e samo selekcija,nego i ostali operatori, pa brzina konvergencije ne moºe biti mjera za selekcij-ski pritisak. Selekcijski pritisak se posredno odre�uje (kvanti�cira) uz pomo¢primjerice trajanja preuzimanja, selekcijske razlike ili selekcijskog intenziteta.

Trajanje preuzimanja je prosje£an broj generacija nakon kojih se po-pulacija sastoji od N duplikata najbolje jedinke, ukoliko se u svakoj iteracijiuporabi samo operator selekcije bez kriºanja i mutacije. Drugim rije£ima,mjeri se broj iteracija nakon kojih se eliminiraju sve jedinke osim najbolje.�to je trajanje preuzimanja manje, selekcijski pritisak je ve¢i i obrnuto.

Trajanje preuzimanja poprima najmanju vrijednost kada je vjerojatnostselekcije svih jedinki jednaka i iznosi p = 1

N (slu£ajno pretraºivanje). Osimo vrsti selekcije i njezinim kontrolnim parametrima, trajanje preuzimanja zaproporcionalne selekcije ovisi i o funkciji cilja.

Selekcijom preºivljavaju bolje jedinke i o£ekuje se da prosje£na vrijed-nost preºivjelih jedinki bude ve¢a od prosje£ne vrijednosti cijele populacije.Posljedica selekcijskog pritiska je selekcijska razlika izme�u preºivjelih je-dinki i cijele populacije [Cantú-Paz(2001)]. Selekcijska razlika s je razlikaprosje£ne vrijednosti dobrote preºivjelih jedinki dp i prosje£ne vrijednostidobrote svih jedinki d u svakoj iteraciji t:

s (t) = dp (t)− d (t) (11.1)

Prosje£na vrijednost dobrote svih jedinki koje £ine populaciju ra£una seprema izrazu:

d (t) =1

N

N∑i=1

di (t) (11.2)

Nadalje, neka je σ (t)standardna devijacija svih dobrota u populaciji u


generaciji t :

σ (t) =

√√√√√ N∑i=1

[di (t)− d (t)

]2N

(11.3)

Uz pretpostavku da dobrota populacije di ima normalnu razdiobuN[d (t) , σ (t)

]u generaciji t, selekcijska razlika je proporcionalna standardnoj devijaciji po-pulacije:

s (t) = sI · σ (t) (11.4)

pri £emu se faktor sI = s (t) /σ (t) naziva selekcijskim intenzitetom[Bäck(1995)].

Naravno, dobrota nema normalnu razdiobu za sve funkcije cilja i u sva-kom trenutku t. Me�utim, za ve¢inu funkcija cilja pred kraj evolucijskogprocesa (t >>) razdioba vrijednosti funkcije dobrote populacije moºe se do-bro aproksimirati normalnom razdiobom [Bäck(1995)].

Selekcijski pritisak je ve¢i ²to je ve¢a selekcijska razlika, odnosno selek-cijski intenzitet. Selekcijska razlika ovisi o standardnoj devijaciji populacijekoja se mijenja iz generacije u generaciju, a selekcijski intenzitet je kons-tantna vrijednost koja ovisi samo o vrsti selekcije i njezinim parametrima.Stoga se selekcijski intenzitet moºe koristiti kao mjera za selekcijski pritisakuz ograni£enje da vrijednosti funkcije dobrote populacije imaju normalnurazdiobu.

Poºeljno je da selekcijski mehanizam bude takav da se na jednostavanna£in moºe kontrolirati selekcijski pritisak. Dodatni zahtjevi nad postupkomselekcije prema Bäcku [Bäck(1994)] su:

• promjena kontrolnih parametara selekcije mora biti jednostavna, a po-sljedice te promjene moraju biti predvidive;

• poºeljno je da selekcija ima samo jedan kontrolni parametar i

• raspon selekcijskog pritiska treba biti ²to ve¢i.

Naºalost ve¢ina postupaka selekcije ne zadovoljava niti prvi zahtjev [Bäck(1994)].

11.4.3 Izbor selekcije

U postupku selekcije nije vaºan na£in odabira jedinki, ve¢ vjerojatnost oda-bira, odnosno selekcijski pritisak. Prilikom izbora selekcije favoriziraju sepostupci selekcije koji su lako upravljivi (selekcijski pritisak ne ovisi o op-timizacijskom problemu i kontrolira se jednim parametrom), jednostavni suza implementaciju, ne tro²e mnogo procesorskog vremena i pogodni su zaparalelizaciju.

Analizirajmo prvo proporcionalne selekcije kroz njihove prednosti i ne-dostatke kako bi smo ih mogli usporediti sa rangiraju¢im selekcijama.

Nedostaci proporcionalnih selekcija pobrojani su u nastavku.

11.4. SELEKCIJE 213

• Nad funkcijom cilja, ako se ona izravno koristi za izra£unavanje vjero-jatnosti selekcije, postavljena su sljede¢a ograni£enja: ne smije popri-mati negativne vrijednosti i ne smije poprimati samo pribliºno jednakevelike vrijednosti. U prvom bi slu£aju vjerojatnost selekcije bila nega-tivna, a u drugom slu£aju bi se genetski algoritam pretvorio u postupakslu£ajnog pretraºivanja, jer sve jedinke imaju pribliºno istu vjerojat-nost selekcije. Rje²enje tih problema je funkcija dobrote koja se dobivatranslacijom funkcije cilja. Translacija funkcije cilja se mora obaviti usvakom koraku i to usporava rad genetskog algoritma.

• Nemogu¢e je paralelizirati postupak selekcije bez sinkronizacije dretvi,jer se u svakoj iteraciji mora izra£unati ukupna dobrota populacije kojamora biti dostupna svim dretvama.

• Eliminacijska proporcionalna selekcija se mora obavljati sekvencijski,jer svaka eliminacija jedinke ima za posljedicu promjenu vjerojatnostieliminacije svih ostalih (preºivjelih) jedinki.

• Tro²e znatno vi²e procesorskog vremena od rangiraju¢ih selekcija.

• Nemaju mogu¢nosti pode²avanja selekcijskog pritiska (nema parametras kojim bi se mogao pode²avati selekcijski pritisak).

• Selekcijski pritisak ovisi o funkciji dobrote. To zna£i da je za svakufunkciju cilja druga£iji selekcijski pritisak, a time i brzina konvergencijekoja direktno utje£e na kvalitetu dobivenih rje²enja.

Nasuprot navedenim nedostacima, postoji samo jedna prednost proporci-onalnih selekcija.

• Analiza rada genetskog algoritma je olak²ana, jer gotovo sva teorijskaistraºivanja se temelje na proporcionalnim selekcijama. Stoga se, una-to£ svim navedenim nedostacima, jo² uvijek nerjetko koristi u praksi.

Kako je to ve¢ navedeno, svaki od postupaka selekcije na slici 11.2 moºe bitigeneracijski ili eliminacijski. Generacijske selekcije nisu pogodne za parale-liziranje, jer se reprodukcija mora obavljati odvojeno od selekcije. Repro-dukcija moºe po£eti tek kada generacijska selekcija formira novu populaciju.Generacijska selekcija tro²i vi²e spremni£kog prostora jer algoritam obavljaposao nad dvije populacije. Povrh toga, generacijskom selekcijom se gene-riraju duplikati. Duplikate je poºeljno nakon reprodukcije eliminirati, ²tododatno usporava rad genetskog algoritma. Stoga je eliminacijska selekcijapogodnija za paralelno izvo�enje te na jednostavan na£in je mogu¢e ugraditielitizam tako da se naprosto ne eliminiraju najbolje jedinke.

Postupci selekcije se dijele i prema tome kako funkcija cilja utje£e na vje-rojatnost selekcije. Ako funkcija cilja izravno utje£e na vjerojatnost selekcije,tako da je vjerojatnost selekcije proporcionalna vrijednosti funkcije cilja, radi


se o proporcionalnim selekcijama. Izme�u brojnih navedenih nedostatakaproporcionalnih selekcija isti£u se: nemogu¢nost paralelizacije eliminacijskeproporcionalne selekcije bez sinkronizacije, nemogu¢nost jednostavne kon-trole selekcijskog pritiska i prevelika ovisnost pona²anja genetskog algoritmao funkciji cilja. Dakle, selekciju pogodnu za paralelno izvo�enje treba tra-ºiti me�u rangiraju¢im selekcijama. Sortiraju¢e selekcije su nepogodne zaparalelizaciju upravo zbog postupka sortiranja jedinki koji se mora obavitiu svakoj iteraciji. Osim toga, jednostavan eksperiment u kojem se mjerilovrijeme trajanja eliminacijske proporcionalne i eliminacijske 3-turnirske se-lekcije dao je sljede¢i rezultat: eliminacijska proporcionalna selekcija tro²i3.4 puta vi²e procesorskog vremena od eliminacijske 3-turnirske selekcije.Prema tome, eliminacijske turnirske selekcije su najpogodnije za paralelnoizvo�enje.

Turnirske selekcije obavljaju selekciju samo nad dijelom populacije sli£nokao i distribuirani genetski algoritam. Distribuirani genetski algoritam ko-risti izolirane subpopulacije nad kojima se paralelno obavljaju svi genetskioperatori. Osim toga, selekcijski pritisak ne ovisi o funkciji cilja, ve¢ samo ojednom parametru: veli£ini turnira k. Prema tome, ostaje jo² samo odabirparametra k. k je bilo koji cijeli broj u intervalu [2, VEL_POP].

Selekcijski pritisak se moºe na vrlo jednostavan na£in pode²avati kod ge-netskih algoritama s k -turnirskom selekcijom i to uz pomo¢ parametra k. �toje ve¢i k, ve¢i je i selekcijski pritisak nad slabijim jedinkama, odnosno, boljejedinke se vi²e favoriziraju [Miller and Goldberg(1995)]. Preveliki selekcij-ski pritisak uzrokuje preranu konvergenciju k lokalnom optimumu, a premalipretvara algoritam u slu£ajnu pretragu. Optimalni selekcijski pritisak je,naravno, ne²to izme�u ta dva ekstrema. Prevelika vrijednost parametra kuzrokuje preveliki selekcijski pritisak. Primjerice, ako se populacija sastojiod 30 jedinki i koristi se generacijska 10-turnirska selekcija 9 najlo²ijih jedinkinikada ne¢e biti izabrane za idu¢u populaciju. Ovakav, preveliki selekcijskipritisak pogotovo nema smisla u po£etku evolucijskog procesa kada su svejedinke otprilike jednako lo²e pa postoji velika opasnost da se dobar genet-ski materijal u lo²ijim jedinkama eliminira odmah na po£etku optimiranja.Pokazalo se [Golub(2004a)] da u ve¢ini slu£ajeva k -turnirska selekcija imave¢i selekcijski pritisak od primjerice jednostavne proporcionalne selekcije.Prema tome, treba odabrati ²to je mogu¢e manji k. Najmanji k je 2, me-�utim, treba voditi ra£una da je selekcija jednostavna za implementaciju iparalelizaciju. Pokazalo se da je jednostavno paralelizirati genetski algori-tam s k -turnirskom selekcijom u kojoj se nakon svakog turnira obavljajui ostali genetski operatori (kriºanje i mutacija). Najmanji turnir u kojemje to mogu¢e je veli£ine 3: slu£ajnim postupokom se odabiru 3 jedinke odVEL_POP jedinki u populaciji, odabira se najlo²ija od 3 slu£ajno odabranejedinke i nadomje²¢uje se jedinkom koja je rezultat reprodukcije preºivjeledvije jedinke. Ta se selekcija naziva eliminacijska 3-turnirska selekcija. Trebanaglasiti da ova selekcija ima jo² jedno dobro svojstvo: inherentno je ugra-

11.5. REPRODUKCIJA 215

Slika 11.3: Operatori kriºanja u slu£aju binarnog prikaza

�en elitizam. Dakle, da bi se o£uvale dvije najbolje jedinke u populacijinije potrebno pisati nikakvog dodatnog programskog koda jer je naprostovjerojatnost eliminacije dvije najbolje jedinke jednaka nuli.

11.5 Reprodukcija

Reprodukcija je postupak stvaranja nove populacije nakon selekcije. Prematome, reprodukcija kod genetskog algoritma obuhva¢a kriºanje i mutaciju.Pod pojmom reprodukcija se nerjetko u literaturi podrazumijeva samo kri-ºanje pa treba pripaziti na ²to se taj pojam odnosi. U ovoj knjizi ¢emopod pojmom reprodukcije podrazumijevati i kriºanje i mutaciju. U pravilukriºanje se obavlja prije mutacije i mutiraju se jedinke dobivene kriºanjem.Operatori kriºanja i mutacije ovise o vrsti prikaza rje²enja. Tako su primje-rice za binarni prikaz pogodni operatori kriºanja s jednom ili vi²e to£akaprekida i uniformno kriºanje (slika 11.3) te operatori mutacije jednostavnamutacija i potpuna mije²aju¢a mutacija (slika 11.4).

Ukoliko se primjerice koriste polje realnih brojeva za prikaz rje²enja, prik-ladni operatori kriºanja su: diskretna rekombinacija, jednostavna i jednos-truka aritmeti£ka rekombinacija (slika 11.5) a prikladni operator mutacije jejednostavna mutacija (slika 11.6) sli£no kao i u slu£aju binarnog prikaza.


Slika 11.4: Operatori mutacije prikladni za binarni prikaz

11.5. REPRODUKCIJA 217

Slika 11.5: Operatori kriºanja prikladni za prikaz poljem realnih brojeva

Slika 11.6: Operatori mutacije prikladni za prikaz poljem realnih brojeva


Prikaz permutiranim nizom cijelih brojeva zahtjeva svoj skup speci�£nihoperatora kriºanja i mutacije. Tako su, primjerice, prikladni u ovom slu-£aju sljede¢i operatori kriºanja: djelomi£no mapirano kriºanje, kriºanje uporetku i kruºno kriºanje (slika 11.7). Prikladni operatori mutacije su mu-tacije zamjenom, ubacivanjem, premetanjem, obrtanjem i posmakom (slika11.8).

11.6 Teorem sheme i hipoteza blokova

11.6.1 Pretpostavke

Teorijske osnove genetskog algoritma (teorem sheme i hipoteza blokova) od-nose se na genetski algoritam s binarnim prikazom.

Da bi vrijedili teorem sheme i hipoteza blokova, potrebno je zadovoljitisljede¢e pretpostavke:

• populacija je neograni£ena,

• funkcija dobrote vjerno odraºava problem i

• geni u kromosomu su me�usobno nezavisni.

11.6.2 Teorem sheme

Shema je uzorak ili skup rje²enja koja su me�usobno sli£na. Sli£nost seodnosi na jednakost gena na pojedinim mjestima kromosoma. Ostali genimogu biti ili isti ili razli£iti i ozna£avaju se zvjezdicom: �*�. Primjerice,shema *101*1 predstavlja skup od £etiri rje²enja:

• 010101,

• 010111,

• 110101,

• 110111.

Zvjezdica �*� ozna£ava �bilo ²to� ili �bilo koji znak�, a u ovom slu£aju to je0 ili 1.

Neka je kromosom duljine n, a shema neka sadrºi r znakova �*�. Takvashema predstavlja 2r rje²enja. S druge strane, jedno rje²enje moºe biti pred-stavljeno s 2n shema. Ukupan broj shema kod binarnog prikaza rje²enjaiznosi 3n, jer jedan znak sheme moºe biti �*�, �0� ili �1�.

Red sheme S (oznaka o(S)) je broj nepromjenjivih (�ksnih) gena, od-nosno broj svih onih znakova sheme S koji nisu �*�:

o (s) = n− r. (11.5)

11.6. TEOREM SHEME I HIPOTEZA BLOKOVA 219

Slika 11.7: Operatori kriºanja za prikaz permutiranim nizom cijelih brojeva


Slika 11.8: Operatori mutacije za prikaz permutiranim nizom cijelih brojeva

11.6. TEOREM SHEME I HIPOTEZA BLOKOVA 221

Na primjer, o( *1*001)=4 i o( ****11******)=2.De�nirana duºina sheme ili de�niraju¢i razmak (oznaka δ (S)) je uda-

ljenost izme�u prve i zadnje nepromjenjive znamenke. Na primjer, δ( *01110011*)=9-2=7, δ( 10**0)=5-1=4 i δ( **1**)=3-3=0.

De�nicija 49 (Teorem sheme). Broj jedinki koje sadrºe shemu niskog reda,kratke de�nirane duºine i iznadprosje£ne dobrote raste eksponencijalno.

Formalni opis teorema sheme prikazan je sljede¢om nejednako²¢u:

N (S, t+ 1) ≥ N (S, t)DS

D

[1− δ (S)

n− 1pc − o (S) pm

](11.6)

gdje su:N (S, t+ 1) o£ekivani broj jedinki koje su podskup sheme S u ge-

neraciji tDS prosje£na dobrota shemeD prosje£na dobrota populacijeδ (S) de�nirana duºina sheme So (S) red sheme Spc vjerojatnost kriºanjapm vjerojatnost mutacijen duºina kromosoma

Vjerojatnost gubitka sheme zbog operatora kriºanja je proporcionalnavjerojatnosti kriºanja i de�niranoj duºini sheme, a obrnuto je proporcionalnabroju mogu¢ih prekidnih to£aka (n-1) i iznosi: pgc = δ(S)

n−1 · pc.To£nije, vjerojatnost gubitka sheme zbog operatora kriºanja je manja ili

jednaka pgc, jer postoji mogu¢nost da oba roditelja sadrºe shemu S. Slu£aj-nim odabirom to£ke prekida shema S ostaje sa£uvana, jer kriºanjem nastajeista shema iz istih dijelova koje sadrºe roditelji. Na primjer, promotrimoshemu 101**11**1 koju sadrºe oba roditelja. Neka je to£ka prekida izme�udvije jedinice unutar sheme. Nakon kriºanja shema je ostala sa£uvana (slika11.9).

Svako kriºanje, osim mije²aju¢eg kriºanja, (npr. uniformno kriºanje ilikriºanje s vi²e to£aka prekida) £uva shemu ako je sadrºe oba roditelja.

Vjerojatnost gubitka sheme zbog mutacije je proporcionalna vjerojat-nosti mutacije i redu sheme: pgm = o (S) pm. Treba spomenuti da u izrazu11.6 u uglatoj zagradi nedostaje £etvrti £lan koji se zanemaruje. Ispravno,spomenuti izraz glasi:

N (S, t+ 1) ≥ N (S, t)DS

D

[1− δ (S)

n− 1pc − o (S) pm +

δ (S)

n− 1o (S) pcpm

](11.7)


Slika 11.9: Shema je sa£uvana nakon kriºanja s jednom to£kom prekida akooba roditelja sadrºe istu shemu

11.6.3 Hipoteza gra�evnih blokova

Rad genetskog algoritma moºe se predstaviti kao natjecanje izme�u shemagdje kratke sheme niskog reda s nadprosje£nom dobrotom pobje�uju. Sas-tavljaju¢i i nizaju¢i takve sheme algoritam dolazi do rje²enja. Kratke shemeniskog reda s iznadprosje£nom dobrotom nazivaju se gra�evni blokovi.

De�nicija 50 (Hipoteza gra�evnih blokova). Genetski algoritam pretraºujeprostor rje²enja nizaju¢i sheme niskog reda, kratke de�nirane duºine i iznad-prosje£ne dobrote, zvane gra�evni blokovi.

U slu£aju da su geni u kromosomu me�usobno zavisni, hipoteza gra�ev-nih blokova ¢e i tada vrijediti ako su ti zavisni geni blizu.

S druge strane, gra�evni blokovi mogu navesti genetski algoritam na krivorje²enje, tj. da konvergira lokalnom optimumu. Ta se pojava naziva decepcija, a funkcija koja izaziva tu pojavu decepcijska ili varaju¢a funkcija.

Najjednostavniji primjer decepcijske funkcije je tzv. minimalni decepcij-ski problem. Dvobitna funkcija koja izaziva minimalni decepcijski problemje odre�ena nejednakostima:

f(11)>f(00),f(11)>f(01),f(11)>f(10),f(*0)>f(*1),f(0*)>f(1*).0* i *0 su kratke sheme niskog reda i iznadprosje£ne dobrote: f(*0)>f(*1)

i f(0*)>f(1*), ali ne sadrºe niz 11 za koji se postiºe optimum.Potpun decepcijski problem je takav problem gdje sve kratke sheme ni-

skog reda koje sadrºi optimalno rje²enje imaju ispodprosje£nu dobrotu uodnosu na ostale sheme s istim nepromjenjivim genima.

Primjer potpunog decepcijskog problema. Neka se kromosom sastojiod niza jedinica i nula duljine b. Funkcija f de�nirana nad kromosomom

11.7. PODE�AVANJE PARAMETARA ALGORITMA 223

vra¢a broj jedinica, a ako su sve nule vra¢a vrijednost 2b. Globalni opti-mum se postiºe upravo s kromosomom koji sadrºi sve nule i niti jednu jedi-nicu: f(0000..0000)=2b, a lokalni optimum je kromosom sa svim jedinicama:f(1111....1111)=b. Svaka kratka shema niskog reda koju sadrºi optimalnorje²enje (npr. 00*0 ili 0*0 ) ima ispodprosje£nu dobrotu u odnosu na ostalesheme s istim �ksiranim genima.

11.7 Pode²avanje parametara algoritma

11.7.1 Parametri genetskog algoritma

Djelotvoran evolucijski algoritam ima uravnoteºeno slu£ajno i usmjereno pre-traºivanje prostora rje²enja i uravnoteºenu selekciju roditelja i selekciju je-dinki za novu populaciju. Tu ravnoteºu je mogu¢e posti¢i pode²avanjemparametara algoritma.

Osnovni parametri genetskog algoritma su: veli£ina populacije (N=VEL_POP),duljina kromosoma (b), vjerojatnost mutacije (pm), vjerojatnost kriºanja(pc), selekcijski pritisak i broj iteracija (I ). U ovisnosti o modelu genetskogalgoritma i vrsti selekcije koja se koristi, ovisi i broj parametara genetskog al-goritma. Primjerice, genetski algoritam s eliminacijskom selekcijom umjestoparametra vjerojatnost kriºanja ima parametar generacijski jaz ili mortalitet(M ). Drugi primjer je distribuirani genetski algoritam koji ima, osim osnov-nih, £ak sedam dodatnih parametara koji utje£u na djelotvornost paralelnoggenetskog algoritma.

Veli£ina populacije utje£e na kvalitetu rje²enja i na vrijeme trajanja ge-netskog algoritma. Ako se koristi k -turnirska selekcija, veli£ina populacijeizravno ne utje£e na vrijeme trajanja optimizacije, ve¢ utje£e na kvaliteturje²enja. �eli li se posti¢i rje²enje iste kvalitete s ve¢om populacijom, genet-ski algoritam treba odraditi vi²e iteracija. Za vi²e iteracija treba, naravno,vi²e vremena. Bez obzira na vrstu selekcije, veli£ina populacije znatno utje£ena kvalitetu rje²enja, a time izravno ili neizravno (ovisno o vrsti selekcije)na trajanje optimizacijskog postupka.

Duljina kromosoma, primjerice kod binarnog prikaza, jednaka je umno-²ku dimenzije problema (broja nepoznanica) i broju bitova. Broj bitovautje£e na preciznost rje²enja, koje je unaprijed zadano. Taj je parametarunaprijed zadan i ne treba ga pode²avati. Ono ²to treba u£initi jest podesitiostale parametre genetskog algoritma tako da genetski algoritam postiºe uodre�enom vremenu dovoljno kvalitetno rje²enje za unaprijed zadanu veli-£inu kromosoma. Kako bi genetski algoritam bio ²to je mogu¢e djelotvorniji,ne treba pretjerivati s prevelikom precizno²¢u algoritma jer za veliku preciz-nost treba vi²e bitova £ime je prostor pretraºivanja ve¢i.

Genetski algoritam je naro£ito osjetljiv na vjerojatnost mutacije pa trebaposvetiti posebnu paºnju prilikom pode²avanja tog parametra. Vjerojatnostkriºanja ne utje£e zna£ajnije na svojstva genetskog algoritma. �tovi²e, ge-


oznaka parametar preporu£ene vrijednosti

pm vjerojatnost mutacije 0,1%-3% (naj£e²¢a vrijednost je 1%)N veli£ina populacije 20-100I broj iteracija 103 − 107

Tablica 11.2: Preporu£eni intervali vrijednosti parametara

netski algoritam koji u istom koraku obavlja i selekciju i reprodukciju nematog parametra, jer se kriºanje obavlja u svakoj iteraciji.

Selekcijski pritisak se mjeri uz pomo¢ selekcijske razlike s, selekcijskogintenziteta sI ili uz pomo¢ trajanja preuzimanja T. Selekcijski pritisak sekod GA s turnirskom selekcijom pode²ava uz pomo¢ parametra k, gdje jek = 2, 3, . . . , N . �to je ve¢i k, ve¢i je i selekcijski pritisak. Ve¢i selekcijskipritisak ima za posljedicu i brºu konvergenciju zbog £ega algoritam kra¢etraje, ali ima i ve¢u vjerojatnost zaglavljivanja u lokalnom optimumu. Tur-nirska selekcija, i s najmanje mogu¢om vrijedno²¢u parametra k (kmin = 2),ima ve¢i selekcijski pritisak od proporcionalnih selekcija i rangiraju¢ih selek-cija [Bäck(1994)]. Stoga, zapravo i nema izbora prilikom odabira parametrak: parametar k mora biti ²to je mogu¢e manji. U slu£aju da se u istom ko-raku obavlja i selekcija i reprodukcija, tri ili vi²e jedinki trebaju sudjelovatiu turnirskoj selekciji (jedna jedinka se eliminira i nadomjesti djetetom dvajuslu£ajno odabranih roditelja od k − 1 preºivjelih jedinki). Dakle, ºelimoli u istom koraku obavljati i turnirsku selekciju i reprodukciju, minimalnavrijednost parametra k je tri.

Posljednji parametar iz osnovnog skupa parametara genetskog algoritmaje broj iteracija. �to je ve¢i broj iteracija, o£ekuje se bolje rje²enje. Trajanjeizvo�enja algoritma proporcionalno je broju iteracija. Za kontradiktornezahtjeve: posti¢i ²to je mogu¢e kvalitetnije rje²enje u ²to je mogu¢e kra¢emvremenu, treba u£initi kompromis: genetski algoritam treba obaviti dovoljanbroj iteracija da postigne zadovoljavaju¢e rje²enje.

Prema tome, parametri genetskog algoritma s 3-turnirskom eliminacij-skom selekcijom koje treba odrediti su: veli£ina populacije, vjerojatnost mu-tacije i broj iteracija. Parametri se u pravilu odre�uju eksperimentalno.Me�utim, dobro je znati preporu£ene intervale vrijednosti parametara kakobi se smanjio prostor pretrage u potrazi za optimalnim parametrima (tablica11.2).

11.7.2 Karakteristi£ne krivulje

Kvaliteta dobivenog rje²enja za dva sli£na skupa parametara moºe biti bitnorazli£ita, jer je genetski algoritam osjetljiv na svaku promjenu parametara.Rezultati optimiranja se mogu znatno pobolj²ati �nim pode²avanjem para-metara. Dakle, optimalni skupovi parametara iz literature mogu posluºiti


samo kao smjernice gdje treba traºiti optimalno skup parametara za odre-�en genetski algoritam primijenjen na odre�enom optimizacijskom problemu.Jednako tako, da bi se izbjeglo dugotrajno eksperimentalno odre�ivanje pa-rametara, treba iskoristiti sljede¢e pravilnosti u pona²anju genetskog algo-ritma:

• pove¢avanjem broja iteracija se u pravilu postiºe bolje rje²enje;

• za ve¢e populacije, treba obaviti vi²e iteracija, a vjerojatnost mutacijetreba smanjiti;

• jednako kvalitetna rje²enja se mogu posti¢i za vi²e skupova parametara.

Poºeljno je unaprijed znati broj iteracija i za poznati broj iteracija ekspe-rimentalno odrediti veli£inu populacije i vjerojatnost mutacije. Obi£no jeunaprijed poznato raspoloºivo vrijeme za optimiranje, a time i broj iteracija.Ukoliko se s tako odre�enim skupom parametara ne postiºe zadovoljavaju¢erje²enje, broj iteracija se mora pove¢ati. S druge strane, ako se s dobivenimskupom parametara postiºe zadovoljavaju¢e rje²enje, treba poku²ati i s ma-njim brojem iteracija. Tako sve dok se ne dobije rje²enje koje ne zadovoljava.Na taj na£in je mogu¢e odrediti gornju i donju granicu vremena izvo�enja,odnosno broja iteracija.

Za primjer osjetljivosti genetskog algoritma na vrijednosti parametaraostavren je 3-turnirski eliminacijski genetski algoritam koji se koristi za rje²a-vanje jednog aproksimacijskog problema. Na slici 11.10 je prikazano nekolikopokretanja evolucijskog procesa za razli£ite vrijednosti veli£ina populacije.Za o£ekivati je da ¢e genetski algoritam do¢i do boljeg rje²enja ako djelujenad ve¢om populacijom. Me�utim, za ve¢e populacije, treba odraditi i ve¢ibroj iteracija. Kako su svi ostali parametri u ovom primjeru, osim veli£inepopulacije, bili �ksirani, za prevelike vrijednosti veli£ina populacije za jednakbroj iteracija se postiglo lo²ije rje²enje.

Na istom primjeru provedena su ispitivanja ²to se zbiva ako je unaprijedpostavljen samo parametar vjeroatnost mutacije. Na slici 11.11 se dobro vidikako veli£inu populacije treba pratiti parametar broj iteracija: uzalud velikapopulacija ako je broj iteracija premali.

Na temelju iskustava ste£enih na nizu eksperimenata mogu¢e je skiciratio£ekivano pona²anje genetskih, odnosno op¢enitije, evolucijski algoritama.Na slici 11.12 prikazano je ²est karakteristi£nih krivulja ovisnosti rje²enjaoptimiranja o tri osnovna parametra: veli£ini populacije, broju iteracija ivjerojatnosti mutacije. Crtkane linije predstavljaju novu krivulju ako sepromijeni neki od parametara. Strelica na slici ozna£ava smjer promjenekrivulje ukoliko se pove¢a nazna£eni parametar. Primjerice, na krivulji ovis-nosti rje²enja o veli£ini populacije, u slu£aju da se traºi minimum funkcije f(krivulja 5 na slici 11.12), pove¢anjem broja iteracija krivulja se ²iri, a dnokrivulje se pomi£e dolje desno. Krivulje se odnose na genetski algoritam sugra�enim elitizmom.


Slika 11.10: Utjecaj veli£ine populacije na evolucijski proces

Ukoliko elitizam nije ugra�en, krivulje ovisnosti rje²enja o broju itera-cija imaju speci�£an zup£asti oblik koji je posljedica gubljenja prona�enognajboljeg rje²enja, ukoliko se ono ne za²titi elitizmom (slika 11.13).


Slika 11.11: Utjecaj veli£ine populacije i broj iteracija na kvalitetu rje²enja


Slika 11.12: Karakteristi£ne krivulje ovisnosti kvalitete rje²enja o tri para-metra

Slika 11.13: Karakteristi£na krivulja rje²enja u ovisnosti o broju iteracija zagenetski algoritam bez elitizma

Dio IV

Kombiniranje pristupa mekog

ra£unarstva

229

Poglavlje 12

Kombiniranje neuronskih

mreºa i sustava neizrazitog

upravljanja

Neuronske mreºe i sustavi neizrazitog zaklju£ivanja, svaki za sebe, imajuniz prednosti ali i niz mana. Tako primjerice, sustave neizrazitog upravlja-nja gradimo uporabom jednostavnih i jasnih pravila. Takvi sustavi moguraditi s nepreciznim podatcima, mogu relativno jednostavno aproksimiratipona²anje sloºenih sustava, i £itavo vrijeme pri tome zadrºavaju mogu¢nostinterpretacije onoga ²to rade. Izgradnja ovakvih sustava tipi£no zahtjevada na raspolaganju imamo eksperta za problem koji se rje²ava, i takav eks-pert svoje domensko znanje modelira neizrazitim pravilima. Nedostatak ovihsustava pak leºi u nemogu¢nosti u£enja.

Za razliku od sustava neizrazitih upravljanja, neuronske mreºe omogu¢a-vaju nam samostalno u£enje iz podataka. Ne zahtjeva se prisustvo eksperta,gradi se model koji je tipi£no vrlo robustan, koji tako�er moºe raditi s nepre-ciznim podatcima i koji lagano modelira visokonelinearne sustave. Prakti£kisve ²to je potrebno pripremiti je samo velika koli£ina podataka na temeljukoje ¢e se mreºa trenirati. Karakteristike oba ova pristupa saºeta su u tablici12.1.

Tablica 12.1: Usporedba karakteristika sustava neizrazitog upravljanja teneuronskih mreºa

Neuronske mreºe Neizraziti sustavinije potreban matemati£ki model oproblemu koji se rje²ava

nije potreban matemati£ki model oproblemu koji se rje²ava

u£enje temeljem podataka zahtjeva apriorno znanje o problemurazli£iti algoritmi u£enja nemaju mogu¢nost u£enjamodel crne kutije jednostavna interpretacija pravila

231

232 POGLAVLJE 12. NEURO-NEIZRAZITI SUSTAVI

U najop¢enitijem smislu, kada govorimo bilo o uporabi neuronskih mreºabilo o sustavima neizrazitog upravljanja, naj£e²¢e govorimo o aproksima-ciji nekog nepoznatog funkcijskog pona²anja. Polaze¢i od te pretpostavke,u [Hayashi and Buckley(1994)] je pokazano da su oba pristupa zapravo ekvi-valentna i jednako ekspresivna. Stoga je upravo prirodno razmi²ljati o tomekako se ovi pristupi mogu me�usobno kombinirati kako bi se dobio novi pris-tup koji zadrºava pozitivne osobine oba pristupa a poni²tava njihove mane.

Danas se u literaturi uobi£ajeno nalazi nekoliko na£ina na koji se ne-uronske mreºe i sustavi neizrazitog upravljanja mogu kombinirati. Ugrubo,pristupi se mogu podijeliti u tri kategorije.

1. Kooperativni pristup pri £emu se neuronska mreºa koristi za u£enjebilo funkcija pripadnosti, bilo pravila ili oboje. Dvije su mogu¢nostiza ovakvu izvedbu. Jedna mogu¢nost jest dopustiti neuronskoj mreºida proces u£enja napravi samo jednom (na po£etku) i potom se teme-ljem nau£enoga gradi sustav neizrazitog upravljanja. Druga mogu¢nostje neuronsku mreºu u£iti kontinuirano tijekom rada £itavog sustava itemeljem rezultata u£enja dinami£ki mijenjati sustav neizrazitog za-klju£ivanja.

2. Konkurentni pristup pri £emu se obrada obavlja tako da se slijednokoristi najprije neuronska mreºa pa potom sustav neizrazitog zaklju£i-vanja (ili obrnuto).

3. Hibridni pristup pri £emu se sustav neizrazitog upravljanja direktnoprikazuje u obliku neuronske mreºe odre�ene strukture £ime je omogu-¢ena uporaba algoritama za u£enje neuronskih mreºa kako bi se nau£ilapravila i potrebne funkcije pripadnosti za sustav neizrazitog upravlja-nja. Kod ovog se pristupa, me�utim, sustav neizrazitog upravljanja neizvodi zasebno, ve¢ je neuronska mreºa istovremeno i sustav neizrazitogupravljanja.

U nastavku ovog poglavlja pogledat ¢emo dva na£ina kombiniranja neiz-razitih mreºa i neizrazite logike: neizrazite neuronske mreºe (koristi se jo² inaziv hibridne neuronske mreºe) te ANFIS.

12.1 Neizrazite neuronske mreºe

Jedan od na£ina kombiniranja neizrazite logike i neuronskih mreºa jest uvo-�enja neizrazitih koncepata na razini neurona, kako je to predloºeno u [Pe-drycz and Rocha(1993)].

Hibridna neuronska mreºa je mreºa kod koje su signali, teºine i prijenosnefunkcije klasi£ne (engl. crisp). Me�utim, traºimo da vrijedi:

• ulazi i teºine su realni brojevi iz intervala [0,1],

12.1. NEIZRAZITE NEURONSKE MRE�E 233

• ulaze i teºine kombiniramo t-normama ili s-normama ili sli£nim konti-nuiranim operatorima,

• agregacije ulaza i teºina opet kombiniramo s-normama ili t-normamate

• prijenosna funkcija moºe biti bilo kakva kontinuirana funkcija.

Procesni element hibridne neuronske mreºe naziva se neizraziti neuron. Dvijesu osnovne vrste neizrazitih neurona i one su opisane u nastavku.

Neizraziti-I neuron (slika 12.1) je neuron kod kojeg se ulazi xi i teºine wikombiniraju se odabranom S-normom. Izlaz je agregacija ovih kombinacijauporabom T -norme.

y = T (S(x1, w1), S(x2, w2), ...)

Slika 12.1: Neizraziti-I neuron

Neizraziti-ILI neuron (slika 12.2) je neuron kod kojeg se ulazi xi i teºinewi kombiniraju se odabranom T -normom. Izlaz je agregacija ovih kombina-cija uporabom S-norme.

y = S(T (x1, w1), T (x2, w2), ...)

Slika 12.2: Neizraziti-ILI neuron

Uo£imo da uslijed ºelje da model zadrºi interpretabilnost na razini ne-izrazite logike nismo u mogu¢nosti koristiti negativne teºine. Stoga se uovakvom modelu taj problem rje²ava pro²irivanjem ulaznog vektora ~x =(x1, x2, . . .) s komplementarnim ulazima tako da se dobiva novi ulazni vek-tor ~x = (x1, x2, . . . , x1, x2, . . .). Komplementi se pri tome ra£unaju bilo na


Slika 12.3: Primjer neizrazite neuronske mreºe tipa ILI-od-I

Slika 12.4: Primjer neizrazite neuronske mreºe tipa I-od-ILI

na£in kako je to de�nirao Zadeh: xi = 1− xi bilo uporabom nekog generali-ziranog operatora komplementa.

Uporabom ovako de�niranih neizrazitih neurona sada se mogu graditikompleksnije vi²eslojne neuronske mreºe; primjeri takvih dviju mreºa prika-zani su na slikama 12.4 i 12.3. Neizrazita neuronska mreºa prikazana na slici12.3 sastoji se od skrivenog sloja sastavljenog od p neizrazitih-I neurona teizlaznog sloja u kojem se nalazi neizraziti-ILI neuron. Neizrazita neuronskamreºa prikazana na slici 12.4 sastoji se od skrivenog sloja sastavljenog odp neizrazitih-ILI neurona te izlaznog sloja u kojem se nalazi neizraziti-I ne-uron. Restrikcijom ulaznih vrijednosti na {0, 1} prva ¢e se mreºa pretvoritiu sustav koji ra£una sumu minterma a druga u sustav koji ra£una produktmaksterma poznatih iz Booleove logike.

Ovako de�niranu neizrazitu neuronsku mreºu mogu¢e je u£iti odgovara-

12.2. SUSTAV ANFIS 235

ju¢im algoritmima kako bi se uz unaprijed zadan niz parova za u£enje ( ~Xi, yi)prona²ao optimalni skup teºina uz koje ¢e mreºa raditi najmanju pogre²ku.Prilikom u£enja potrebno je pripaziti da teºine ne smiju iza¢i izvan intervala[0, 1].

Vi²e o ovoj vrsti neurona i mreºa mogu¢e je prona¢i u [Pedrycz andRocha(1993),Pedrycz(1993),Hirota and Pedrycz(1994)].

12.2 Sustav ANFIS

Sustav ANFIS (engl.Adaptive Neuro-Fuzzy Inference System) izvorno opisanu [Jang and Sun(1995)] pripada pod hibridni pristup kombiniranja neuron-skih mreºa i sustava neizrazitog zaklju£ivanja. Kod ovog sustava neuronskamreºa je istovremeno i sustav neizrazitog zaklju£ivanja.

Da bismo pojasnili gra�u sustava ANFIS, prisjetimo se najprije tipi£nihoblika neizrazitih pravila koja se koriste u sustavima neizrazitog upravljanja.Primjerice,Ako tlak je visok, tada volumen je mali.U ovom primjeru tlak i volumen su jezi£ne varijable a visok i mali su jezi£niizrazi (tj. neizraziti skupovi) koje je mogu¢e pridijeliti tim jezi£nim varija-blama. Jezi£nim izrazima pridijeljene su odgovaraju¢e funkcije pripadnosti.Uporabom ovakvih pravila mogu¢e je izgraditi sustave koji koriste zaklju£iva-nje tipa 1 (Tsukamotovo zaklju£ivanje) ili zaklju£ivanje tipa 2 (Mamdanijevozaklju£ivanje).

Drugi primjer neizrazitih pravila su pravila oblika:Ako brzina je velika, tada sila = k · brzina2.Za razliku od prethodnog oblika pravila, ovdje se kao konsekvens nalazi iz-raz (formula) koja temeljem trenutnih jasnih (engl. crisp) ulaza odre�ujevrijednost izlaza koja je, formalno govore¢i, singleton neizraziti skup (tj.jedno£lani neizraziti skup). Ovakva pravila vode nas na zaklju£ivanje tipa 3(TSK zaklju£ivanje).

Za svaki od tri uobi£ajena na£ina izvedbe sustava neizrazitog upravlja-nja de�niran je po jedan oblik sustava ANFIS s prikladnom neuronskommreºom. Sustav ANFIS prikazan na slici 12.5 prikazuje sustav koji im-plementira zaklju£ivanje Takagi-Sugeno-Kang (TSK); prisjetimo se, kod togtipa konsekventi su klasi£ne funkcije koje su uobi£ajeno de�nirane kao li-nearne kombinacije ulaznih varijabli a dekodiranje neizrazitosti obavlja seuporabom teºinske sume gdje teºine odgovaraju jakostima paljenja antece-denata. Na slici 12.6 prikazano je zaklju£ivanje kako je de�nirao Tsukamoto� konsekvent je neizraziti skup de�niran monotonom funkcijom pripadnosti.Kona£no, slika 12.7 prikazuje sustav ANFIS koji obavlja klasi£no Mamdani-jevo zaklju£ivanje.

Svaki od ova tri oblika zaklju£ivanja kao podlogu imaju op¢enitu struk-turu sustava neizrazitog zaklju£ivanja koja je prikazana na slici 12.8. Takav


y

y

2

1

2

1

2

1

2

1

layer 5

layer 4

layer 3layer 2

layer 1

yx

yxB

B

A

A

f2w2

1w 1f

w2

1w

w2

1wx

f

X

X

Y

Y

A B

A B

x

1w

w2

1f

f2

= p x +q y +r

= p x +q y +r =

w2w1

2w 2ff1w1 +

2w 2ff1w1f = ++

(a)

(b)

2

1

2

1

2

1

➓✔❻❽➎❛➉✤➁q➀◆✮❏✺ ✭✆✜ ✱✁� ✝✆❀❷✍✞❄✄✂✭�✬✁✪✄✆✄✂✝☛❇■✍✆✜✢❊✬✡✤✒❁✏✓✒✕✔✆☎ ✭✆➑ ✱ ✍✚☞✬✁✕✏✓❂✢✜✤✎❸✍✬✒✕✗ ✾◆❅ ❋✲❍✞❑ ✭ ✗✣✝✆❀❁✍✆❄✄✂ ✾◆❅ ❋❺❍✞❑ ✱✤➨

➡❝➉✤➠●➠♥➐❩❻➳➡♣➛r➄➂❺✤➀♥➃❩➁q➉✤➌❽➀♥❼✶❿❷➃✟➋➍❺✤➏❷➜ ➄q❺❘➀➟➁➧❿❛➋❯❻➭❿❷➌✱➞✟❿➊❼q❻❽❼✴➡❝➉❘➃✟➆➇➄q❻❽➏❛➃▼➃❘➀♥➄❜➜✷➏❛➁q➝➍➁q➀♥➌➭❿❷➄➂➀➟➄q➏♦➄➂❺✤❻❽❼✒➝❯❻❽➃✟➋➍➏❷➡✏❼q❻❽➢✒❾✤➌❽❻➸➽✟➀❨➋➑✯➒➪➓✰→q➣✛➨❦♠❧ ❦▼❾❡♥✲s✦✫❵➍✳➄✍☎✘①❁➅✘➈✖③ ☎✳➈▲♣❃➄✆③

➓✤➏❛➁✚❼q❻❽➢✽❾✤➌❽❻➺➆✖❻➈➄❜➐❯➥♥➜✿➀➔❿❷❼➂❼q➉✤➢✽➀✱➄q❺✤➀ ➡❝➉✤➠♥➠●➐✴❻➈➃❵➡❝➀♥➁q➀●➃✟➆➇➀➔❼➂➐❯❼q➄q➀●➢✜➉✤➃✟➋❯➀●➁ ➆➇➏❛➃✤❼q❻➭➋❯➀●➁➧❿❷➄➂❻❽➏✾➃✴❺✟❿➊❼✷➄❜➜✿➏✏❻➈➃❘❾✤➉✤➄q❼ � ❿➊➃✟➋✣ ❿➊➃✟➋✡➏✾➃✤➀✴➏❛➉✤➄q❾❘➉✤➄✞✝✤➨✽➣❯➉✤❾✤❾❇➏✾❼➂➀✒➄q❺❇❿❷➄❬➄➂❺✤➀✴➁q➉✤➌❽➀✴➞✟❿➊❼q➀✒➆➇➏❛➃❯➄➧❿❷❻❽➃✤❼★➄❜➜✷➏✽➡❝➉✤➠●➠♥➐➅❻➸➡➭➛❜➄q❺❘➀♥➃♦➁q➉✤➌❽➀♥❼★➏❷➡✱❹❂❿➊➝✾❿❷➎❛❻❂❿➊➃✟➋➣❯➉✤➎❛➀♥➃✤➏♦✼ ❼✱➄❜➐❯❾❇➀☛✥ ✮ �✬✫▲✺

✟✱➉✤➌❽➀ ✁✪✺❊→❏➡ � ❻❽❼ ✁�❿❷➃❇➋ ✣ ❻❽❼ ☎

�➥❘➄q❺✤➀♥➃ ✝

�✎ ✜

� � ✛✡✠ �✣ ✛ ✡

�✄

✟✱➉✤➌❽➀ ✯❁✺❊→❏➡ � ❻❽❼ ✁ ✥ ❿❷➃❇➋ ✣ ❻❽❼ ☎ ✥ ➥❘➄q❺✤➀♥➃ ✝ ✥ ✎ ✜ ✥ � ✛✡✠ ✥ ✣ ✛ ✡ ✥ ☞➄q❺❘➀♥➃❩➄q❺✤➀✽➄❜➐✻❾❇➀➇➛▲✱✶➡❏➉✤➠♥➠♥➐➍➁q➀❨❿➊❼q➏✾➃❘❻➈➃❘➎➅❻❽❼❬❻❽➌❽➌❽➉✤❼q➄➂➁➧❿❷➄➂➀❨➋♦❻❽➃❩➓✔❻❽➎❛➉✤➁q➀➁✮✤↔r❿❛➤♥➥✚❿➊➃✟➋♦➄➂❺✤➀✍➆➇➏❛➁q➁➂➀♥❼q❾❇➏✾➃✟➋❵❻➈➃❘➎♦➀❨❰❛➉✤❻❽➙✾❿❷➌❽➀♥➃❯➄➑✯➒➪➓✰→q➣❞❿❷➁➇➆➂❺✤❻❽➄q➀❨➆➇➄➂➉✤➁q➀ ↔ ✗✘✝✆❀❷✍✞❄✄✂ ✾ ❅ ❋✲❍✆❑ ➤❬❻❽❼✪❼q❺✤➏❷➜✱➃➍❻➈➃❞➓✰❻❽➎✾➉❘➁q➀➒✮❘↔❝➞✟➤●➨✡❹✱❺✤➀✒➃✤➏✤➋❯➀➫➡❝➉✤➃✟➆✖➄q❻❽➏✾➃✤❼✪❻❽➃♦➄q❺✤➀✽❼➧❿➊➢✒➀➌➭❿❲➐✾➀♥➁✱❿❷➁➂➀❬➏❷➡❊➄q❺✤➀★❼➧❿❷➢✽➀✱➡❝➉❘➃✟➆➇➄q❻❽➏❛➃✴➡r❿➊➢✒❻❽➌❽➐✘❿❷❼➔➋❯➀●❼➧➆➇➁➂❻➈➞❇➀❨➋❁➞✟➀●➌➈➏❷➜ ✺

☛✢❶ ✣✠✷❯⑩✌✧✛✗❊➙✾➀●➁q➐✒➃❘➏❵➋❵➀ ✚ ❻➈➃✶➄➂❺✤❻❽❼✱➌➺❿❲➐❛➀♥➁✿❻➈❼➔❿✪❼➇❰❛➉✟❿❷➁➂➀✯➃❘➏❵➋❵➀❬➜✱❻❽➄q❺✍❿✪➃❘➏❵➋❵➀➔➡❏➉✤➃✟➆➇➄➂❻➈➏❛➃

✆ �✟ ✎✌☞✎✍ ▼ ↔ � ➤ ✄ ↔ ✁✌✵❛➤

➜✱❺✤➀♥➁q➀ � ❻❽❼✱➄q❺✤➀❬❻❽➃✤❾❘➉✤➄✱➄q➏✴➃✤➏✤➋❯➀ ✚ ➥❇❿❷➃✟➋ ✁ ✟ ❻➈❼✱➄➂❺✤➀❬➌❽❻❽➃✤➎✾➉❘❻➈❼➂➄q❻➭➆✱➌➭❿➊➞✟➀♥➌✢↔ ❊✂✟☛✜❃✎✓✎ ➥ ✎❸✜❃❇ ✔✤✍ ➥❘➀♥➄➧➆❷➨à➤✽❿❷❼q❼➂➏✤➆➇❻➭❿❷➄q➀❲➋➜✱❻➈➄➂❺✘➄➂❺✤❻❽❼❊➃✤➏✤➋❯➀✿➡❝➉✤➃✟➆✖➄q❻❽➏✾➃✔➨✰→❜➃✴➏✾➄➂❺✤➀♥➁✚➜✿➏✾➁➇➋❯❼❨➥ ✆ �✟ ❻❽❼✚➄q❺✤➀✱➢✽➀♥➢✴➞❇➀♥➁q❼➂❺✤❻❽❾✏➡❝➉✤➃✟➆✖➄q❻❽➏✾➃✪➏❷➡ ✁ ✟ ❿➊➃✟➋❬❻❽➄✚❼➂❾✟➀❲➆➇❻➸➽✟➀♥❼

✁✌✯

Slika 12.5: ANFIS mreºa koja ostvaruje neizraziti sustav (zaklju£ivanje tipa3)

C2

C1

++=f 1w 1f f2w2

+1w 1f f2w2

1w 2w

=

2f

f1BA

BA

f

w1

2w

f1w1

2w 2f

A

A

B

B

1

2

1

2

1

2

1

2

(b)

(a)

y

x w1

2w

X

X

Y

Yx y

Z

Z

1w

2w

➓✔❻❽➎❛➉✤➁q➀ ✧❁✺ ✭ � ✱✁� ✝✆❀❷✍✞❄ � �✬✁✪✄✆✄✂✝☛❇■✍✆✜✢❊✬✡✤✒❁✏✓✒✕✔✆☎ ✭✆➑ ✱ ✍✚☞✬✁✕✏✓❂✢✜✤✎❸✍✬✒✕✗ ✾◆❅ ❋✲❍✞❑ ✭ ✗✣✝✆❀❁✍✆❄ �✠✾◆❅ ❋❺❍✞❑ ✱✤➨

❹✱❺❯➉✤❼✘➜✿➀✴❺✟❿❲➙❛➀✍➆➇➏❛➃✤❼q➄➂➁q➉✟➆➇➄➂➀❨➋❩❿❷➃❞❿❛➋✤❿❷❾✤➄➂❻❽➙✾➀✴➃✤➀♥➄❜➜✿➏✾➁➂➝➅➜✱❺❘❻➺➆➂❺➍❻➈❼ ➡❝➉✤➃✟➆➇➄➂❻❽➏✾➃✟❿➊➌➈➌❽➐➟➀❲❰✾➉❘❻➈➙✾❿➊➌❽➀♥➃❯➄✯➄➂➏➅❿✶➄❜➐❯❾❇➀➇➛ ✱➡❝➉✤➠●➠♥➐✒❻❽➃❯➡❝➀●➁q➀♥➃✟➆✖➀❬❼q➐❯❼q➄➂➀♥➢➅➨❊➓❘➏✾➁✿➄❜➐✻❾❇➀➇➛ ✁➪➡❝➉✤➠♥➠●➐✒❻❽➃❯➡❝➀♥➁➂➀♥➃✟➆➇➀★❼q➐❯❼q➄➂➀♥➢✒❼❲➥❯➄q❺✤➀✏➀➇➶✤➄q➀●➃✤❼q❻❽➏✾➃✶❻❽❼➔❰❛➉✤❻❽➄q➀➪❼q➄q➁➇❿❷❻❽➎✾❺❯➄➯➡❝➏✾➁➂➜ ❿➊➁➧➋❿❷➃❇➋❞➄➂❺✤➀➟➄❜➐❯❾❇➀➇➛ ✁❁➑✯➒➪➓✔→q➣✝❻➈❼✴❼➂❺✤➏❷➜✱➃Ï❻❽➃Ï➓✰❻➈➎❛➉✤➁q➀✦✧ ➜✱❺✤➀♥➁q➀❁➄q❺✤➀➟➏❛➉✤➄q❾❘➉✤➄✒➏➊➡ ➀❲❿✾➆➂❺Ï➁q➉❘➌➈➀❁❻➈❼✴❻❽➃✟➋❵➉✟➆➇➀❨➋ ✂✖➏✾❻❽➃❯➄q➌❽➐➞❯➐➟➄q❺❘➀✴➏✾➉✤➄➂❾✤➉✤➄❬➢✽➀♥➢✴➞✟➀●➁q❼q❺❘❻➈❾ ➡❝➉✤➃✟➆➇❻❽➏❛➃➼❿➊➃✟➋✡➄q❺✤➀✪➽❇➁q❻❽➃✤➎✶❼q➄➂➁q➀♥➃✤➎❛➄q❺✔➨✶➓❘➏✾➁✏➄❜➐❯❾✟➀➇➛▲✯✽➡❝➉❘➠♥➠♥➐✡❻➈➃❵➡❝➀♥➁q➀●➃✟➆➇➀✒❼➂➐❯❼q➄q➀●➢✒❼❨➥❻➸➡✯➜✿➀✶➁q➀♥❾✤➌➭❿❛➆➇➀✶➄q❺✤➀➟➆➇➀♥➃❯➄➂➁q➏✾❻➭➋❩➋❯➀➇➡❏➉✤➠♥➠♥❻➸➽✬➆♥❿➊➄q❻❽➏✾➃❩➏❛❾✟➀♥➁➇❿❷➄➂➏✾➁✒➜✱❻❽➄➂❺▼❿✡➋❯❻❽❼➧➆➇➁➂➀♥➄q➀✡➙✾➀♥➁➂❼q❻❽➏✾➃➍➜✱❺✤❻➭➆➂❺✝➆●❿❷➌➭➆➇➉✤➌➭❿❷➄➂➀♥❼✴➄q❺❘➀❿❷❾❘❾✤➁q➏❲➶✤❻❽➢✍❿➊➄q➀✯➆✖➀♥➃❯➄q➁q➏❛❻➭➋✶➏❷➡ ❿➊➁q➀❨❿❘➥✤➄➂❺✤➀♥➃✡➄❜➐✻❾❇➀➇➛▲✱✴➑✏➒➔➓✰→q➣➟➆♥❿➊➃➟❼q➄➂❻➈➌❽➌✰➞✟➀✴➆➇➏✾➃❘❼q➄q➁➂➉✟➆➇➄➂➀❨➋♦❿✾➆♥➆✖➏✾➁➧➋❵❻➈➃❘➎✾➌❽➐✻➨✽✶✱➏❷➜✿➀♥➙✾➀●➁❨➥❻❽➄✱➜✱❻❽➌➈➌❇➞❇➀❬➢✒➏❛➁q➀✯➆✖➏✾➢✒❾❘➌➈❻➭➆♥❿➊➄q➀❨➋➫➄q❺✟❿➊➃✶❻➈➄➂❼✱➄❜➐❯❾✟➀➇➛▲✱✴❿❷➃❇➋✒➄❜➐❯❾❇➀➇➛ ✁✏➙✾➀♥➁➂❼q❻❽➏✾➃✤❼✏❿❷➃✟➋✽➄➂❺✻➉❘❼➔➃✤➏❛➄✱➜✷➏❛➁q➄q❺✶➄➂❺✤➀✏➀➇❮✬➏❛➁q➄➂❼✯➄➂➏➋❯➏✴❼➂➏✟➨

➓✰❻➈➎❛➉✤➁q➀☛✴✪❼q❺❘➏❷➜✱❼ ❿➁✯❲➛❜❻❽➃✤❾✤➉✤➄❲➥✤➄❜➐❯❾✟➀✖➛ ✱➫➑✯➒➔➓✰→q➣❁➜✱❻❽➄q❺✞�✪➁➂➉✤➌❽➀♥❼❨➨✏❹✱❺✤➁➂➀♥➀✪➢✒➀♥➢✴➞❇➀♥➁q❼➂❺✤❻❽❾✽➡❝➉✤➃✟➆➇➄➂❻❽➏✾➃✤❼✏❿❷➁q➀✪❿❷❼q❼➂➏❷➛➆➇❻➭❿❷➄➂➀❨➋✶➜✱❻❽➄q❺✶➀❨❿❛➆➂❺➅❻❽➃✤❾✤➉❘➄❨➥✤❼➂➏✒➄➂❺✤➀❬❻❽➃✤❾✤➉✤➄✱❼➂❾✟❿✾➆✖➀✘❻❽❼➔❾❇❿❷➁q➄➂❻❽➄q❻❽➏✾➃✤➀❲➋✒❻❽➃❯➄q➏ �★➡❏➉✤➠♥➠♥➐✶❼q➉❘➞✤❼q❾✟❿❛➆➇➀♥❼❲➥✔➀❨❿❛➆➂❺➟➏❷➡✚➜✱❺✤❻➭➆➂❺➟❻❽❼➎✾➏❷➙❛➀♥➁q➃❘➀❨➋➟➞❯➐➟❿➫➡❝➉✤➠♥➠●➐➟❻➸➡➭➛r➄➂❺✤➀♥➃➟➁➂➉✤➌❽➀♥❼❨➨★❹✱❺✤➀✪❾✤➁q➀♥➢✽❻❽❼q➀✪❾✟❿❷➁➂➄✯➏➊➡ ❿✴➁➂➉✤➌❽➀➾➋❵➀♥➌❽❻➈➃❘➀❨❿❷➄➂➀♥❼❬❿✴➡❏➉✤➠♥➠♥➐➟❼➂➉✤➞✤❼➂❾✟❿✾➆➇➀❛➥✔➜✱❺✤❻❽➌❽➀➄q❺❘➀ ➆✖➏✾➃✤❼➂➀❨❰❛➉✤➀♥➃❯➄✏❾✟❿❷➁➂➄✱❼q❾❇➀❨➆➇❻➸➽✟➀♥❼✏➄q❺❘➀✯➏❛➉✤➄q❾❘➉✤➄✱➜✱❻❽➄q❺✤❻❽➃✒➄➂❺✤❻❽❼✿➡❝➉✤➠♥➠●➐✍❼➂➉✤➞✤❼➂❾✟❿✾➆➇➀❛➨

❿❡❧❏❼✽r✌☞❃➄ ➅ ✄ ✆ ③✳➍✌➄ ④❁➅❹④✕➆☛❦✭⑦✑➆❷➋✤➄▲➅✘➈✓①❁➌

➓✤➁➂➏✾➢❣➄➂❺✤➀✱❾✤➁q➏❛❾✟➏❛❼q➀❨➋★➄❜➐❯❾✟➀✖➛ ✱➪➑✯➒➪➓✰→q➣✘❿➊➁➧➆➂❺✤❻❽➄q➀❨➆✖➄q➉✤➁➂➀❬↔r➓✰❻❽➎✾➉❘➁q➀✽✮✻➤♥➥❲❻❽➄❊❻❽❼✔➏✾➞❘❼q➀♥➁➂➙✾➀❨➋✪➄➂❺✟❿❷➄❊➎✾❻❽➙❛➀♥➃❬➄q❺❘➀✱➙✾❿❷➌❽➉✤➀♥❼✰➏❷➡❾✤➁➂➀♥➢✒❻❽❼q➀✢❾✟❿❷➁➇❿❷➢✒➀●➄q➀♥➁➂❼❨➥❷➄➂❺✤➀✷➏❷➙❛➀♥➁➧❿➊➌❽➌✾➏✾➉❘➄q❾✤➉✤➄✚➆♥❿➊➃✘➞❇➀✿➀➇➶✤❾✤➁q➀♥❼➂❼q➀❨➋✽❿❷❼❊❿➔➌❽❻❽➃✤➀❨❿➊➁✐➆➇➏❛➢✴➞✤❻❽➃✟❿❷➄➂❻❽➏✾➃✤❼❇➏❷➡✟➄➂❺✤➀✱➆➇➏✾➃✤❼➂➀❨❰❛➉✤➀♥➃❯➄❾✟❿➊➁➧❿❷➢✽➀♥➄q➀●➁q❼❨➨✹✸ ➏✾➁q➀✏❾✤➁➂➀❨➆➇❻❽❼q➀●➌➈➐❯➥✤➄➂❺✤➀❬➏❛➉✤➄q❾✤➉❘➄ ✝ ❻❽➃✍➓✰❻❽➎✾➉❘➁q➀◆✮✒➆♥❿❷➃✶➞❇➀✏➁q➀♥➜✱➁➂❻➈➄➂➄q➀♥➃✡❿❷❼

✁✂✮



3

2

2

1

1

3

3

2

1

321

(b)(a)

963

852

741

987654321

11

Y

X

Y

X

B

B

B

AAA

premise parametersconsequent parameters

x

y

f

A

A

A

B

B

B

x

y

➓✰❻❽➎✾➉❘➁q➀ ✴❁✺ ✭✆✜ ✱✁� ❄▲✏✓✒❃❀❏✁☎✗✽✗✣✝✆❀❁✍✞❄✄✂ ✾◆❅ ❋✲❍✆❑P❆✹✏➏✗✖⑩✄✂☛❇✂✁✕✎❸✍✞❊ ☎ ✭■➑ ✱ ✚✆✡❃❇✂❇✆✍✆❊✘❀❁✡❃✒❏☞✤✏✓✒✕✔●�✂✁☎✄■✄✂✝✠❊✂✁❁➑✆❊✘❀❁✜✪✚✆✍✞❊ ➨

✝ ✎ ☎ ✦☎ ✦ ❉ ☎✝✆ ✝ � ✛ ☎ ✆

☎ ✦ ❉ ☎✞✆ ✝ ✥✎ ✌ �

✝� ✛ ✌ ✥ ✝ ✥

✎ ↔ ✌ � � ➤ ✜ � ✛ ↔ ✌ �✣ ➤ ✠ � ✛ ↔ ✌ �

➤ ✡� ✛ ↔ ✌ ✥ � ➤ ✜ ✥ ✛ ↔ ✌ ✥ ✣ ➤ ✠ ✥ ✛ ↔ ✌ ✥ ➤ ✡ ✥ ✄

↔✣✯❃✮❯➤

➜✱❺✤❻➭➆➂❺✶❻➈❼✱➌❽❻❽➃✤➀❨❿➊➁✷❻❽➃✽➄q❺✤➀✘➆✖➏✾➃✤❼➂➀❨❰❛➉✤➀♥➃❯➄➔❾✟❿➊➁➧❿➊➢✒➀♥➄➂➀♥➁q❼✏↔ ✜�➥ ✠ �

➥ ✡�➥✒✜ ✥ ➥ ✠ ✥ ❿❷➃❇➋ ✡ ✥ ➤●➨✚➑➔❼➔❿★➁q➀●❼q➉✤➌❽➄❨➥❇➜✿➀✏❺✟❿❲➙✾➀

� ✎ ❼q➀●➄➔➏❷➡❊➄q➏❛➄➧❿❷➌✛❾❇❿❷➁➧❿➊➢✒➀♥➄➂➀♥➁q❼❲➥�

�✎ ❼➂➀♥➄➔➏➊➡✐❾✤➁➂➀♥➢✒❻❽❼➂➀✯❾❇❿❷➁➧❿➊➢✒➀♥➄➂➀♥➁q❼❲➥

� ✥ ✎ ❼➂➀♥➄➔➏➊➡❂➆➇➏❛➃✤❼q➀❲❰✾➉❘➀♥➃❯➄✯❾❇❿❷➁➧❿➊➢✒➀♥➄➂➀♥➁q❼❲➥❻❽➃✒➀❨❰❛➉✟❿➊➄q❻❽➏✾➃❁↔ ✁✳✩✾➤✍✹ ✥✡↔ ✫ ➤✿❿❷➃❇➋ ✚ ↔ ✫ ✄✬✫ ➤✚❿❷➁➂➀➔➄➂❺✤➀✏❻➺➋❵➀♥➃❯➄q❻❽➄❜➐✪➡❝➉✤➃✟➆✖➄q❻❽➏✾➃✶❿❷➃✟➋➫➄q❺✤➀➪➡❝➉✤➃❇➆➇➄q❻❽➏✾➃✽➏❷➡❊➄q❺✤➀ ➡❝➉✤➠♥➠♥➐✽❻❽➃❯➡❝➀♥➁➂➀♥➃✟➆➇➀❼q➐❯❼➂➄q➀♥➢✡➥✟➁➂➀♥❼q❾❇➀❨➆➇➄➂❻❽➙✾➀♥➌❽➐❯➨❬❹✱❺✤➀♥➁➂➀➇➡❝➏❛➁q➀✴➄q❺❘➀✘❺❯➐❯➞✤➁q❻➭➋✶➌❽➀❨❿➊➁q➃✤❻❽➃✤➎✶❿❷➌❽➎✾➏❛➁q❻❽➄q❺❘➢ ➋❯➀●➙✾➀♥➌❽➏✾❾❇➀❨➋❁❻❽➃➟➄q❺✤➀✴❾❘➁q➀♥➙❯❻❽➏✾➉✤❼✏➆➂❺✟❿❷❾✤➄➂➀♥➁➆♥❿➊➃➅➞❇➀✒❿❷❾✤❾❘➌➈❻❽➀❨➋✡➋❯❻❽➁q➀❲➆➇➄q➌❽➐❯➨♠✸✶➏❛➁q➀✴❼q❾❇➀❨➆➇❻➸➽✬➆●❿❷➌❽➌❽➐✻➥✛❻❽➃➟➄➂❺✤➀✪➡❝➏❛➁q➜✱❿❷➁➧➋❁❾✟❿➊❼q❼✏➏❷➡✱➄q❺✤➀✪❺❯➐❯➞✤➁q❻➭➋❁➌➈➀❲❿❷➁q➃❘❻➈➃❘➎ ❿➊➌❽➎✾➏✾➁➂❻❽➄q❺✤➢✡➥➡❝➉✤➃❇➆➇➄q❻❽➏✾➃❇❿❷➌❇❼q❻❽➎✾➃✟❿➊➌❽❼✚➎✾➏✏➡❏➏✾➁q➜✱❿❷➁➇➋✴➄➂❻➈➌❽➌✤➌➭❿❲➐❛➀♥➁✹✮✴❿❷➃✟➋➫➄q❺✤➀✏➆➇➏✾➃✤❼➂➀❨❰❛➉✤➀♥➃❯➄✱❾✟❿➊➁➧❿❷➢✽➀♥➄q➀●➁q❼✱❿❷➁q➀➪❻➭➋❯➀♥➃❯➄q❻➸➽✟➀❨➋➫➞❯➐✴➄q❺✤➀➪➌➈➀❲❿❷❼q➄❼➧❰❛➉✟❿➊➁q➀♥❼✽➀♥❼q➄➂❻❽➢✍❿❷➄➂➀✾➨➍→❜➃▼➄➂❺✤➀➟➞✟❿❛➆➂➝✻➜✱❿❷➁➇➋➍❾✟❿❷❼➂❼❨➥✿➄q❺✤➀✶➀♥➁➂➁q➏❛➁✒➁➧❿➊➄q➀♥❼✽❾✤➁q➏❛❾✟❿❷➎❯❿❷➄➂➀✍➞❇❿✾➆➂➝❯➜ ❿➊➁➧➋❩❿❷➃✟➋ ➄q❺✤➀❁❾✤➁q➀♥➢✽❻❽❼q➀❾✟❿➊➁➧❿❷➢✽➀♥➄q➀●➁q❼➔❿❷➁➂➀✏➉✤❾✬➋❘❿❷➄q➀❲➋✶➞❯➐✴➄q❺✤➀❬➎❛➁➧❿❛➋❯❻❽➀♥➃❯➄➔➋❯➀♥❼➧➆✖➀♥➃❯➄❨➨✚❹✚❿➊➞✤➌❽➀ ✁➪❼q➉❘➢✒➢✍❿➊➁q❻❽➠♥➀♥❼✿➄q❺❘➀ ❿❛➆➇➄q❻❽➙❯❻❽➄q❻❽➀♥❼✱❻❽➃✒➀❲❿✾➆➂❺✶❾✟❿❷❼➂❼❨➨

➑➔❼✚➢✽➀♥➃❯➄q❻❽➏✾➃❘➀❨➋❬➀❲❿❷➁q➌❽❻❽➀♥➁❲➥❷➄q❺✤➀➔➆✖➏✾➃✤❼➂➀❨❰❛➉✤➀♥➃❯➄✷❾❇❿❷➁➧❿➊➢✒➀♥➄➂➀♥➁q❼✢➄q❺❯➉✤❼✚❻➭➋❯➀♥➃❯➄➂❻➳➽❇➀❨➋✘❿➊➁q➀✱➏❛❾✤➄q❻❽➢✍❿➊➌✤↔❏❻➈➃✪➄q❺❘➀➔➆➇➏✾➃✤❼➂➀❨❰❛➉✤➀♥➃❯➄❾✟❿➊➁➧❿❷➢✽➀♥➄q➀●➁✘❼➂❾✟❿✾➆➇➀❲➤✴➉✤➃✟➋❵➀♥➁✴➄q❺✤➀➟➆➇➏❛➃✟➋❯❻❽➄q❻❽➏❛➃♦➄q❺✟❿➊➄✴➄q❺✤➀✶❾✤➁➂➀♥➢✒❻❽❼q➀✽❾✟❿❷➁➇❿❷➢✽➀♥➄q➀♥➁➂❼➾❿➊➁q➀✽➽✤➶✤➀❨➋✛➨➍➑✯➆●➆➇➏✾➁➇➋❯❻❽➃✤➎✾➌❽➐♦➄q❺❘➀❺❯➐❯➞✤➁q❻➭➋✡❿❷❾✤❾✤➁➂➏✻❿❛➆q❺❁❻➈❼✏➢✴➉✟➆➂❺✶➡❜❿❷❼q➄➂➀♥➁✏➄q❺✟❿➊➃➅➄➂❺✤➀✴❼q➄➂➁q❻➭➆➇➄✏➎✾➁➇❿✾➋❯❻❽➀♥➃❯➄❬➋❯➀♥❼➇➆➇➀♥➃❯➄✴❿❷➃✟➋❁❻❽➄➔❻❽❼✏➜✷➏❛➁q➄q❺❯➜✱❺✤❻❽➌❽➀❬➄➂➏✍➌❽➏❯➏✾➝✽➡❝➏❛➁➄q❺❘➀➟❾✟➏❛❼q❼➂❻➈➞❘❻➈➌❽❻❽➄❜➐♦➏❷➡✘➋❯➀❲➆➇➏✾➢✽❾✟➏❛❼q❻❽➃✤➎✡➄q❺✤➀➟❾❇❿❷➁➧❿➊➢✒➀♥➄➂➀♥➁✴❼q➀●➄✒❻❽➃❩➄q❺✤➀➟➢✶❿❷➃✤➃❘➀♥➁✘➏➊➡❬➀❨❰❛➉✟❿❷➄➂❻➈➏❛➃↕↔ ✁✌✩❛➤♥➨Ï➓❘➏✾➁✴➄❜➐❯❾❇➀➇➛ ✁

✁✌✧


sustav sastoji se od sljede¢ih dijelova:

• baza pravila koja se sastoji od niza neizrazitih ako-onda pravila,

• baza podataka koja sadrºi de�nicije jezi£nih varijabli i jezi£nih izrazakoji se koriste u neizrazitim ako-onda pravilima (sadrºi primjerice to£nede�nicije funkcija pripadnosti koje su pridruºene svakom jezi£nom iz-razu),

• podsustav za zaklju£ivanje koji temeljem dobivenih neizrazitih ulaza,neizrazitih ako-onda pravila te de�nicija jezi£nih varijabli obavlja za-klju£ivanje i generira neizraziti zaklju£ak,

• su£elje za fazi�kaciju koje jasne ulazne podatke preslikava u neizraziteulaze te

• su£elje za defazi�kaciju koje neizraziti zaklju£ak pretvara u jasni izlaz.

Kod sustava ANFIS, cjelokupna prikazana struktura implementirana jeu obliku neuronske mreºe.

12.2.1 Radni primjer

Primjer u£enja sustava ANFIS prikazat ¢emo na pojednostavljenom modelukoji pribliºno odgovara sustavu tipa 3. Potrebno je nau£iti sustav koji obavljepreslikavanje x→ y kojim se modelira neko nepoznato funkcijsko preslikava-nje. Pri tome ¢emo za potrebe izvoda algoritma promatrati pojednostavljensustav kod kojeg su konsekvensi konstante, a premise ispituju samo jednuvarijablu. Primjer takvih pravila je:R1 : Ako x je A1 tada y je z1

R2 : Ako x je A2 tada y je z2

...


Slika 12.8: Op¢enita gra�a sustava neizrazitog zaklju£ivanja

Rm : Ako x je Am tada y je zm

Pretpostavit ¢emo tako�er da su funkcije pripadnosti neizrazitih skupovaA1 . . . Am modelirane sigmoidalnim funkcijama oblika:

Ai(x) ≡ µAi(x) =1

1 + ebi(x−ai)

gdje su ai i bi parametri. Konsekventi pravila su z1, . . . , zm � konstante(realni brojevi). Algoritam u£enja ovakvog sustava ima zada¢u prona¢i op-timalne vrijednosti svih parametara sustava: ai, bi te zi.

Neka nam je dostupan niz odN uzoraka za u£enje: {(x1,y1), . . ., (xN ,yN )}.Potrebno je izvesti online verziju algoritma koju ¢emo temeljiti na gradijent-nom spustu. Neka je izlaz sustava neizrazitog upravljanja za predo£eni k-tiuzorak ozna£en s ok. Funkciju pogre²ke za taj uzorak tada moºemo de�niratina sljede¢i na£in:

Ek =1

2(yk − ok)2

Ako parametre aºuriramo u skladu s algoritmom gradijentnog spusta, zaaºuriranje nekog proizvoljnog parametra ψ pri koristi se izraz:

ψ(t+ 1) = ψ(t)− η∂Ek∂ψ

Na² je zadatak stoga utvrditi parcijalne derivacije funkcije Ek po svim pa-rametrima (ai, bi, zi) o kojima ovisi rad promatranog sustava ANFIS.

12.2.2 Izvod pravila za aºuriranje parametara zi

Izlaz sustava neizrazitog upravljanja de�niran je kao teºinska suma:

o =

∑mi=1 αizi∑mi=1 αi


pri £emu je αi jakost paljenja i-tog pravila i u promatranom slu£aju ona jejednaka:

αi = Ai(x) =1

1 + ebi(x−ai).

Za potrebe izra£una parcijalne derivacije funkcije pogre²ke po parametruzi posluºit ¢emo se pravilom ulan£avanja:

∂Ek∂zi

=∂Ek∂ok

∂ok∂zi

.

Svaku od pojednih parcijalnih derivacija sada je jednostavno izra£unati:

∂Ek∂ok

=∂

∂zi

(1

2(yk − ok)2

)= −(yk − ok)

∂ok∂zi

=∂

∂zi

(∑mj=1 αjzj∑mj=1 αj

)=

αi∑mj=1 αj

Uvr²tavanjem izvedenoga u po£etni izraz dolazi se do kona£nog izraza zatraºenu parcijalnu derivaciju:

∂Ek∂zi

= −(yk − ok)αi∑mj=1 αj

.

Temeljem ovog izraza imamo i kona£ni izraz za aºiriranje parametara zi:

zi(t+ 1) = zi(t) + η(yk − ok)αi∑mj=1 αj

.

12.2.3 Izvod pravila za aºuriranje parametara ai

Postupit ¢emo na isti na£in kao i u prethodnom slu£aju. Koristimo praviloulan£avanja:

∂Ek∂ai

=∂Ek∂ok

∂ok∂αi

∂αi∂ai

.

Svaka od komponenti tada je:

∂Ek∂ok

= −(yk − ok)

∂ok∂αi

=

∑mj=1,j 6=i αj(zi − zj)(∑m

j=1 αj

)2


∂αi∂ai

= biαi(1− αi)


∂Ek∂ai

= −(yk − ok)∑m

j=1,j 6=i αj(zi − zj)(∑mj=1 αj

)2 biαi(1− αi).

Temeljem ovog izraza imamo i kona£ni izraz za aºiriranje parametara ai:

ai(t+ 1) = ai(t) + η(yk − ok)∑m


)2 biαi(1− αi).

12.2.4 Izvod pravila za aºuriranje parametara bi

I po tre¢i puta iskoristit ¢emo pravilo o ulan£avanju:

∂Ek∂bi

=∂Ek∂ok

∂ok∂αi

∂αi∂bi

.

Svaka od komponenti tada je:

∂Ek∂ok

= −(yk − ok)

∂ok∂αi

=

∑mj=1,j 6=i αj(zi − zj)(∑m

j=1 αj

)2

∂αi∂bi

= −(x− ai)αi(1− αi)


∂Ek∂ai

= (yk − ok)∑m


)2 (x− ai)αi(1− αi).

Temeljem ovog izraza imamo i kona£ni izraz za aºiriranje parametara bi:

bi(t+ 1) = bi(t)− η(yk − ok)∑m


)2 (x− ai)αi(1− αi).


12.2.5 Kona£ni algoritam

�itav algoritam u£enja sada moºemo saºeti u tri puta po m izraza kojeprimjenjujemo iterativno.

zi(t+ 1) = zi(t) + η(yk − ok)αi∑mj=1 αj

ai(t+ 1) = ai(t) + η(yk − ok)∑m


)2 biαi(1− αi)

bi(t+ 1) = bi(t)− η(yk − ok)∑m


)2 (x− ai)αi(1− αi)

12.2.6 Op¢enita verzija ANFIS-a

Za potrebe izvedbe algortima u£enja napravili odlu£ili smo se analiziratijednu pojednostavljenu verziju sustava ANFIS. Zbog kompletnosti ovog pre-gleda potrebno je spomenuti varijacije u odnosu na opisani sustav koje setako�er koriste.

Umjesto sigmoidalnih funkcija pripadnosti £esto se za modeliranje funk-cija pripadnosti koriste i razli£ite "zvonolike" funkcije poput:

•µAi(x) =

1

1 +

[(x−ciai

)2]bi ili

•

µAi(x) = e−[(

x−ciai

)2]bi.

U konsekvens dijelu naj£e²¢e se koriste funkcije koje su linearne kombi-nacije ulaza; npr. ako imamo ulaze x i y, funkcije su oblika:

fi = pix+ qiy + ri

gdje su pi, qi i ri parametri koje je mogu¢e pode²avati algoritmom u£enja.I kona£no, umjesto antecedenta koji ispituje samo jednu varijablu, uobi-

£ajeno je da antecedent ispituje sve varijable koje su ulaz u sustav.

12.2.7 Pobolj²anje algoritma u£enja

Izvedeni algoritam u£enja, odnosno opisani postupak za njegov izvod moºese modi�cirati na na£in koji ¢e rezultirati algoritmom koji brºe konvergira;primjer je detaljno opisan u [Jang and Sun(1995)]. Ovdje ¢emo se samoukratko osvrnuti na generalnu ideju.


Algoritam gradijentnog spusta koji smo koristili za izvod pravila u£enjajednostavan je algoritam koji pretpostavlja relativno malo o funkciji na kojuse primjenjuje i stoga je relativno popularan. Me�utim, upravo zbog toga ²tone koristi sve potencijalno dostupne informacije, postupak u£enja je relativnospor.

Pretpostavimo, za potrebe ovog razmatranja, da je funkcija koju je po-trebno minimizirati funkcija nad parametrima ξ1, ξ2, . . ., ξr, ξr+1, . . ., ξs, pri£emu o prvih r parametara funkcija ovisi linearno, a o preostalih s− r para-metara nelinearno. U tom slu£aju tu funkciju moºemo zapisati u sljede¢emobliku:

f(ξ1, . . . , ξs) = α1ξ1 + . . .+ αrξr + g(ξr+1, . . . , ξs),

gdje su α1, . . ., αr poznati koe�cijenti a g nelinearna funkcija preostalihparametara.

Ideja je sljede¢a: postupak u£enja provodit ¢e se u ciklusima koji sesastoje od dva koraka.

1. U prvom koraku parametri o kojima funkcija f ovisi nelinearno drºe sena �ksnim vrijednostima (koje su, primjerice, na samom po£etku oda-brane sasvim slu£ajno) i funkcija f(ξ1, . . . , ξs) se promatra kao funkcijaf(ξ1, . . . , ξr). Traºi se optimalan skup parametara ξ1, . . ., ξr o kojimafunkcija f(ξ1, . . . , ξr) ovisi linearno. To je klasi£ni problem linearneregresije za koji postoje puno e�kasniji algoritmi u odnosu na gradi-jentni spust; primjerice, jedan od takvih je LSE (engl. Least-Squares-Estimate). Primjenom takvog algoritma brzo se prona�u optimalnevrijednosti ξ1, . . ., ξr. Primjetimo, me�utim, da to nisu globalno op-timalne vrijednosti � to su optimalne vrijednosti za koje, uz �ksiraneparametre ξr+1, . . ., ξs funkcija f poprima minimum.

2. U drugom koraku algoritam gradijentnog spusta primjenjuje se samona parametre ξr+1, . . ., ξs dok se parametri ξ1, . . ., ξr drºe �ksnima.Kako se time parametri ξr+1, . . ., ξs mijenjaju, vrijednosti parametaraξ1, . . ., ξr prona�enih u prvom koraku vi²e nisu globalno optimalne.Stoga se po zavr²etku postupak cikli£ki ponavlja ponovno od prvogkoraka.

Ovakav na£in stoga kombinira brz pronalazak optimalnih vrijednosti pa-rametara o kojima funkcija ovisi linearno s gradijentnim spustom koji jebitno sporiji ali kojim se mogu traºiti optimalne vrijednosti onih parame-tara o kojima funkcija ovisi nelinearno. Takvom kombinacijom dobiva sealgoritam koji ima brºu konvergenciju od algoritma koji gradijentni spustprimjenjuje za pronalazak svih parametara.

Vaºno je napomenuti da izra£unska kompleksnost LSE algoritma i gra-dijentnog spusta nije niti pribliºno jednaka. Naime, jedan korak algoritmagradijentnog spusta bitno je jednostavniji u odnosu na LSE algoritam; me�u-tim, gradijentni spust je iterativna metoda kojoj treba puno iteracija kako


bi prona²la dobre vrijednosti parametara. Stoga je ove algoritme mogu¢ekombinirati na sljede¢e na£ine.

• Uporaba samo algoritma gradijentnog spusta. Kod ovakve izvedbe algo-ritma u£enja za pode²avanje svih parametara koristi se samo algoritamgradijentnog spusta koji je ra£unski vrlo jednostavan no zahtjeva punoiteracija.

• Uporaba algoritma LSE samo u prvom koraku pa potom daljnja upo-raba algoritma gradijentnog spusta. Kod ovakve izvedbe algoritam LSEiskoristi se na po£etku postupka u£enja kako bi prona²ao po£etne op-timalne vrijednosti linearnih parametara. Potom se, krenuv²i od takopostavljenih parametara dalje primjenjuje samo algoritam gradijent-nog spusta.

• Cikli£ka uporaba algoritama LSE i gradijentnog spusta. Oba algoritmakoriste se jedan za drugim; najprije se pomo¢u LSE prona�u optimalnevrijednosti linearnih parametara pa potom gradijentnim spustom op-timalne vrijednosti nelinearnih parametara, nakon £ega se postupakcikli£ki ponavlja.

12.2.8 Detaljniji pregled neuro-fuzzy sustava

Za dosta detaljniji pregled integracije neuronskih mreºa te sustava neiz-razitog u£enja zainteresirane se £itatelje upu¢uje na pregledni rad [Abra-ham(2005)], u kojem je mogu¢e prona¢i daljnje reference na sustave poputFuzzy Adaptive Learning Control Network (FALCON), Generalized Approxi-mate Reasoning Based Intelligent Control (GARIC), Neuro-Fuzzy Control-ler (NEFCON), Neuro-Fuzzy Classi�cation (NEFCLASS), Neuro-Fuzzy Fun-ction Approximation (NEFPROX), Fuzzy Inference Environment Softwarewith Tuning (FINEST), Self Constructing Neural Fuzzy Inference Network(SONFIN), Fuzzy Net (FUN) i druge.

Poglavlje 13

Oblikovanje i u£enje neuronske

mreºe algoritmima evolucijskog

ra£unanja

Kroz prethodna poglavlja upoznali smo se s pojmom umjetne neuronskemreºe te smo naveli dvije tipi£ne arhitekture � unaprijedne slojevite neuron-ske mreºe te samoorganiziraju¢e neuronske mreºe. Od mno²tva razli£itiharhitektura mreºa izabrali smo ta dva kako bismo ilustrirali mogu¢nosti ne-uronskih mreºa. Prisjetimo se, unaprijedne slojevite neuronske mreºe moglismo primijeniti na probleme funkcijske regresije i aproksimacije kao i kla-si�kacije. S druge pak strane, samoorganiziraju¢a neuronska mreºa, poputKohonenovog SOM-a, omogu¢avala je rje²avanje zadataka poput grupiranjapodataka.

Ako se fokusiramo na samo jedan od tih tipova, primjerice, unaprijedneslojevite mreºe, ili jo² op¢enitije, unaprijedne mreºe, postavlja se sljede¢epitanje: za zadatak koji mreºa treba rije²iti, koja je optimalna arhitekturaneuronske mreºe te koji su optimalni parametri takve mreºe a uz koje ne-uronska mreºa dobro rje²ava zadani problem, i pri tome zadrºava dobrosvojstvo generalizacije? U dana²njem trenutku egzaktan odgovor na to pi-tanje ne postoji i odabir i u£enje neuronske mreºe svodi se na niz poku²ajai pogre²aka. Stoga je upravo prirodno razmotriti mogu¢nost kombiniranjaevolucijskog procesa i razvoja neuronskih mreºa.

Istraºivanja na temu uporabe evolucijskih procesa za razvoj neuronskihmreºa traju ve¢ preko dvadesetak godina, pri £emu su intenzivnija istraºi-vanja zapo£ela ranih devedesetih. Primjena evolucijskih procesa na razvojneuronskih mreºa moºe se kategorizirati u tri podru£ja.

1. Evolucija teºinskih faktora. Klasi£ni algoritmi u£enja izvedeni su zapojedine arhitekture neuronskih mreºa; primjerice, samoorganiziraju¢eneuronske mreºe ne moºemo u£iti algoritmom Backpropagation. Evo-lucijski algoritmi kao univerzalni optimizacijski algoritmi primjenjivi

245

246 POGLAVLJE 13. NEURO-EVOLUCIJSKI SUSTAVI

su na evoluciju parametara prakti£ki neograni£enog broja razli£itih ar-hitektura neuronskih mreºa £ime se izbjegava potreba za izvo�enjemalgoritama prilago�enih pojedinim arhitekturama.

2. Evolucija arhitektura. Poznato je da ¢e prejednostavna neuronskamreºa koju se primijeni na rje²avanje nekog zadatka prona¢i neprik-ladno rje²enje � rje²enje koje ima veliku pogre²ku. S druge pak strane,preveliku neuronsku mreºu te²ko ¢emo nau£iti da kvalitetno rje²avazadatak a nakon postupka u£enja mreºa ¢e ispoljavati svojstvo pre-treniranosti i vrlo lo²e generalizirati. Evolucijske algoritme mogu¢e jestoga primijeniti na razvoj arhitekture neuronske mreºe koja ¢e bitijednostavna, a opet dovoljno sloºena kako bi rje²avala zadani problemi zadrºala svojstvo generalizacije.

3. Evolucija pravila u£enja. Prou£avanjem unaprijedne slojevite neuron-ske mreºe u poglavlju 8 izveli smo algoritam Backpropagation, odnosnopokazali na koji se na£in ra£una korekcija svakog teºinskog faktora.Me�utim, izraz koji smo dobili nije jedini koji se moºe koristiti zapostupak u£enja. Evolucijske algoritme stoga je mogu¢e primijenitiupravo na razvoj pravila u£enja uz koje ¢e neuronska mreºa u£iti brzoi e�kasno. Uprabom evolucijskih algoritama poku²ava se nau£iti kakotreba u£iti.

13.1 Evolucija teºinskih faktora

Unaprijedne neuronske mreºe naj£e²¢e se koriste tako da se �ksira arhitek-tura mreºe (broj ulaznih, izlaznih te skrivenih neurona; izme�u koji ne-urona postoje veze te koje se prijenosne funkcije koriste) te se temeljemzadanog skupa uzoraka za u£enje algoritmom u£enja poku²ava prona¢i op-timalan skup teºinskih faktora uz koje mreºa radi minimalnu pogre²ku (svedrugo je �ksirano). Ovdje govorimo o u£enju s u£iteljem, a najpoznatijialgoritam koji se koristi za postupak u£enja je Backpropagation [Rumel-hart et al.(1986)Rumelhart, Hinton, and Williams] koji se zasniva na upo-rabi gradijenta pogre²ke. Osim tog algoritma i niza njegovih modi�kacija,postoji jo² niz drugih koji se koriste, poput algoritma QuickProp [Fahl-man(1989),Craig Veitch and Holmes(1991)], algoritma konjugiranog gradi-jenta [Moller(1990)] te Levenberg-Marquardt algoritma [Hagan and Men-haj(1994),Suratgar et al.(2005)Suratgar, Tavakoli, and Hoseinabadi].

Zajedni£ka karakteristika svih ovih algoritama je njihova utemeljenost nagradijentu � takvi algoritmi £esto zapinju u lokalnim optimumima; algoritmikoji se temelje samo na informaciji o gradijentu tako�er su vrlo nee�kasniodnosno zahtijevaju velik broj iteracija. Dodatno, neprimjenjivi su na pro-bleme minimizacije funkcije pogre²ke koja nije derivabilna.

13.1. EVOLUCIJA TE�INSKIH FAKTORA 247

Evolucijski algoritmi, primjerice genetski algoritam stohasti£ki su opti-mizacijski algoritmi koji su poprili£no robusni na lokalne optimume te nezahtijevaju da funkcija koja se optimira bude derivabilna. Stoga je jedanod na£ina zaobilaºenja problema koje sa sobom donosi algoritam Backpro-pagation uporaba evolucijskog algoritma primijenjenom na pronalazak op-timalnog skupa teºinskih faktora u �ksiranoj mreºi. U literaturi se moºeprona¢i dosta radova na temu usporedbe algoritma Backpropagation i ge-netskog algoritma kojima je trenirana ista mreºa i rezultati nisu jasni � dioliterature pokazuje da je algoritam Backpropagation e�kasniji od genetskogalgoritma, drugi dio literature pokazuje upravo suprotno. Me�utim, trebanapomenuti da su usporedbe uvijek ra�ene nad razli£itim problemima te iz-me�u razli£itih vrsta algoritma Backpropagation i genetskih algoritama, ²tou kona£nici samo potvr�uje No-free-lunch teorem: razli£iti algoritmi nadrazli£itim problemima pona²aju se razli£ito.

13.1.1 Primjena genetskog algoritma na evoluciju teºinskih

faktora

U �ksnoj arhitekturi neuronske mreºe broj teºinskih faktora koje treba na-u£iti je �ksan i ne mijenja se tijekom postupka u£enja. Stoga se u praksikoriste dvije reprezentacije rje²enja s kojima radi genetski algoritam: binarniprikaz te prikaz vektorom decimalnih brojeva.

Kod binarnog prikaza sve se teºine numeriraju (primjerice od 0 do n−1),za svaku se teºinu uzme k bitova i potom se izgradi kromosom od n ·k bitova.Da bi se omogu¢ilo dekodiranje teºina, potrebno je jo² utvrditi minimalni imaksimalni iznos teºine te kod koji se koristi (primjerice, binarni kod, Grayevkod i sli£no). Prednost ovakvog prikaza je izostanak potrebe za de�niranjemposebnih operatora kriºanja i mutacije. Jedan od nedostataka ovog prikazaje ograni£en prostor pretraºivanja � naime, za teºine je unaprije potrebnozadati raspon unutar kojeg se obavlja pretraga. Prisjetimo se, kod algoritmaBackpropagation to nije bio slu£aj � teºine smo tretirali kao realne brojevei nismo (svjesno) postavljali nikakva ograni£enja jer £esto ne znamo unutarkojeg raspona ¢e se teºine kretati.

Prikaz s vektorom decimalnih brojeva u ovom slu£aju je ne²to prirod-niji iako sa sobom donosi niz problema: vi²e ne moºemo koristiti uobi£ajenebinarne operatore ve¢ je potrebno razviti skup operatora koji rade nad de-cimalnim brojevima.

Relativno opseºno istraºivanje na temu uporabe genetskog algoritma zatreniranje neuronske mreºe prikazano je u [Montana and Davis(1989)], gdjeautori de�niraju niz razli£itih operatora mutacije i kriºanja od kojih su nekiprikazani u nastavku. Me�utim, prije detaljnijeg pregleda tih operatorapotrebno je spomenuti i problem koji se javlja prilikom u£enja neuronskihmreºa populacijskim algoritmima � radi se o problemu permutacija kod ne-uronskih mreºa (engl. Permutation problem, tako�er poznat i pod nazivom


(a) Originalna mreºa (b) Druga£ija mreºa za isto preslikavanje

Slika 13.1: Ilustracija simetri£nosti unutar neuronske mreºe � problem per-mutacija

engl. Competing conventions problem) [Hancock(1992)]. Kako smo do sadagovorili samo o algoritmu Backpropagation koji nije populacijski, nismo gado sada spominjali. A radi se o sljede¢em: neuronske mreºe pravilnih struk-tura (primjerice troslojna unaprijedna potpuno-povezana neuronska mreºa)izuzetno su simetri£ne, odnosno postoji mno²tvo na£ina raspodjele teºinauz koje mreºa obavlja identi£no preslikavanje. Da je tome tako, moºemo seuvjeriti jednostavnim primjerom koji prikazuje slika 13.1.

Obje prikazane neuronske mreºe su troslojne neuronske mreºe s dvaulaza, pet skrivenih neurona i jednim izlazom. Svi neuroni su numerirani;neuroni 1 i 2 su ulazni i ni²ta ne ra£unaju, neuroni 3 do 7 su skriveni ineuron 8 je izlazni. Mreºa prikazana na slici 13.1b dobivena je direktno izmreºe prikazane na slici 13.1a tako da su sve teºine na ulazima i izlazimaneurona 3 i 6 zamijenjene. Uo£imo, time neuron 6 sada ra£una ono ²to jeu mreºi prikazanoj na slici 13.1a ra£unao neuron 3, a neuron 3 sada ra£unaono ²to je prije ra£unao neuron 6. Kako su prilikom zamjene zamijenjene iteºine kojima izra£unati izlazi utje£u na neuron 8, slijedi da obje mreºe radeidenti£no funkcijsko preslikavanje iz R2 → R.

Posljedica ove simetri£nosti jest postojanje vi²e globalnih optimuma funk-cije pogre²ke koja se minimizira. U prikazanom primjeru na slici 13.1 uskrivenom sloju se nalazi 5 neurona; to zna£i teºine u mreºi moºemo ras-podijeliti na 5! razli£itih na£ina a da pri tome imamo identi£no pona²anjeneuronske mreºe. Ve¢ uz jedan skriveni sloj, broj globalnih optimuma jednakje dakle faktorijeli broja neurona u tom skrivenom sloju. Kako za iole ve¢ibroj neurona u tom skrivenom sloju broj rje²enja raste vrlo brzo (a da nespominjeno neuronske mreºe s dva ili vi²e skrivenih slojeva), jasno je da ¢e

13.1. EVOLUCIJA TE�INSKIH FAKTORA 249

populacijski optimizacijski postupci koji me�usobno kombiniraju dva ili vi²erje²enja imati teºak posao. Iz tog razloga dosta istraºiva£a u ovom podru£jupoku²ava izbjegavati takve operatore � kod genetskog algoritma to je upravooperator kriºanja, i koristiti samo operatore koji rade direktno nad jednimrje²enjem (kod genetsko algoritma to bi bio operator mutacije).

Pogledajmo i na dva primjera za²to je kriºanje problemati£no u ovomslu£aju. Pretpostavimo da su rje²enja vektori decimalnih brojeva. Kriºajmodvije mreºe prikazane na slikama 13.1a i 13.1b najprije na na£in da za svakuteºinu slu£ajno biramo ho¢emo li je uzeti iz jednog djeteta ili iz drugog.Kako su teºine kod svih neurona osim neurona 3 i 6 identi£ne, dijete ¢e ihnaslijediti. Pretpostavimo sada da u djetetu neuron 3 dobije jednu teºinuod jednog roditelja a drugu od drugog (dakle dobije teºine 3 i 6) a to istonastupi i kod teºina neurona 6. Evo u £emu je problem: dotada²nji pos-tupak evolucije neurone 3 i 6 u oba roditelja specijalizirao je za odre�enopodru£je ulaznog prostora i prona²ao im prikladne teºine; kriºanjem smome�utim dobili dva neurona od kojih niti jedan vi²e nije niti sli£an onomeza ²to su polazni neuroni bili specijalizirani, i takva ¢e mreºa tipi£no raditibitno lo²ije od roditelja; u tom smislu, operator kriºanja je naprosto previ²edestruktivan.

Pretpostavimo sada da smo izveli druga£ije kriºanje: svjesni smo da umreºi postoji struktura pa operatorom mutacije mijenjamo teºine, a opera-torom kriºanja u dijete prenosimo kompletne neurone s njihovim vezama.Razmotrimo opet kriºanje dviju mreºa prikazanih na slikama 13.1a i 13.1b.Neka dijete od prve mreºe pokupi neurone 3, 4 i 5 a od druge mreºe neurone6 i 7. Tada ¢e kod djeteta neuron 3 imati teºine (3,3), neuron 4 teºine (4,4),neuron 5 teºine (5,5), neuron 6 teºine (3,3) i neuron 7 teºine (7,7). Uo£imosada: neuron koji je bio specijaliziran za ulazni dio prostora pokriven teºi-nama (6,6) je kod djeteta izgubljen, a umjesto njega, dijete je dobilo dvijekopije neurona koji ima teºine (3,3). Takvo dijete opet ¢e vrlo vjerojatnobiti lo²ije od roditelja pa kriºanje niti na koji na£in ne¢e pomo¢i u evolucijirje²enja.

Opisani problem kod manjih mreºa ne dolazi toliko do izraºaja kao kodonih ve¢ih. Dapa£e, dio istraºiva£a pokazao je da genetski algoritam u odre-�enim slu£ajevima moºe biti dovoljno robustan da se nosi s ovim problemimai da opet pronalazi zadovoljavaju¢a rje²enja. Me�utim, ukazani problemjasno ukazuje i na potrebu da se, ako se ve¢ koriste operatori koji kombini-raju vi²e rje²enja, izvedbi takvih operatora posveti posebna paºnja.

U nastavku ¢emo dati jo² i prikaz razli£itih izvedbi operatora mutacije ikriºanja za genetski algoritam koji traºi optimalne teºinske faktore neuron-ske mreºe, kako su de�nirani u [Montana and Davis(1989)]. Operatori suizvedeni uz pretpostavku da se za prikaz rje²enja koristi vektor decimalnihbrojeva. Krenimo najprije s operatorima mutacije.

• Mutacija bez pristranosti. Za svaki element vektora operator s vjerojat-


no²¢u pm mijenja tu vrijednost nekom drugom nasumi£no generiranomvrijednosti.

• Mutacija s pristrano²¢u. Za svaki element vektora operator s vjerojat-no²¢u pm toj vrijednosti nadodaje neku drugu nasumi£no generiranuvrijednost.

• Mutacija neurona. Operator odabire n neurona koji nisu ulazni. Po-tom svim dolaznim teºinama odabranih neurona nadodaje neku nasu-mi£no generiranu vrijednost. Ovim se promjene lokaliziraju na razinipojedinih neurona.

• Mutacija najslabijeg neurona. Jakost neurona de�nira se kao razlikaizme�u izlaza neuronske mreºe u kojoj promatrani neuron normalnofunkcionira i izlaza lobotomizirane neuronske mreºe u kojoj je izlazpromatranog neurona pritegnut na vrijednost 0. Neuron koji je najsla-biji o£ito nije specijaliziran niti za jedno korisno podru£je i ne obavljavaºnu ulogu u mreºi � stoga se takav neuron mutacijom poku²ava ak-tivirati.

Od operatora kriºanja, spomenut ¢emo 3 opisana u nastavku.

• Kriºanje teºina. Vektor teºina djeteta tvori se tako da se svaka kom-ponenta vektora nasumi£no preuzme od jednog ili drugog roditelja.

• Kriºanje neurona. Za svaki se neuron koji nije ulazni nasumi£no oda-bere jedan od roditelja i od njega se preuzme kompletan skup ulaznihteºina tog neurona; naime, kako je pretpostavka da je svaki neuron uodre�enom smislu specijaliziran za odre�eno podru£je, u dijete se pre-nosi kompletan skup teºina za neuron od izabranog roditelja £ime seta specijalizacija prenosi u dijete.

• Kriºanje zna£ajki. Za svaki neuron u prvom roditelju poku²ava seprona¢i neuron koji obavlja istu ili najsli£niju ulogu tog neurona udrugom roditelju. To se radi tako da se na ulaze obje mreºe dovodiniz razli£itih ulaza i potom se promatra odziv �ksiranog neurona izprve mreºe i kandidata neurona iz druge mreºe. Jednom kada se zasvaki neuron iz prvog roditelja prona�e njegov par, poredak neurona udrugom roditelju se presloºi tako da mreºa i dalje obavlja istu funkcijuali da poredak neurona u obje mreºe bude jednak u funkcijskom smislu.Tada se roditelji kriºaju na prethodno opisan na£in ("kriºaj neurone").

Za detalje se zainteresirane £itatelje upu¢uje na rad [Montana and Da-vis(1989)]. Spomenimo i da se u odre�enim slu£ajevima rad genetskog algo-ritma moºe dosta ubrzati ugradnjom lokalne pretrage. Lokalna pretraga jepostupak koji se pokre¢e nakon generiranja djece (kada, nad kojoj to£no dje-com i koliko dugo dodatni su parametri koje tada treba podesiti) a £iji je cilj

13.2. EVOLUCIJA ARHITEKTURA 251

poku²ati popraviti stvoreno rje²enje. Kao postupak lokalne pretrage mogu¢eje implementirati upravo algoritam Backpropagation (pa odraditi nekolikoiteracija) ili neki drugi postupak. Algoritam Backpropagation izuzetno jeosjetljiv na inicijalni odabir teºina pa je £esta situacija u praksi da se algori-tam mora pokrenuti vi²e puta kako bi prona²ao neko dovoljno dobro rje²enje,a ne zapeo u neprihvatljivo lo²em lokalnom optimumu. Genetski algoritam jepak algoritam koji dosta grubo pretraºuje prostor i koji je upravo sposobanprona¢i dobar skup teºina od kojih algoritam lokalne pretrage moºe daljegenerirati dobra rje²enja. Stoga ovakva kombinacija u praksi moºe davatidobre rezultate.

13.2 Evolucija arhitektura

Kako bi neuronska mreºa zadani problem rje²avala optimalno dobro, po-trebno je prije postupka u£enja teºina odabrati mreºu prikladne sloºenosti.Naime, prejednostavna mreºa ne¢e biti sposobna zadatak rje²avati uz malupogre²ku. S druge strane, kod presloºene mreºa postupak u£enja ¢e trajativrlo dugo a dobivena mreºa, iako ¢e raditi malu pogre²ku na skupu za u£enje,generalno govore¢i iskazivat ¢e svojstvo vrlo slabe generalizacije. Pitanje je,stoga, kako odabrati optimalnu arhitekturu koja je prikladna za rje²avanjepostavljenog zadatka. Ovaj "meta-zadatak" � pronalazak optimalne arhitek-ture mreºe � moºe se de�nirati kao zaseban optimizacijski problem koji jepotrebno rije²iti. Kriterijska funkcija koja se pri tome de�nira moºe uklju£i-vati faktore poput minimalne sloºenosti mreºe, brzine u£enja mreºe i sli£no.Dva su uobi£ajena na£ina rje²avanja tog problema: konstruktivnim algorit-mima te destruktivnim algoritmima. Konstruktivni algoritmi po£inju s ne-uronskom mreºom minimalne sloºenosti i po potrebi dodaju nove neurone,nove veze i nove slojeve kako bi mreºu u£inili prikladnijom za rje²avanjezadanog problema. Destruktivni algoritmi kre¢u od vrlo op¢enite i sloºenearhitekture mreºe i potom poku²avaju uklanjati veze, neurone i slojeve pa-ze¢i da pri tome mreºa i dalje dobro rje²ava zadani problem. Me�utim, ikod jedih i kod drugih vrsta algoritama nema jasnog pravila (i opravdanja)na koji na£in treba to£no raditi ve¢ su takvi algoritmi vo�eni heuristi£kimpravilima.

Umjesto uporabe konstruktivnih i destruktivnih algoritama, problem pro-nalaska optimalne arhitekture moºe se rje²avati evolucijskim algoritmimakoji su prema [Miller et al.(1989)Miller, Todd, and Hedge] posebno pogodniza ovaj zadatak iz nekoliko razloga.

• Povr²ina koju razapinje kriterijska funkcija a koju pretraºuje optimiza-cijski algoritam beskona£no je velika jer broj mogu¢ih arhitektura nijeograni£en.

• Povr²ina koju razapinje kriterijska funkcija nije derivabilna jer postoji


niz promjena arhitektura koje su diskretne (primjerice, dodavanje iliuklanjanje jedne veze, jednog neurona ili jednog sloja neurona ili pakpromjena prijenosne funkcije u neuronu) .

• Povr²ina koju razapinje kriterijska funkcija je kompleksna i sadrºi ve-liku koli£inu ²uma jer nemamo na£in egzaktne procjene kvalitete poje-dine arhitekture ve¢ se ta ocjena ra£una indirektno � primjerice, mje-re¢i vrijeme potrebno da mreºa nau£i, ²to je izuzetno podloºno utjecajuslu£ajnosti.

• Povr²ina koju razapinje kriterijska funkcija je decepcijska, budu¢i dasli£ne arhitekture mogu imati bitno razli£ite iznose kriterijske funkcije.

• Povr²ina koju razapinje kriterijska funkcija je vi²emodalna, budu¢i darazli£ite arhitekture mogu imati sli£ne iznose kriterijske funkcije.

Prilikom dizajniranja evolucijskog algoritma prikladnog za rje²avanje pro-blema pronalaska optimalne arhitekture potrebno je odlu£iti se koliko ¢einformacija biti kodirano u kromosom s kojim evolucijski algoritam radi.Postoje dvije mogu¢nosti: svaki kromosom moºe do u posljednji detalj spe-ci�cirati sve detalje neuronske mreºe � sve neurone, sve veze me�u njima,iznose teºina, odabrane prijenosne funkcije i sli£no. U tom slu£aju govo-rimo o direktnom kodiranju neuronske mreºe. Alternativa je u kromosompohraniti samo najvaºnije informacije, primjerice, koliko slojeva mreºa trebaimati i koliko neurona u svakom sloju (ako razvijamo slojevite mreºe). Utom slu£aju govorimo o indirektnom kodiranju.

Jednom kada je odabran na£in reprezentacije neuronske mreºe, razvojarhitektura moºe se obavljati prema pseudokodu prikazanom u nastavku.

1. Svaki kromosom dekodiraj u pripadnu neuronsku mreºu. Ako se koristiindirektno kodiranje, parametre koji nedostaju postavi na neki na£in(primjerice, dodatnim pravilom koje se koristi ili naprosto postupkomu£enja teºina).

2. Svaku neuronsku mreºu treniraj puno puta, svaki puta po£ev²i od raz-li£itih po£etnih teºina, razli£itih parametara u pravilu u£enja (npr. akose koristi Backpropagation, poku²avati s vi²e razli£itih stopa u£enja ifaktora inercije).

3. Svakoj mreºi (kromosomu) dodijeli pripadni iznos funkcije dobrote kojije izra£unat temeljem obavljenih poku²aja u£enja iz koraka 2 i u skladus de�niranom kriterijskom funkcijom.

4. Obavi kriºanje roditelja i mutaciju djece u skladu s odabranom vrstomevolucijskog algoritma a sukladno dodijeljenim iznosima funkcije do-brote te primijeni i eventualno neke druge operatore £ime se u kona£nicigenerira sljede¢a generacija roditelja.

U nastavku ¢emo se jo² osvrnuti na na£ine kodiranja neuronskih mreºa.


Tablica 13.1: Prikaz arhitekture neuronske mreºe matricom veza

1 2 3 41 c1,1 c1,2 c1,3 c1,4

2 c2,1 c2,2 c2,3 c2,4

3 c3,1 c3,2 c3,3 c3,4

4 c4,1 c4,2 c4,3 c4,4

13.2.1 Direktno kodiranje neuronske mreºe

Najjednostavniji primjer direktnog kodiranja neuronske mreºe koja sadrºi Nneurona jest matricom dimenzija N×N . Primjer takvog zapisa za neuronskumreºu koja se sastoji od ukupno 4 neurona dan je u tablici 13.1. Koe�cijentici,j ∈ {0, 1} odre�uju postoji li veza izme�u izlaza neurona i i ulaza neurona j(tj. da li neuron i pobu�uje neuron j); ako je ci,j = 1 tada neuron i pobu�ujeneuron j; u suprotnom neuron i ne pobu�uje neuron j. Ako ovakva mreºaobavlja preslikavanje iz Rm → Rn (tj. ima m ulaza i n izlaza, moºemo sepridrºavati konvencije da su prvih m neurona ulazni (neuroni 1, 2, . . ., m) aposljednjih n neurona izlazni (neuroni 4− n+ 1, 4− n+ 2, . . ., 4).

Umjesto restrikcije elemenata matrice na binarne zastavice, matri£ni pri-kaz moºemo koristiti i direktno za pohranu teºina (vidi tablicu 13.2). Utom slu£aju elemente matrice ¢emo ozna£avati s wi,j i drºat ¢emo se sljede¢ekonvencije: ako je wi,j = 0 tada ne postoji veza kojom neuron i pobu�ujeneuron j; u suprotnom, neuron i pobu�uje neuron j i pri tome je iznosteºinskog faktora te veze upravo wi,j . Primjetimo jo² da svaki neuron u ne-uronskoj mreºi osim teºinskih faktora koji se nalaze na njegovim ulazima iskaliraju pobude koje neuron dobiva od drugih neurona neuron sadrºi i slo-bodnu teºinu koju smo obi£no ozna£avali s w0. Kako bismo mogli pamtiti iove teºine, matri£ni prikaz koji je dan u tablici 13.2 uvodi virtualni neuronindeksiran s 0 koji nema nikakvih ulaza i na svojem izlazu generira �ksnujedinicu. Tada za sve ostale neurone vrijednost slobodnog teºinskog faktoramoºemo zapisati kao teºinu izme�u tog virtualnog neurona i svakog od pre-ostalih neurona (prvi redak tablice). Primijetimo tako�er da, ako se radio unaprijednim mreºama, pripadna matrica ne moºe biti skroz popunjena.Primjerice, ako je neuron 1 ulazni neuron, tada njega ne pobu�uje niti jedandrugi neuron ²to zna£i da ∀i wi,1 = 0. Na² virtualni neuron tako�er nitkone pobu�uje, pa mora vrijediti ∀i wi,0 = 0. Ako je neuron 4 izlazni, tada onnikoga ne pobu�uje, a to zna£i da mora vrijediti ∀i w4,i = 0. I kona£no, dabi mreºa bila unaprijedna, dozvoljeno je postojanje veza od neurona i premaneuronu j ako je i < j ali ne i obratno. Naime, ako se dozvoli da neuroni pobu�uje neuron j i da neuron j pobu�uje neuron i, tada izlaz svakogod neurona ovisi o izlazu upravo onog drugog, pa vi²e nemamo unaprijednumreºu ve¢ smo dobili mreºu koja ima vremenski promjenjiv odziv (sjetite seprimjerice mreºe Winner-Takes-All koja je upravo takva). Iz istog razloga,


Tablica 13.2: Prikaz arhitekture neuronske mreºe matricom teºina

0 1 2 3 40 w0,0 w0,1 w0,2 w0,3 w0,4

1 w1,0 w1,1 w1,2 w1,3 w1,4

2 w2,0 w2,1 w2,2 w2,3 w2,4

3 w3,0 w3,1 w3,2 w3,3 w3,4

4 w4,0 w4,1 w4,2 w4,3 w4,4

mora vrijediti ∀i wi,i = 0. Me�utim, uo£imo da ova ograni£enja postojeako ºelimo dobiti unaprijednu mreºu; ako to nije slu£aj, matri£ni je prikazdovoljno ekspresivan za dobivanje bilo kakve arhitekture.

Genetski algoritam za rje²avanje problema XOR uz direktno kodi-ranje

Problem XOR de�nirat ¢emo kao problem pronalaska neuronske mreºe kojakorektno radi na sljede¢em skupu uzoraka za u£enje: {(-1,-1)→-1, (-1,1)→1,(1,-1)→1, (1,1)→-1}.

Kako bismo ilustrirali genetski algoritam koji koristi direktno kodiranje,napisana je implementacija troturnirskog genetskog algoritma koji treniraneuronsku mreºu koja se sastoji od neurona kod kojih se kao prijenosnafunkcija koristi funkcija skoka oblika:

f(net) =

{1, net > 0−1, ina£e.

Poku²aj 1 Kako je poznato da neuronska mreºa koja se sastoji od jednogneurona (ne ra£unaju¢i ulazne neurone) ne moºe obaviti taj posao, genet-skim algoritmom poku²ali smo prona¢i slojevitu potpuno-povezanu troslojnuneuronsku mreºu koja u skrivenom sloju ima dva neurona i koja rje²ava tajproblem, tj. mreºu oblika 2× 2× 1. Pripadna matrica teºina prikazana je utablici 13.3. S obzirom na postavljeni zahtjev slojevitosti, neuronska mreºaima relativno malo teºina koje se mogu postavljati. Neuron 0 je virtualnineuron koji na izlazu generira �ksnu vrijednost 1 i sluºi za pode²avanje slo-bodnih teºinskih faktora, neuroni 1 i 2 su ulazni neuroni koji na svoj izlazpreslikavaju dovedeni uzorak, odnosno komponente x1 i x2, neuroni 3 i 4 suneuroni skrivenog sloja i prvi koji doista ne²to ra£unaju i neuron 5 je izlaznineuron.

Operatori kriºanja izveden je tako da dijete svaki element matrice s 50%²anse preuzme od jednog roditelja odnosno s 50% ²anse od drugog roditelja.Mutacija je izvedena na na£in da se svakom elementu matrice s vjerojatno²¢upm nadoda slu£ajno generirani broj iz normalne distribucije s parametrima


Tablica 13.3: Matri£ni prikaz arhitekture neuronske mreºe za problem XOR

0 1 2 3 4 50 0.0 0.0 0.0 w0,3 w0,4 w0,5

1 0.0 0.0 0.0 w1,3 w1,4 0.02 0.0 0.0 0.0 w2,3 w2,4 0.03 0.0 0.0 0.0 0.0 0.0 w3,5

4 0.0 0.0 0.0 0.0 0.0 w4,5

5 0.0 0.0 0.0 0.0 0.0 0.0

(0, σ). Nakon kriºanja i mutacije, nad matricom je pokrenut dodatni pos-tupak koji je sve teºine za koje je ci,j = 0 resetirao ponovno na 0 kako bi seosiguralo da je mreºa i dalje unaprijedna slojevita.

Konkretno, genetski algoritam je pokrenut uz sljede¢e parametre:

• veli£ina populacije: 50,

• pm = 0.33 te

• σ = 0.25.

Inicijalno, teºine su birane uniformno iz intervala [−5,5]. Algoritam je pro-na²ao rje²enje koje problem rje²ava ispravno ve¢ u 4. generaciji nakon £ega jeostatak vremena proveo popravljaju¢i njegovu kvalitetu s obzirom na zadanukriterijsku funkciju. Kriterijska funkcija pri tome je de�nirana kao negativaniznos funkcije kazne. Funkcija kazne ra£unana je na sljede¢i na£in:

• Ozna£imo s K1 iznos sume kvadratnog odstupanja izra£unatog na £i-tavom skupu za u£enje. U na²em slu£aju minimalni iznos ove kompo-nente je 0 a maksimalni 4 · 22 = 16, koji se postiºe ako mreºa sva 4uzorka pogre²no klasi�cira.

• Ozna£imo s K2 iznos sume kazni zbog neprikladnog oblika teºina. Na-ime, htjeli bismo da sve teºine budu ili cijeli brojevi, ili decimalnibrojevi oblika x.5. Komponenta K2 je suma apsolutnog odstupanjasvakog elementa matrice od ºeljenog oblika teºine. Primjerice, ako jeneka teºina jednaka 3.4, najbliºi "poºeljni" broj je 3.5 pa ¢e za tu teºinuu K2 biti nadodan iznos |3.4− 3.5| = 0.1.

• Ozna£imo s K3 iznos sume kazni zbog veli£ine teºina. Naime, htjelibismo posti¢i da je ²to vi²e teºina jednako 0 ili da su vrlo male. Stogakomponentu K3 ra£unamo kao sumu kvadata svih teºina u matrici.

• Ukupna kazna tada se ra£una kao:

K1 +1

2φ(K2) +

1

2φ(K3)

gdje je funkcija φ(x) = 2π · arctan(x).



0 1 2 3 4 50 0.0 0.0 0.0 -4.5 -3.5 -5.01 0.0 0.0 0.0 -6.0 2.5 0.02 0.0 0.0 0.0 3.5 -4.0 0.03 0.0 0.0 0.0 0.0 0.0 -3.04 0.0 0.0 0.0 0.0 0.0 -6.05 0.0 0.0 0.0 0.0 0.0 0.0

Slika 13.2: MLP s dva neurona u skrivenom sloju za problem XOR-a nau£engenetskim algoritmom

Razvijeni genetski algoritam prilikom rada poku²ava maksimizirati do-brotu generiranih neuronskih mreºa odnosno prona¢i mreºu koja ima mini-malni iznos funkcije kazne. Dobiveni rezultat prikazan je u tablici 13.4 adekodirana neuronska mreºa prikazana je na slci 13.2.

Interesantno je pogledati na koji je na£in genetski algoritam podesio te-ºine, odnosno ²to to£no prona�ena neuronska mreºa radi. Za potrebe poja²-njenja, uvedimo oznaku z za izlaz neurona 3 te oznaku w za izlaz neurona4. Uz prona�eni skup teºina vrijedi:

z = step(−6x1 + 3.5x2 − 4.5)

w = step(2.5x1 − 4x2 − 3.5).

Decizijske funkcije koje se dobiju za z = 0 (crvena linija) i w = 0 (zelenalinija) prikazane su na slici 13.3. Dodatno, £itav podprostor u kojem je netkoji ra£una neuron 3 pozitivan (pa stoga izlaz z = 1) obojan je crvenimuzorkom dok je £itav podprostor u kojem je net koji ra£una neuron 4 po-zitivan (pa stoga izlaz w = 1) obojan je zelenim uzorkom. Sada vidimo daje neuron 3 specijaliziran za detekciju uzorka (x1, x2) = (−1, 1) i samo zanjega daje na izlazu vrijednost 1 a neuron 4 je specijaliziran za detekcijuuzorka (x1, x2) = (1,−1) i samo za njega daje na izlazu vrijednost 1. �i-tava neuronska mreºa sada treba na izlazu dati −1 samo ako nije prepoznat


-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

3.5y-6x-4.5=0-4y+2.5x-3.5=0

-6w-3z-5=0

Slika 13.3: Decizijske funkcije nau£ene za svaki od tri neurona u MLP-u zaproblem XOR-a

uzorak (-1,1) niti uzorak (1,-1); drugim rije£ima, samo kada su oba izlaza wi z jednaka −1; ako je prepoznat bilo koji od navedena dva uzorka, mreºatreba dati izlaz 1. No taj je posao rje²iv jednim neuronom � onim izlaznim.Naime, taj neuron treba obaviti sljede¢e preslikavanje:{(w,z)→ φ(w, z)}: {(-1,-1)→-1, (-1,1)→1, (1,-1)→1, (1,1)→1} ²to je najobi£nija funkcija ILI i onaje linearno razdvojiva. Taj posao obavlja upravo neuron 5 £ija je decizijskafunkcija:

y = step(−3z − 6w − 5)

koja je na slici 13.3 prikazana plavom linijom a podru£je za koje pripadni netpoprima pozitivnu vrijednost (pa je tada y = 1) obojano je plavim uzorkom.

Na koji je dakle na£in genetski algoritam podesio teºine neuronske mreºe?Neurone skrivenog sloja specijalizirao je tako da iz prostora uzoraka detekti-raju odre�ene zanimljive uzorke (ili op¢enito kombinacije uzoraka); potom jeiskoristio sljede¢i sloj neurona (kod nas i posljednji, izlazni) kako bi temeljemaktivacija tih detektora (a ne vi²e direktnim promatranjem ulaznih uzoraka)generirao kona£nu klasi�kaciju. Sada je jasno za²to neuronske mreºe s vi²eslojeva i malim brojem neurona mogu nau£iti obavljati komplicirane kla-si�kacije: svaki sljede¢i sloj neurona postaje detektor koji svoj izlaz graditemeljem prethodnog sloja detektora i time gradi sve kompliciranije decizij-ske funkcije.

Poku²aj 2 Umjesto troslojne potpuno povezane neuronske mreºe tipa2 × 2 × 1, genetskim algoritmom smo poku²ali nau£iti jednostavniju tros-lojnu potpuno-povezanu neuronsku mreºu: 2 × 1 × 1. Me�utim, postupaku£enja nije mogao prona¢i niti jedan skup teºina uz koje bi mreºa korektnoklasi�cirala sve uzorke � razmislite je li to krivica algoritma u£enja? Potom


Tablica 13.5: Matri£ni prikaz arhitekture neuronske mreºe s dva operativnaneurona za problem XOR

0 1 2 3 40 0.0 0.0 0.0 w0,3 w0,4

1 0.0 0.0 0.0 w1,3 w1,4

2 0.0 0.0 0.0 w2,3 w2,4

3 0.0 0.0 0.0 0.0 w3,4

4 0.0 0.0 0.0 0.0 0.0


0 1 2 3 40 0.0 0.0 0.0 2.0 3.01 0.0 0.0 0.0 -3.5 -2.02 0.0 0.0 0.0 -3.5 -4.03 0.0 0.0 0.0 0.0 -7.04 0.0 0.0 0.0 0.0 0.0

smo odustali od zahtjeva da mreºa bude slojevita, i poku²ali nau£iti neuron-sku mreºu koja je unaprijedna i koja ima dva ulaza te jo² dva neurona naraspolaganju (od koji je jedan ujedno i izlazni). Op¢i oblik matrice kojapredstavlja ovakvu mreºu prikazan je u tablici 13.5.

Genetski algoritam pokrenuli smo s istim skupom parametara; jedinaje razlika u dozvoljenom obliku matrice koja se evoluira. I opet, genetskialgoritam je uspje²no prona²ao rje²enje. Evoluirana matrica te dekodirananeuronska mreºa prikazane su u tablici 13.6 i na slici 13.4.

Prokomentirajmo i ovo rje²enje. Kako sada imamo nedovoljno neuronakako bismo direktno razvili detektore za pojedine dijelove ulaznog prostora

Slika 13.4: Unaprijedna (ali neslojevita) neuronska mreºa s ukupno 2 opera-tivna neurona za problem XOR-a nau£en genetskim algoritmom


pa klasi�kaciju radili temeljem njih, genetski algoritam je evoluirao druga-£iju strategiju rje²avanja problema: umjesto da se problem poku²a razrije²itidirektno u dvodimenzijskom ulaznom prostoru gdje problem nije linearnorazdvojiv, evolucijski proces je najprije napravio preslikavanje iz dvodimen-zijskog ulaznog prostora u trodimenzijski prostor i potom klasi�kaciju po-ku²ao napraviti u tom trodimenzijskom prostoru. Kako to vidimo? Izlaznineuron dobiva kao ulaze x1, x2 i z; stoga on poku²ava napraviti klasi�kacijuu trodimenzijskom prostoru. Spomenuto preslikavanje radi se tako da sedvije komponente iz ulaznog prostora direktno proslijede kao dvije kompo-nente za trodimenzijski prostor dok se tre¢a komponenta ra£una uporabomza to predvi�enog neurona 3. Ako izlaz tog neurona 3 ozna£imo sa z, tadauzorke (x1,x2)∈ R2 preslikavamo u uzorke (x1,x2,z)∈ R3. Uz teºine pri-kazane na slici 13.4, izlazni neuron poku²ava nau£iti sljede¢e preslikavanje:{(-1,-1,1)→-1, (-1,1,1)→1, (1,-1,1)→1, (1,1,-1)→-1}. Lako se je uvjeriti daje taj zadatak rje²iv jer je ovako de�nirani ulazni skup linearno razdvojiv, itaj posao upravo uspje²no odra�uje izlazni neuron.

Zaklju£ak Direktno kodiranje neuronske mreºe najjednostavniji je oblikzapisa neuronske mreºe; £injenica da se u zapisu nalaze sve potrebne infor-macije koje u potpunosti odre�uju neuronsku mreºu bitno olak²avaju pos-tupak evaluacije kvalitete razvijene arhitekture neuronske mreºe. Me�utim,ovakav zapis, naºalost, ne funkcionira dobro ako se poku²aju razvijati ve-like neuronske mreºe jer broj elemenata matrice raste kvadratno s brojemkori²tenih neurona. Tako�er, iako neka istraºivanja pokazuju da operatorikoji kombiniraju vi²e neuronskih mreºa prilikom stvaranja potomaka mogupozitivno utjecati na evolucijski proces, £injenica je da je direktno kodiranjeizravno podloºno prethodno opisanome problemu permutacija. Indirektnokodiranje poku²ava jednim dijelom rije²iti upravo te probleme.

13.2.2 Indirektno kodiranje neuronske mreºe

Za razliku od direktnog kodiranja, indirektno kodiranje u kromosom ne po-hranjuje sve detalje o neuronskoj mreºi ve¢ samo odre�en dio. Nakon ²tose izgradi mreºa koja je u skladu s tim informacijama, sve ²to nedostaje,de�nira se nekim unaprijed zadanim pravilom ili se pak u£i. Postoji vi²ena£ina indirektnog kodiranja od kojih ¢emo spomenuti samo neke.

Parametarski prikaz

Pretpostavimo da razvijamo unaprijednu slojevitu potpuno-povezanu ne-uronsku mreºu. Takva se mreºa tada moºe opisati de�niranjem broja ne-urona u svakom od slojeva; primjerice, radi li se o mreºi tipa 2 × 2 × 3 ili2 × 5 × 3 ili 2 × 3 × 4 × 3 i sli£no. Kod ovakvog prikaza u kromosom seupisuju samo informacije o broju slojeva te o broju neurona unutar svakog


sloja. Uo£imo da se sada vi²e ne pamte teºine koje odgovaraju svakoj odveza izme�u me�usobno povezanih neurona. Operatori kriºanja i mutacijeu ovom slu£aju rade operacije nad ovako zapisanim parametrima.

Problem koji se sada javlja jest kako utvrditi dobrotu arhitekture kojupredstavlja pojedini kromosom. Da bi to bilo mogu¢e, potrebno je vi²e putauz razli£ite po£etne vrijednosti teºina obaviti postupak u£enja takve neuron-ske mreºe i temeljem performansi postupka u£enja donijeti ocjenu kvaliteteove arhitekture. Ovakav pristup ocjenjivanju u sebi inherentno sadrºi ve¢ukoli£inu ²uma nego ²to je to slu£aj kod direktnog kodiranja � mogu¢e je danaprosto nismo imali sre¢e pa smo puno puta odabrali nepovoljne po£etneteºine uz koje je postupak u£enja bio dugotrajan i uz koje je zapeo u nepo-voljnom lokalnom optimumu, no osim toga ta je arhitektura ina£e vrlo dobraza problem koji rje²avamo.

Kod ovakvog prikaza osim parametara koji odre�uju mreºu mogu¢e jeistovremeno evoluirati i parametre koji su prisutni u pravilu u£enja; pri-mjerice, ako mreºu u£imo algoritmom Backpropagation uz moment inercije,u kromosom se mogu upakirati i parametri poput stope u£enja te faktorainercije £ime ¢e evolucijski algoritam evoluirati istovremeno i prikladnu arhi-tekturu mreºe i njoj i problemu za koji se mreºa koristi prilago�en algoritamu£enja.

Prikaz uporabom pravila razvoja

Razvojna pravila su pravila koja govore na koji ¢e se na£in izgraditi ne-uronska mreºa. Zamislimo to ovako: umjesto da evoluiramo samu mreºu,mi evoluiramo program koji kada pokrenemo generira odre�enu neuronskumreºu. Kromosomi su tada razli£ita razvojna pravila. U literaturi je za-biljeºen niz prednosti ovakvog pristupa pred direktnim kodiranjem: boljaskalabilnost te imunost na problem permutacija budu¢i da kromosomi nepredstavljaju direktno neuronske mreºe.

Razvojna pravila naj£e²¢e dolaze u dva oblika: ili kao rekurzivne jed-nadºbe [Mjolsness et al.(1989)Mjolsness, Sharp, and Alpert] ili kao produk-cijska pravila [Kitano(1990)] koja generiraju kona£nu neuronsku mreºu. Uoba slu£aja, ono ²to se gradi jest matrica teºina koja u kona£nici odre�ujeoblik neuronske mreºe.

Primjer uporabe produkcijskih pravila prikazan je na slikama 13.5 i 13.6gdje se pravilima gradi matrica veza.

Produkcijska pravila prikazana na slici 13.5 sastoje se od nezavr²nih sim-bola (velika slova i mala slova) te zavr²nih simbola (znamenke). Pravila supodijeljena u dvije grupe: pravila prve razine kod kojih se s lijeve stranenalazi veliko slovo te pravila druge razine kod kojih se s lijeve strane na-lazi malo slovo. Po£etni simbol od kojeg se kre¢e je S. Pravila prve razines desne strane imaju matrice dimenzija 2 × 2 £iji su elementi mala slova.Pravila druge razine s desne strane imaju matrice dimenzija 2 × 2 £iji su


S

Slika 13.5: Primjer produkcijskih pravila za izgradnju matrice veza neuronskemreºe

S

(a) (b) (c)

(d) (e)

Slika 13.6: Primjer uporabe produkcijskih pravila za izgradnju matrice vezaneuronske mreºe


elementi znamenke 0 ili 1.Primjer izgradnje konkretne neuronske mreºe prikazan je na slici 13.6.

Kre¢e se od simbola S (a) koji se potom ekspandira u matricu 2 × 2 (b).Potom se svaki od elemenata te matrice mijenja podmatricama 2 × 2 (c)£ime se dobiva matrica 4 × 4. Kona£no, svaki se nezavr²ni element u tojmatrici supstituira novom matricom 2×2 (d) £ime se dobiva kona£na matricaveza dimenzija 8 × 8. Ova matrica ne de�nira vrijednosti teºinskih faktorave¢ samo odre�uje izme�u kojih neurona postoje veze. To£ne iznose teºinatrebat ¢e utvrditi posebno, primjerice algoritmom u£enja nad konkretnimproblemom koji se rje²ava. Kona£na neuronska mreºa prikazana je pod (e).

Pretpostavimo sada da su pravila druge grupe zadana unaprijed (pravilakoja s lijeve strane imaju mala slova) i pretpostavimo da ih ima 16 (od a

do p). Evolucijskim algoritmom u£e se samo pravila prve grupe. Ako koris-timo uobi£ajen skup slova, onda takvih pravila moºe biti ukupno 26. Kakosvako pravilo s desne strane sadrºi matricu od 4 elementa, slijedi da jedankromosom koji speci�cira kompletan skup pravila treba sadrºavati ukupno26 ·4 = 104 simbola. Primjerice, po£etak kromosoma koji predstavlja upravoskup pravila prikazan na slici 13.5 bio bi ABCDaaaaiiiaiaacaeae (prva 4simbola predstavljaju matricu pravila S, sljede¢a 4 matricu pravila A itd.).

Zada¢a evolucijskog algoritma primijenjenog na ovakav zapis neuronskemreºe jest prona¢i produkcijski sustav koji ¢e izgraditi optimalnu neuronskumreºu.

Pristup koji umjesto produkcijskih pravila koristi rekurzivne jednadºbeprikazan je u [Mjolsness et al.(1989)Mjolsness, Sharp, and Alpert]. Rekur-zivne jednadºbe de�nirane su nad cjelobrojnim matricama i one odre�ujukako se iz manje matrice u sljede¢em koraku gradi ve¢a matrica. Na tajna£in iteraciju po iteraciju dolazi se do kona£ne matrice koja predstavlja ne-uronsku mreºu. Zada¢a algoritma u£enja je tada prona¢i optimalne vrijed-nosti koe�cijenata u rekurzivnim jednadºbama. Ovaj pristup dalje ne¢emopoja²njavati.

Kona£no, zanimljiv pristup uporabom stani£nog razvoja opisan je u [Gruau(1992)].Svaki neuron ima pridruºenu kopiju genetskog koda koji upravlja njegovimrazvojem. Genetski kod je stablo koje odre�uje kako se neuron transfor-mira. Stablo se sastoji od niza simbola koje neuron izvr²ava. Svaki simbolpredstavlja odre�enu operaciju koja modi�cira neuron koji je izvede. Razvojpo£inje od najjednostavnije mogu¢e neuronske mreºe koja se sastoji samood ulaznih neurona, izlaznih neurona te jednog po£etnog neurona koji je spo-jen na sve ulaze i sve izlaze i koji jedini dobiva genetski kod koji po£injeizvr²avati; ulazni i izlazni neuroni ve¢ su oformljeni neuroni koji se dalje nerazvijaju.

Simbol S ozna£ava da se neuron treba podijeliti u dva neurona. Prvineuron pri tome preuzima sve ulazne veze po£etnog neurona a drugi neuronpreuzima sve izlazne veze po£etnog neurona. Dodatno izlaz prvog neuronaspaja se kao jedini ulaz drugog neurona. U stablu, simbol S ujedno je i to£ka


10 D. WHITLEYoutputpointercellinputpointercellancestorcellstartingnetworkEE P

1 21Step 3, 4, 5Step 9, 10, 11

S SPAE E -E S SPAE E -EStep 1 Step 2E-EEA P SS E-EEA P SSPE E E-EEA P SSEE P

PE E Step 6E-EEA P SSEE P Step 7S SPAE E -EPE EPE EStep 8E-EEA P SSEE PFigure 11.3 The cellular development process. In step 1 the ancestor cell doesa sequential divide into 2 cells. In step 2 the uppermost cell from the previousstep does a parallel divide. The two cells that are created both read terminationsymbols in steps 3 and 4; in step 5 the sequential divide is executed. In step 6 aparallel divide is executed. In step 7 the \-" symbol has been executed and anegative weight is introduced feeding into the output node. In step 8 the blackcell has changed its threshold. In the �nal steps, the remaining cells just readtermination symbols. (This �gure is taken from Gruau and Whitley, 1993).cbook 16/8/1995 13:52|PAGE PROOFS for John Wiley & Sons Ltd (jwbook.sty v3.0, 12-1-1995)

Slika 13.7: Primjer stani£nog razvoja neuronske mreºe

grananja: prvi stvoreni neuron koji je nastao ovom podjelom nastavit ¢eizvoditi lijevu granu pridruºenu simbolu S a drugi desnu granu (vidi sliku13.7).

Simbol P predstavlja paralelno dijeljenje. Kad neuron obavi instrukcijuP, podijelit ¢e se u dva neurona pri £emu oba novonastala neurona preuzi-maju sve ulazne i izlazne veze od neurona koji se je podijelio. U stablu,i simbol P predstavlja to£ku grananja: prvi stvoreni neuron koji je nastaoovom podjelom nastavit ¢e izvoditi lijevu granu pridruºenu simbolu P a drugidesnu granu.

Simbol E ozna£ava kraj programa; kad neuron pro£ita i izvr²i taj simbol,neuron postaje nepromjenjiv i gubi pridruºeni genetski kod. Simbol A po-ve¢ava vrijednost praga u neuronu (teºina w0), a simbol - obr¢e predznakulazne teºine. Osim ovih, de�niran je jo² niz simbola koji obavljaju razli£iteakcije, uklju£ivo i rekurzivne pozive i koje dalje ne¢emo opisivati. Primjerrazvoja jedne mreºe detaljnije je prikazan na slici 13.7.

Primjenom evolucijskog algoritma na ovakvu vrstu pravila razvoja poku-²ava se razviti program prikazan u obliku stabla koji ¢e generirati neuronskumreºu optimalnih karakteristika.


U praksi se osim navedenih primjera dosta radi i na evoluciji prijenosnihfunkcija kao i na istovremenoj evoluciji i arhitektura i pripadnih teºinskihfaktora. Me�utim, u okviru ovog poglavlja ne¢emo razmatrati ta podru£ja.

13.3 Evolucija pravila u£enja

Algoritam Backpropagation jedan je od primjera algoritama za u£enje te-ºina neuronske mreºe; naravno � postoje i drugi. Stoga se postavlja pitanjemoºemo li evolucijski proces iskoristiti za pronalaºenje novih algoritama u£e-nja? Kada govorimo o pravilima u£enja, evolucijski postupci se primjenjujuna dva mjesta.

13.3.1 Evolucija parametara algoritma u£enja

Koji god algoritam u£enja koristili, uobi£ajeno je da postoji jedan ili vi²eparametara koji upravljaju radom tog algoritma. Kod algoritma Backpropa-gation to su, primjerice, stopa u£enja i faktor inercije. Uz �ksirani algoritamu£enja, evolucijski se proces moºe upotrijebiti kako bi prona²ao optimalniskup tih parametara uz koje ¢e postupak u£enja biti maksimalno djelotvo-ran i u£inkovit.

13.3.2 Evolucija novih algoritama u£enja

Prilikom razvoja algoritama u£enja, uobi£ajeno se kre¢e od sljede¢ih pret-postavki:

1. aºuriranje teºine ovisi samo o lokalno dostupnim informacijama poputaktivacije dolaznog neurona, aktivacije promatranog neurona i sli£note

2. algoritam u£enja (odnosno pravilo) jednako je za sve teºine u mreºi.

Pravilo u£enja tada se formulira kao linearna kombinacija dostupnih lokalnihvarijabli i njihovih produkata:

∆w(t) =

n∑k=1

n∑i1,i2,...,ik=1

θi1,i2,...,ik k∏j=1

xi,j(t− 1)

gdje je t vrijeme odnosno iteracija, ∆w(t) promjena teºine koju treba na-praviti x1, . . . , xn su varijable koje £uvaju lokalno dostupne informacije, aθi1,i2,...,ik koe�cijenti. Uz razli£ite vrijednosti koe�cijenata θi1,i2,...,ik dobi-vaju se razli£ita pravila u£enja, i zada¢a evolucijskog procesa je utvrditioptimalne iznose ovih koe�cijenata kako bi se dobio maksimalno u£inkovit idjelotvoran algoritam u£enja.

Poglavlje 14

Kombiniranje neuro-fuzzy

sustava i evolucijskog

ra£unanja

Primjena algoritama evolucijskog ra£unanja na neuro-fuzzy sustave postoji£itav niz. U okviru ovog poglavlja opisat ¢emo nekoliko takvih primjena (ra-dovi [Lin et al.(2011)Lin, Peng, and Lee,Ghomsheh et al.(2007)Ghomsheh,Shoorehdeli, and Teshnehlab]).

14.1 Primjena algoritma PSO na otkrivanje opti-

malnih parametara ANFIS-a

U radu [Ghomsheh et al.(2007)Ghomsheh, Shoorehdeli, and Teshnehlab] opi-sana je primjena algoritma PSO na treniranje neuro-fuzzy sustava ANFIS. Uokviru ove knjige ve¢ smo opisali sustav ANFIS u poglavlju 12.2. Algoritamza treniranje tog sustava razvili smo polaze¢i od gradijentnog spusta kojizahtjeva da su funkcije koje se njime optimiraju derivabilne te da moºemorelativno jednostavno i e�kasno ra£unati njihov gradijent.

Kako bi se zaobi²la ta ograni£enja, a ujedno i pove¢ala otpornost algo-ritma u£enja na lokalne optimume, u radu [Ghomsheh et al.(2007)Ghomsheh,Shoorehdeli, and Teshnehlab] opisana je primjena algoritma roja £estica.Primjena je ilustrirana na primjeru sustava ANFIS koji koristi zaklju£ivanjetipa 3 (TSK-zaklju£ivanje); takav sustav jo² je jednom prikazan na slici 14.1.

Sustav ANFIS za koji je razvijen algoritam treniranja opisan je sljede¢imparametrima.

• I - broj ulaznih varijabli odnosno dimenzionalnost ulaza (na slici 14.1I = 2).

• N∗ - broj jezi£nih izraza po jezi£noj varijabli, odnosno broj funkcija

265

266 POGLAVLJE 14. NEURO-NEIZRAZITI-EVOLUCIJSKI SUSTAVI

y

y

2

1

2

1

2

1

2

1

layer 5

layer 4

layer 3layer 2

layer 1

yx

yxB

B

A

A

f2w2

1w 1f

w2

1w

w2

1wx

f

X

X

Y

Y

A B

A B

x

1w

w2

1f

f2

= p x +q y +r

= p x +q y +r =

w2w1

2w 2ff1w1 +

2w 2ff1w1f = ++

(a)

(b)

2

1

2

1

2

1

➓✔❻❽➎❛➉✤➁q➀◆✮❏✺ ✭✆✜ ✱✁� ✝✆❀❷✍✞❄✄✂✭�✬✁✪✄✆✄✂✝☛❇■✍✆✜✢❊✬✡✤✒❁✏✓✒✕✔✆☎ ✭✆➑ ✱ ✍✚☞✬✁✕✏✓❂✢✜✤✎❸✍✬✒✕✗ ✾◆❅ ❋✲❍✞❑ ✭ ✗✣✝✆❀❁✍✆❄✄✂ ✾◆❅ ❋❺❍✞❑ ✱✤➨

➡❝➉✤➠●➠♥➐❩❻➳➡♣➛r➄➂❺✤➀♥➃❩➁q➉✤➌❽➀♥❼✶❿❷➃✟➋➍❺✤➏❷➜ ➄q❺❘➀➟➁➧❿❛➋❯❻➭❿❷➌✱➞✟❿➊❼q❻❽❼✴➡❝➉❘➃✟➆➇➄q❻❽➏❛➃▼➃❘➀♥➄❜➜✷➏❛➁q➝➍➁q➀♥➌➭❿❷➄➂➀➟➄q➏♦➄➂❺✤❻❽❼✒➝❯❻❽➃✟➋➍➏❷➡✏❼q❻❽➢✒❾✤➌❽❻➸➽✟➀❨➋➑✯➒➪➓✰→q➣✛➨❦♠❧ ❦▼❾❡♥✲s✦✫❵➍✳➄✍☎✘①❁➅✘➈✖③ ☎✳➈▲♣❃➄✆③

➓✤➏❛➁✚❼q❻❽➢✽❾✤➌❽❻➺➆✖❻➈➄❜➐❯➥♥➜✿➀➔❿❷❼➂❼q➉✤➢✽➀✱➄q❺✤➀ ➡❝➉✤➠♥➠●➐✴❻➈➃❵➡❝➀♥➁q➀●➃✟➆➇➀➔❼➂➐❯❼q➄q➀●➢✜➉✤➃✟➋❯➀●➁ ➆➇➏❛➃✤❼q❻➭➋❯➀●➁➧❿❷➄➂❻❽➏✾➃✴❺✟❿➊❼✷➄❜➜✿➏✏❻➈➃❘❾✤➉✤➄q❼ � ❿➊➃✟➋✣ ❿➊➃✟➋✡➏✾➃✤➀✴➏❛➉✤➄q❾❘➉✤➄✞✝✤➨✽➣❯➉✤❾✤❾❇➏✾❼➂➀✒➄q❺❇❿❷➄❬➄➂❺✤➀✴➁q➉✤➌❽➀✴➞✟❿➊❼q➀✒➆➇➏❛➃❯➄➧❿❷❻❽➃✤❼★➄❜➜✷➏✽➡❝➉✤➠●➠♥➐➅❻➸➡➭➛❜➄q❺❘➀♥➃♦➁q➉✤➌❽➀♥❼★➏❷➡✱❹❂❿➊➝✾❿❷➎❛❻❂❿➊➃✟➋➣❯➉✤➎❛➀♥➃✤➏♦✼ ❼✱➄❜➐❯❾❇➀☛✥ ✮ �✬✫▲✺

✟✱➉✤➌❽➀ ✁✪✺❊→❏➡ � ❻❽❼ ✁�❿❷➃❇➋ ✣ ❻❽❼ ☎

�➥❘➄q❺✤➀♥➃ ✝

�✎ ✜

� � ✛✡✠ �✣ ✛ ✡

�✄

✟✱➉✤➌❽➀ ✯❁✺❊→❏➡ � ❻❽❼ ✁ ✥ ❿❷➃❇➋ ✣ ❻❽❼ ☎ ✥ ➥❘➄q❺✤➀♥➃ ✝ ✥ ✎ ✜ ✥ � ✛✡✠ ✥ ✣ ✛ ✡ ✥ ☞➄q❺❘➀♥➃❩➄q❺✤➀✽➄❜➐✻❾❇➀➇➛▲✱✶➡❏➉✤➠♥➠♥➐➍➁q➀❨❿➊❼q➏✾➃❘❻➈➃❘➎➅❻❽❼❬❻❽➌❽➌❽➉✤❼q➄➂➁➧❿❷➄➂➀❨➋♦❻❽➃❩➓✔❻❽➎❛➉✤➁q➀➁✮✤↔r❿❛➤♥➥✚❿➊➃✟➋♦➄➂❺✤➀✍➆➇➏❛➁q➁➂➀♥❼q❾❇➏✾➃✟➋❵❻➈➃❘➎♦➀❨❰❛➉✤❻❽➙✾❿❷➌❽➀♥➃❯➄➑✯➒➪➓✰→q➣❞❿❷➁➇➆➂❺✤❻❽➄q➀❨➆➇➄➂➉✤➁q➀ ↔ ✗✘✝✆❀❷✍✞❄✄✂ ✾ ❅ ❋✲❍✆❑ ➤❬❻❽❼✪❼q❺✤➏❷➜✱➃➍❻➈➃❞➓✰❻❽➎✾➉❘➁q➀➒✮❘↔❝➞✟➤●➨✡❹✱❺✤➀✒➃✤➏✤➋❯➀➫➡❝➉✤➃✟➆✖➄q❻❽➏✾➃✤❼✪❻❽➃♦➄q❺✤➀✽❼➧❿➊➢✒➀➌➭❿❲➐✾➀♥➁✱❿❷➁➂➀❬➏❷➡❊➄q❺✤➀★❼➧❿❷➢✽➀✱➡❝➉❘➃✟➆➇➄q❻❽➏❛➃✴➡r❿➊➢✒❻❽➌❽➐✘❿❷❼➔➋❯➀●❼➧➆➇➁➂❻➈➞❇➀❨➋❁➞✟➀●➌➈➏❷➜ ✺

☛✢❶ ✣✠✷❯⑩✌✧✛✗❊➙✾➀●➁q➐✒➃❘➏❵➋❵➀ ✚ ❻➈➃✶➄➂❺✤❻❽❼✱➌➺❿❲➐❛➀♥➁✿❻➈❼➔❿✪❼➇❰❛➉✟❿❷➁➂➀✯➃❘➏❵➋❵➀❬➜✱❻❽➄q❺✍❿✪➃❘➏❵➋❵➀➔➡❏➉✤➃✟➆➇➄➂❻➈➏❛➃

✆ �✟ ✎✌☞✎✍ ▼ ↔ � ➤ ✄ ↔ ✁✌✵❛➤

➜✱❺✤➀♥➁q➀ � ❻❽❼✱➄q❺✤➀❬❻❽➃✤❾❘➉✤➄✱➄q➏✴➃✤➏✤➋❯➀ ✚ ➥❇❿❷➃✟➋ ✁ ✟ ❻➈❼✱➄➂❺✤➀❬➌❽❻❽➃✤➎✾➉❘❻➈❼➂➄q❻➭➆✱➌➭❿➊➞✟➀♥➌✢↔ ❊✂✟☛✜❃✎✓✎ ➥ ✎❸✜❃❇ ✔✤✍ ➥❘➀♥➄➧➆❷➨à➤✽❿❷❼q❼➂➏✤➆➇❻➭❿❷➄q➀❲➋➜✱❻➈➄➂❺✘➄➂❺✤❻❽❼❊➃✤➏✤➋❯➀✿➡❝➉✤➃✟➆✖➄q❻❽➏✾➃✔➨✰→❜➃✴➏✾➄➂❺✤➀♥➁✚➜✿➏✾➁➇➋❯❼❨➥ ✆ �✟ ❻❽❼✚➄q❺✤➀✱➢✽➀♥➢✴➞❇➀♥➁q❼➂❺✤❻❽❾✏➡❝➉✤➃✟➆✖➄q❻❽➏✾➃✪➏❷➡ ✁ ✟ ❿➊➃✟➋❬❻❽➄✚❼➂❾✟➀❲➆➇❻➸➽✟➀♥❼

✁✌✯


pripadnosti za svaku od varijabli (na slici 14.1 N∗ = 2 � i za x i za yimamo po dvije funkcije pripadnosti koje treba nau£iti).

• N - ukupni broj jezi£nih izraza odnosno funkcija pripadnosti koje trebanau£iti u antecedent dijelu pravila za £itav sustav; N = N∗ · I (na slici14.1 N = 4).

• R - broj pravila kojima raspolaºe sustav; pretpostavka je da vrijediR = N∗ (tako na slici 14.1 postoje upravo dva pravila; prvo gledaneizrazite skupove A1 i B1, drugo neizrazite skupove A2 i B2). Alter-nativna izvedba mogla bi de�nirati po jedno pravilo za svaku mogu¢ukombinaciju neizrazitih skupova na ulazu £ime bi nastalo R = N∗I

pravila.

Tako�er, pretpostavka je da se kao funkcije pripadnosti neizrazitih skupovana ulazu koriste funkcije pripadnosti oblika:

µAi(x) = e−[(

x−ciai

)2]bi

£iji su parametri ai, bi i ci dok se u konsekvens dijelu koriste linearne kom-binacije ulaza pa za pravilo r imamo izlaz de�niran kao:

fr(x1, x2, . . . , xI) = ξr,1x1 + ξr,2x2 + . . .+ ξr,IxI + ξr,I+1

gdje je ~x = (x1, . . . , xI) ulazni podatak a ξr,1, . . ., ξr,I+1 skup nepoznatih pa-rametara pravila r koje treba nau£iti. Ukupno postoji N parova parametara(ai,bi,ci) te R · (I + 1) parametara u konsekvens dijelu koje treba nau£iti.

14.1. PSO ZA ANFIS 267

Struktura £estice PSO algoritma opisana u ovom radu sastoji se od neko-liko skupova parametara. Prvi skup parametara £ine svi ai-ovi; sljede¢i skupparametara £ine svi bi-ovi, sljede¢i skup parametara £ine svi ci-ovi (svaki odova tri skupa ima po N elemenata). Potom slijedi jo² I + 1 skup pri £emuj-ti skup sadrºi sve parametre ξr,j (r = {1, . . . , R}). Svaka razli£ita vrstaparametara smje²tena je u zaseban skup kojih ukupno ima I + 4.

14.1.1 Op¢enita struktura algoritma PSO

Algoritam PSO razvijen je u nekoliko ina£ica, i ovdje ¢emo opisati samo onukoja se koristi u spomenutome radu.

1. Inicijaliziraj sve £estice u roju P (t) na slu£ajno odabrane pozicije ~xi(t)(na po£etku t = 0, Pi ∈ P (t)).

2. Izra£unaj dobrotu F (~xi(t)) svih £estica koriste¢i njihovu trenutnu po-ziciju ~xi(t).

3. Usporedi trenutnu dobrotu svake jedinke s njezinim najboljim rje²e-njem; ako je trenutna dobrota bolja, aºuriraj njezino najbolje rje²enjetako da je pbesti = F (~xi(t)), ~xpbesti = ~xi(t).

4. Usporedi trenutnu dobrotu svake jedinke s globalno najboljim rje²e-njem; ako je trenutna dobrota bolja, aºuriraj globalno najbolje rje²enjetako da je gbest = F (~xi(t)), ~xgbest = ~xi(t).

5. Korigiraj brzinu svake £estice prema izrazu:

~vi(t) = ~vi(t− 1) + ~r1 · C1 · (~xpbesti − ~xi(t)) + ~r2 · C2 · (~xgbest − ~xi(t))

gdje su ~r1 i ~r2 vektori jednake dimenzionalnosti kao i ~xi pri £emu su imsve komponente generirane nasumi£no iz intervala [0, 1] (vektori se ge-neriraju svaki puta nanovo); C1 je komponenta individualnosti £esticea C2 socijalna komponenta i uobi£ajeno se postavljaju na vrijednost 2.

6. Pomakni £estice prema izrazu:

~xi(t) = ~xi(t− 1) + ~vi(t), t = t+ 1.

7. Ponavljaj postupak od koraka 2 do konvergencije.

14.1.2 Modi�kacija algoritma PSO

Za potrebe u£enja opisane mreºe ANFIS autori rada predlaºu modi�kacijuopisanog algoritma kako bi se ubrzala konvergencija. Ideja ove modi�kacijeje spojiti operatore genetskog algoritma i opisani algoritam PSO na sljede¢ina£in. Nakon svake iteracije algoritma PSO odabire se i-ta £estica koja ima


najgoru vrijednost pbesti i ona se izbacuje iz roja te se za nju traºi zamjena.Iz ostatka roja slu£ajno se odabiru dvije £estice i uporabom operatora kri-ºanja stvaraju se dva djeteta koja se potom vrednuju. Dijete koje je lo²ijese odbacuje a preostalo dijete nadomje²ta najgoru £esticu koja je prethodnoizba£ena iz roja.

14.1.3 Postupak u£enja mreºe ANFIS

Postupak u£enja mreºe provodi se cikli£ki, uporabom modi�ciranog algo-ritma PSO. Pri tome se u svakoj iteraciji u£e parametri iz samo jednogskupa dok se svi ostali parametri drºe �ksnima. Primjerice, u prvoj itera-ciji dozvoljava se mijenjanje samo parametara ai; u drugoj iteraciji samomijenjanje parametara bi i tako redom.

Rad opisanog algoritma ispitan je na dva primjera od kojih jedan preno-simo u nastavku (slika 14.2). Slika 14.2a prikazuje funkciju koju je sustavtrebao nau£iti aproksimirati (puna linija) te odziv nau£enog sustava ANFIS(to£kana linija) � kako se moºe primjetiti sa slike, sustav ANFIS vrlo dobroaproksimira zadanu funkciju. Radi se o funkciji od 5 varijabli. Za aprok-simaciju je kori²ten sustav ANFIS uz sljede¢e parametre: I = 5, N∗ = 2,N = 5 × 2 = 10. Kori²teno je 1000 uzoraka za u£enje, 15 £estica u roju te100 epoha za svaku populaciju.

Slika 14.2b pokazuje kretanje pogre²ke prilikom u£enja opisanim algorit-mom PSO dok je slika 14.2c dana samo kao usporedba pogre²ke koja se dobijeu£enjem klasi£nim gradijentnim spustom. Kako se moºe vidjeti, ukupna po-gre²ka u£enja ve¢a je kod sustava u£enog gradijentnim spustom i to za vi²eredova veli£ine ²to ukazuje da je gradijentni spust zapeo u relativno nepo-voljnom lokalnom optimumu dok je PSO algoritam uspio prona¢i puno boljerje²enje.

14.2 U£enje sustava ANFIS uporabom simbiotskog

adaptivnog algoritma PSO

I u okviru ovog podpoglavlja opet ¢emo pogledati primjenu algoritma PSOna u£enje sustava ANFIS; me�utim, pristup koji je izvorno iznesen u [Linet al.(2011)Lin, Peng, and Lee] dovoljno je razli£it i interesantan da ga seisplati pobliºe istraºiti.

U podpoglavlju 14.1 opisani algoritam PSO koristio je roj £estica gdjeje svaka £estica predstavljala jedan kompletan sustav ANFIS. �estice subile vrednovane na na£in da se provjerio rad sustava ANFIS kojeg £esticapredstavlja i temeljem tih podataka obavljalo se aºuriranje £estica.

Za razliku od takvog pristupa, kod algoritma Symbiotic adaptive particleswarm optimization (SAPSO) koriste se pojmovi pod£estice i £estice. Svakapod£estica predstavlja jedno pravilo sustava. Primjerice, roj koji se sastoji

14.2. SIMBIOTSKI PSO ZA ANFIS 269

Rtqeggfkpiu"qh"vjg"37vj"Ogfkvgttcpgcp"Eqphgtgpeg"qpEqpvtqn"("Cwvqocvkqp."Lwn{"49"/"4;."4229."Cvjgpu"/"Itggeg

V36/225

(a) Funkcija(b)

MSE=7.0020.e-004


V36/225

(b) Kretanje pogre²ke pri u£enju s PSO

MSE=0.197


V36/225

(c) Kretanje pogre²ke pri u£enju s GS

Slika 14.2: Rezultat u£enja sustava ANFIS


od ukupno 20 pod£estica predstavlja 20 razli£itih pravila. Pretpostavimosada da je zada¢a ovog algoritma prona¢i parametre sustava ANFIS koji sesastoji od ukupno R pravila (npr. neka je R = 8). Tako�er pretpostavimoda algoritam radi s N £estica (npr. N = 100). Algoritam SAPSO iterativnogradi svaku od 100 £estica tako da nasumice bira po 8 pod£estica (odnosnopravila) iz roja i takav skup od 8 pod£estica tretira kao jedan sustav (£esticu)koji potom vrednuje.

14.2.1 Speci�kacija sustava ANFIS

I ovaj algoritam primijenjen je na u£enje sustava ANFIS koji koristi zaklju-£ivanje tipa 3 (TSK). Algoritam pretpostavlja da se gradi sustav koji dobivan-dimenzijski ulaz te koristi pravila oblika:

Ako x1 je A1j(m1j , σ1j) i . . . i ako xn je Anj(mnj , σnj)tada yj = w0j + x1w1j + . . .+ xnwnj .

Neizraziti skupovi su pri tome zvonolike funkcije £ija je funkcija pripadnostide�nirana sljede¢im izrazom:

µAij = exp

(−(xi −mij)

2

σ2ij

).

Svako pravilo stoga u antecedent dijelu sadrºi ukupno 2n parametara (m1j ,σ1j)-(mnj ,σnj) te u konsekvens dijelu jo² n+ 1 parametar (w1j , . . ., wnj te w0j).Jedna pod£estica stoga se prikazuje kao 2n + (n + 1) = 3n + 1 dimenzijskivektor, kako je to prikazano na slici 14.3.

14.2.2 Opis primijenjenog algoritma PSO

Algoritam SAPSO, za razliku od klasi£nog algoritma PSO ne koristi samojedan roj. Ako je zada¢a algoritma izgraditi sustav ANFIS koji se sastojiod R pravila, algoritam SAPSO koristit ¢e R podrojeva (engl. subswarms).Svaki podroj sadrºavat ¢e pri tome P pod£estica, kako je to prikazano na slici14.4. Ideja ovog pristupa je, krenuv²i od £injenice da algoritma mora izgraditisustav ANFIS koji se sastoji od R pravila, osigurati upravo R podrojeva £ijaje zada¢a da svaki zasebno prona�e najbolje mogu¢e pravilo koje ¢e bitiuklju£eno u kona£ni sustav.

...

......

......

jm1 j1 jm2 j2 … njm nj … jw0 jw1 … njw

Figure 5: Coding a rule of SAPSO into a sub-particle.Slika 14.3: Struktura pod£estice koja odgovara jednom pravilu sustava AN-FIS


...

......

......

Figure 4: The representation of a fuzzy system by

Slika 14.4: Struktura rojeva algoritma SAPSO

Opisana situacija jasno je prikazana na slici 14.4: u gornjem lijevomdijelu prikazan je podroj koji se sastoji od P pod£estica koje su kandidatiza pravilo 1, ispod njega je podroj koji se opet sastoji od P pod£estica kojesu kandidati za pravilo 2, itd. �itav algoritam SAPSO radi s ukupno R×Ppod£estica.

Kako svaka pod£estica za sebe ne predstavlja kompletan sustav, sljede¢ikorak je temeljem kandidata za svako od R pravila nasumice odabrati pojedno pravilo iz svakog podroja £ime se gradi jedna £estica odnosno jedankompletan sustav ANFIS; ovo se ponavlja N puta kako bi se izgradilo N£estica. Svaka se £estica potom vrednuje i usporeduje s najboljom ikad pro-na�enom £esticom cbest; ako je prona�eni sustav bolji, cbest se aºurira.

Pitanje na koje jo² treba odgovoriti jest kako se radi aºuriranje £estica?Odgovor je � nikako. �estice su umjetna tvorevina koja se gradi kombinira-njem pod£estica iz podrojeva, i upravo su pod£estice ono ²to treba aºurirati;problem koji stoga treba rije²iti je kako vrednovati dobrotu svake pod£esticekad pod£estica sama za sebe ne predstavlja kompletan sustav koji je mogu¢evrednovati. Da bismo to rije²ili, treba uo£iti da svaka pod£estica sudjelujeu jednoj ili vi²e £estica koje su izgra�ene slu£ajnim odabirom (odabir trebaraditi tako da svaka £estica sigurno bude uklju£ena u nekoliko £estica). Do-brota svake pod£estice stoga se ra£una kao prosje£na dobrota £estica kojeuklju£uju tu pod£esticu, i temeljem te informacije radi se aºuriranje pod£es-tica. Detaljniji opis algoritma dan je u nastavku.


1. korak: kodiranje pod£estica. Pod£estice treba izgraditi na na£in dapredstavljaju jedno pravilo, tj. da uklju£uju sve potrebne parametrekako bi se mogle protuma£iti kao jedno pravilo. To uklju£uje sve para-metre odabranih funkcija pripadnosti te eventualno parametre t-normekoja se koristi za izra£un jakosti paljenja pravila u antecedentu, te sveparametre koji odre�uju konsekvens.

2. korak: inicijalizacija. Pod£estice u svim podrojevima se inicijalizirajuna slu£ajne vrijednosti unutar prostora koji se pretraºuje.

3. korak: dodjela dobrote pod£esticama.

(a) Postavi akumulator dobrote za svaku pod£esticu na 0.

(b) Posredstvom slu£ajnog mehanizma odaberi po jednu pod£esticuiz svakog podroja i sve ih spoji u £esticu koja tada predstavljajedan kompletan sustav ANFIS.

(c) Vrednuj tako nastalu £esticu (tj. sustave ANFIS). Primjerice, akose sustav trenira nad T uzoraka za u£enje, funkcija pogre²ke moºese de�nirati kao:

E =1

T

T∑i=1

(yi − oi)2

gdje je yi ºeljena vrijednost izlaza za uzorak i a oi dobivena vri-jednost izlaza promatranog sustava ANFIS. Dobrota sustava tadase moºe de�nirati kao:

fittnes =1

1 +√E.

(d) Za svaku pod£esticu koja je uklju£ena u £esticu dodaj dobrotu£estice u njezin akumulator dobrote.

(e) Ponavljaj postupak stvaranja £estica dok svaka £estica nije uklju-£ena dovoljan broj puta u £estice, i za svaku pod£esticu pamti ukoliko je £estica bila uklju£ena.

(f) Za svaku pod£esticu podijeli vrijednost u njezinom akumulatorudobrote s brojem £estica u koji je ta pod£estica bila uklju£ena.

4. korak: aºuriranje pod£estica. Jednom kada je svakoj pod£estici do-dijeljena njezina dobrota, istovemeno se za svaku pod£esticu aºuriranjezin pbest te za pripadni podroj gbest.

5. korak: aºuriranje kooperativnog najboljeg rje²enja cbest: nakon ²to seizra£una dobrota svake £estice (tj. pripadnog sustava ANFIS), ta sedobrota uspore�uje s najboljim kooperativnim rje²enjem cbest i akoje dobrota £estice bolja, aºurira se cbest i pamti pridruºena najbolja£estica.


Ovi koraci ponavljaju se sve dok nije zadovoljen uvjet za prestanak radaalgoritma, kada se kao prona�eno rje²enje vra¢a cbest.

Aºuriranje brzine svake pod£estice radi se prema izrazu:

~vi(k + 1) = ω · ~vi(k)

+ φ1 · rand() · (pbest− ~xi(k))

+ φ2 · rand() · (gbest− ~xi(k))

+ φ3 · rand() · (cbest− ~xi(k)).

gdje je ω inercijski faktor, φ1 faktor individualnosti, φ2 socijalni faktor a φ3

faktor zajednice. Nakon toga, pozicije se aºuriraju prema izrazu:

~xi(k + 1) = ~xi(k) + ~vi(k + 1).

U radu [Lin et al.(2011)Lin, Peng, and Lee] predlaºe se da se umjestopbest za svaku pod£esticu prati vbest vrijednost � najbolje prona�eno rje²enjesusjedstva te pod£estice. Susjedstvo pri tome nije de�nirano na uobi£ajenna£in kao topolo²ko susjedstvo, ve¢ se za svaku pod£esticu u svakom korakususjedstvo utvr�uje dinami£ki direktno u prostoru pretraºivanja na na£inda se traºe sve pod£estice koje su u prostoru pretraºivanja dovoljno blizupromatranoj pod£estici. Takav pristup relativno je skup jer mu je za Ppod£estica sloºenost o(P 2). Za svaku se pod£esticu gledaju udaljenosti dosvih drugih pod£estica i pronalazi se distmax kao najve¢a udaljenost. Potomse, da bi se odlu£ilo pripada li pod£estica j u susjedstvo pod£estice i gledaomjer udaljenosti dij = dist(i,j)

distmax. De�nira se prag l = 0.5 + 0.5 · iter

itermaxgdje je

iter trenutna iteracija algoritma a itermax maksimalni broj iteracija koliko¢e se dopustiti algoritmu da radi. Uo£imo, l se stoga mijenja linearno od 0.5na po£etku pa sve do 1 na samom kraju. Uzima se da pod£estica j pripadau susjedstvo pod£estice i ako je dij < l. Ovakav na£in de�niranja susjedstvaosigurat ¢e da u ranim fazama rada algoritma pod£estice komuniciraju samos bliskim pod£esticama, a prema kraju rada algoritma susjedstvo ¢e se ²iritika globalnom susjedstvu gdje ¢e svaka pod£estica u podroju imati pristupnajboljem rje²enju £itavog podroja.

Detalji o stabilnosti rada ovog algoritma kao i o provedenim eksperimen-tima mogu se pogledati direktno u [Lin et al.(2011)Lin, Peng, and Lee].

Indeks

Intervalna aritmetika, 124

Neizrazita aritmetika, 124intervalna aritmetika, 124preko intervalne aritmetike, 125preko principa pro²irenja, 127

Neizrazita udaljenost, 121de�nicija, 122de�nicija metrike, 121neizrazita to£ka, 122neizraziti broj, 122, 124

Neizraziti broj, 124

Princip pro²irenja, 115de�nicija, 116primjena na funkciju, 118primjena na klasi£nu relaciju, 119primjena na neizrazitu relaciju,

120

274

Bibliogra�ja

[Abraham(2005)] A. Abraham. Adaptation of fuzzy inference system usingneural learning. Studies in Fuzziness and Soft Computing, 181(13):53�83, 2005.

[Battiti(1989)] R. Battiti. Accelerated backpropagation learning: Two opti-mization methods. Complex systems, 3(4):331�342, 1989.

[Blickle and Thiele(1995)] T. Blickle and L. Thiele. A mathematical ana-lisys of tournament selection. In Proceedings of the Sixth InternationalConference on Genetic Algorithms, pages 2�8, San Francisco, CA, 1995.

[Bäck(1994)] T. Bäck. Selective pressure in evolutionary algorithms: Acharacterization of selection mechanisms. In International Conferenceon Evolutionary Computation, pages 57�62, 1994. URL http://dblp.

uni-trier.de/db/conf/icec/icec1994-1.html#Back94.

[Bäck(1995)] T. Bäck. Generalized convergence models for tournament- and(mu, lambda)-selection. In L. J. Eshelman, editor, ICGA, pages 2�8.Morgan Kaufmann, 1995. ISBN 1-55860-370-0. URL http://dblp.

uni-trier.de/db/conf/icga/icga1995.html#Back95.

[Cantú-Paz(2001)] E. Cantú-Paz. Migration policies, selection pressure,and parallel evolutionary algorithms. J. Heuristics, 7(4):311�334,2001. URL http://dblp.uni-trier.de/db/journals/heuristics/

heuristics7.html#Cantu-Paz01.

[Corcoran and Wainwright(1992)] A. Corcoran and R. Wainwright. A ge-netic algorithm for packing in three dimensions. Applied computing, 2:1021�1030, 1992. URL ftp://ftp.santafe.edu/pub/wgm/hard.ps.

[Craig Veitch and Holmes(1991)] A. Craig Veitch and G. Holmes. A modi-�ed quickprop algorithm. Neural Computing, 3(3):310�311, 1991.

[Fahlman(1988a)] S. E. Fahlman. An empirical study of learning speed inback-propagation networks. 1988a.

[Fahlman(1988b)] S. E. Fahlman. Faster-learning variations on back-propagation: An empirical study. 1988b.

275

276 BIBLIOGRAFIJA

[Fahlman(1989)] S. E. Fahlman. Faster-learning variations on back-propagation: An empirical study. In D. S. Touretzky, G. E. Hinton, andT. J. Sejnowski, editors, Proceedings of the 1988 Connectionist ModelsSummer School, pages 38�51. San Francisco, CA: Morgan Kaufmann,1989.

[Fogel(1999)] D. Fogel. Some recent important foundational results in evo-lutionary computation. In K. Miettinen, P. Neittaanmaki, M. Makela,and J. Periaux, editors, Evolutionary Algorithms in Engineering andComputer Science. John Wiley & sons, LTD, 1999.

[Fogel et al.(1966)Fogel, Owens, and Walsh] L. Fogel, A. Owens, andM. Walsh. Arti�cial intelligence through simulated evolution. Wiley,Chichester, WS, UK, 1966.

[Ghomsheh et al.(2007)Ghomsheh, Shoorehdeli, and Teshnehlab] V. S.Ghomsheh, M. A. Shoorehdeli, and M. Teshnehlab. Training an�sstructure with modi�ed pso algorithm. In Proceedings of the 2007Mediterranean Conference on Control Automation, pages 1�6. IEEE,2007.

[Golub(2004a)] M. Golub. Genetski algoritam, drugi dio, 2004a.URL http://www.zemris.fer.hr/\textasciitilde{}golub/ga/ga\

_skripta1.pdf.

[Golub(2004b)] M. Golub. Genetski algoritam, prvi dio, 2004b.URL http://www.zemris.fer.hr/\textasciitilde{}golub/ga/ga\

_skripta2.pdf.

[Gruau(1992)] F. Gruau. Genetic synthesis of boolean neural networks witha cell rewriting developmental process. Combinations of Genetic Algo-rithms and Neural Networks, 1992., COGANN-92. International Work-shop on, pages 55�74, 6 Jun 1992. doi: 10.1109/COGANN.1992.273948.

[Hagan and Menhaj(1994)] M. Hagan and M. Menhaj. Training feedforwardnetworks with the marquardt algorithm. IEEE Transactions on NeuralNetworks, 5:989�993, 1994. ISSN 1045-9227.

[Hancock(1992)] P. J. B. Hancock. Genetic algorithms and permutation pro-blems: A comparison of recombination operators for neural net struc-ture speci�cation. In D. Whitley and J. Scha�er, editors, InternationalWorkshop on Combinations of Genetic Algorithms and Neural Networks(COGANN-92). IEEE Computer Society Press, 1992.

[Hayashi and Buckley(1994)] Y. Hayashi and J. J. Buckley. Approximationsbetween fuzzy expert systems and neural networks. Int. J. Approx.Reasoning, 10(1):63�73, 1994.

BIBLIOGRAFIJA 277

[Hirota and Pedrycz(1994)] K. Hirota and W. Pedrycz. Or/and neuron inmodeling fuzzy set connectives. IEEE Transactions on Fuzzy Systems,2(2):151�161, 1994.

[Holland(1975)] J. Holland. Adaptation in natural and arti�cial systems.The University of Michigan Press, Ann Arbor, 1975.

[Holland(1976)] J. H. Holland. Adaptation. In R. Rosen and F. Snell, edi-tors, Progress in theoretical biology, volume 4, pages 263�293. AcademicPress, New York, 1976.

[Igel and Hüsken(2000)] C. Igel and M. Hüsken. Improving the rprop lear-ning algorithm. In Proceedings of the second international ICSC sympo-sium on neural computation (NC 2000), pages 115�121. Citeseer, 2000.

[Jacobs(1988)] R. A. Jacobs. Increased rates of convergence through learningrate adaptation. Neural networks, 1(4):295�307, 1988.

[Jang and Sun(1995)] J.-S. R. Jang and C.-T. Sun. Neuro-fuzzy modelingand control. In PROCEEDINGS OF THE IEEE, volume 83, pages378�406. IEEE, 1995.

[Kitano(1990)] H. Kitano. Designing neural networks using genetic algorit-hms with graph generation system. Complex Systems, 4:461�476, 1990.

[Koza(1990)] J. Koza. Genetic programming: A paradigm for geneticallybreeding populations of computer programs to solve problems. Tech-nical Report STAN-CS-90-1314, Dept. of Computer Science, StanfordUniversity, June 1990. URL ftp://reports.stanford.edu/pub/cstr/

reports/cs/tr/90/1314/CS-TR-90-1314.pdf.

[Koza(1994)] J. Koza. Genetic programming II. Complex adap-tive systems. MIT Press, Cambridge, Mass, 1994. ISBN0262111896. URL http://gso.gbv.de/DB=2.1/CMD?ACT=SRCHA&SRT=

YOP&IKT=1016&TRM=ppn+186785119&sourceid=fbw_bibsonomy.

[Koza(1992)] J. R. Koza. Genetic Programming: On the Programming ofComputers by Means of Natural Selection. MIT Press, Cambridge, MA,USA, 1992. ISBN 0-262-11170-5.

[Koza et al.(1999)Koza, Andre, Bennett, and Keane] J. R. Koza, D. Andre,F. H. Bennett, and M. A. Keane. Genetic Programming III: DarwinianInvention & Problem Solving. Morgan Kaufmann Publishers Inc., SanFrancisco, CA, USA, 1999. ISBN 1558605436.

[Lin et al.(2011)Lin, Peng, and Lee] C.-J. Lin, C.-C. Peng, and C.-Y. Lee.Identi�cation and prediction using neuro-fuzzy networks with symbioticadaptive particle swarm optimization. Informatica, 35:113�122, 2011.

278 BIBLIOGRAFIJA

[Macready and Wolpert(1996)] W. G. Macready and D. H. Wolpert. Whatmakes an optimization problem hard? Complexity, 5:40�46, 1996. URLftp://ftp.santafe.edu/pub/wgm/hard.ps.

[Miller and Goldberg(1995)] B. Miller and D. Goldberg. Gas tournament se-lection and the e�ects of noise, 1995. URL http://www.dai.ed.ac.uk/

groups/evalg/Local\_Copies\_of\_Papers/Miller.Goldberg.GAs\

_Tournament\_Selection\_and\_the\_Effects\_of\_Noise.ps.gz.

[Miller et al.(1989)Miller, Todd, and Hedge] G. Miller, P. Todd, andS. Hedge. Designing neural networks using genetic algorithms. In Proce-edings of the 3rd International Conference on Genetic Algorithms, pages379�384. Morgan Kau�man, 1989.

[Mjolsness et al.(1989)Mjolsness, Sharp, and Alpert] E. Mjolsness, D. H.Sharp, and B. K. Alpert. Scaling, machine learning, and genetic ne-ural nets. Advances in Applied Math., 10:137�163, 1989.

[Moller(1990)] M. F. Moller. A scaled conjugate gradient algorithm for fastsupervised learning. Technical Report PB-339, Computer Science De-partment, University of Aarhus, Aarhus, Denmark, 1990.

[Montana and Davis(1989)] D. J. Montana and L. Davis. Training feed-forward neural networks using genetic algorithms. In Proceedings of the11th international joint conference on Arti�cial intelligence - Volume1, pages 762�767, San Francisco, CA, USA, 1989. Morgan KaufmannPublishers Inc. URL http://dl.acm.org/citation.cfm?id=1623755.

1623876.

[Pedrycz(1993)] W. Pedrycz. Fuzzy Control and Fuzzy Systems. John Wiley& Sons, New York, 1993.

[Pedrycz and Rocha(1993)] W. Pedrycz and A. Rocha. Fuzzy-set based mo-dels of neurons and knowledge-based networks. IEEE Transactions onFuzzy Systems, 1(4):254�266, 1993.

[Rechenberg(1971)] I. Rechenberg. Evolutionsstrategie � Optimierung tech-nischer Systeme nach Prinzipien der biologischen Evolution. PhD thesis,TU Berlin, 1971.

[Riedmiller and Braun(1993)] M. Riedmiller and H. Braun. A direct adap-tive method for faster backpropagation learning: The rprop algorithm.In Neural Networks, 1993., IEEE International Conference on, pages586�591. IEEE, 1993.

[Rumelhart et al.(1986)Rumelhart, Hinton, and Williams] D. E. Rumel-hart, G. E. Hinton, and R. J. Williams. Learning internal represen-tations by error propagation. In D. E. Rumelhart, J. L. McClelland,

BIBLIOGRAFIJA 279

and P. R. Group, editors, Parallel distributed processing: explorationsin the microstructure of cognition, volume 1: foundations, pages 318�362. MIT Press, Cambridge, MA, USA, 1986. ISBN 0-262-68053-X.URL http://portal.acm.org/citation.cfm?id=104293.

[Schwefel(1974)] H.-P. Schwefel. Numerische Optimierung von Computer-Modellen. PhD thesis, TU Berlin, 1974.

[Suratgar et al.(2005)Suratgar, Tavakoli, and Hoseinabadi] A. A. Suratgar,M. B. Tavakoli, and A. Hoseinabadi. Modi�ed levenberg-marquardtmethod for neural networks training, 2005.

[Tollenaere(1990)] T. Tollenaere. Supersab: fast adaptive back propagationwith good scaling properties. Neural networks, 3(5):561�573, 1990.

[Wolpert(1996)] D. H. Wolpert. No free lunch theorems for optimi-zation, 1996. URL ftp://ftp.santafe.edu/pub/dhw\_ftp/nfl.

search.published.ps.Z.

[Wolpert and Macready(1996)] D. H. Wolpert and W. G. Macready. No freelunch theorems for search. Tech. Rep. No. SFI-TR-95-02-010, Santa FeInstitute, Santa Fe, NM, 1996. URL ftp://ftp.santafe.edu/pub/

wgm/nfl.ps.

[�upi¢(2012)] M. �upi¢. Prirodom inspirirani optimizacijski algoritmi. me-taheuristike., 2012. URL http://java.zemris.fer.hr/nastava/pioa.

marko upi¢ bojana dalbelo ba²i¢ marin golub 12. kolovoza...

Documents