fakultet prometnih znanosti diplomski studij...1.3.2009 1 umjetna inteligencija - hibridni...
TRANSCRIPT
1.3.2009
1
Umjetna inteligencija
- Hibridni inteligentni sustavi –
47895/47816 UMINTELI
HG/2008-2009
Sveučilište u Zagrebu
Fakultet prometnih znanostiDiplomski studij
Hibridni inteligentni sustav
• Sustav sastavljen od više inteligentnih tehnologija
– Vjerojatnosno zaključivanje – neizvjesnost
– Neizrazita (fuzzy) logika – približno računanje
– Neuronske mreže – učenje, prilagoĎenje
– Evolucijski, genetski algoritmi – optimizacija
• Meko računanje
– Izrada HIS sposobnih zaključivati, učiti i prilagoĎavati se
u nesigurnoj i neizvjesnoj okolini
1.3.2009
2
Meko računanje
• Tradicionalno tvrdo računanje koristi
– izrazite, jasne vrijednosti ili brojeve
• Meko, približno računanje koristi
– neizrazite, nejasne vrijednosti izražene neizrazitim
skupovima ili riječima
• Čovjek:
– Osjetila: prikupljanje mekih podataka
– Mozak: približno zaključivanje, odlučivanje bez
brojeva
– Aktuatori: komunikacija riječima i brojevima
Usporedba inteligentnih tehnologija
ES NS NM GA
Prikaz znanja ○ ● □ ■
Snošljivost dvojnosti podatka ○ ● ● ●
Snošljivost netočnosti podatka □ ● ● ●
Prilagodljivost □ ■ ● ●
Sposobnost učenja □ □ ● ●
Sposobnost pojašnjenja ● ● □ ■
Otkriće znanja i dubinska analiza □ ■ ● ○
Održavanje □ ○ ● ○
ES - ekspertni sustavi, NS – neizraziti sustavi, NM – neuronske mreže, GA – genetski algoritmi
□ loše, ■ prilično loše, ○ prilično dobro, ● dobro
1.3.2009
3
Hibridni ekspertni sustavi
• Sinergija inteligentnih tehnologija
– Neuro-ekspertni sustavi
– Neuro-fuzzy ekspertni sustavi
– Evolucijsko neuronski ekspertni sustavi
– Fuzzy evolucijski ekspertni sustavi
Neuro-ekspertni sustavi
• Ekspertni sustavi
– Modeliranje zaključivanja
– Objšnjavanje zaključivanja
– Nemogućnost učenja na temelju iskustva
• Neuronske mreže
– Modeliranje strukture i funkcije mozga
– Istovremena obrada podataka
– Mogućnost samostalnog učenja, poopćavanja
• Konekcionistički ekspertni sustavi
1.3.2009
4
Struktura neuro-ekspertnog sustava
Izvlačenje pravilaNeuronska baza znanja
Baza podatakaPravila: AKO-
ONDA
Mehanizam zaključivanja
Mehanizam objašnjavanja
Korisničko sučelje
Korisnik
Novi
podaci
Podaci za vježbanje
Novi podaci se ne moraju
točno preklapati s podacima u
neuronskoj bazi znanja, kao
što je to nužno kod
produkcijskih pravila
Pridobivanje pravila iz znanja
implicitno zapisanog u
neuronskoj mreži
Izvlačenje pravila iz neuronske mreže
Pravilo 1
Pravilo 2
Pravilo 3
Krila
Rep
Kljun
Perje
Motor
Ptica
Zrakoplov
Jedrilica
Težine veza u neuronskoj mreži, dobivene vježbanjem mreže na primjerima,
odgovaraju jakosti i važnosti povezanih neurona
+1 istina
0 nepoznato
-1 laž
n
iiiwxX
1
01
01
X
XY AKO X ONDA Y
1.3.2009
5
Pravila iz mreže
Pitanja korisniku:
Neuron: Krila Pitanje: Da li objekt ima krila?
Neuron: Rep Pitanje: Da li objekt ima rep?
Neuron: Kljun Pitanje: Da li objekt ima kljun?
Neuron: Perje Pitanje: Da li objekt ima perje?
Neuron: Motor Pitanje: Da li objekt ima motor?
1
02.4)3.1()1()9.2(1)0.1(1)1.1(0)6.0(1
1
02.49.1)1()6.0(10.01)1.0(0)7.0(1
1
03.5)1.1()1(8.212.21)2.0(0)8.0(1
3
3
2
2
1
1
JedrilicaraviloP
raviloP
ZrakoplovraviloP
raviloP
PticaraviloP
raviloP
YY
X
YY
X
YY
X
Višeslojna neuronska baza znanja
Ulazni sloj Povezni
unutarnjii
sloj
Razdvojni
unutarnjii
sloj
Povezni
unutarnjii
sloj
Razdvojni
unutarnjii
sloj
Pravilo R1:
AKO a1 I a3 ONDA b1 (0.8)
Pravilo R2:
AKO a1 I a4 ONDA b1 (0.2)
Pravilo R3:
AKO a2 I a5 ONDA b2 (-0.1)
Pravilo R4:
AKO a3 I a4 ONDA b3 (0.9)
Pravilo R5:
AKO a5 ONDA b3 (0.6)
Pravilo R6:
AKO a1 I b3 ONDA c1 (0.7)
Pravilo R7:
AKO b2 ONDA c1 (0.1)
Pravilo R8:
AKO b2 I b3 ONDA c2 (0.9)
1.3.2009
6
Neuro-fuzzy ekspertni sustavi
• Neuronske mreže– sirovi podaci
– učenje
• Neizraziti sustavi– lingvističke informacije
– prikaz znanja
– neizraziti (Mamdani) način zaključivanja
– sposobnost objašnjavanja
• Transparentnost neuronskih mreža i sposobnost učenja neizrazitih sustava
Neizraziti ekspertni sustav ...
Pravilo 1: AKO x1 je A1 (μA1) I x2 je B1 (μB1) ONDA y je C2 (μC2)
Pravilo 2: AKO x1 je A1 (μA1) I x2 je B2 (μB2) ONDA y je C2 (μC2)
Pravilo 3: AKO x1 je A1 (μA1) I x2 je B3 (μB3) ONDA y je C1 (μC1)
Pravilo 4: AKO x1 je A2 (μA2) I x2 je B2 (μB2) ONDA y je C2 (μC2)
Fuzifikacija i razvoj pravila
Ulazi:
x1 (A1, A2, A3)
x2 (B1, B2, B3)
Izlaz:
y (C1, C2)
1.3.2009
7
Neizraziti ekspertni sustav
Pravilo 5: AKO x1 je A3 (μA3) I x2 je B3 (μB3) ONDA y je C2 (μC2)
Pravilo 6: AKO x1 je A3 (μA3) I x2 je B1 (μB1) ONDA y je C1 (μC1)
y je C1 (μC1max) y je C2 (μC2
max)
Agregacija i defuzifikacija
Neizraziti sustav preslikan u mrežu1. sloj
Izraziti ulaz2. sloj
Funkcije pripadnosti
ulaza
4. sloj
Funkcije pripadnosti
izlaza
3. sloj
Neizrazita pravila
5. sloj
Defuzifikacija
P1
P2
P3
P4
P5
P6
1.3.2009
8
Struktura neuro-fuzzy sustava (1)
• 1. sloj – Ulazni sloj
yi(1) = xi
(1)
• 2. sloj – Funkcija pripadnosti ulaza
– fuzifikacija
– aktivacijska funkcija fuzifikacijskog neurona
odgovara neizrazitom skupu pridruženom
pravilu
Aktivacijska funkcija trokuta
20
22
21
20
)2(
)2(
)2(
)2(
)2(
baxako
bax
baako
b
ax
baxako
y
i
i
i
i
i
Parametri a (središte) i b (širina)
trokuta odgovoraraju sinaptičkim
težinama u neuronskoj mreži
1.3.2009
9
Struktura neuro-fuzzy sustava (2)
• 3. sloj – neizrazita pravila
– svaki neuron odgovara neizrazitom pravilu
– konjunkcija (min) ulaza (AKO dijela) pravila se
kod neizrazitih skupova ostvaruje operacijom
presjeka (množenja)
111
)3(
1
)3()3(
2
)3(
1
)3(
PBAP
kiiii
y
xxxy
Struktura neuro-fuzzy sustava (3)
• Težine izmeĎu 3. i 4. sloja odgovaraju
normaliziranim stupnjevima (faktorima)
uvjerenosti u istinitost neizrazitih pravila
– Težine se uspostavljaju u fazi učenja sustava
• 4. sloj – funkcije pripadnosti izlaza
– disjunkcija (max) izlaza (ONDA dijela) pravila
se kod neizrazitih skupova ostvaruje
operacijom unije (algebarskog zbroja)
163
)4(
1
)4()4(
2
)4(
1
)4(
CPPC
liiii
y
xxxy
1.3.2009
10
Struktura neuro-fuzzy sustava (4)
• 5. sloj – defuzifikacija
– metode defuzifikacije
• slaganje zbroja i umnoška (usrednjavanje)
• aC1 i aC2 su središta, a bC1 i bC2 su širine
neizrazitih skupova C1 i C2
2211
222111
CCCC
CCCCCC
bb
babay
Primjer neuro-fuzzy ekspertnog sustava
• Razdioba 100 uzoraka za vježbanje mreže u
X1 x X2 x Y prostoru lingvističkih varijabli:
malo (M) i veliko (V)
MM
M V
V
V
1.3.2009
11
Provjera pravila stručnjaka
• Stručnjak postavlja pravila - brže učenje
• Mogućnost netočnog ili redundantnog pravila
M
M
V
V
V
M
Normalizirani stupanj uvjerenosti
• Početna vrijednost težina izmeĎu 3. i 4.
sloja je jednake 1
• wP2 = 0, pravilo postaje redundanto i ne
utječe na rad sustava
Operacija isključivo ILI
Epoha
T
e
ž
i
n
a
wP1wP5
wP3 wP4
wP2
1.3.2009
12
Generiranje pravila iz podataka
• Sustav početno sastavljen od 22 x 2 =
8 pravila i vježba na lingvističkim podacima
Operacija isključivo ILI
Normalizirani stupanj uvjerenosti
• Početna vrijednost težina izmeĎu 3. i 4.
sloja je jednaka 0.5
• Poslije učenja odbacivanje svih pravila
wPi < 0.1 wP2
wP8
wP3 wP5
wP6 & wP7
wP4
wP1
Epoha
T
e
ž
i
n
a
1.3.2009
13
Evolucijsko neuronski ekspertni sustavi
• Nedostaci primjene neuronskih mreža
– algoritam učenja mreže (back-propagation) ne
jamči optimalno rješenje (prijenosna funkcija je
derivabilna) – ostajanje u lokalnom ekstremu
– odabir prikladne topologije mreže – heuristika
• Genetski algoritmi – učinkovite tehnike
– prilagodbe težina
– odabira topologije
Odarbir optimalnog skupa težina mreže
• Slučajni izbor početnih vrijednosti težina [-1, 1]
• Prikaz (kodiranje) težina – kromosomom sa 16 gena
Od/Do
1.3.2009
14
Genetske operacije - križanje
1. roditelj 2. roditelj
DijeteOperacija križanja
- dijete ima gene (dijelove
kromosoma) oba roditelja
Genetske operacije - mutacija
Operacija mutacije
- slučajni izbor gena i dodavanje male vrijednosti [-1, 1]
Izvorna mreža Mutirana mreža
1.3.2009
15
Odabir topologije mreže
• genetskom pretragom prostora mogućih topologija mreže (populacija)
• Kodiranje (prikaz) strukture mreže• više informacija – skuplje računanje
• izravno kodiranje
• primjena na otvorene mreže bez povratnog djelovanja
• matrica povezanosti– 0 – veza izmedju neurona ne postoji,
– 1 – postoji veza i težina se mijenja učenjem
Izravno kodiranje strukture mreže
Od/Do
1.3.2009
16
Genetski algoritam razvoja mreže ...
1. Odabrati veličinu populacije kromosoma, vjerojatnost križanja i mutacije, te broj epoha vježbanja
2. Odabrati funkciju uspješnosti f(x) za mjerenje djelotvornosti kromosoma (odabir za reprodukciju) i mreže (točnost, brzina učenja, veličina, složenost)
3. Slučajno generirati početne populacije kromosoma
Genetski algoritam razvoja mreže ...
4. Izračunati uspješnost kromosoma
• Dekodirati kromosom u neuronsku mrežu
• Izbrisati sve povratne veze (izravno kodiranje – samo otvorene mreže)
• Postaviti male [-1, 1] početne vrijednosti težina
• Učiti mrežu na primjerima za odreĎeni broj epoha
• Izračunati zbroj kvadratnih pogrešaka i odrediti djelotvornost mreže
1.3.2009
17
Genetski algoritam razvoja mreže ...
5. Ponavljati 4. korak za sve kromosome u
populaciji
6. Odabrati par kromosoma za repordukciju prema
vjerojatnosti njihove uspješnosti
7. Primjenom genetskih operatora križanja i
mutacije proizvesti par potomaka
• križanjem se na slučajnom mjestu kromosoma
roditelja zamjenjuje genetski niz
• mutacijom (mala vjerojatnost pojave – 0.005) se
komplementiraju jedan ili dva gena (bita) kromosoma
Genetski algoritam razvoja mreže
8. Proizvedeni potomci ulaze u novu populaciju
9. Ponavljati 6. korak sve dok veličina nove populacije kromosoma nije jednaka veličini početne populacije, a onda zamijeniti početnu (roditeljsku) populaciju s novom populacijom (potomaka)
10.Vratiti se na 4. korak i postupak ponavljati dok nije dostignut zadani broj naraštaja
1.3.2009
18
Razvoj topologije neuronske mrežeNeuronska mreža j
Uspješnost = 117
Naraštaj i
Naraštaj (i + 1)
Primjeri za vježbanje
Križanje
Mutacija
Roditelj 1
Roditelj 2
Potomak 1
Potomak 2
Fuzzy evolucijski ekspertni sustavi
• Primjena evolucijskog računanja u konstrukciji
neizrazitih sustava
– generiranje neizrazitih pravila
– prilagodba funkcija pripadnosti
• Primjena genetskog algoritma u odabiru skupa
neizrazitih AKO-ONDA pravila kod rješavanja
problema klasifikacije
– skup pravila se generira iz numeričkih podataka
– neizrazita rešetkasta podjela prostora (ulaznih)
mogućih rješenja – važan izbor gustoće podjele
1.3.2009
19
Neizrazita podjela prostora
• Neizrazita rešetkasta podjela 2D ulaznog prostora u 3 x 3 neizrazite podprostore
• Rešetkasta podjela kao tablica pravila:
– vrijednosti ulaza• x1 (A1, A2, A3)
• x2 (B1, B2, B3)
• na presjeku x1 i x2posljedični dio pravila
– svaki podprostor jedno pravilo - K x K pravila
Klasa 1:
Klasa 2:
Opći oblik pravila
• K = broj intervala na pojedinoj osi
• xp = primjer u ulaznom prostoru X1 x X2
• Cn = posljedični dio pravila (Klasa 1 ili Klasa 2)
• CFCnAiBj = faktor sigurnosti (uvjerenosti) da primjer
u neizrazitom podprostoru AiBj pripada klasi Cn
PpxxxCFCxONDA
KjBjjexI
KiAjexAKO
P
ppp
C
BAnp
p
ip
ij
n
ji,,2,1),2,1(
,,2,12
,,2,11
:raviloP
1.3.2009
20
OdreĎivanje posljedičnog dijela pravila i
faktora sigurnosti
1. Podijeliti ulazni prostor na K x K neizrazitih
podprostora i izračunati jakost svake klase
primjera u pojedinom neizrazitom
podprostoru
– više primjera dovodi do jače klase
– vezanost posljedičnog dijela jača, sigurnija uz
klasu kada se primjeri jedne klase pojavljuju
više puta nego li primjeri druge klase
Izračun jakosti klase
• Jakost klase Cn u podprostoru AiBj
• μAi(x1p) i μBij(x2p) = stupnjevi pripadnosti
primjera xp neizrazitim skupovima Ai i Bi
)2,1(),2()1(1
ppppB
P
Cx
ppA
C
BA xxxxxj
np
i
n
ji
73.0
09.109.011.0
12.087.034.092.089.075.0
)()()()(
)6()()()(
2
151588
644
1
12
1212
121212
Klasa
BA
BABA
BABA
Klasa
BA
xxxx
xxxx
1.3.2009
21
OdreĎivanje posljedičnog dijela pravila
2. Posljedični dio pravila odreĎuje najjača
klasa Cm
• u primjeru
• u podprostoru A2 i B1 posljedični dio pravila
je Klasa 1
N
jijijiji
C
BA
C
BA
C
BA
Cm
BA ,,,max 21
73.0
09.1
2
1
12
12
Klasa
BA
Klasa
BA
OdreĎivanje faktora sigurnosti
• Faktor sigurnosti pripadnosti posljedičnog
dijela neizrazitog pravila podprostoru A2 i B1
1
1
1
N
CF
N
mn
n
C
BA
BA
N
n
C
BA
BA
C
BAC
BA
n
ji
ji
n
ji
ji
m
jim
ji
20.073.009.1
73.009.11
12
Klasa
BACF
1.3.2009
22
Hibridni ekspertni sustavi - literatura• Fu, L.M. (1993). Knowledge-based connectionism for revising domain theories, IEEE Transactions on
Systems, Man and Cybernetics, 23(1), 173-182.
• Gallant, 5.1. (1988). Connectionist expert systems, Communications oftheACM, 31(2), 152-1 69.
• Gallant, SI. (1993). Neural Network Learning and Expert Systems. MIT Press, Cambridge, MA.
• Ichikawa, Y. and Sawa, T. (1992). Neural network application for direct feedback controllers, IEEE
Transactions on Neural Networks, 3(2), 224-231.
• Ishibuchi, H., Nozaki, K. and Tanaka, H. (1992). Distributed representation of fuzzy rules and its
application to pattern classification, IEEE Transactions on Fuzzy Systems, 3(3), 260-270.
• Ishibuchi, H., Nozaki, K., Yamamoto, N. and Tanaka, H. (1995). Selecting fuzzy If-Then rules for
classification problems using genetic algorithms, Fuzzy Sets and Systems, 52, 21-32.
• Jang, J.-S.R. (1993). ANFIS: Adaptive Network-based Fuzzy Inference Systems, IEEE Transactions on
Systems, Man and Cybernetics, 23(3), 665-685.
• Jang, J.-S.R., Sun, C.-T. and Mizutani, B. (1997). Neuro-Fuzzy and Soft Computing: A Computational
Approach to Learning and Machine Intelligence. Prentice Hall, Englewood Cliffs, NJ.
• Kasabov, N. (1996). Foundations of Neural Networks, Fuzzy Logic, and Knowledge Engineering. MIT
Press, Cambridge, MA.
• Lin, C.T. and Lee, G. (1996). Neural Fuzzy Systems: A Neuro-Fuzzy Synergism to Intelligent Systems.
Prentice Hall, Englewood Cliffs, NJ.
• Miller, G.F., Todd, P.M. and Hedge, S.U. (1989). Designing neural networks using genetic algorithms,
Proceedings of the Third International Conference on Genetic Algorithms, J.D. Schaffer, ed., Morgan
Kaufmann, San Mateo, CA, pp. 379-384.
Hibridni ekspertni sustavi - literatura• Montana, D.J. and Davis, L. (1989). Training feedforward networks using genetic algorithms,
Proceedings of the 11th International Joint Conference on Artificial Intelligence, Morgan Kaufmann, San
Mateo, CA, pp. 762-767.
• Nauck, D., Klawonn, F. and Kruse, R. (1997). Foundations of Neuro-Fuzzy Systems. John Wiley,
Chichester.
• Nikolopoulos, C. (1997). Expert Systems: Introduction to First and Second Generation and Hybrid
Knowledge Based Systems. Marcel Dekker, Inc., New York.
• Russell, Sj. and Norvig, P. (2002). Artificial Intelligence: A Modern Approach, 2nd edn. Prentice Hall,
Englewood Cliffs, NJ.
• Schaffer, J.D., Whitley, D. and Eshelman, L.J. (1992). Combinations of genetic algorithms and neural
networks: a survey of the state of the art, Proceedings of the International Workshop on Combinations
of Genetic Algorithms and Neural Networks, COGANN-92, D. Whitley and iD. Schaffer, eds, WEE
Computer Society Press, Baltimore, MD, pp. 1-37.
• Sestito, S. and Dillon T. (1991). Using single layered neural networks for the extraction of conjunctive
rules, Journal of Applied Intelligence, no.1, 157-173.
• Von Altrock, C. (1997). Fuzzy Logic and NeuroFuzzy Applications in Business and Finance. Prentice
Hall, Upper Saddle River, NJ.
• Whitley, D. and Hanson, T. (1989). Optimizing neural networks using faster, more accurate genetic
search, Proceedings of the Third International Conference on Genetic Algorithms, J.D. Schaffer, ed.,
Morgan Kaufmann, San Mateo, CA, pp. 391-396.
• Zadeh, L. (1996). Computing with words - A paradigm shift, Proceedings of the First International
Conference on Fuzzy Logic and Management of Complexity, Sydney, Australia, 15-18 January, vol.1,
pp.3-10