inteligentno upravljanje primjene neuronskih...

Post on 07-Sep-2019

7 Views

Category:

Documents

1 Downloads

Preview:

Click to see full reader

TRANSCRIPT

INTELIGENTNO UPRAVLJANJE

Primjene neuronskih mreža

Vanr. Prof.dr. Lejla Banjanovic-Mehmedovic

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Primjene neuronskih mreža

� Aproksimacija funkcija� Klasifikacija� Predikcija� Predikcija� Identifikacija i upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Neuronske mreže teoretski posjeduju mogućnost da aproksimiraju bilo koje nelinearno preslikavanje, što predstavlja karakteristiku koju je moguće iskoristiti pri sintezi nelinearnih kontrolera, tj. njihovu primjenu u upravljanju.

Primjene neuronskih mreža

� Pogodno istrenirana mreža poseduje sposobnost generalizacije u slučaju da se pobudi ulazima kojih nije bilo meñu podacima za trening (neuronske mreže odlikuju se mogućnošću obučavanja i adaptacije).

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Neuronske mreže kao aproksimatori funkcija

� Ulaz:

� Pomoćna varijabla:

( ) ( ) ( ) ( )[ ]Tn ixixixix ,,, 21 ⋯=

( ) ( ) ( ) ( )[ ]Tiziziziz ,,, ⋯=� Izlaz:

� Skup podataka za treniranje:

Copyright: Lejla Banjanovic-Mehmedovic

( ) ( ) ( ) ( )[ ]Tn iziziziz

z,,, 21 ⋯=

( ) ( ) ( )( ),y i G x i z i=

( ) ( )( ) ( ) ( )( ){ }1 , 1 , , ,G x y x M y M= ⋯

Inteligentno upravljanje

Definicija problema aproksimacije funkcije� Problem aproksimacije je odreñivanje optimalnih

vrijednosti parametara θ = θ* uz koje je funkcija Fnajbolja aproksimacija funkcije G:

Copyright: Lejla Banjanovic-Mehmedovic

[ ] θρ θ ρ θ θ∗ ≤ ∀ ∈ ( )( , ), ( ) ( , ), ( ) , RnF G F Gx x x x

Inteligentno upravljanje

Definicija problema aproksimacije funkcije� Stone Weierstrassov-ova teorema (Stone, 1948)

dokazuje da za bilo koji ε > 0 i bilo koju kontinuiranu funkciju G(x), x Rn, postoji funkcija F(x) za koju vrijedi nejednačina |G(x) - F(θ,x)| < ε za x Rn(x) , gdje je ε mali realni broj.

� Kolmogorov teorema (Kolmogorov, 1957) dokazuje da � Kolmogorov teorema (Kolmogorov, 1957) dokazuje da se proizvoljna kontinuirana funkciju, definisana na n(x) -dimenzionalnoj hiperkocki, može aproksimirati superpozicijom konačnoga broja kontinuiranih funkcija jedne varijable.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Neural Networks in Matlab

net = newff(minmax(D), [h o], {'tansig', 'tansig'}, 'traincgf'); net = train(net, D, L);

Copyright: Lejla Banjanovic-Mehmedovic

net = train(net, D, L);test_out = sim(net, testD);

where:D is training data feature vectors (row vector)L is labels for training datatestD is testing data feature vectors h is number of hidden unitso is number of outputs

Inteligentno upravljanje

Primjer 1.� Problem računanja pritiska idealnog plina. Prema idealnom

plinskom zakonu važi pV = nRT, iz čega dobijemo da je pritisak p = nRT/V,

� gdje je: � p – pritisak [Pa],� V – zapremina [m3],� V – zapremina [m3],� n – molarna masa [mol],� R – univerzalna plinska konstanta: 8.314472 [JK-1mol-1],� T – termodinamička temperatura [K].� Način kreiranja uzoraka iz eksperimentalnih mjerenja. Ulazne

varijable su masa i zapremina, a izlazna varijabla je pritisak, tj. ulazno-izlazni parovi za proces treniranja su oblika: G((n(i),V(i),p(i)).

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Primjer: neuronske mreže kao aproksimatori funkcije

� % Postavljanje parametara treniranja� n=1:100; % molarna masa [mol]� V=linspace(2,50,100); % zapremina [m^3]� T=293.15; % konstanta - termodinamicka temperatura [K] (25°[C])� R=8.314472; %univerzalna plinska konstanta [J/(Kmol)]� target = n*R*T./V; %prema zakonu za idealne plinove pV=nRT

p = nRT/V

Copyright: Lejla Banjanovic-Mehmedovic

� target = n*R*T./V; %prema zakonu za idealne plinove pV=nRT� input = [n;V]; %ulazne varijable su masa i zapremina� % Kreiranje neuronske mreže� net = newff([min(n) max(n);min(V) max(V)],[5 1],

{'logsig','purelin'},'trainlm');� % Parametri treniranja mreže.� net.trainParam.show=NaN;� net.trainParam.epochs=100;� net.trainParam.lr=0.05;� net.trainParam.goal=1e-3;

Inteligentno upravljanje

Primjer 1: Neuronske mreže kao aproksimatori funkcije

% Treniranje mreže.net=train(net,input(:,1:2:100),target(1:2:100));% Testiranje trenirane mreže.output=sim(net,input);greska=(output-target)*100/max(target);

Copyright: Lejla Banjanovic-Mehmedovic

% Prikaz rezultataplot(target,'o'); %zeljeni pritisakhold onplot(output,'g*'); %dobijeni pritisaktitle('Treniranje neuronske mreže');

Inteligentno upravljanje

Primjer 1: Neuronske mreže kao aproksimatori funkcije

Copyright: Lejla Banjanovic-Mehmedovic

Loša aproksimacija neuronske mreže strukture [5 1] sa brzinom učenja 0.05

Konfiguracija mreže [10 5 1] kroz 100 epoha treniranja, koja daje mnogo bolje rezulate

Inteligentno upravljanje

RBF MREŽE

� NEWRB dodaje neurone u skriveni sloj RBF mreže sve dok se ne dostigne specificirana srednja kvadratna greška.

� “Radial basis” funkcija za implementaciju u Matlabu:net = newrb(P,T,GOAL,SPREAD, MN, DF)gdje su : gdje su : P ulazni vektor podatakaT ciljni vektor izlazaGOAL srednje kavadratna greška (default = 0.0)SPREAD širina “radial basis” funkcija (default = 1.0)MN maksimalan broj neurona, default Q.DF broj neurona koji se dodaje izmeñu prikaza,

default = 25.

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Primjer: RBF mreže kao aproksimatori

� Generisati ulazne podatke za funkciju

kada je

2( ) 3y x x x= +

4 4x− ≤ ≤

� Izvršiti aprokimaciju sa RBF neuronskom mrežom.

4 4x− ≤ ≤

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Rješavanje problema pomoću MATLAB/Neural Network Toolboxa

� % Generisanje podataka (ukupno dobivamo 41 podatak)

� x=-4:0.05:4; y=x.*x+3*x;� P=x;T=y;� % Grafički prikaz podataka

� plot(P,T,’o’)� plot(P,T,’o’)� grid; xlabel(’time (s)’); ylabel(’output’); title(’parabola’)

-4 -3 -2 -1 0 1 2 3 4-5

0

5

10

15

20

25

30

time (s)

outp

ut

parabola

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Rezultati treniranja RBF mreže� net1=newrb(P,T,0.01);� %Simulacija podataka

� a= sim(net1,P);� %Grafički prikaz � %Grafički prikaz

rezultata i greške

� plot(P,a-T,P,T)

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Primjena neuronskih mreža u klasifikaciji i predikcijiklasifikaciji i predikciji

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Evaluacija klasifikacijskih modela� Osnovni zadatak evaluacije klasifikacijskih modela je izmjeriti u

kojem stepen predikcije sugerisana izgrañenim modelom odgovara stvarnosti.

� Matrica grešaka za problem s dvije klase (Confusion matrix )

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

� Stvarno pozitivni (eng. True Positives - TP) i stvarno negativni (eng. True Negatives - TN) ishodi predstavljaju ispravnu klasifikaciju(predikciju).

� Lažno pozitivni (eng. False Positives - FP) i lažno negativni (eng. False Negatives - FN) ishodi predstavljaju dva moguća tipa greške.

Kriteriji verifikacije

TNFNFPTP

TNTPACC

++++=

� Korišteni kriteriji: tačnost (ACC), senzitivnost (TPR), specifičnost (TNR), odziv, preciznost (PR), pozitivna prediktivna vrijednost (PPV), negativna prediktivna vrijednost (NPR) i f-mjera (F1).

FPTP

TPPR

+=

TNFNFPTPACC

+++=

TNTP

TPTPR

+=

TNTP

TNTNR

+=

FPTPPR

+=

FNTN

TNNPR

+=

FNFPTP

TPF

++=

2

21

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Evaluacije klasifikacijskih modela

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Primjer složenije matrice grešaka

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

K-unakrsna kros-validacija� K-struka unakrsna validacija (engl. k-fold cross

validation) � Slučajno rasporediti primjere za učenje u k odvojenih

skupova Ti , za i = 1, . . . , k, � tipično po 30+ primjera.

� Za i = 1 do k ponovi: � –Koristi Ti kao testni skup, a ostale podatke Tm, iskoristi za učenje

modela hi . � – Na testnom skupu Ti izračunaj grešku Li modela hi. Izračunaj

prosječnu grešku za svih k modela.

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

K-unakrsna kros-validacija

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Detekcija poremećaja u odabranim sekcijama kotla u termoelektrani sekcijama kotla u termoelektrani primjenom neuronskih mreža

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Specifična problematika objekta� Termoelektrane su i dalje značajni industrijski

objekti – oko 40% udjela u globalnoj proizvodnji električne energije.

� Kotao – jedno od najznačajnijih postrojenja u termoelektrani.Najznačajnije sekcije (ne postoji jedinstvena � Najznačajnije sekcije (ne postoji jedinstvena podjela):� Sistem voda-para – napajanje kotla, pregrijačka sekcija,

meñupregrijačka sekcija, bubanj itd.� Sistem za spaljivanje uglja – mlinovi i dodavači uglja,

ventilatori svježeg zraka, mazutni gorionici itd.� Sistem dimnih plinova – elektrofilteri, ventilatori dimnih

plinova, rotacioni zagrijači itd.

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Odabrane procesne veličine� Sve procesne veličine iz sistema za nadzor i

upravljanje blokom 4 u Termoelektrani “Tuzla”:� Moguće klase anomalija (klasa, 0) i normalno

ponašanje (klasa, 1)� Odabrane ulazne veličine pregrijačke sekcije:� Odabrane ulazne veličine pregrijačke sekcije:

� Temperatura primarne pare� Protok primarne pare� Protok vode za hlañenje primarne pare

� Odabrane veličine sekcije bubnja:� Nivo napojne vode u bubnju� Pritisak pare u bubnju� Protok napojne vode prema bubnju

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Konfiguracija MLP mrežeParametri korišteni za testiranje MLP mreže su:

� Broj skrivenih slojeva: 3� Broj neurona po skrivenom sloju: 10-30� Koeficijent brzine učenja: 0,001-0,3� Broj epoha: 100-900� Broj epoha: 100-900� Momentum učenja: 0,1-0,9 (samo za algoritam

učenja koji koristi momentum)

� Prilikom testiranja uticaja jednog od parametara sve ostale vrijednosti su na minimumu.

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Testiranje – MLP mrežaMjera

(pregrijači) 30 neurona Koef. brzine 0,3 900 epoha Momentum

0,7

ACC 0,9028 0,9646 0,9076 0,7271

TPR 0,5312 0,5148 0,5360 0,6203

TNR 0,4688 0,4852 0,4640 0,3797

PR 0,8620 0,9396 0,8606 0,6682

NPR 0,9538 0,9926 0,9688 0,8494

F1 0,9080 0,9656 0,9133 0,7677

Mjera (bubanj) 25 neurona Koef. brzine

0,3 900 epoha Momentum 0,9

ACC 0,9383 0,9799 0,9542 0,8934

TPR 0,5202 0,5011 0,5160 0,5293

TNR 0,4798 0,4989 0,4840 0,4707

PR 0,9142 0,9779 0,9280 0,8561

NPR 0,9660 0,9819 0,9837 0,9395

F1 0,9406 0,9799 0,9555 0,8987

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Rezultati detekcije anomalija u TE

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Prikaz ulaza i uporednih rezultata izlaza korištenih neuronskih mreža

Primjena MLP i RBF neuronskih mreža u predikcijimreža u predikciji

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

ITS� Predikcija profila brzine (kontinulana varijabla) na

osnovu atributa signala komunikacije i distance

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Ulazni atributi za par vozila

2

4

6

8RSSI

Signal strength RSSI between communicating agents

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

0 200 400 600 800 1000 1200 1400 1600 1800 20000

Sample #

0 200 400 600 800 1000 1200 1400 1600 1800 20000

500

1000

1500

2000

2500

3000

Sample #

Dis

tanc

e (m

)

Distance between communicating agents

Gradnja prediktivnog modela� Gradnja prediktivnog modela korištenjem različitih

topologija MLP i RBF neuronskih mreža

NNType

NN LR SpreadMNE Perfor

mance(MSE)

Output error predict

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Type(MSE) R2 RMSE

MLP 10 0.001 n/a 500 6,26 0,2762 2,6350MLP 20 0.001 n/a 500 6,22 0,2730 2,3686MLP 30 0.001 n/a 1000 6,20 0,2851 2,3488MLP 10 0.01 n/a 500 6,35 0,2584 2,3923MLP 20 0.01 n/a 1000 6,21 0,2920 2,3375MLP 30 0.01 n/a 1000 6,13 0,2918 2,3378RBF 25 n/a 0,5 500 0,675 0,9053 0,8550RBF 25 n/a 0,1 500 0,087 0,9917 0,253RBF 25 n/a 0,05 500 0,029 0,9981 0,1211

Rezultati predikcije korištenjem MLP neuronske mreže

5

10

15

Speed (km

/h)

Samples of evaluated training data and training error

Measured value

Predicted valueError

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

0 100 200 300 400 500 600 700 800 900

0

Speed (km

/h)

0 50 100 150 200 250 300

0

5

10

15

Speed (km

/h)

Samples of evaluated prediction data and training error

Measured value

Predicted valueError

Rezultati predikcije korištenjem RBF neuronske mreže

0

5

10

15

Spe

ed (km

/h)

Samples of evaluated training data and training error

Measured value

Predicted valueError

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

0 100 200 300 400 500 600 700 800 900

0

0 50 100 150 200 250 300

0

5

10

15

Spe

ed (km

/h)

Samples of evaluated prediction data and training error

Measured value

Predicted valueError

Ocjenjivanje mreže u zadaćama regresije (predikcije)

� Srednja kvadratna greška (Root mean square error):

� Koeficijent determinacije:� Koeficijent determinacije:

� Pearsonov koeficijent:

� yi i fi – mjerene i predvidjene vrijednosti sa NM, n –broj uzoraka testnih podataka.

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Primjena MLP neuronskih mreža u identifikaciji i upravljanjuu identifikaciji i upravljanju

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Zbog svoje nelinearne prirode (nelinearne aktivacijske funkcije), neuronske mreže su pogodne za realizaciju kompleksnih nelinearnih funkcija i sistema.

� Osnovna osobina zbog koje su neuronske mreže vrlo dobar

Primjena neuronskih mreža u identifikaciji

� Osnovna osobina zbog koje su neuronske mreže vrlo dobar alat za identifikaciju sistema je mogućnost da uče iz iskustva (treniranje). Osim toga, neuronske mreže mogu se primijeniti i na netrenirane ulaze, gdje se na osnovu naučenog može prediktovati izlaz iz procesa.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Zakonitosti ponašanja nekog dinamičkog sistema najčešće se opisuju matematičkim modelom. Matematički model sistema odreñuje se teoretskom ili eksperimentalnom analizom ili njihovom kombinacijom.

� Ako se posmatraju tehnički sistemi, teoretskom analizom se dobivaju tzv. fizikalni matematički modeli sistema, koji fizikalne zakonitosti njegovog ponašanja opisuju

Identifikacija sistema

fizikalne zakonitosti njegovog ponašanja opisuju matematičkim jednačinama. Taj se postupak naziva modeliranjem sistema.

� Eksperimentalna analiza podrazumijeva odreñivanje tzv. eksperimentalnog matematičkog modela sistema na osnovu skupa mjernih vrijednosti ulaznih i izlaznih signala sistema. Ovaj se postupak naziva identifikacijom sistema.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Postupak identifikacije odvija se u nekoliko osnovnih koraka:

� prikupljanje ulazno-izlaznih podataka, tj. mjernih vrijednosti ulaznih i izlaznih signala procesa

Identifikacija sistema

vrijednosti ulaznih i izlaznih signala procesa� izbor strukture modela procesa� izbor kriterija kvaliteta modela procesa� estimacija parametara modela procesa� izbor optimalne dimenzije modela i njegovo

vrednovanje.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Identifikacija sistema

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Identifikacija procesa zasniva se na mjernim vrijednostima ulaznih i izlaznih signala procesa, tzv. ulazno-izlaznim podacima.

� Ulazno-izlazni podaci najčešće se prikupljaju za vrijeme posebno pripremljenog identifikacijskog eksperimenta, a postupak odreñivanja modela procesa provodi se

Identifikacija sistema

postupak odreñivanja modela procesa provodi se naknadno bez interakcije s procesom (off-line identifikacija).

� Izbor strukture modela procesa - najvažniji i najsloženiji korak postupka identifikacije procesa. Pri izboru strukture modela korisno je imati na raspolaganju odreñena saznanja o procesu (može pomoći teoretska analiza procesa). Ako je vrlo malo a priori znanja dostupno, uobičajeno se koristi opšti model (tzv. model crne kutije, engl.black-box model).

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Uobičajena pretpostavka u identifikaciji procesa je da je proces koji se identificira linearan i vremenski nepromjenljiv.

� Meñutim, kod nekih procesa nelinearnost je jako izražena tako da linearni modeli nisu dovoljno dobri za

Identifikacija sistema

izražena tako da linearni modeli nisu dovoljno dobri za opis njihovog ponašanja, već se moraju primijeniti nelinearni modeli.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Identifikacija sistema� Široka klasa nelinearnih dinamičkih procesa može se opisati sljedećim

diskretnim izrazima u prostoru stanja :

� gdje je:� u(k) – vektor ulaznih signala procesa dimenzije n(u);� x(k) – vektor varijabli stanja procesa dimnezije n(x);

)())(),(,()(

))(),(,()1(

kkukxkhky

kwkxkgkx

ξ+==+

Copyright: Lejla Banjanovic-Mehmedovic

� x(k) – vektor varijabli stanja procesa dimnezije n(x);� y(k) – vektor izlaznih signala procesa dimenzije n(y);� g – vektorska funkcija koja opisuje dinamiku procesa,� h- vektorska funkcija koja opisuje ovisnost izlaznih signala procesa o

varijablama stanja;� w(k) – vektor slučajnih varijabli sa svojstvima Gaussovog bijelog šuma

očekivanja i varijance, tzv. procesni šum ( engl. process noise);� ξ(k) – vektor slučajnih varijabli sa svojstvima Gaussovog bijelog šuma

tzv. mjerni šum

Inteligentno upravljanje

Identifikacija sistema

� U teoriji sistema je od primarne važnosti poznavanjefunkcije koja opisuje ulazno-izlazno ponašanje procesa,jer se sva interakcija s procesom odvija preko ulaznih iizlaznih signala.

Copyright: Lejla Banjanovic-Mehmedovic

� Ekvivalentna forma ponašanja nelineranog dinamičkogsistema u prostoru stanja može se prikazati sa sljedećimulazno-izlaznim opisom:

)(),,()( 11 kyukfky kk ζ+= −−

Inteligentno upravljanje

Identifikacija sistema� Kao aproksimacijska funkcija uobičajeno se primjenjuje

funkcija parametrirana konačno-dimenzionalnim vektorom parametara :

),,,( 11 Θ−− kkN yukf

� Parametriranjem funkcije odreñena je struktura modela procesa:

� Predikcijski model procesa ili prediktor!

� Vektor signala greški izmeñu izlaznih signala procesa i modela (vektor predikcijskih greški):

Copyright: Lejla Banjanovic-Mehmedovic

),,,()( 11 Θ= −−∧

kkN yukfky

)()()( kykyke∧

−=

Inteligentno upravljanje

Identifikacija sistema

Copyright: Lejla Banjanovic-Mehmedovic

[ ] ),)(),(()),(()( Θ=Θ=∧

kkfkfky uyNN ϕϕϕ[ ] [ ]T

uy nbkukunakykykkk )(),...,1(),(),...,1()(),()( −−−−== ϕϕϕU statistici se predikcijski model naziva nelinearnom regresijom, vektor regresijskim vektorom, dok se njegove komponente nazivaju regresorima.

)(kϕ

Inteligentno upravljanje

Identifikacija sistema� Razdvajanjem funkcije u kompoziciju dviju

funkcija razdvaja se i problem izbora strukture opšteg nelinearnog modela procesa na dva zasebna problema:� izbor regresijskoga vektora , odnosno funkcije )(kϕ ),( 11 −− kk yuϕ� izbor regresijskoga vektora , odnosno funkcije

koja preslikava prostor prošlih mjernih vrijednosti ulaznih i izlaznih signala procesa u regresijski prostor i

� izbor funkcije koja preslikava regresijski prostor u izlazni prostor modela procesa

Copyright: Lejla Banjanovic-Mehmedovic

)(kϕ ),( 11 −− kk yuϕ

),( ΘϕNf

Inteligentno upravljanje

� U nelinearne modele spadaju :•NFIR modeli (engl. Nonlinear FIR models)•NARX modeli (engl. Nonlinear ARX models)•NOE modeli (engl. Nonlinear OE models)

Modelske strukture

•NOE modeli (engl. Nonlinear OE models) •NARMAX modeli ( engl. Nonlinear ARMAX models),•NBJ modeli (engl. Nonlinear BJ models).

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Modelske strukture� U najopštijem slučaju, struktura modela može imati

oblik:

� Nelinearni modeli:

Copyright: Lejla Banjanovic-Mehmedovic

� Nelinearni modeli:•NFIR modeli (engl. Nonlinear FIR models)•NARX modeli (engl. Nonlinear ARX models)•NOE modeli (engl. Nonlinear OE models) •NARMAX modeli ( engl. Nonlinear ARMAX models),•NBJ modeli (engl. Nonlinear BJ models).

Inteligentno upravljanje

Izbor regresijskog vektoraIzbor (pseudo) regresijskog vektora φ(k)

� Tabela 1. Pregled regresora, odgovarajućih linearnih modela i grupa nelinearnih modela procesa

RegresoriLinearni

Grupa

nelinearnih

Copyright: Lejla Banjanovic-Mehmedovic

RegresoriLinearni

modelnelinearnih

modela

FIR model NFIR modeli

ARX model NARX modeli

OE model NOE modeliARMAX model

NARMAX modeli

BJ model NBJ modeli

Inteligentno upravljanje

Strukture modela procesa shodno izboru regresorskog vektora

NARX

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

NARMAX

Strukture modela procesa shodno izboru regresorskog vektora

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

NOE

NFIR

Izbor aproksimatorske funkcije

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Nakon što je izabrana struktura modela procesa pristupa se estimaciji parametara modela s ciljem pronalaženja vrijednosti parametara uz koje predikcijska greška poprima najmanji iznos.

� Model procesa može se smatrati dobrim tek kada ukupna predikcijska greška e*(Θ) na čitavom skupu mjernih podataka poprimi najmanji iznos. Iznos ukupne predikcijske greške mjeri se

Kriterij kvaliteta

poprimi najmanji iznos. Iznos ukupne predikcijske greške mjeri se kriterijem kvaliteta :

� U slučaju on-line identifikacije koristi se modifikovani kriterij kvaliteta :

gdje je faktor zaboravljanja.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Zadaća postupaka estimacije parametara modela je pronalaženje optimalnih vrijednosti parametara modela Θ* uz koje je predikcijska greška najmanja,odnosno tražimo minimum kriterija kvaliteta:

Θ*=arg min ζ(Θ)� Za primjenu postupaka estimacije parametara modela

Estimacija parametara modela procesa

� Za primjenu postupaka estimacije parametara modela potrebno je, osim strukture, izabrati i optimalnu dimenziju modela procesa. Pod optimalnom dimenzijom modelaprocesa smatra se ona dimenzija koja model čini dovoljno fleksibilnim da može modelirati svu relevantnu dinamiku procesa, ali koja previše ne povećava iznos varijance predikcijske greške

� Završnu fazu postupka identifikacije predstavlja vrednovanje modela procesa. Cilj je objektivno vrednovati identificirani model procesa, odnosno ocijeniti stepen podudarnosti njegovog ponašanja s ponašanjem stvarnoga procesa.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Postupci vrednovanja modela procesa� Usporedbu ponašanja modela procesa i

stvarnoga procesa treba provoditi na podacima koji nisu korišteni za estimaciju parametara modela (podaci za vrednovanje).

� Za vrednovanje modela procesa koriste se ,,� Za vrednovanje modela procesa koriste se

� parametarski i � korelacijski postupci.

Copyright: Lejla Banjanovic-Mehmedovic

,,

Inteligentno upravljanje

Strukture upravljanja zasnovane na neuronskim zasnovane na neuronskim mrežama

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Meñu najznačajnije primjene vještačkih neuronskih mreža ubraja se njihova primjena u upravljanju nelinearnim procesima.

� Četiri strukture upravljanja:� Inverzno upravljanje (engl. Inverse Control);

� Upravljanje s referentnim modelom (engl. Model

Strukture upravljanja zasnovane na neuronskim mrežama

� Upravljanje s referentnim modelom (engl. Model Reference Control)

� Upravljanje s unutarnjim modelom (engl. Internal Model Control)

� Prediktivno upravljanje (engl. Predictive Control).

� Zajednička karakteristika svih ovih struktura upravljanja je zasnovanost na identificiranom neuronskom modelu procesa.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Inverzno upravljanje se zasniva na primjeni inverznogmodela procesa koji se spaja u seriju s procesom.

� Inverzni model procesa, predstavljen neuronskommrežom, djeluje kao regulator.

� Inverzni neuronski regulator može se opisati izrazom:

Inverzno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Inverzno upravljanje� Prema načinu učenja inverznog neuronskog

regulatora razlikuju se:� neposredno učenje (učenja parametri regulatora se određuju

bez prethodne identifikacije modela procesa)� posredno učenje (prvo se identificira model procesa koji se � posredno učenje (prvo se identificira model procesa koji se

zatim koristi pri učenju parametara regulatora).

� Osnovni problem kod inverznog upravljanjavezan je uz invertibilnost modela procesa (akonelinearni operator, koji predstavlja proces, više ulaznih vrijednosti preslikava u istu izlaznuvrijednost, tada ne postoji jedinstveno rješenjeinverznog problema).

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

Upravljanje elektrohidraučkim sistemom korištenjem inverznog modela

Inteligentno upravljanje

Copyright: Lejla Banjanovic-Mehmedovic

� Kao referentni model može se odabrati bilo koji stabilni model definisan ulazno-izlaznim vrijednostima {yr(k),yrm(k)}.

� U praksi se najčešće kao referentni model koristi linearni sistem drugog reda:

Upravljanje s referentnim modelom

referentni model koristi linearni sistem drugog reda:

Yrm(k) = (1+p1+p2) * yr(k) + p1 * yrm(k-1) + p2 * yrm(k-2)

gdje je :

Copyright: Lejla Banjanovic-Mehmedovic

Blok šema sistema upravljanja s referentnim modelom i neuronskim regulatorom

Inteligentno upravljanje

� Upravljanje s unutarnjim modelom (IMC upravljanje) zasniva se na modelu procesa i nainverznom modelu procesa.

� U strukturu upravljanja uključena je povratna veza posignalu razlike izmeñu procesa i njegovog modela, a rezultat je kompenzacija vanjskog poremećaja.

Upravljanje s unutarnjimmodelom (IMC upravljanje)

rezultat je kompenzacija vanjskog poremećaja.

IMC upravljanje može se primijeniti isključivo zaupravljanje procesima kojisu stabilni u otvorenojpetlji.

Copyright: Lejla Banjanovic-Mehmedovic

Iznimno prikladan za upravljanje industrijskim procesima.

Inteligentno upravljanje

� Prediktivno upravljanje je jedan od koncepata upravljanja zasnovanih na modelu procesa.

� Model procesa služi za predviñanje (predikciju)

Prediktivno upravljanje

predviñanje (predikciju) budućih vrijednosti izlaza procesa više koraka unaprijed.

� Postupak izračunavanjaupravljačkog signala svodi se na minimiziranje kriterijskefunkcije:

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

NARMA –L2 kontroler

� Narma-L2 je jedna od popularnih struktura neuronske mreže za predikciju i kontrolu.

� Osnovna ideja ove šeme upravljanja je primjena linearnog metoda ulaza-izlaza (izlaz postaje linearna funkcija novih kontrolnih ulaza).

� Kao i kod upravljanja s referentnim modelom, prvi korak u � Kao i kod upravljanja s referentnim modelom, prvi korak u korištenju Narma-L2 kontrolera je identifikacija sistema koji trebamo kontrolisati.

� Standardan model koji se koristi za predstavljanje generalno vremenskih diskretnih nelinearnih sistema je nelinearni autoregresivni model pokretnih prosjeka (nonlinear autoregressive-moving average model, NARMA):

gdje je u(k) ulaz u sistem, a y(k) izlaz iz sistema.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Primjena dinamičkih neuronskih mreža u upravljačkim strukturama� Problem pri korištenju ovog kontrolera jeste da

treniranje mreže može biti znatno sporo zbog upotrebe BP algoritma.

� Zbog toga se koristi sljedeći model :

Copyright: Lejla Banjanovic-Mehmedovic

Narma- L2 kontroler može bitijako dobro korišten i za praćenjenekih primjera trajektorija.

Inteligentno upravljanje

Kontrola brzine automobila uz pomoć Narma-L2 kontrolera

� Za pravilan rad Narma-L2 kontrolera postoji sekvenca koraka:� Network Architecture (služi za podešavanje topologije

mreže)� Training Data (služi za odreñivanje modela na kojeg � Training Data (služi za odreñivanje modela na kojeg

se primjenjuje upravljački signal uz pomoć trenirajućih podataka)

� Training Parameters (služi za konačno treniranje kontrolera baziranog na neuronskoj mreži)

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Primjer:Regulacija brzine automobila – Tempomat� Auto tempomat je primjer upravljanja u zatvorenoj

povratnoj spregi čija je namjena da dostigne i održava brzinu automobila konstantnom bez obzira na vanjske smetnje kao što su vjetar, kvalitet ceste, različiti uslovi vožnje isl.

� Ovo se može postići mjerenjem brzine i njenim � Ovo se može postići mjerenjem brzine i njenim poreñenjem sa željenom te regulacijom iste upotrebom kontrolera.

� Drugi Njutunov zakon:

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Princip rada Narma-L2 kontrolera baziranog na neuronskoj mreži

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Kontrola brzine automobila uz pomoć Narma-L2 i PID kontrolera

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Identifikacija procesa sa NARMA-L2 kontrolerom

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Proces treniranja mreže -dobivanje modela sistema

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Proces treniranja mreže

Copyright: Lejla Banjanovic-Mehmedovic

Prikaz najmanje kvadratne greške koja je postignuta na 50-toj epochi

Inteligentno upravljanje

Training – prikaz treniranja kontrolera

Određivanje težinskih kojeficijenata

neuronske mreže

Copyright: Lejla Banjanovic-Mehmedovic

neuronske mreže

Inteligentno upravljanje

Validation – prikaz validacije

Provjera da li je daljne traženje težinskih kojeficijenata opravdano ili ne.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Usporedba NARMA –L2 i PID kontrolera

� PID: � pojačanje P komponenea 0.03 � pojačanje I komponente

0.0045

� Narma-L2 neural network � Narma-L2 neural network controller:� Broj neurona u skrivenom

sloju : 13� Vrijeme uzorkovanja: 0.01

sekundi� Broj epocha kontrolera: 50� Broj odgoñenih ulaza: 3� Broj odgoñenih izlaza: 3� Broj trenirajućih uzoraka:

7500

Copyright: Lejla Banjanovic-Mehmedovic

Plava isprekidana kriva - SetPoint Zelena puna kriva - Odziv PI kontroleraCrvena puna kriva - Odziv Narma-L2 kontrolera

Inteligentno upravljanje

� Proces – jednostavna, jednosegmentna robotska ruka.

Primjer upravljanja jednosegmentnom rukom

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Jednačina kretanja ruke data je izrazom:

φ - ugao ruke, m - obrtni moment pogonjen DC motorom.

Primjer

m - obrtni moment pogonjen DC motorom.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Prije podešavanja parametara kontrolera moramo obaviti identifikaciju procesa.

� Da bi što bolje identificirali proces moramo dobro odabrati parametre kao što je broj neurona u skrivenim slojevima, maximalan broj epoha, vrijeme uzorkovanja itd.

� U tabeli - prikaz na koji način reaguje sistem pri promjeni

Primjer

� U tabeli - prikaz na koji način reaguje sistem pri promjeni odreñenih parametara, odnosno u kojem slučaju dobivamo najmanju grešku praćenja.

Broj neurona u skrivenim slojevima

Vrijeme uzorkovanja Maksimalan broj epoha Greška praćenja

10 0.05 300 10-4

13 0.05 300 0.5*10-3

20 0.05 300 2*10-4

10 0.05 800 10-4

10 0.1 300 2*10-4

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Neuronski kontroler baziran na referentnom modelu predstavljen je u Neural Network Toolbox-u. Struktura upravljanja referentnim modelom koristi dvije neuronske mreže: mrežu kontrolera i mrežu modela procesa. Model procesa se prvo identificira, a zatim se

Primjer

procesa. Model procesa se prvo identificira, a zatim se trenira kontroler tako da izlaz procesa slijedi izlaz referentnog modela.

� Cilj je trenirati kontroler tako da robotska ruka prati referentni model:

gdje je yr izlaz iz referentnog modela,a r je ulazni referentni signal.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Primjena dinamičkih neuronskih mreža u upravljačkim strukturama

� Kontroler baziran na referentnom modelu

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Broj neurona u skrivenim slojevima

Vrijeme uzorkovanja

Ts

Broj neurona u skrivenim

slojevima kod kontrolera

Maksimalan broj epoha

Greška praćenja

Primjena dinamičkih neuronskih mreža u upravljačkim strukturama

kontrolera

10 0.05 13 300 2*10-4

10 0.05 20 300 2*10-4

13 0.05 13 300 2*10-3

13 0.1 13 300 0.8*10-3

13 0.01 13 300 2*10-4

13 0.01 13 800 0.9*10-4

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

�Odziv kontrolera s referentnim modelom s postavljenim parametrima : Ts=0.05 i broj neurona u skrivenim slojevima kod kontrolera : 13 i 20.

Primjena dinamičkih neuronskih mreža u upravljačkim strukturama

� Primjećujemo da mijenjanjem broja neurona u skrivenim slojevima kod kontrolera dobivamo identičan ili neznatno različit odziv kontrolera.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

� Neuronska mreža prediktivnog kontrolera, koja je implementirana u Neural Network Toolbox softveru, koristi model neuronske mreže nelinearnog procesa da predvidi buduće performanse procesa.

Primjena dinamičkih neuronskih mreža u upravljačkim strukturama

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

N2

� Posmatrat ćemo kako se kontroler ponaša mijenjanjem parametara kontrolera.

� Na slikama je prikazan odziv

Primjena dinamičkih neuronskih mreža u upravljačkim strukturama

� Na slikama je prikazan odziv prediktivnog kontrolera za vrijednosti parametra a). N2 =4 , b). N2 =6 .

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Primjena dinamičkih neuronskih mreža u upravljačkim strukturama

� Narma-L2 kontrolera u primjeni - proces robotske ruke.

� Odzivi za različite promjene parametara:Broj neurona u

skrivenim slojevima

Vrijeme uzorkovanja

Ts

Maksimalan broj epoha

Greška praćenja

10 0.05 300 5*10-3

13 0.05 300 2*10-4

13 0.05 800 10-4

13 0.1 300 3*10-3

10 0.01 300 1.5*10-3

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

Primjena dinamičkih neuronskih mreža u upravljačkim strukturama

� Na slikama su predstavljeni odzivi Narma-L2 kontrolera s odzivi Narma-L2 kontrolera s postavljenim vremenom uzorkovanja 0.05 i maksimalnim brojem epoha a). 300, b). 800.

Copyright: Lejla Banjanovic-Mehmedovic

Inteligentno upravljanje

top related