inteligenta artificiala curs2

Şef lucrări dr. ing. Marius LUCULESCU

Universitatea TRANSILVANIA din Braşov

Facultatea de DESIGN de PRODUS Și MEDIU

Departamentul de DESIGN de PRODUS, MECATRONICĂ și MEDIU

INTELIGENŢĂ ARTIFICIALĂ

Marius LUCULESCU 2012

REŢELE NEURALE ARTIFICIALE (RNA)

Reţelele neurale artificiale (RNA) reprezintă un model

alternativ pentru rezolvarea problemelor de inteligenţă

artificială, a cărui sursă de inspiraţie se regăseşte în biologie.

Ideea de la care s-a pornit a fost aceea de a construi anumite

automate care să imite aspecte ale prelucrării informaţiei la om

şi animale, precum prelucrarea masiv paralelă a informaţiilor,

toleranţa la erori şi comportarea adaptivă.

Cea mai importantă trăsătură a RNA o reprezintă capacitatea

de a învăţa, prin adaptarea propriilor parametri.

Generalităţi




RNA imită funcţionarea reţelelor neurale biologice.

Creierul uman, având o greutate medie de peste un kilogram

şi o structură extrem de complexă, se compune, conform

studiilor efectuate, din peste 1011 neuroni, fiecare cu până la

104 intrări (dendrite), puternic interconectaţi cu peste 1000

legături (sinapse).

Deşi timpul de comutare a unui neuron, câteva milisecunde,

este de aproximativ 1.000.000 de ori mai mare decât cel din

elementele computerelor actuale, conectivitatea la nivelul

neuronilor este de mii de ori mai mare decât în cazul

supercomputerelor existente.

Generalităţi




Abordarea unor probleme poate fi realizată folosind algoritmi

relaţionali clasici sau algoritmi bazaţi pe reţele neurale, soluţiile

alese prezentând avantaje şi dezavantaje.

RNA versus algoritmi clasici

Algoritmi bazaţi pe RNA Algoritmi clasici

AVANTAJE DEZAVANTAJE Număr mare de elemente de

procesare, fiecare executând un

program simplu

Unul sau câteva procesoare, executând

programe complexe

Robusteţe la erori Compromitere a programului în cazul

existenţei unui singur bit eronat

Rezolvare de probleme a căror

structură logică nu este pe deplin

lămurită

Necesitate a unei bune cunoaşteri a

problemei pentru a-i putea genera

algoritmul

Adaptivitate la mediul informaţional,

posibilitate de a învăţa din experienţă

Lipsă adaptivitate, rezolvare a claselor

de probleme bine definite




RNA versus algoritmi clasici

Algoritmi bazaţi pe RNA Algoritmi clasici

DEZAVANTAJE AVANTAJE Interpretări diverse legate de

răspunsurile oferite

Certitudine maximă a răspunsului oferit,

asigurată de un algoritm riguros

Lipsa explicaţiilor cu privire la

răspunsurile oferite şi dificultatea testării

Existenţa metodelor de testare a

algoritmilor şi programelor

Furnizarea de soluţii aproximative Furnizarea de soluţii exacte




1943 – Warren McCulloch (neurobiolog) şi Walter Pitts (statistician)

au propus primul model pentru neuronul artificial: funcţii binare de

activare (0, 1), cu prag de activare, structură fixă, temporizare în

transmiterea semnalelor, fără posibilităţi de învăţare. Acest model

includea toate elementele pentru a efectua operaţii logice, dar era

imposibil de implementat la nivelul tehnologic al anilor 1940.

1947 - McCulloch şi Pitts au remarcat posibilitatea de utilizare a

reţelelor neurale într-un nou domeniu practic cum ar fi recunoaşterea

formelor spaţiale.

1949 - Donald Hebb a propus în lucrarea „The Organization of

Behavior” un model de învăţare pentru a actualiza conexiunile

neuronului, denumit mai târziu „regula hebbiană de învăţare”. Autorul a

formulat ideea că informaţia poate fi memorată prin intermediul

ponderilor din conexiuni; aceste ponderi sunt simetrice şi se adaptează

proporţional cu activarea neuronului.

Istoric - Perioada de început




1951 - Marvin Minsky dezvoltă pentru lucrarea sa de disertaţie

primul neurocalculator (Snark) care era capabil să-şi actualizeze

ponderile automat, însă acesta nu a fost niciodată realizat practic.

1954 - prima publicare a teoriilor şi teoremelor despre învăţare în

reţelele neurale, întărirea secundară şi modificările sinaptice o

realizează Marvin Minsky (1954) în teza sa de doctorat.

1958 - Frank Rosenblatt a inventat o reţea neurală, numită

perceptron, concepută ca o maşină instruibilă, capabilă să înveţe să

clasifice anumite pattern-uri prin modificarea conexiunilor la elementele

comparatoare. A fost primul model simulat pe calculator (la Cornell).

Frank Rosenblatt, Charles Wightman şi colaboratorii lor realizează

primul neurocalculator funcţional (Mark I perceptron), care era capabil

să recunoască numere simple cu ajutorul unui senzor de imagine de

20 x 20 pixeli şi a 512 potenţiometre acţionate de motoare, fiecare

dintre acestea reprezentând câte o pondere variabilă.

Istoric – Epoca de aur




1960 – Bernard Widrow şi Marcian E. Hoff propun în lucrarea

„Adaptive Switching Circuits” (1960) reţeaua ADALINE (ADAptive

LINear NEuron), un sistem de învăţare adaptivă rapid şi precis care s-a

dovedit a fi prima reţea neurală cu o largă utilizare comercială.

Regula de învăţare utilizată, numită regula Widrow-Hoff sau regula

Delta, se baza pe minimizarea erorii pătratice însumate pe parcursul

instruirii, un important avantaj faţă algoritmul de învăţare al

perceptronului fiind adaptivitatea.

Aplicaţiile vizau recunoaşterea formelor, controlul adaptiv şi

previziunea vremii. Reţelele dezvoltate până în anii 1960 nu

permiteau abordarea unor probleme complexe, iar schemele de

învăţare nu erau suficient de dezvoltate.





1969 - Marvin Minsky şi Seymour Papert realizează o analiză

matematică precisă a perceptronului, în lucrarea „Perceptrons”, prin

care au demonstrat limitele reţelelor bazate pe perceptroni, pornind

de la premisele că astfel de reţele pot rezolva numai probleme

liniar-separabile (spre exemplu ele nu pot rezolva funcţia XOR), iar

utilizarea reţelelor cu mai multe nivele este, la rândul ei, ineficientă.

Fondurile de cercetare s-au orientat spre alte domenii ale inteligenţei

artificiale şi studiul reţelelor neurale a intrat într-o fază de stagnare.





1970 - 1984 – perioada denumită plastic „monks working through the dark

age” („călugări lucrând în epoca întunecată”) şi „long silence and slow

reconstruction” („tăcere îndelungată şi reconstrucţie lentă”), în care câţiva

cercetători au reuşit totuşi să continue cercetările.

1972 - Teuvo Kohonen (Finlanda) a introdus un model de asociator liniar,

un model de memorie asociativă.

1976 – 1980 - Stephen Grossberg a prezentat numeroase lucrări în care

sunt analizate din punct de vedere matematic diferite modele neurale, a

introdus funcţia sigmoidă de transfer şi a dezvoltat împreună cu Gail Carpenter

teoria rezonanţei adaptive (ART – Adaptive Resonance Theory).

1982 - Kohonen a inventat reţelele cu auto-organizare; John Hopfield

(CalTech) a creat reţelele Hopfield pentru optimizare şi apelarea pattern-urilor.

1983 - Fukushima, Miyake şi Ito realizează modelul neural al

neocognitronului, o dezvoltare a reţelei cognitron apărută în 1975, care permite

recunoaşterea caracterelor scrise de mână

Istoric – Perioada de stagnare




Începând cu mijlocul anilor 1980 s-au alocat fonduri semnificative pentru

cercetările din domeniul reţelelor neurale, în mare parte datorită dezamăgirilor

determinate de neîmplinirea marilor speranţe puse pe seama inteligenţei

artificiale simbolice.

1986 - David Rumelhart şi James McClelland au înfiinţat în 1986 grupul

PDP (Parallel Distributed Processing), în cadrul căruia au popularizat reţelele

de tip perceptron cu mai multe nivele (multistrat), instruite prin metoda

„backpropagation”, reţele care pot rezolva problemele neliniar-separabile.

1987 - Programul DARPA (Defense Advanced Research Projects Agency)

şi-a propus să studieze cele mai promiţătoare aplicaţii ale reţelelor neurale. Au

fost fabricate circuite integrate VLSI, care implementează reţele neurale (în

1986 firma AT&T a fabricat primul chip de memorie neurală). S-au dezvoltat

pachete software de implementare a reţelelor neurale (de exemplu, toolbox-ul

„Neural Networks” din MATLAB) şi s-au rezolvat aplicaţii complexe.

Istoric – Renaşterea




Sunt domenii întregi în care RNA par a fi cele mai avantajoase, cum

ar fi cele care presupun inferenţa de tip uman şi perceperea vorbirii şi

a imaginilor, care nu pot fi rezolvate satisfăcător cu calculatoarele

clasice.

Alte domenii cu perspective foarte promiţătoare de implementare

sunt procesarea semnalelor şi sistemele expert.

Cert este faptul că, RNA nu vor înlocui aplicaţiile de inteligenţă

artificială de pe calculatoarele clasice, ci vor oferi o tehnologie

complementară.

Perspective




Celula nervoasă denumită neuron este elementul fundamental

al sistemului nervos central, respectiv periferic.

Neuronii prezintă o serie de caracteristici comune, din punct de

vedere al sistemului biochimic şi organizării, cu cele ale altor

celule vii, dar au şi un număr de caracteristici proprii,

determinate de următoarele cinci funcţii:

recepţia de semnale de la neuronii vecini;

integrarea semnalelor primite;

amplificarea semnalului nervos rezultat;

conducerea semnalului nervos;

transmiterea semnalului nervos către neuronii vecini.

Neuronul biologic




Neuronul biologic

Reţea neurală biologică




Un neuron are în componenţă trei elemente: corpul celular, dendritele

şi axonul.

Corpul celular (soma) conţine nucleul neuronului şi produce

transformările biochimice necesare sintezei enzimelor şi altor molecule

care asigură viaţa neuronului. Corpul celular are dimensiuni de ordinul

micronilor, iar forma celulei este, în majoritatea cazurilor, piramidală

sau conică, în funcţie de poziţia sa în creier.

Dendritele (numite astfel datorită asemănării cu un copac – „dendron”

în limba greacă) sunt extensii filiforme fine, cu ramificări de tip

arborescent în jurul corpului celular, având diametrul de câteva zecimi

de microni şi lungimea de câteva zeci de microni.

Dendritele sunt receptorii de semnale ai neuronului („intrările”

neuronului).

Neuronul biologic




Axonul („axon” – axă) sau fibra nervoasă asigură conexiunile de ieşire

ale semnalului emis de neuron.

Axonul este mai lung decât dendritele, lungimea sa variind între un

milimetru şi un metru.

Ramificarea acestuia în vederea comunicării cu alţi neuroni, se

produce în zona terminală, spre deosebire de dendrite, a căror

ramificare apare mult mai aproape de corpul celular.

Fiecare neuron are un singur axon (o singură „ieşire”) şi mai

multe dendrite (mai multe „intrări”).

Neuronii sunt interconectaţi într-un aranjament spaţial complex,

formând sistemul nervos central. Conexiunea dintre doi neuroni poate

fi de tip axon-dentrită, axon-somă sau axon-axon şi poartă denumirea

de sinapsă, interstiţiul prin care se face separarea fiind de ordinul

unei sutimi de micron.

Neuronul biologic




Impulsurile nervoase în conexiunile dintre neuroni pot duce la

modificări locale ale potenţialului celulei care le primeşte.

Aceste impulsuri, denumite şi potenţiale de intrare se pot răspândi

de-a lungul corpului celulei şi pot fi excitante sau inhibante.

Potenţialele de intrare sunt însumate la ramificaţia principală a celulei.

În cazul în care celula este excitată de un stimul a cărui intensitate

depăşeşte un anumit prag, are loc o modificare rapidă a concentraţiei

ionilor din lichidul intracelular şi cel interstiţial, respectiv o modificare a

diferenţei dintre potenţialul interior şi cel exterior celulei, diferenţă ce

poartă denumirea de potenţial de acţiune.

Axonul şi dendritele transportă informaţia prin intermediul acestor

potenţiale de acţiune, spre legăturile sinaptice.

Neuronul biologic




Prelucrarea informaţiei în organismele umane prezintă următoarele

caracteristici esenţiale:

prelucrare paralelă şi distribuită;

prelucrare a informaţiei temporale codificată (trenuri de

impulsuri);

prezenţă a mecanismelor de activare/ inhibiţie;

degradare lentă a informaţiei şi utilizare a redundanţei;

stocare a informaţiilor în mod distribuit într-o memorie

adresabilă prin conţinut;

proces iterativ de recuperare a informaţiei;

ieşire continuă.

Neuronul biologic




Neuronul artificial reprezintă un model matematic care încearcă să

simuleze neuronul biologic din punct de vedere structural şi/ sau

funcţional.

Cele patru elemente amintite anterior (dendrite, sinapse, corp celular

şi axon) formează structura de bază preluată din modelele biologice

pentru implementarea neuronilor artificiali.

Aceştia vor avea în componenţă, la rândul lor, următoarele elemente:

legături de intrare ponderate;

bloc de calcul;

conexiune de ieşire.

Neuronul artificial




Neuronul artificial

Neuronul biologic

(natural)

Neuronul artificial

Corp (Soma) Neuron

Dendrite Intrări

Axon Ieşire

Sinapse Ponderi

Corespondenţa dintre modelul neuronului artificial şi neuronul biologic.

RNA este o colecţie constituită dintr-un număr de unităţi elementare

care procesează informaţii şi comunică între ele prin intermediul

conexiunilor, în scopul rezolvării unor sarcini specifice.

Conexiunile se bazează pe o puternică asemănare cu axonii şi

dendritele dintr-un sistem nervos uman.




Neuronul artificial

RNA, ca principiu, sunt reţele adaptive combinate cu tehnici de

procesare paralelă.

Funcţiile reţelei sunt determinate în cea mai mare măsură de legăturile

dintre elemente.

Reţelele neurale pot fi antrenate pentru a acoperi aplicaţii din domenii

foarte diferite, cum ar fi: recunoaşterea formelor, identificări, clasificări,

vorbire, vedere şi sisteme de control.

RNA se aseamănă cu creierul în două privinţe:

cunoştinţele sunt dobândite de reţea printr-un proces de învăţare;

cunoştinţele nu sunt depozitate în unităţile de procesare (neuroni),

ci în conexiunile dintre neuroni, în aşa-numitele ponderi sinaptice.




Neuronul artificial

Modelul McCulloch –

Pitts, al unui neuron

artificial i, care se

presupune că face parte

dintr-o reţea neurală

compusă din p elemente

de procesare (neuroni

artificiali) înalt

interconectate

Neuronul este format dintr-un corp, un set de n intrări şi o ieşire.

Fiecare intrare xij, j = 1, 2,…, n, este ponderată, adică valoarea sa este

înmulţită cu o valoare corespunzătoare wij, numită pondere, apoi toate

intrările ponderate sunt însumate.

Asupra sumei, care poartă denumirea de funcţie de bază, notată cu

neti, se aplică o funcţie de activare f, obţinându-se valoarea y a ieşirii

neuronului.




Neuronul artificial

Intrările x şi ponderile w asociate neuronului i se modelează cu valori

reale. Dacă wij > 0, se consideră că ponderea sinaptică este excitatoare,

iar dacă wij < 0 aceasta este inhibitoare.

În numeroase cazuri se utilizează şi o valoare de prag, notată cu bi sau ,

numită în engleză „threshold” sau „bias”, care deplasează originea

funcţiei de activare spre stânga sau dreapta axei absciselor,

corespunzător unei valori pozitive sau negative.

Pentru generalizare se poate considera că bi este o intrare, notată cu x0

sau cu xn+1, având valoarea 1 şi ponderea bi.




Neuronul artificial Fiecare neuron din reţea evaluează starea sa internă sau activarea totală, numită

şi intrare netă, ca suma ponderată a semnalelor de intrare cu relaţia

n

j

ijiji xwnet1

. (7.1)

Ieşirea y a neuronului este +1 dacă activarea totală este egală sau mai mare

decât pragul de excitare bi, respectiv y este nulă dacă activarea totală este mai

mică decât bi. Astfel, considerând funcţia de răspuns f: R R de forma

0 ,0

0 ,1)(

x

xxf , (7.2)

ieşirea neuronului va fi

n

j

iijij bxwfy1

)( . (7.3) .




Neuronul artificial

Pentru simplificarea formalismului matematic, valoarea pragului bi este

eliminată din argumentul funcţiei şi se adaugă neuronului ca un semnal de

intrare care are întotdeauna valoarea 1 şi ponderea bi, adică:

inini bwx )1()1( ,1 .

Astfel, intrarea netă şi ieşirea, devin:

1

1

n

j

ijiji xwnet (7.4)

şi, respectiv

)( inetfy . (7.5)

inteligenta artificiala curs2

Documents

Curs1 Inteligenta Artificiala

47327396 Inteligenta Artificiala Viata Artificiala

Inteligenta artificiala- Teorie

Inteligenta Artificiala - Curs 1

Inteligenta Artificiala poitehnica bucuresti

Curs Inteligenta Artificiala-master

inteligenta artificiala curs1

Inteligenta artificiala: Logica vaga / fuzzy

Inteligenta artificiala: Introducere

inteligenta artificiala licenta

Inteligenta artificiala: Tehnici de clasificare

Introducere in Inteligenta Artificiala

Inteligenta artificiala

Curs Inteligenta Artificiala

Inteligenta artificiala: Reprezentarea cunoasterii

Inteligenta artificiala: Jocuri. Satisfacerea constrangerilor

Inteligenta artificiala: Strategii de cautare

Proiect Inteligenta Artificiala

Scalele de Inteligenta Wechsler Curs2