aula 01 modelos de redes neurais

7/25/2019 Aula 01 Modelos de redes neurais

1/57

MINICURSO DE

REDES NEURAIS

ARTIFICIAIS

Eng. Alosio Fernandes Dias

Aula 1 Fundamentos de uma RNA

Alosio Fernandes Dias [email protected]

Universidade Federal do Cear - UFCCentro de Tecnologia - CTDepartamento de Engenharia Eltrica - DEESemana de Engenharia Eltrica - UFC


2/57

Nome: Alosio Fernandes Dias

Formao: Engenheiro Eletricista

Tem experincia na rea de Inteligncia ComputacionalAplicada e Controle, com nfase em Modelagem de Controlespara Sistemas Dinmicos No Lineares a partir deControladores Hbridos Inteligentes.

Possui tambm experincia na rea de Eficincia Energtica,Automao e Instalaes Eltricas, tendo ministrado cursoslivres nestas reas.

Atualmente trabalha com anlise de Sistemas Robustosmodelados por tcnicas modernas de Inteligncia

Computacional Aplicada no Programa de Ps Graduao daUniversidade Federal do Cear e atua profissionalmente comoconsultor nas reas de Automao, Eficincia Energtica eEnergias Renovveis, pela empresa Light Energy Group(http:

//lightenergygroup.com.br)

http://lightenergygroup.com.br/http://lightenergygroup.com.br/http://lightenergygroup.com.br/


3/57

1. Introduo: Conceitos de Abstrao e Inteligncia.

2. Aprendizado Supervisionado, no Supervisionado e por Reforo.

3. Redes Neurais Artificiais.

4. O Perceptron.

5. Aprendizado (Treinamento) do Perceptron.

6. Limitao: Problemas linearmente separveis (O problema da XOR).

Sumrio



4/57

O Engenheiro Eletricista, para trabalhar com algum sistema,parte da premissa de conhecer seu modelo. Entretanto, hsistemas por demais custosos de serem modelados, seja pela

elevadacomplexidade matemtica do mesmo, pelasvariveisaleatrias envolvidas ou pelo simples fato de que no possvelestabelecer uma fronteira segura a partir da metodologiaclssicaentre as mudanasde estado envolvidas no processo.

A necessidade de aplicar metodologias de controle einterpretao em sistemas supervisionados uma das maisimportantes justificativas do desenvolvimento de um sistemadotado deinteligncia artificial(IA).

Introduo: Conceitos de Abstrao e Inteligncia.



5/57

De modo geral, o objetivo da inteligncia artificial (IA) desenvolverparadigmasoualgoritmosa partir da capacidadedo encadeamento de trs grandes faculdades; a primeira que

consiste emarmazenar conhecimento; a segunda na qual a IAaplica este conhecimento armazenado para resolver problemas;e a terceira e mais notvel caracterstica, que consiste emadquirir novos conhecimentos atravs de experincias. Nessaperspectiva, a Inteligncia Artificial consiste num intelecto capaz

de gerar e compreender uma srie de algoritmos e paradigmasque, por sua vez, permitem a realizao de tarefas que apenasseriam realizadas pelo intelecto humano.




6/57

Uma IA dotada de trs componentes chaves, as quais so arepresentao, oraciocnioe oaprendizado, conforme ilustradona figura a seguir.




7/57

Representao: A caracterstica mais marcante da IA ,provavelmente, o uso generalizado de uma linguagem simblicapara representar tanto o conhecimento geral, quanto para

representar um conhecimento especfico para solucionar umproblema de interesse local. Tais smbolos geralmente soformulados em termos familiares, tornando fcil a compreensopor parte do usurio humano. Assim, fica evidenciado que asimplicidade da simbologia numa IA facilita a comunicao

homem-mquina.




8/57

Raciocnio: Numa definio simplista, raciocnio a faculdadeque permite que um dado intelecto seja capaz de solucionarproblemas e o mesmo deve ter as seguintes condies:

O intelecto deve ter a habilidade de inferir solues para umamplo conjunto de problemas para o qual no foi projetado; O intelecto deve ter a habilidade de explicitar informaes

implcitas, sendo capaz de compreender com plenitude asituao qual est submetido;

O intelecto deve ser dotado de uma habilidade seletiva quedetermine as modificaes a serem feitas numa dadainformao, bem como a capacidade de classificar se umainformao ou alguma ao oriunda de certa informao intil.




9/57

Obviamente, a primeira exigncia extremamente difcil de seratendida, no que diz respeito aos problemas para os quais ointelecto no foi projetado. Assim, seria mais fcil inferir que a

soluo de problemas um problema de busca; baseado nasinformaes que possui, um intelecto busca determinar qual acombinao de informaes mais adequada para solucionareste problema. Logo, tal exigncia diz respeito combinao deinformaes e no criatividade.




10/57

Aprendizado: Um intelecto dito capaz de aprender se omesmo capaz de incrementar ou alterar suas competncias,habilidades, conhecimentos, comportamento ou valores, como

resultado de estudo, experincia, formao, raciocnio eobservao. Um diagrama simplificado apresentado na figuraa seguir e exemplifica bem o que seria uma mquina capaz deaprender.




11/57




12/57

Aprendizado Supervisionado, no Supervisionado epor Reforo.

H trs paradigmas bsicos no que diz respeito ao mtodo deaprendizado:

Aprendizado Supervisionado;

Aprendizado no Supervisionado;

Aprendizado por Reforo.



13/57


Aprendizado Supervisionado: Neste tipo de aprendizagem existeum "professor" que avalia a resposta do intelecto ao padroatual de estmulos (entradas). As alteraes no processamentoso calculadas de forma a que a resposta do intelecto tenda acoincidir com a do professor. Neste tipo de aprendizagem relativamente fcil avaliar o desempenho do intelecto para umdeterminado estado do nosso sistema e, consequentemente,implementar um "professor".



14/57


Aprendizado Supervisionado: Neste tipo de aprendizagem existeum "professor" que avalia a resposta do intelecto ao padroatual de estmulos (entradas). As alteraes no processamentoso calculadas de forma a que a resposta do intelecto tenda acoincidir com a do professor. Neste tipo de aprendizagem relativamente fcil avaliar o desempenho do intelecto para umdeterminado estado do nosso sistema e, consequentemente,implementar um "professor".


O aprendizado supervisionado o nosso objetivo de estudo.


15/57


Aprendizado no Supervisionado: Nesta outra forma deaprendizagem no existe "professor". O intelecto tem dedescobrir sozinho relaes, padres, regularidades ou categoriasnos dados que lhe vo sendo apresentados e codific-los nassadas. Neste tipo de aprendizagem mais complicado avaliar odesempenho da rede para um determinado estado do nossosistema, visto que no h a figura educadora do "professor".



16/57


Aprendizado por Reforo: Esta forma de aprendizagem requerum conjunto de experincias para que o intelecto defina quaisdelas determinam o resultado esperado. Alguns autores noconsideram a aprendizado por reforo.



17/57

O estudo das Redes Neurais Artificiais (RNA) dependeprincipalmente da modelagem da unidade de aprendizado, ouseja, do neurnio. Sendo assim, o desafio da RNA simular em

processadores computacionais o funcionamento do crebrohumano. Atualmente possvel, com RNAs, reconhecer padres,extrair regularidades e detectar relaes subjacentes em umconjunto de dados aparentemente desconexos. Tambm, j seconsegue analisar dados ruidosos, incompletos e imprecisos,

alm de prever sistemas no lineares, que podem ser usados emsistemas caticos e no mercado bolsas de valores.

Redes Neurais Artificiais.



18/57

Assim, a rede neural se assemelha ao crebro em dois aspectos:

A capacidade de adquirir conhecimento a partir de umprocesso de aprendizagem;

A capacidade dearmazenar conhecimentoadquirido atravsdasconexesentre osneurnios, isto ,pesossinpticos.

Redes Neurais Artificiais.



19/57



20/57



21/57

PROCESSAINFORMAO



22/57



23/57



24/57

Note que o neurnio artificial compila em si as habilidadesfuncionais do neurnio biolgico. A esta unidade neural(apresentada na figura) que encerra artificialmente as faculdades

cognitivas de um neurnio biolgico d-se o nome dePerceptron.

Agora, vamos nos aprofundar na modelagem matemtica do

Perceptron.

O Perceptron.



25/57


26/57


27/57


28/57


29/57

O Perceptron.


A tomada de deciso (sada, objetivo oualvo) do neurnio depende da funoque o neurnio aplica na ativao.


30/57

O Perceptron.


Tomada de deciso (sada, objetivo oualvo) do neurnio.


31/57


32/57

Entretanto, como o Perceptron efetua o procedimento ao qualpodemos chamar de aprendizado?

A presena de um tutor, na prtica, significa o que para oneurnio artificial?

O Perceptron.



33/57

O grande trunfo das redes neurais est na sua capacidade deaprendizado. Isto significa dizer que deve haver alguma formade fazer com que a rede seja capaz de evoluir seus pesos at

uma condio que permita que a mesmaacerteo resultado.

Os primeiros neurnios artificiais utilizavam a funo limiar comoforma de tratar a ativao. Isto se deve, em boa parte, ao fato

de a funo limiar ser a mesma utilizada pelo neurniobiolgico.

Aprendizado (Treinamento) do Perceptron.



34/57


35/57

Redes com este tipo de ativao possuem forte caractersticaclassificatria, isto , capacidade de agrupar padres em grupos.

Entretanto ainda temos o problema do treinamento: como fazercom que os pesos evoluam ao longo do tempo? A respostadesta pergunta est na atuao doprofessor.




36/57


37/57



Note que agora para um conjunto

nulo, o valor de

no necessariamente nulo.

Funo Limiar:

= 0, se < 01, caso contrrio

= + ++


38/57

interessante inserir sempre o bias na rede que estamosvisando treinar, pois, mesmo na hiptese deste parmetro serirrelevante, o treinamento tratar de torna-lo nulo.

Redes com este tipo de ativao possuem forte caractersticaclassificatria, isto , capacidade de agrupar padres em grupos.

Entretanto ainda temos o problema do treinamento: como fazercom que os pesos evoluam ao longo do tempo? A respostadesta pergunta est na atuao da entidade abstrata professor,como ser visto no exemplo a seguir.




39/57

EXEMPLO: APRENDENDO A PORTA LGICAAND (E).

Vamos classificar um sistema de duas entradas (X1 e X2) e masada Y que corresponde ao operador booleano AND. Suatabela verdade est expressa a seguir.



X1 X2 Y

1 0 0 0

2 0 1 0

3 1 0 0

4 1 1 1


40/57


Desse modo, um conjunto de pesos aleatoriamente

inicializado e sadas so obtidas (consideremos um neurniocom 2 pesos e um bias). O erro entre desejado e obtido definido por = .



X1 X2

1

2

b Y

desejado

Y

calculado

Erro

1 0 0 0,5 0,3 0,4 0 1 -1


41/57


Os pesos so ajustados a partir de correo com base no erro:

= +



X1 X2

1

2

b Y

desejado

Y

calculado

Erro

1 0 0 0,5 0,3 0,4 0 1 -1


42/57


Os pesos so ajustados a partir de correo com base no erro:

= +



X1 X2

1

2

b Y

desejado

Y

calculado

Erro

1 0 0 0,5 0,3 0,4 0 1 -1

Taxa de aprendizado

Erro (+1 ou -1)

Padro (Estmulo ou Entrada)


43/57


Para o exemplo citado (taxa de aprendizado de 0,5):= 0,5 + 0,5 1 0 = 0,5

= 0,3 + 0,5 1 0 = 0,3 = 0,4 + 0,5 1 = 0,1 (bias = entrada unitria)




44/57


O segundo conjunto de padres apresentado e novamente

tem-se uma atualizao dos pesos.

E continua...



X1 X2

1

2

b Y

desejado

Y

calculado

Erro

2 0 1 0,5 0,3 -0,1 0 1 -1


45/57


Aps algumas etapas de treinamento possvel determinar umconjunto de pesos que definem (classificam) adequadamente ospadres apresentados ao Perceptron, conforme mostrado aseguir.




46/57



Treinamento AND (Perceptron)

Taxa de Aprendizado (0;1): 0,5 ATIVAO DO TIPO LIMIAR

STATUS

X1 X2 bias w1 w2 Y D erro bias_novo w1_novo w2_novo

1

0 0 0,4 0,5 0,3 1 0 -1 -0,1 0,5 0,3

1

0 1 -0,1 0,5 0,3 1 0 -1 -0,6 0,5 -0,2

1 0 -0,6 0,5 -0,2 0 0 0 -0,6 0,5 -0,2

1 1 -0,6 0,5 -0,2 0 1 1 -0,1 1,0 0,3

2

0 0 -0,1 1,0 0,3 0 0 0 -0,1 1,0 0,3

1

0 1 -0,1 1,0 0,3 1 0 -1 -0,6 1,0 -0,2

1 0 -0,6 1,0 -0,2 1 0 -1 -1,1 0,5 -0,2

1 1 -1,1 0,5 -0,2 0 1 1 -0,6 1,0 0,3

3

0 0 -0,6 1,0 0,3 0 0 0 -0,6 1,0 0,3

1

0 1 -0,6 1,0 0,3 0 0 0 -0,6 1,0 0,3

1 0 -0,6 1,0 0,3 1 0 -1 -1,1 0,5 0,3

1 1 -1,1 0,5 0,3 0 1 1 -0,6 1,0 0,8

4

0 0 -0,6 1,0 0,8 0 0 0 -0,6 1,0 0,8

1

0 1 -0,6 1,0 0,8 1 0 -1 -1,1 1,0 0,31 0 -1,1 1,0 0,3 0 0 0 -1,1 1,0 0,3

1 1 -1,1 1,0 0,3 1 1 0 -1,1 1,0 0,3

5

0 0 -1,1 1,0 0,3 0 0 0 -1,1 1,0 0,3

0

0 1 -1,1 1,0 0,3 0 0 0 -1,1 1,0 0,3

1 0 -1,1 1,0 0,3 0 0 0 -1,1 1,0 0,3

1 1 -1,1 1,0 0,3 1 1 0 -1,1 1,0 0,3


47/57




Os pesos que garantem a soluo foram encontrados. Contudo,ter isto relao com os pesos iniciais? Vamos ver com oexemplo apresentado a seguir.


48/57




Os pesos que garantem a soluo foram encontrados. Contudo,ter isto relao com os pesos iniciais? Vamos ver com oexemplo apresentado a seguir.

Exemplo

Computacional:

Microsoft Excel


49/57




Agora vamos implementar o referido exemplo utilizando oMATLAB.

Exemplo

Computacional:

MATLAB


50/57



Exerccio Proposto: Implemente no MATLAB uma redeperceptron de 1 camada (com dois perceptrons,1 e2 ,conforme figure abaixo), considerando a Tabela abaixo como

Conjunto de Treinamento. ENTRADAS SADASX3 X2 X1 D1 D2

0 0 0 0 1

0 0 1 1 1

0 1 0 0 1

0 1 1 1 1

1 0 0 0 0

1 0 1 0 1

1 1 0 0 0

1 1 1 0 1

= ; =


51/57


52/57

Limitao: Problemas linearmente separveis (O

problema da XOR).


?


53/57

Limitao: Problemas linearmente separveis (O

problema da XOR).

Provavelmente uma associao de camadas de Perceptronssolucionar o problema facilmente. Contudo, como efetuar o

treinamento sem conhecer as sadas desejadas de camadasocultas?



54/57



55/57

PRXIMA

AULA



56/57

As aulas e os cdigos apresentados

esto disponveis em

www.professoraloisiodias.wix.com/site

http://www.professoraloisiodias.wix.com/sitehttp://www.professoraloisiodias.wix.com/site


57/57

aula 01 modelos de redes neurais

Documents