redes neurais artificiais: introduc¸ao -˜ parte 1joaoluis/minicurso-rna1.pdfaprendizado de...
TRANSCRIPT
logo
Redes Neurais Artificiais: Introducao -Parte 1
Joao Luıs Garcia Rosa
Departamento de Ciencias de ComputacaoInstituto de Ciencias Matematicas e de Computacao, Universidade de Sao Paulo
http://www.icmc.usp.br/˜[email protected]
12a . Semana da Computacao - ICMC-USP - Sao Carlos, 22 de Outubro de 2009
Redes Neurais Artificiais: Introducao - Parte 1 1/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Sumario1 Introducao e Historico
Resumo e HistoriaDesenvolvimento de AplicacoesTopologias
2 O CerebroO Cerebro como ModeloNeuronios e SinapsesCaracterısticas do Sistema NervosoA Hipotese de HebbRamon y Cajal
3 ModelosMcCulloch-PittsO Perceptron
4 RepresentacaoRepresentacao Conexionista
Redes Neurais Artificiais: Introducao - Parte 1 2/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Sumario1 Introducao e Historico
Resumo e HistoriaDesenvolvimento de AplicacoesTopologias
2 O CerebroO Cerebro como ModeloNeuronios e SinapsesCaracterısticas do Sistema NervosoA Hipotese de HebbRamon y Cajal
3 ModelosMcCulloch-PittsO Perceptron
4 RepresentacaoRepresentacao Conexionista
Redes Neurais Artificiais: Introducao - Parte 1 3/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Resumo e Historia
Objetivos do Mini-curso
PropostaConhecimentos basicos sobre a ferramenta computacional deAprendizado de Maquina: As Redes Neurais Artificiais (RNA).
Inspiracao
Computacao, Biologia e Neurociencia.
ObjetivosConstruir a maquina inteligente.
Redes Neurais Artificiais: Introducao - Parte 1 4/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Resumo e Historia
Maquina Inteligente: Maquina que “pensa”
Redes Neurais Artificiais: Introducao - Parte 1 5/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Resumo e Historia
Redes Neurais Artificiais
Baseada em uma visao abstrata do neuronio.Neuronios artificiais sao conectados para formar grandesredes.As conexoes determinam a funcao da rede.As conexoes podem ser formadas atraves do aprendizadoe nao precisam ser “programadas”.
Redes Neurais Artificiais: Introducao - Parte 1 6/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Resumo e Historia
Historico
1943: McCulloch e Pitts: primeiro modelo matematico doneuronio.1948: livro Cybernetics de Wiener.1949: palestra de Von Neumann na Universidade deIllinois: divulgacao da teoria de McCulloch e Pitts1949: Hebb: The Organization of Behavior: regra deaprendizagem para a modificacao sinaptica.1951: Minsky e Edmonds: primeiro computador de RedesNeurais: SNARC - Stochastic Neural-AnalogReinforcement Computer.1958: Rosenblatt: perceptron.1960: Widrow e Hoff: adaline.
Redes Neurais Artificiais: Introducao - Parte 1 7/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Resumo e Historia
Historico
1969: Minsky e Papert: Perceptrons: livro com resultadonegativo sobre a capacidade de representacao de umarede neural de uma camada.1969: Bryson e Ho: descoberta do algoritmo deaprendizado backpropagation.1980: Grossberg: auto-organizacao.1982: Hopfield: redes recorrentes com conexoessinapticas simetricas.1982: Kohonen: mapas auto-organizaveis.
Redes Neurais Artificiais: Introducao - Parte 1 8/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Resumo e Historia
Historico
1985: Ackley, Hinton e Sejnowsky: Maquina de Boltzmann:1a. rede neural de multiplas camadas bem sucedida.1986: McClelland e Rumelhart: Parallel DistributedProcessing: Explorations in the Microstructures ofCognition (2 volumes): re-invencao do backpropagation.1988: Broomhead e Lowe: funcoes de base radial (RBF):alternativa aos perceptrons de multiplas camadas.Fu (1991 e 1993), Towell e Shavlik (1993), Setiono e Liu(1996), Omlin e Giles (1996), d’Avila Garcez et al. (2001):Extracao de conhecimento simbolico de RNA - Abordagemsimbolico-conexionista - Redes neurais baseadas emconhecimento.
Redes Neurais Artificiais: Introducao - Parte 1 9/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Desenvolvimento de Aplicacoes
Aplicacao de RNA
Redes Neurais Artificiais: Introducao - Parte 1 10/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Desenvolvimento de Aplicacoes
Como Resolver usando RNA
Uma vez identificado o problema que se queira solucionaratraves da abordagem conexionista, deve-se construir arede neural.Ou seja, montar a arquitetura da rede: para uma rede detres camadas,
quantos neuronios deve-se ter na entrada da rede (quecorresponde, normalmente, ao numero de bits querepresenta o padrao),quantos deve-se ter na saıda (que corresponde,normalmente, a quantidade de bits do padrao de saıda) e,o numero de neuronios na camada escondida (o maisdifıcil).
Redes Neurais Artificiais: Introducao - Parte 1 11/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Desenvolvimento de Aplicacoes
Como Resolver usando RNA
Os neuronios da camada escondida normalmente nao sao“calculados” e devem ser tentados empiricamente.Depois de construıda a RNA, deve-se escolher umalgoritmo conexionista para “treinar” a rede (fase deaprendizado).O treinamento da rede normalmente e demorado, poisrequer muitos “ciclos”, ou seja, deve-se mostrar a redevarias vezes, tudo que se deseja que ela aprenda.Depois do treinamento, a RNA deve ser capaz de, numaunica propagacao (unico ciclo) reconhecer o padrao noqual ela foi ensinada (fase de reconhecimento).Este processo e muito mais rapido do que a execucao dequalquer instrucao simbolica.
Redes Neurais Artificiais: Introducao - Parte 1 12/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Desenvolvimento de Aplicacoes
Tipos de Aprendizagem
AbordagensNao-supervisionada ou detecao de regularidade, quando arede se conduz por si so, ou seja, nao ha um supervisorque verifique as suas saıdas,Aprendizado supervisionado, ou seja, quando a saıdadesejada da rede durante o treinamento e fornecida paracomparacao, eAprendizado por reforco tem ’alguma’ supervisao.
Redes Neurais Artificiais: Introducao - Parte 1 13/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Desenvolvimento de Aplicacoes
Tipos de Aprendizagem
Aprendizagem Supervisionada:a cada entrada e associada uma saıda desejada,a rede aprende a associar cada entrada a saıda desejadacorrespondente,a mais usada em aplicacoes,a aprendizagem conexionista menos plausıvelpsicologicamente.
Aprendizagem Supervisionada e usada para:aproximacao de funcoes ou regressao:
quando as unidades de saıda da rede representam osvalores de funcoes contınuas.
classificacao:quando se quer associar cada dado de entrada a classecorrespondente.
Redes Neurais Artificiais: Introducao - Parte 1 14/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Desenvolvimento de Aplicacoes
Tipos de Aprendizagem
Autoassociacao:caso particular de aprendizagem supervisionada em que oconjunto de entrada e igual ao conjunto de saıda desejadausada, por exemplo, no problema decodificacao-compressao-decodificacao,psicologicamente mais plausıvel que a aprendizagemsupervisionada comum.
Algoritmos Supervisionados:backpropagation:
o mais usado em aplicacoes praticas,
backpropagation through time,rede recorrente simples de Elman:
usadas em problemas que envolvem processamentotemporal,
Redes Neurais Artificiais: Introducao - Parte 1 15/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Desenvolvimento de Aplicacoes
Tipos de Aprendizagem
Aprendizagem Nao Supervisionada:nao ha um conjunto de saıdas desejadas para otreinamento,a rede aprende correlacoes estatısticas entre os dados deentrada,a aprendizagem conexionista psicologicamente maisplausıvel,serve para identificar e extrair caracterısticas relevantes edividir o conjunto de treinamento em classes.
Algoritmos nao supervisionados:aprendizagem competitiva
ocorrem as ativacoes e a rede por si so, se encarrega declassificar os padroes, e na saıda da rede as unidadescompetem entre si.
aprendizagem de componentes principais,mapa auto-organizado de Kohonen.
Redes Neurais Artificiais: Introducao - Parte 1 16/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Desenvolvimento de Aplicacoes
Tipos de Aprendizagem
Aprendizagem por reforcotipo de aprendizagem supervisionada em que nao eassociado uma saıda desejada a cada entrada, mas umaindicacao de erro ou acerto da saıda produzida pela rede,mais plausıvel psicologicamente do que a aprendizagemsupervisionada comum,Algoritmo:
diferenca temporal, usado para controle.
Redes Neurais Artificiais: Introducao - Parte 1 17/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Topologias
Topologia
Os neuronios no cortex cerebral estao dispostos emcolunas e a maior parte das sinapses ocorre entre colunasdiferentes.No modelo matematico extremamente simplificado, osneuronios estao dispostos em camadas (para representaras colunas) e ha comunicacao entre neuronios decamadas diferentes.Tipos de Redes Conexionistas:
Multi-camadas feedforward,Multi-camadas recorrente: pelo menos um loop deretro-alimentacao, seja na propria unidade, ou entre umacamada e outra.
Redes Neurais Artificiais: Introducao - Parte 1 18/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Topologias
Colunas no cortex
Redes Neurais Artificiais: Introducao - Parte 1 19/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Topologias
Camadas da RNA
Redes Neurais Artificiais: Introducao - Parte 1 20/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Topologias
Rede Recorrente de Jordan1
1M. I. Jordan. Attractor Dynamics and Parallelism in a ConnectionistSequential Machine. Proceedings of the Eighth Annual Cognitive ScienceSociety Conference, pp. 531-546, Amherst, MA. Erlbaum, 1986 .
Redes Neurais Artificiais: Introducao - Parte 1 21/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Topologias
Rede Recorrente de Elman2
2J. L. Elman. Finding Structure in Time. Technical Report, Center forResearch in Language, UCSD, Number CRL-8801, April 1988.
Redes Neurais Artificiais: Introducao - Parte 1 22/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Topologias
Modelos Classicos
Baseados em uma descricao simples do neuronio,considerando:
a presenca de celulas pre-sinapticas e seus potenciaissinapticos,o limiar de ativacao ea propagacao de um potencial de acao.
Representam uma explicacao empobrecida dascaracterısticas do cerebro humano.
Redes Neurais Artificiais: Introducao - Parte 1 23/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Topologias
Vantagens e Limitacoes da RNA
Vantagens:solucao naturalmente paralela,robusta, tolerante a falhas,pemite a integracao de informacoes oriundas de fontes outipos diferentes,sistema adaptativo, capaz de aprender,mostra certo grau de autonomia no aprendizado,performance muito rapida no reconhecimento.
Limitacoes:ainda muito difıcil explicar seu comportamento, por causada falta de transparencia,solucoes nao escalam bem... computacionalmente carapara problemas de maior porte,ainda muito distante da realidade biologica.
Redes Neurais Artificiais: Introducao - Parte 1 24/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Topologias
Coffee break
Redes Neurais Artificiais: Introducao - Parte 1 25/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Sumario1 Introducao e Historico
Resumo e HistoriaDesenvolvimento de AplicacoesTopologias
2 O CerebroO Cerebro como ModeloNeuronios e SinapsesCaracterısticas do Sistema NervosoA Hipotese de HebbRamon y Cajal
3 ModelosMcCulloch-PittsO Perceptron
4 RepresentacaoRepresentacao Conexionista
Redes Neurais Artificiais: Introducao - Parte 1 26/82
logo
Introducao e Historico O Cerebro Modelos Representacao
O Cerebro como Modelo
O Cerebro humano
A evolucao natural deu ao cerebro humano muitascaracterısticas desejaveis que nao estao presentes namaquina de von Neumann, tais como:
Paralelismo massivo,Representacao e computacao distribuıdas,Habilidade de aprendizado,Habilidade de generalizacao,Adaptabilidade,Processamento de informacao contextual inerente,Tolerancia a falhas,Baixo consumo de energia.
Redes Neurais Artificiais: Introducao - Parte 1 27/82
logo
Introducao e Historico O Cerebro Modelos Representacao
O Cerebro como Modelo
Von Neumann vs. Sistema Neural
Redes Neurais Artificiais: Introducao - Parte 1 28/82
logo
Introducao e Historico O Cerebro Modelos Representacao
O Cerebro como Modelo
Computador vs. Cerebro
Redes Neurais Artificiais: Introducao - Parte 1 29/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Neuronio
Redes Neurais Artificiais: Introducao - Parte 1 30/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Sinapses
O neuronio “classico” tem muitos dendritos, usualmenteramificados, que recebem informacao de outros neuroniose um unico axonio que fornece como saıda a informacaoprocessada, atraves da propagacao de um “spike” oupotencial de acao.O axonio se ramifica para fazer sinapses com os dendritose corpos celulares de outros neuronios.O tipo predominante de sinapse no cerebro do mamıfero ea sinapse quımica, que opera atraves de liberacao deuma substancia transmissora do terminal pre-sinapticopara o terminal pos-sinaptico.Despolarizacao e uma reducao do potencial da membranacelular para zero mV, sendo que o interior do neuroniotorna-se mais positivo.
Redes Neurais Artificiais: Introducao - Parte 1 31/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Sinapses
A despolarizacao para um nıvel de potencial crıtico, olimiar, causa o inıcio de um impulso.No seu pico, o interior da celula torna-se positivo emrelacao ao seu exterior.Na maioria das sinapses, o terminal pre-sinaptico liberauma substancia quımica, o neurotransmissor, em respostaa uma despolarizacao.
Ha dois tipos basicos de sinapses: as sinapses eletricas(menos comuns) e as quımicas.As sinapses eletricas e quımicas tem morfologiascompletamente diferentes.
Redes Neurais Artificiais: Introducao - Parte 1 32/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Sinapse
Redes Neurais Artificiais: Introducao - Parte 1 33/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Os potenciais de acao (spikes) podem sergravados numa celula
Redes Neurais Artificiais: Introducao - Parte 1 34/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Sinapses eletrica e quımica
Nas sinapses eletricas:a transmissao ocorre atraves de canais de juncao (canaisde ıon especiais),
localizados nas membranas pre e pos-sinapticas: conexaocitoplasmatica entre as celulas.
parte da corrente eletrica injetada na celula pre-sinapticaescapa atraves de canais de repouso,a corrente restante e direcionada ao interior da celulapos-sinaptica atraves dos canais de juncao.
Nas sinapses quımicas:fenda sinaptica: pequena separacao celular entre ascelulas,vesıculas contendo moleculas de neurotransmissores noterminal pre-sinaptico,quando o potencial de acao alcanca estas vesıculas, osneurotransmissores sao liberados para a fenda sinaptica.
Redes Neurais Artificiais: Introducao - Parte 1 35/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Sinapse Eletrica
Redes Neurais Artificiais: Introducao - Parte 1 36/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Sinapse Quımica
Redes Neurais Artificiais: Introducao - Parte 1 37/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Morfologia da Sinapse
Os contatos sinapticos podem ser classificadosmorfologicamente em dois tipos basicos:
1 tipo I (figura A): estas sinapses tem especializacoes demembrana assimetricas e o processo pre-sinaptico contemvesıculas sinapticas redondas bastante grandes (50 nm),onde acredita-se que existam pacotes deneurotransmissores.
2 tipo II (figura B): estas tem especializacoes de membranasimetricas. As vesıculas sinapticas sao menores efrequentemente elipsoidais ou achatadas. A zona decontato e usualmente menor que da sinapse tipo I.
Redes Neurais Artificiais: Introducao - Parte 1 38/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Morfologia da Sinapse
Redes Neurais Artificiais: Introducao - Parte 1 39/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
As Sinapses podem Excitar ou Inibir
A importancia da classificacao nos dois tipos morfologicose que as sinapses do tipo I parecem ser excitatorias, aopasso que as sinapses do tipo II parecem ser inibitorias.As celulas nervosas influenciam outras por
1 excitacao, ou seja, elas produzem impulsos em outrascelulas e
2 inibicao, ou seja, elas previnem a liberacao de impulsos emoutras celulas.
Numa sinapse excitatoria, o transmissor liberado peloterminal pre-sinaptico despolariza a celula pos-sinaptica,fazendo com que o potencial de sua membrana atinja olimiar.Numa sinapse inibitoria, o transmissor tende a manter opotencial da membrana da celula pos-sinaptica abaixo dolimiar.
Redes Neurais Artificiais: Introducao - Parte 1 40/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
As Sinapses podem Excitar ou Inibir
Existe um outro criterio possıvel para determinar o caraterdas sinapses: o transmissor que elas usam.Em geral, assume-se que um dado transmissor farausualmente a mesma coisa em lugares diferentes, apesarde haver excecoes, dependendo da natureza dosreceptores pos-sinapticos.
Redes Neurais Artificiais: Introducao - Parte 1 41/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Generalizacoes sobre Sinapses
Varios metodos tem sido usados para identificar osneurotransmissores, mas cada tecnica tem limitacoes.No momento, e difıcil identificar os transmissoresenvolvidos e seus efeitos pos-sinapticos em muitassinapses do sistema nervoso central.
Redes Neurais Artificiais: Introducao - Parte 1 42/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Neuronios e Sinapses
Generalizacoes sobre Sinapses
Pode-se fazer uma lista de tentativas de possıveisgeneralizacoes sobre sinapses:
nenhum axonio faz sinapses tipo I em alguns locaisenquanto faz tipo II em outros;nenhum axonio no cerebro de mamıfero mostrou liberacaode dois neurotransmissores diferentes nao peptıdeos. (Masparece que muitos neuronios, incluindo neuronios corticais,podem liberar um transmissor “convencional” e umneuropeptıdeo, ou em alguns casos, dois ou maisneuropeptıdeos);nao existe evidencia no cerebro de mamıfero que ummesmo axonio possa causar excitacao e inibicao emsinapses diferentes, mas isto e certamente possıvel ja queo efeito de um dado transmissor depende dos tipos dosreceptores presentes e de seus canais de ıon associados.
Redes Neurais Artificiais: Introducao - Parte 1 43/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Caracterısticas do Sistema Nervoso
O Cerebro humano
Computacao no cortex cerebral:Massivamente paralela,Elementos processadores muito simples,1011 neuronios,1014 sinapses,Mil sinapses por neuronio,Centenas de milhares de tipos diferentes de neuronios,72 km de fibras,100 tipos diferentes de neurotransmissores.
Redes Neurais Artificiais: Introducao - Parte 1 44/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Caracterısticas do Sistema Nervoso
O Cerebro humano
Curiosidades [5, 12]:Axonios:
4.5 metros (aferente primario da girafa),100 microns = 10−4 metros (celula excitatoria tıpica docerebelo).
Comunicacao atraves de spikes:Estereotıpica (celulas piramidais comuns),Nenhuma (celulas horizontais da retina).
Velocidade do spike:400 km/h,2 km/h.
Conexoes de entrada:Cerca de 200.000 (celulas purkinje - celula inibitoria docerebelo),Cerca de 500 (celulas dos ganglios da retina).
Redes Neurais Artificiais: Introducao - Parte 1 45/82
logo
Introducao e Historico O Cerebro Modelos Representacao
A Hipotese de Hebb
Donald Olding Hebb
Redes Neurais Artificiais: Introducao - Parte 1 46/82
logo
Introducao e Historico O Cerebro Modelos Representacao
A Hipotese de Hebb
Donald Hebb (1949)
“Quando um axonio da celula A e proximo o suficiente deexcitar uma celula B e repetidamente ou persistentementetoma parte em dispara-la, algum processo de crescimentoou mudanca metabolica acontece em uma ou ambas ascelulas tal que a eficiencia de A, como uma das celulasque disparam B, e aumentada”3.Hebb introduziu a palavra conexionismo: “A teoria eevidentemente uma forma de conexionismo, uma dasvariedades de interruptores, apesar de nao se tratar deconexoes diretas entre caminhos aferente e eferente: naoe uma psicologia ’S-R’, se R significa uma respostamuscular. O servidor de conexoes estabelece atividadescentrais autonomas, que sao a base para o aprendizado.”
3Donald O. Hebb. The Organization of Behavior: A NeuropsychologicalTheory, Wiley, 1949.
Redes Neurais Artificiais: Introducao - Parte 1 47/82
logo
Introducao e Historico O Cerebro Modelos Representacao
A Hipotese de Hebb
A hipotese de Hebb
Conhecimento: associacoes,Plasticidade do SNC:
sinapses sao criadas e destruıdas,pesos sinapticos mudam de valor,permite a aprendizagem: auto-organizacao interna quepermite:
codificacao de conhecimento novo,reforco de conhecimento existente.
Como dar um substrato neural ao aprendizado deassociacoes entre fatos do mundo?Hipotese de Hebb (1949):
reforca-se a conexao entre dois nos que sao altamenteativados ao mesmo tempo.Este tipo de regra e uma formalizacao da psicologiaassociacionista, que assegura que associacoes saoacumuladas entre coisas que ocorrem juntas.
Redes Neurais Artificiais: Introducao - Parte 1 48/82
logo
Introducao e Historico O Cerebro Modelos Representacao
A Hipotese de Hebb
A hipotese de Hebb
A Hipotese de Hebb permite modelar a plasticidade doSNC, adaptando-se a mudancas do meio ambiente,atraves da:
forca excitatoria e inibitoria das sinapses existentes, e dasua topologia.
A Lei de Hebb permite que uma rede conexionista aprendacorrelacoes entre fatos.
Redes Neurais Artificiais: Introducao - Parte 1 49/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Ramon y Cajal
Santiago Ramon y Cajal
Redes Neurais Artificiais: Introducao - Parte 1 50/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Ramon y Cajal
Princıpios de Ramon y Cajal
Princıpio da Especificidade Conectiva:“As celuas nervosas nao se comunicamindiscriminadamente umas com as outras nem formamredes aleatorias.”
Princıpio da Polarizacao Dinamica:“Os sinais eletricos dentro de uma celula nervosa fluemapenas em uma direcao: da recepcao do neuronio(normalmente os dendritos e o corpo celular) para a zonade disparo do axonio.”
Redes Neurais Artificiais: Introducao - Parte 1 51/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Sumario1 Introducao e Historico
Resumo e HistoriaDesenvolvimento de AplicacoesTopologias
2 O CerebroO Cerebro como ModeloNeuronios e SinapsesCaracterısticas do Sistema NervosoA Hipotese de HebbRamon y Cajal
3 ModelosMcCulloch-PittsO Perceptron
4 RepresentacaoRepresentacao Conexionista
Redes Neurais Artificiais: Introducao - Parte 1 52/82
logo
Introducao e Historico O Cerebro Modelos Representacao
McCulloch-Pitts
Warren McCulloch
Redes Neurais Artificiais: Introducao - Parte 1 53/82
logo
Introducao e Historico O Cerebro Modelos Representacao
McCulloch-Pitts
Neuronio de McCulloch-Pitts (1943)4
1 A atividade do neuronio e um processo “tudo-ou-nada”.2 Um certo numero fixo de sinapses deve ser excitado
dentro do perıodo de adicao latente para excitar umneuronio, e este numero e independente da atividadeanterior e da posicao do neuronio.
3 O unico atraso significativo no sistema nervoso e o atrasosinaptico.
4 A atividade de qualquer sinapse inibitoria previne aexcitacao do neuronio.
5 A estrutura da rede nao muda com o tempo.
4W. S. McCulloch and W. Pitts. A logical calculus of the ideas immanent innervous activity. Bulletin of Mathematical Biophysics, 5, 115-133, 1943.
Redes Neurais Artificiais: Introducao - Parte 1 54/82
logo
Introducao e Historico O Cerebro Modelos Representacao
McCulloch-Pitts
Neuronio de McCulloch-Pitts (1943)
Redes Neurais Artificiais: Introducao - Parte 1 55/82
logo
Introducao e Historico O Cerebro Modelos Representacao
McCulloch-Pitts
Neuronio de McCulloch-Pitts (1943)
xi : entradas (binario);wi : pesos sinapticos (real, porque as sinapses podeminibir (-) ou excitar (+) e tem intensidades diferentes);A computacao ocorre no soma:
n∑i=0
xi · wi
x0 = 1 e w0 = β = -θβ = bias e θ = limiar de ativacao.
Redes Neurais Artificiais: Introducao - Parte 1 56/82
logo
Introducao e Historico O Cerebro Modelos Representacao
McCulloch-Pitts
As RNA se abstraem de detalhes dos neuroniosreais
Redes Neurais Artificiais: Introducao - Parte 1 57/82
logo
Introducao e Historico O Cerebro Modelos Representacao
McCulloch-Pitts
As RNA se abstraem de detalhes dos neuroniosreais
Atrasos de conducao sao ignorados,Um sinal de saıda ou e discreto (p. ex., 0 ou 1) ou e umnumero real (p. ex., entre 0 e 1),A entrada da rede e calculada como a soma ponderadados sinais de entrada,A entrada da rede e transformada em um sinal de saıdavia uma funcao simples (p. ex., uma funcao de limiar).
Redes Neurais Artificiais: Introducao - Parte 1 58/82
logo
Introducao e Historico O Cerebro Modelos Representacao
McCulloch-Pitts
Funcoes de ativacao
Redes Neurais Artificiais: Introducao - Parte 1 59/82
logo
Introducao e Historico O Cerebro Modelos Representacao
O Perceptron
O perceptron
Como ja visto, o primeiro modelo matematico do neuroniofoi proposto por McCulloch & Pitts em 1943.Mais tarde, Rosenblatt (1957) criou o modelo doperceptron.Um perceptron modela um neuronio tomando uma somaponderada de suas entradas e enviando a saıda 1 (spike)se esta soma e maior que um determinado limiar deativacao.O perceptron, com funcao de ativacao linear, pode sermodelado como um discriminador linear:
dados 2 pontos, uma reta e capaz de discriminar esses 2pontos,para algumas configuracoes de m pontos, uma reta ecapaz de separar estes pontos em 2 classes.
Redes Neurais Artificiais: Introducao - Parte 1 60/82
logo
Introducao e Historico O Cerebro Modelos Representacao
O Perceptron
Conjunto de pontos linearmente separaveis
Redes Neurais Artificiais: Introducao - Parte 1 61/82
logo
Introducao e Historico O Cerebro Modelos Representacao
O Perceptron
Conjunto de pontos nao-linearmente separaveis(por 1 reta)
Redes Neurais Artificiais: Introducao - Parte 1 62/82
logo
Introducao e Historico O Cerebro Modelos Representacao
O Perceptron
OU Exclusivo
{(0,0),0; (0,1),1; (1,0),1; (1,1),0}
E por n retas?
Redes Neurais Artificiais: Introducao - Parte 1 63/82
logo
Introducao e Historico O Cerebro Modelos Representacao
O Perceptron
Limitacoes do perceptron
O perceptron e uma rede feedforward (nao recorrente) deuma unica camada.O perceptron so e capaz de aprender a solucao deproblemas linearmente separaveis.O algoritmo de aprendizagem do perceptron (regra delta)nao funciona com redes de mais de uma camada.
Redes Neurais Artificiais: Introducao - Parte 1 64/82
logo
Introducao e Historico O Cerebro Modelos Representacao
O Perceptron
Redes neurais e o modelo de David Marr (1969)
As ideias de Marr5 sao baseadas na regra de aprendizadode Donald Hebb (1949).As redes Hebb-Marr podem ser auto-associativas ouhetero-associativas.O trabalho de Marr e Hebb foi extremamente influente nateoria de redes neurais.
5D. Marr. A theory of cerebellar cortex. Journal of Physiology (London),Vol. 202, pp. 437-470, 1969.
Redes Neurais Artificiais: Introducao - Parte 1 65/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Sumario1 Introducao e Historico
Resumo e HistoriaDesenvolvimento de AplicacoesTopologias
2 O CerebroO Cerebro como ModeloNeuronios e SinapsesCaracterısticas do Sistema NervosoA Hipotese de HebbRamon y Cajal
3 ModelosMcCulloch-PittsO Perceptron
4 RepresentacaoRepresentacao Conexionista
Redes Neurais Artificiais: Introducao - Parte 1 66/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Representacao Conexionista
Representacao em RNA
Para que a rede conexionista possa receber e enviarinformacao de/para seu meio-ambiente, e essencial queessa informacao possa ser representada.Dois tipos:
representacao externa:usada nas unidades de entrada e saıda.
representacao interna:a representacao que se pode associar as unidadesescondidas.
Duas tecnicas para a representacao externa em redesconexionistas:
Representacao localista,Representacao distribuıda.
Redes Neurais Artificiais: Introducao - Parte 1 67/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Representacao Conexionista
Representacao em RNA
Representacao localista:cada entidade ou conceito ou caracterıstica e representadapor uma unica unidade processadora,a semantica de uma unidade independe das interpretacoesassociadas as outras unidades,pouco plausıvel biologicamente,pouco economica em recursos e nao permite representarsemelhancas entre conceitos.
Redes Neurais Artificiais: Introducao - Parte 1 68/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Representacao Conexionista
Representacao em RNA
Representacao distribuıda:cada entidade e representada por um padrao de ativacaodistribuıdo entre mais de uma unidade,cada unidade participa da representacao de mais de umaentidade,a interpretacao de uma dada representacao so pode serobtida a partir da analise do padrao global de ativacao devarias unidades,a interpretacao da ativacao de uma unidade isolada podenao ter sentido,a semantica associada a uma representacao conexionistadistribuıda nao e composicional,mais plausıvel biologicamente,
Redes Neurais Artificiais: Introducao - Parte 1 69/82
logo
Introducao e Historico O Cerebro Modelos Representacao
Representacao Conexionista
Representacao em RNA
Representacao distribuıda (continuacao):mais economica,poder representacional muito maior - permite representarsemelhancas entre conceitos,sao radicalmente diferentes das representacoessimbolicas.
A escolha da representacao da informacao externa e umponto chave na modelagem:
redes conexionistas capturam regularidades estatısticaspresentes no seu meio-ambiente (conjunto detreinamento),a rede so capta a informacao que a representacao externapossa codificar,a representacao externa pode ser a diferenca entre a redeaprender ou nao.
Redes Neurais Artificiais: Introducao - Parte 1 70/82
logo
Intervalo para o almoco
Redes Neurais Artificiais: Introducao - Parte 1 71/82
logo
Bibliografia
Bibliografia I
[1] D. H. Ackley, G. E. Hinton, and T. J. SejnowskiA learning algorithm for Boltzmann machines.Cognitive Science, vol. 9, pp. 147–169, 1985.
[2] D. S. Broomhead and D. LoweMultivariable functional interpolation and adaptivenetworks.Complex Systems, vol. 2, pp. 321-355, 1988.
[3] A. E. Bryson and Y.-C. HoApplied Optimal Control.Blaisdell, New York, 1969.
Redes Neurais Artificiais: Introducao - Parte 1 72/82
logo
Bibliografia
Bibliografia II
[4] F. Crick and C. AsanumaCertain Aspects of the Anatomy and Physiology of theCerebral Cortex.in J. L. McClelland and D. E. Rumelhart (eds.), ParallelDistributed Processing, Vol. 2, Cambridge, Massachusetts -London, England, The MIT Press, 1986.
[5] C. Eliasmith and C. H. AndersonNeural Engineering - Computation, Representation, andDynamics in Neurobiological Systems.A Bradford Book, The MIT Press, 2003.
Redes Neurais Artificiais: Introducao - Parte 1 73/82
logo
Bibliografia
Bibliografia III
[6] J. L. ElmanFinding Structure in Time.Technical Report, Center for Research in Language,UCSD, Number CRL-8801, April 1988.
[7] S. HaykinNeural networks - a comprehensive foundation, 2nd.edition.Prentice Hall, 1999.
[8] D. O. HebbThe Organization of Behavior: A NeuropsychologicalTheory.Wiley, 1949.
Redes Neurais Artificiais: Introducao - Parte 1 74/82
logo
Bibliografia
Bibliografia IV
[9] J. J. HopfieldNeurons with graded response have collectivecomputational properties like those of two-state neuron.Proceedings of the National Academy of Sciences (USA),79:2554–2558, 1982.
[10] A. K. Jain, J. Mao, and K. M. MohiuddinArtificial Neural Networks: A Tutorial.IEEE Computer, March 1996, pp. 31–44.
Redes Neurais Artificiais: Introducao - Parte 1 75/82
logo
Bibliografia
Bibliografia V
[11] M. I. JordanAttractor Dynamics and Parallelism in a ConnectionistSequential Machine.Proceedings of the Eighth Annual Cognitive ScienceSociety Conference, pp. 531–546, Amherst, MA. Erlbaum,1986.
[12] E. R. Kandel, J. H. Schwartz, and T. M. JessellPrinciples of Neural Science. Fourth Edition.McGraw-Hill, 2000.
[13] T. KohonenSelf-organized formation of topologically correct featuremaps.Biological Cybernetics, vol. 43, pp. 59–69, 1982.
Redes Neurais Artificiais: Introducao - Parte 1 76/82
logo
Bibliografia
Bibliografia VI
[14] G. G. MatthewsNeurobiology Molecules, Cells and SystemBlackwell Science Inc., Cambridge, Massachusetts -London, England, 2 edition, 2001. Figures:http://www.blackwellpublishing.com/matthews/figures.html. Acc. February, 2005.
[15] J. L. McClelland and D. E. Rumelhart (Eds.)Parallel Distributed Processing - Explorations in theMicrostructure of Cognition. Volume 2: Psychological andBiological Models.A Bradford Book - The MIT Press, 1986.
Redes Neurais Artificiais: Introducao - Parte 1 77/82
logo
Bibliografia
Bibliografia VII
[16] W. S. McCulloch and W. PittsA logical calculus of the ideas immanent in nervous activity.
Bulletin of Mathematical Biophysics, 5, 115-133.
[17] MUN - Memorial University of NewfoundlandCanada.Biology: http://www.mun.ca/biology/. Accessed inFebruary, 2005.
Redes Neurais Artificiais: Introducao - Parte 1 78/82
logo
Bibliografia
Bibliografia VIII
[18] M. MinskyA Neural-Analogue Calculator Based upon a ProbabilityModel of Reinforcement.Harvard University Psychological Laboratories, Cambridge,Massachusetts, January 8, 1952.
[19] M. L. Minsky and S. PapertPerceptrons: An Introduction to Computational Geometry.MIT Press, Cambridge, Massachusetts, 1969.
Redes Neurais Artificiais: Introducao - Parte 1 79/82
logo
Bibliografia
Bibliografia IX
[20] J. MurreIntroduction to Connectionism.Universiteit van Amsterdam en Universiteit Utrecht, 2001.http://www.neuromod.org/courses/connectionism/introduction-to-connectionism/
[21] J. L. G. RosaBiologically Plausible Artificial Neural Networks.Tutorial de duas horas, ministrado no IJCNN 2005 -International Joint Conference on Neural Networks,Montreal, Canada, em 31 de julho de 2005. Disponıvel emhttp://ewh.ieee.org/cmte/cis/mtsc/ieeecis/contributors.htm.
Redes Neurais Artificiais: Introducao - Parte 1 80/82
logo
Bibliografia
Bibliografia X
[22] F. RosenblattThe perceptron: A perceiving and recognizing automaton.Report 85-460-1, Project PARA, Cornell Aeronautical Lab.,Ithaca, NY, 1957.
[23] D. E. Rumelhart and J. L. McClelland (Eds.)Parallel Distributed Processing - Explorations in theMicrostructure of Cognition. Volume 1: Foundations.A Bradford Book - The MIT Press, 1986.
[24] S. Russell and P. NorvigArtificial Intelligence - A Modern Approach.2nd. edition. Prentice Hall, Inc., 2001.
Redes Neurais Artificiais: Introducao - Parte 1 81/82
logo
Bibliografia
Bibliografia XI
[25] J. von NeumannTheory and Organization of Complicated Automata.in Burks, A. W., ed. (1966), Theory of Self-ReproducingAutomata [by] John von Neumann, University of IllinoisPress, Urbana., pp. 29–87 (Part One).
[26] B. Widrow and M. E. HoffAdaptive switching circuits.in 1960 IRE WESCON Convention Record, pp. 96–104,New York, 1960.
[27] N. WienerCybernetics.Wiley, New York, 1948.
Redes Neurais Artificiais: Introducao - Parte 1 82/82
logo
Bibliografia
Bibliografia XII
[28] Wikipedia, the Free Encyclopedia.http://en.wikipedia.org/wiki/Main_Page
Redes Neurais Artificiais: Introducao - Parte 1 83/82