prof. frederico brito fernandes [email protected] redes neurais artificiais (rna): introdução...
TRANSCRIPT
Prof. Frederico Brito [email protected]
Redes Neurais Artificiais (RNA): Introdução
CONTEÚDO
(1) Introdução(2) Histórico(3) Redes e Neurônios Biológicos(4) Neurônios Artificiais(5) Funções de Ativação(6) Principais Arquiteturas
Disciplina: Sistemas Inteligentes II
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 2/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(1) Introdução
• Ressurgiu no final da década de 80– Conexionismo: Computação não algorítmica
• Lembram a estrutura de um cérebro.– Sistemas paralelos distribuídos, compostos por
unidades de processamento (nodos), que calculam funções matemáticas!
– Unidades compostas em camadas e interligadas por conexões -> Inspirado no cérebro humano
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 3/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(1) Introdução
• Solução bastante atrativa– Desempenho superior às soluções
convencionais.
• Fase de Aprendizagem– Exemplos são apresentados;– Extrai-se características necessárias;– Características utilizadas para gerar respostas
aos problemas.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 4/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(1) Introdução
• Capacidade de aprender– Através de exemplos, generalizando a
informação aprendida.• É o maior atrativo das RNAs
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 5/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(2) Histórico
• Primeiro modelo artificial – Warren McCulloch e Walter Pitts em 1943– McCulloch - Psiquiatra e Pitts – Matemático
• Modelo de Nodos ou nodos MCP
• Discussão em cima dos métodos de aprendizagem.
• Modelo MCP – Descrição do modelo artificial.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 6/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(2) Histórico
• Primeiro trabalho ligado ao aprendizado – Donald Hebb – 1949– Variação dos pesos de entrada dos nodos– Utilizado hoje em vários algoritmos de
aprendizagem
• 1958 – Frank Rosenblatt demonstrou que o perceptron poderiam classificar certos tipos de padrões.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 7/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(2) Histórico
• Perceptron de 3 camadas:– 1 – Valores de Entrada (conexões fixas);– 2 – Recebe os valores de entrada, cuja
transmissão é ajustável;– 3 – Envia as saídas como resposta.
• Faz classificação dividindo o espaço de valores em regiões distintas.
• Valores devem ser linearmente separáveis
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 8/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(2) Histórico
• Os conexionistas buscam até hoje:– Projetar RNAs que fossem capazes de fazer
descobertas interessantes sem a necessidade de regras!
• Em 1969 – Minsky e Papert descobriram que o perceptron não resolvia “problemas difíceis de aprender”(hard learning problems) – problemas não linearmente separáveis!
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 9/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(2) Histórico
• Problema de tempo e espaço da IA simbólica, logo afetaria os conexionistas.
• Anos adormecidos (anos 70), apenas alguns trabalhos na área.
• 1982 – artigo de John Hopfield estimula a retomadas das pesquisas na área.– Redes neurais de múltiplas camadas poderiam
resolver os “problemas difíceis de aprender”.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 10/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(3) Motivação: Redes Biológicas
• Cérebro humano, comunicação de neurônios, processamento de informações e comportamento conjunto são a base para as RNAs.
• As RNAs tentam reproduzir as funções das redes biológicas.– Mas, pelo menos fisicamente, se diferem
bastante.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 11/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(3) Motivação: Redes Biológicas
• Ambos são baseados em unidades de computação paralela e distribuídas, que se comunicam via conexões sinápticas nervosas.
• As RNAs podem reproduzir com fidelidade funções só encontradas no seres humanos.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 12/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(3) Motivação: Neurônios Biológicos
• Neurônios são divididos em 3 seções:– Corpo, dendritos e o axônio.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 13/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(3) Motivação: Neurônios Biológicos
• O efeito das sinapses é variável, dando ao neurônio uma capacidade de adaptação.
• Sinais recebidos são passados para o corpo, onde são comparados com os outros sinais.
• Se o percentual é suficientemente alto, a célula dispara um impulso nervoso!!
• Entradas: inibidoras ou excitatórias!
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 14/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(4) Neurônios Artificiais: modelo MCP
• Simplificação do que se sabia sobre os neurônios biológicos.
• Modelo de n terminais de entrada x1, x2,...,xn (dendritos) e apenas uma saída y (axônio).
• Os terminais de entrada possuem pesos associados: w1, w2,...,wn (que podem ser positivos ou negativos – excitatórias ou inibitórias)
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 15/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(4) Neurônios Artificiais: modelo MCP
• O efeito de uma entrada é dado por: xiwi
• Os pesos determinam “em que grau” o neurônio deve considerar sinais de disparo que ocorrem naquela conexão.
• Um neurônio biológico dispara quando a soma dos impulsos que ele recebe ultrapassa o seu limiar de excitação (threshold)
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 16/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(4) Neurônios Artificiais: modelo MCP
• É feito a soma de cada xiwi (soma ponderada) e decide-se se o neurônio deve ou não disparar (saída 1 ou 0).
• No MCP, a ativação é dada pela “função de ativação”, que ativa ou não a saída.
∑ xiwi ≥ θi = 1
n
Função de Limiar:
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 17/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(4) Neurônios Artificiais: modelo MCP
• É considerado que os nodos de cada camada disparam sincronamente, todos são avaliados ao mesmo tempo.
• Limitações do MCP:– Com apenas 1 camada só resolvem problemas
linearmente separáveis;– Pesos negativos são mais adequados para
representar disparos inibidores;– Proposto com pesos fixos, não ajustáveis.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 18/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(5) Funções de Ativação
• Função DEGRAU: Produz saídas + para os valores de x maiores que zero e saída - para valores de x menores que zero.
+ se x > +
- se x ≤ -
{y =
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 19/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(5) Funções de Ativação
• Outros modelos propostos que produzem uma saída qualquer (≠ 1 ou ≠ 0)
• Função linear: y = αx
α – número realy – saídax - entrada
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 20/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(5) Funções de Ativação
• Função linear restringida, produzindo valores constantes em uma faixa [-,+], sendo chamada de função RAMPA;
+ se x ≥ +
x se |x| < +
- se x ≤ -{y =
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 21/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(5) Funções de Ativação
• Função SIGMOIDAL (S-shape): Utilizadas na construção de diversos modelos nas mais diversas áreas. Função Sigmoidal Logística:
y =1 + є-x/T
1
T - representa a suavidade da curva
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 22/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(6) Principais Arquiteturas das RNAs
• Redes com uma única camada de NODOS MCP, só resolvem problemas linearmente separáveis.
• Com mais camadas, resolvem outros tipos de problemas.
• Parâmetros da arquitetura: – número de camadas da rede;– número de nodos nas camadas;– tipo de conexão entre os nodos;– topologia da rede.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 23/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(6) Principais Arquiteturas das RNAs
• Número de camadas:– Camada única:
– Múltiplas camadas:
X1
x2
x3
x1
x2
x3
x4
x5
x6
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 24/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(6) Principais Arquiteturas das RNAs
• Tipos de conexões:– feedforward ou acíclica: saída de um nodo não pode
ser usada como entrada de outro em camada inferior ou na mesma camada.x1
x2
x3
x4
x5
x6
x1x2x3
x4
x5
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 25/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(6) Principais Arquiteturas das RNAs
• Tipos de conexões:– feedback ou cíclica: a saída de algum neurônio pode
ser usada como entrada de outro em camada inferior ou na mesma camada:
x1
x2
x3
x4
Se todas as ligações são cíclicas, a rede é denominada auto-associativa. Úteis para recuperação de padrões de entrada.
Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 26/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial
(6) Principais Arquiteturas das RNAs
• Conectividade:– Rede fracamente (ou parcialmente) conectada:
– Rede completamente conectada:x1
x2
x3
x4
X1
x2
x3
x1x2x3
x4
x5