redes neurais artificiais prof. júlio cesar nievola
TRANSCRIPT
Redes Neurais Artificiais
Prof. Júlio Cesar Nievola
Redes Neurais Artificiais
• Sistemas Neurais Artificiais• Conexionismo• Sistemas Adaptativos• Neurocomputadores• Sistemas Massivamente Paralelos
Distribuídos• Redes Neurais (Artificiais)
Redes Neurais Artificiais
• Reunião no Dartmouth College• Paradigmas básicos:
• Simbólico• Conexionista
• Perceptron (1 camada de pesos ajustáveis)• Descrédito a partir do final da década 60• Impulso a partir da década de 80
Computador x cérebro
Velocidade de processamento CPU: Clock (Cray 3) 4.2ns Neural: disparo neurônio ms
Ordem de processamento CPU: serial Neural: paralelo
Abundância e complexidade: CPU: um ou poucos processadores Neural: 1011-1014 neurônios; 103-104
conexões/neurônio
Computador x cérebro
Armazenamento do conhecimento CPU: estritamente relocável Neural: adaptativo
Tolerância a falhas CPU: mínima, senão inexistente Neural: boa
Controle do processamento CPU: controle autocrático, centralizado Neural: controle anárquico, distribuído
Elemento de base
• Neurônio simplificado
• Componentes:
• Axônio
• Dendritos
• Sinapses
Forma Matemática Simplificada
• Dendritos: entradas
• Corpo celular:
• Soma ponderada
• Função não-linear
• Axônio: distribuição aos neurônios
Terminologia
• Elementos de Processamento:• Nós• Memória de curto prazo• População
• Ligações entre elementos de processamento• Peso• (Força de) interconexão• Memória de longo prazo
Aprendizagem
• Supervisionada
• Não-supervisionada
• Com reforço
Etapas de Projeto
• Definir o problema• Escolher informação
• Obter dados• Criar arquivos rede
• Treinar a rede• Testar a rede• Uso em campo
Topologias: Construtiva
Topologias: Hopfield
Topologias: Recorrente
Topologias: Não-Supervisionada
Sub- e sobre-ajuste do polinômio
Validação Cruzada I
• Evita sobreposição nos conjuntos de teste• Passo 1: os dados são divididos em k subconjuntos
de mesmo tamanho• Passo 2: em cada instante um subconjunto é usado
para teste e os demais para treinamento• Isto é chamado validação cruzada de fator k• Normalmente os subconjuntos são estratificados
antes de realizar a validação cruzada• Faz-se a média das estimativas de erro para obter
o erro estimado geral
Validação Cruzada II
• Método padrão para avaliação: validação cruzada estratificada com fator 10
• A realização de vários experimentos tem demonstrado que 10 é a melhor escolha
• A estratificação reduz a variância da estimativa
• Opção melhor: validação cruzada estratificada com fator 10 repetida (10 x)
Extração de Regras
• É a tarefa de converter modelos de redes neurais treinadas em representações mais facilmente compreensíveis
• Surgiu em função de• Data Mining boom• Interesse em métodos como boosting,
bagging e error-correcting output codes
Características dos Métodos de Extração de Regras• Compreensibilidade
• Quanto são humanamente compreensíveis• Fidelidade
• Quanto modela a RNA da qual foi extraída• Precisão
• Previsão precisa sobre exemplos não vistos• Escalabilidade
• Grandes espaços de entrada, unidades e conexões• Generalidade
• Treinamento especial e/ou restrições
Implementações
• Características-chave:• Computacionalmente intensivas• Massivamente paralelas• Grandes requisitos de memória
• Possibilidades de implementação• Computadores convencionais• Computadores dedicados• Implementação em hardware específico
Redes Neurais Artificiais
• Razões para utilização
• Paralelismo
• Capacidade de adaptação
• Memória distribuída
• Capacidade de generalização
• Facilidade de construção
Redes Neurais Artificiais
• Limites de utilização
• Simulação em máquinas seqüenciais
• A passagem da simulação para a
implementação em hardware está no início
• O desempenho é dependente da qualidade e
da pertinência do pré-tratamento efetuado
Redes Neurais Artificiais
• Características de uma boa aplicação• Regras de resolução do problema
desconhecidas ou difíceis de formalizar• Dispõe-se de um grande conjunto de
exemplos e suas soluções• Necessita-se de grande rapidez na resolução
do problema, p.ex. Tempo real• Não existem soluções tecnológicas atuais
Redes Neurais Artificiais
• Domínios de aplicação privilegiados• Reconhecimento de formas• Tratamento de sinal• Visão, fala• Previsão e modelagem• Auxílio à decisão• Robótica