modelos de redes neurais auto-organizáveis ou com …fabro/if67d/slidesrna/som.pdf ·...

Modelos de Redes Neurais Auto-Organizáveis

ou com Treinamento Não Supervisionado

ou aindaRedes Concorrentes

Prof. João Alberto FabroIF67D – Sistemas Inteligentes 1

UTFPR - 2015

Redes Neurais Auto-Organizáveis

● Características:– Modelos que operam somente sobre os padrões de

entrada (não existe um vetor de “saída” nos padrões de treinamento)

– O aprendizado se dá pela comparação entre os padrões● Aplicações:

– Agrupamento de dados em Classes (Classificação);– Detector de Regularidades (Extração de Características

comuns aos padrões de Treinamento)


● Os algoritmos não-supervisionados são geralmente baseados em uma forma de competição entre os processadores

● O método mais comum é o chamado Competitive Learning – Aprendizado Competitivo

● É uma forma de aprendizado que divide o conjunto de padrões de entrada em grupos inerentes aos dados

● Em sua forma mais simples “winner takes all”

● Inspiração Biológica: Um neurônio, ao dispararar, inibe os neurônios na sua vizinhança(inibição lateral)


● Aplicações:– Mapeamento de Fonemas(Voz) para comandos;– Reconhecimento de Padrões(Caracteres)– Previsão

● Utilização Principal:– Classificação de Padrões em grupos(Clusters) por

similaridade (Clusterização?), Agrupamento em classes de similaridade

Redes Neurais Auto-OrganizáveisModelos

● Modelo LVQ(Linear Vector Quantization)– Modelo mais simples

● Modelo SOM(Self-Organizing Memory-Kohonen)– Modelo mais utilizado

● Modelo ART (Adaptive Ressonance Theory)– Memória Associativa

Redes Neurais Auto-Organizáveis● Redes auto-organizáveis são as que não necessitam de

treinamento supervisionado. Este tipo de rede, por exemplo, classifica padrões apresentados em sua entrada a partir das similaridades encontradas entre estes padrões, criando automaticamente classes que agregam padrões similares. Um exemplo são as redes competitivas[Rum85], utilizadas para classificação de dados em agrupamentos (clusters) com características semelhantes.

● Estas redes são ditas competitivas pois, a cada apresentação de um padrão de entrada, os neurônios competem pela classificação, e o neurônio mais ativo inibe os outros. O neurônio vencedor representa a classe a qual pertence o padrão de entrada, e os pesos das conexões são então modificados de acordo com a classificação.


● Exemplo de Rede Competitiva:

w ij

Entradas

Saídas

Redes Neurais Auto-Organizáveis - Competitive Learning

• Características Básicas:

– Regra de Propagação -> netj = xi .wij = X.Wj

– Função de Ativação -> Degrau(para o neurônio vencedor)

– Topologia -> Uma única camada de processadores.

– Algoritmo de Aprendizado -> Não Supervisionado:

w ik = . (xi - wik )

– Valores de Entrada/Saída -> Binários/Contínuos


• Funcionamento:

– os vetores X e W j devem ser normalizados – somente o neurônio vencedor é ativado (neurônio com maio valor de net)

sk = 1 se netk > neti , i k

sk = 0 caso contrário

– somente os pesos do neurônio vencedor são atualizados w ik = . (xi - wik )


• Objetivo:

–Ajusta-se os pesos de forma que vetores de entrada similares ativem o mesmo neurônio

• Aprendizado:

–A direção de atualização dos pesos minimiza a diferença entre o vetor de pesos e o vetor de entrada do processador vencedor.


● Por que deve-se usar < 1?

Para representar a CLASSE ou GRUPO de padrões semelhantes e não um padrão de entrada específico.

Procura-se achar o centro do GRUPO

OBS: deve ser adaptativo, decrescendo com o tempo


● Como os pesos devem ser inicializados?

Prática comum -> pesos randômicos e normalizados

a aleatoriedade distribui os pesos uniformemente pela hiperesfera

( Pode gerar processadores inúteis ->nunca vencem a competição ):

– Super-grupos processadores que representam mais de uma classe

– Sub-grupos mais de um processador para representar uma única classe


● Como os pesos devem ser inicializados?

Solução -> distribuir os vetores de pesos de acordo com a densidade de vetores de entrada

Mais pesos na região com mais amostras de vetores de entrada

Mapa de Kohonen

Redes Neurais Auto-Organizáveis● A estratégia utilizada pelas redes competitivas é a inibição lateral

dos outros neurônios, de modo que apenas um saia vitorioso. Tal estratégia é inspirada em estudos sobre o funcionamento do córtex cerebral humano, e leva à classificação de padrões não muito diferentes em neurônios contíguos (preservando a topologia dos padrões de entrada). Baseado nestas idéias, Kohonen[Koh82] propôs uma extensão às redes competitivas, o denominado mapa de características de Kohonen.

● O algoritmo de auto-organização atua como um classificador de características dos padrões de entrada, descobrindo as regularidades, dividindo-os em classes de elementos similares. As conexões entre os neurônios na vizinhança são inibitórias, fazendo que um neurônio ativo iniba a ativação de todos os que o circundam.


● Exemplo de Rede SOM(Kohonen):

Entradas

Mapa Auto-

Organizável

Redes Neurais Auto-Organizáveis Mapa de Kohonen

● A atualização de pesos é feita não só para o neurônio vencedor k mas também para os neurônios pertencentes a uma certa vizinhança NE k (t), ajustável com o tempo.

Redes Neurais Auto-Organizáveis Mapa de Kohonen

Redes Neurais Auto-OrganizáveisNeuro-Darwinismo

● Modelo de Edelman aplicado à robótica móvel

-90

90

0-3

+3

-6

+6

-9

33

75 6550

4540

36

...

Redes Neurais Auto-OrganizáveisNeuro-Darwinismo

● Modelo de Pavlov – Reflexo condicionado a estímulo


0o3

6

9

45

75

90

o

o

o

o

o

o

o

W

W

39x39

39x2

39 neurônios

39 neurônios

Controle Motor

ré

esquerda

direita

frente(default)

Comportamento

DistânciaSensores de Sensores Nebulosos de Colisão

Sensores Nebulosos de Alvo90o-90o

o

-36

9

45

75

90o

o

o

o

60

o

o60

--

----

Ações de

Regras Nebulosas

.

.

.

.

.

.

. . . . . . . .

Pesos

Seletor de

Pesos

modelos de redes neurais auto-organizáveis ou com …fabro/if67d/slidesrna/som.pdf ·...

Documents