mapas auto - organizadospgomez/cursos/redes neuronales artificiales... · “teuvo kohonen...

(c) P. Gómez Gil. INAOE 2008-2012

1

C261C261--69 69 Tópicos Avanzados:Tópicos Avanzados: Redes Neuronales ArtificialesRedes Neuronales Artificiales

Mapas AutoMapas Auto--OrganizadosOrganizados

Dra. Pilar Gómez GilDra. Pilar Gómez Gil

Coordinación de ComputaciónCoordinación de Computación

INAOEINAOE Modified: 26-03-12

http://ccc.inaoep.mx/~pgomez

http://ccc.inaoep.mx/

http://www.inaoe.gob.mx/


2

AutoAuto--OrganizaciónOrganización

Capacidad de adaptación sin un profesor, a través de

confrontación con el medio ambiente.

http://asesoriaprof.tripod.com/images/organizacion.gif


3

Principios intuitivos de la Principios intuitivos de la AutoAuto--organizaciónorganización

• Como puede generarse organización

“autónoma”?

• En 1952, Turing realizó la siguiente

observación:

“Se puede obtener orden global a

través de interacciones locales”


4

Principios de autoPrincipios de auto--organización en RNAorganización en RNA

1. Las modificaciones en los pesos sinápticos tienden a auto-amplificarse

2. La limitación de recursos lleva a la competencia entre sinapsis y por lo tanto a la selección de la sinapsis con el crecimiento mas vigoroso, a expensas de otras

3. Las modificaciones en los pesos sinápticos tienden a cooperar entre sí.


5

RedundanciaRedundancia

• El aprendizaje en sistemas auto-organizados debe llevarse a cabo con ejemplos que contengan redundancia en los patrones de activación alimentados a la red por el medio ambiente

La redundancia provee de conocimiento.


6

Dilema EstabilidadDilema Estabilidad--Plasticidad en el AprendizajePlasticidad en el Aprendizaje11

¿Cómo se puede diseñar un sistema de auto-aprendizaje, de manera que permanezca

adaptivo o "plástico" en respuesta a cambios significativos en su medio ambiente, y a la

vez sea "estable" ante eventos irrelevantes?

1. S. Grossberg. “How does the Brain Build a Cognitive Code”. Phychological

Review, 87, pp. 1-51- 1980


7

Conceptos básicos en sistemas Conceptos básicos en sistemas autoauto--organizativosorganizativos

• El propósito de un algoritmo de auto-organización es descubrir patrones significativos o características en los datos de entrada, haciendo este descubrimiento sin un maestro.


8

Conceptos básicos en sistemas Conceptos básicos en sistemas autoauto--organizativos (cont.)organizativos (cont.)

• El aprendizaje no supervisado consiste en modificar repetidamente los pesos de una RNA en respuesta a patrones de activación, y de acuerdo a reglas prescritas, hasta que una configuración final se desarrolle.


9


• Un algoritmo de aprendizaje debe seguir una serie de reglas de naturaleza LOCAL

• Esto significa que los cambios aplicados a los pesos de un neurón están limitados a cambios que afectan solo a vecinos de dicho neurón.

• la auto-organización es un proceso cotidiano y fundamental en la organización cerebral.


10


• Para conseguir esto, un algoritmo debe seguir una serie de reglas de naturaleza local, donde local significa que los cambios aplicados a los pesos de un neurón están limitados a cambios que afectan solo a vecinos de dicho neurón

• Debe haber redundancia en los patrones de activación alimentados a la red por el medio ambiente, a fin de que exista auto-organización. La redundancia provee conocimiento.


11


• La organización se lleva a cabo a través de la interacción de 2 niveles de neuronas, que interactúan entre sí por medio de ciclos de retro-alimentación. Esta interacción se lleva a cabo con 2 fases principales: – Activación: La red produce patrones "activos"

como respuesta a señales de entrada – Conectividad: Las fuerzas de conexión (pesos

sinápticos) de la red se modifican en respuesta a señales neuronales en los "patrones" activos, debido a plasticidad sináptica.


12

Algunas redes neuronales Algunas redes neuronales artificiales autoartificiales auto--organizacionalesorganizacionales

• Red de HAMMIN y MAXNET.

• Red de CONTRA-PROPAGACIÓN.

• Mapas de características auto-organizacionales de KOHONEN.

• Redes ART (Adaptive Resonance Theory)


13

El proceso de formación de grupos El proceso de formación de grupos (clustering)(clustering)


14

El proceso de formación de El proceso de formación de gruposgrupos

TeuvoTeuvo KohonenKohonen

“Teuvo Kohonen recibirá el premio “Frank Rosenblatt” por sus contribuciones para el avance de la teoría y aplicaciones de las redes neuronales, memorias asociativas y mapas autoorganizados, las cuales son herramientas de la IA que se usan actualmente en infinidad de aplicaciones en áreas de finanzas, ciencias naturales, lingüística, robótica, entre otras. Los mapas organizados creados por el Dr. Kohonen, conocidos como SOM, por sus siglas en inglés, son considerados como uno de los inventos más significativos en las ciencias computacionales. El Dr. Kohonen trabaja en la Universidad Tecnológica Helsinki, en Espoo, Finlandia.” Columna Estado del I-Arte, Komputer Sapiens. Año 1, No. 1 Oct. 2008. pp.4. México


15


16

El Modelo de KohonenEl Modelo de Kohonen11

• Al parecer, el cerebro forma mapas para almacenar características, o atributos de alto nivel (semánticos), que son bi-dimensionales

• En 1982, Kohonen presentó un modelo con esta capacidad. Quiso mostrar que un estímulo externo (entrada), es capaz de forzar la formación de mapas, suponiendo una estructura determinada y una descripción funcional

1 Material tomado de [Hilera & Martínez 2000 ] y [De los Santos 2003]


17

Tipos de redes de KohonenTipos de redes de Kohonen

• Hay 2 variantes de este modelo:

•LVQ: Learning Vector Quantization

•TMP ó SOM: Topology preserving map o Self-Organizing map.


18

Modelo LVQModelo LVQ

• Los neurones de salida compiten entre sí, a través de conexiones laterales de inhibición (pesos negativos).

• Cada neurona tiene influencia de sus vecinas, y la magnitud de la influencia la representa una función, que normalmente es de tipo “sombrero mexicano”


19

Diagrama de una red LVQDiagrama de una red LVQ [[Hilera y Martínez 00Hilera y Martínez 00]]


20

Función de inhibición lateralFunción de inhibición lateral


21

Modelo TPM o SOMModelo TPM o SOM • Este modelo trata de establecer una

correspondencia entre los datos de entrada y un espacio bidimensional, creando mapas topológicos, de manera que datos similares activen neuronas en zonas próximas.

• Esta red es de tipo auto-organizado, esto es, que se organiza por sí misma.

• Está concebida para clasificar conjuntos de datos para los que no se conoce a priori ningún tipo de organización.


22

Modelo TPM o SOM (cont.)Modelo TPM o SOM (cont.)

• La red, a partir de un proceso de auto-organización, proporciona un resultado, que depende de la relación de similitud existente entre dichos patrones de entrada.

• El tipo de aprendizaje es no supervisado.


23

CaracterísticasCaracterísticas

• Los datos deben tener un grado de redundancia elevado para realizar su clasificación.

• La red divide el conjunto de datos en distintos subconjuntos (clusters), cada uno de los cuales agrupa a datos similares, con algún tipo de característica en común (clustering).


24

Características (cont.)Características (cont.)

• El desarrollo de un método de clustering requiere elaborar alguna medida de la semejanza entre los datos (distancia euclidiana, Correlación, etc.).

• Cada cluster se representa por un prototipo

• Es una red de tipo competitiva


25

Red SOMRed SOM

[Hilera y Martínez 00]


26

ArquitecturaArquitectura • Cada una de las N neuronas de entrada se

conecta a las M neuronas de salida a través de conexiones hacia adelante (feedfoward).

• Entre las neuronas de la capa de salida, existen conexiones laterales de inhibición (peso negativo) implícitas,

• Aunque no estén conectadas, cada una de las neuronas van a tener cierta influencia sobre sus vecinas.

• El valor que se asigne a los pesos de las conexiones entre las capas de entrada y salida durante el proceso de aprendizaje de la red, va a depender precisamente de esta interacción entre vecinos.


27

AprendizajeAprendizaje • El objetivo del algoritmo de aprendizaje de SOFM

es almacenar una serie de patrones de entrada x X, a través de encontrar un conjunto de prototipos {wj | j = 1, 2…M} que representen al mejor mapa de características posible, que llamaremos , y que presente alguna estructura topológica. M es el número de prototipos deseados (neuronas en la red).

• El proceso de aprendizaje de SOM es estocástico, fuera de línea y no supervisado.


28

Algoritmo de aprendizajeAlgoritmo de aprendizaje [Martín & Sanz 01 en De los Santos 02][Martín & Sanz 01 en De los Santos 02]

1. Inicialice los pesos con valores al azar: para i=1..M (número de neurones)

2. Escoja al azar un patrón del conjunto de

entrenamiento, para la iteración t. 3. Por cada neurona i en el mapa de

características , calcule la similitud entre el conjunto de pesos y el patrón . Para esto puede usarse la distancia Euclidiana:

para i=1..M

())0( randomiw

)(tx

iw )(tx

N

k

kik xwd1

22 )(x,w i


29

Aprendizaje de SOM (2)Aprendizaje de SOM (2)

4. Encuentre un neurona ganadora i* correspondiente a la que obtuvo la mínima distancia (máxima similitud)

5. Modifique los pesos de la neurona ganadora i* y los de sus vecinos:

corresponde a una función de vecindad centrada en la neurona ganadora i* y es una función de proporción de aprendizaje, …

)(j para )),()()(()()1( * tttttt i jjj wxww

)(* ti

)(t


30

Aprendizaje de SOM (4)Aprendizaje de SOM (4)

por ejemplo, definida como:

6. Regrese al paso dos, hasta que no existan mas cambios en el mapa de características o hasta que número máximo de iteraciones se alcance.

t

tt

t1

1)( ó 1

)( 1

UsoUso de la red SOMde la red SOM

• Una vez entrenada, la red SOM puede recibir un patrón x y determinar la

similitud de éste con todos los pesos en el mapa .

• La neurona ganadora será aquella con la mínima distancia Euclidiana entre sus pesos y el patrón.

• El patrón pertenece entonces al grupo definido por dicha neurona


31


32

Ejemplo de zona de vecindad [Hilera & Martínez 00]

La zona de vecindad puede cambiar en diferentes iteraciones…

Ejemplo: Creando mapas Ejemplo: Creando mapas contextuales [Haykin 1999]contextuales [Haykin 1999]


33

Mapa generadoMapa generado


34

Regiones formadasRegiones formadas


35


36

Ejemplo: Ejemplo: agrupando puntosagrupando puntos 11

• Utilizando una red de Kohonen, se desea agrupar en 4 o en 100 grupos un conjunto de puntos, los cuales fueron generados al azar en un espacio cartesiano.

• Para realizar esto, se usará una red con 2 nodos de entrada (las coordenadas de cada punto) y 4 o 100 nodos de salida, organizados en una dimensión.

• Al final del entrenamiento, los pesos de cada nodo del nivel de salida contendrán el “prototipo” representante de cada grupo.

1. Tomado de Hilera J. y Martínez V. Redes Neuronales Artificiales. Alfaomega. 2000 pp. 261-266


37

Arquitectura de la red del Arquitectura de la red del ejemploejemplo

x y


38

Casos de prueba del Casos de prueba del ejemploejemplo

• Se presentan los resultados con 3 casos: – En el primer caso, se utilizaron 20 puntos al

azar, generados con una distribución uniforme y se agrupan en 4

– En el segundo caso, se utilizaron 2,000 puntos generados al azar con una distribución uniforme y se agrupan en 100

– En el tercer caso, se utilizaron 200 puntos generados al azar con una distribución taroidal y se agrupan en 100


39

ResultadosResultados • En los siguientes 3 filminas, se muestran los

estados de la red en diferentes puntos del entrenamiento para cada uno de los casos.

• Las gráficas muestran los puntos usados en el entrenamiento, y los puntos prototipos generados a ese momento del entrenamiento.

• Los puntos prototipos están dados por los valores de los pesos de cada neurón de salida en dicho momento de entrenamiento.

• Con los puntos prototipos se dibuja un diagrama de Voronoi, que hace evidente las zonas de pertenencia de los prototipos.


40

Diagramas de VoronoiDiagramas de Voronoi

• Cuando la medida de similitud que se utiliza para asignar un patrón de entrada a una determinada región es la distancia Euclidiana, se produce un diagrama de Voronoi.

• El conjunto de puntos de Rn que están más cerca de un prototipo yi, que de los restantes prototipos forma un poliedro (polígono en el plano) que se denomina diagrama de Voronoi [Reinoso 02].


41

Diagrama de VoronoiDiagrama de Voronoi [Reinoso 02 en [Reinoso 02 en De los Santos 02De los Santos 02]]


42

Resultados en 4 diferentes épocas del caso 1Resultados en 4 diferentes épocas del caso 1 [H

ilera

J. y

Martín

ez V

. 2000]


43

Resultados en 4 diferentes épocas del caso 2Resultados en 4 diferentes épocas del caso 2

[Hile

ra J

. y M

artín

ez V

. 2000]


44

Resultados en 4 diferentes épocas del caso 3Resultados en 4 diferentes épocas del caso 3

[Hilera J. y Martínez V. 2000]

Visualizando el aprendizaje Visualizando el aprendizaje de SOM de SOM [Germano 1999][Germano 1999]


45

Disponible en: http://davis.wpi.edu/~matt/courses/soms/applet.html

http://davis.wpi.edu/~matt/courses/soms/applet.html


46

Una Aplicación de SOMUna Aplicación de SOM

Reconocimiento de caracteres manuscritos y de imprenta antiguos

“The Role of Neural Networks in the interpretation of Antique Handwritten Documents.” Gómez-Gil, P., De-Los-Santos Torres G., Navarrete-García J. Ramírez-Cortés M. Hibrid Intelligent Systems. Analysis and Design Series: Studies at Fuzziness and Soft Computing. Vol. 208. Editors: Castillo, O. Melin, P. Kacprzyk W. 2007 Springer.. Pags. 269-281.


47

Un ejemplo de escritura antigua: Un ejemplo de escritura antigua: Telegrama de Porfirio DíazTelegrama de Porfirio Díaz


48

Un ejemplo de libro antiguoUn ejemplo de libro antiguo


49

El problema de reconocimiento de El problema de reconocimiento de caracteres/imprenta antiguacaracteres/imprenta antigua

–Documentos dañados por el paso del tiempo

–El proceso de digitalización requiere de cuidados especiales, para proteger el documento

–Reconocimiento es fuera de línea. No hay información disponible sobre la dinámica de la escritura

Cont..


50

El problema de reconocimiento de El problema de reconocimiento de caracteres/imprenta antigua caracteres/imprenta antigua (2)(2)

– Los estilos antiguos de escritura tienen muchos ornamentos

– Los fonts no son uniformes. Esto es particularmente fuerte en la escritura manuscrita. El mismo caracter se ve diferente en diferentes lugares de una palabra

– La forma de la escritura manuscrita varia en la misma persona, dependiendo de factores del ambiente, estado de animo, tipo de pluma, edad, etc.

Cont…


51

Diferencias entre escritura del Diferencias entre escritura del mismo escritormismo escritor

a

a

a

i

o

“a”, presenta diferente forma

Dependiendo de la posición de

La palabra y en diferentes palabras

carmelita

ruido

Indígena

Una letra se

puede confundir con

La conexión “i” y “n” están encimadas


52

El problema de reconocimiento de El problema de reconocimiento de caracteres/imprenta antigua caracteres/imprenta antigua (3)(3)

• Por lo tanto:

– No hay prototipos evidentes que definan cada clase

– La varianza entre miembros de una clase es mayor que los valores deseados

– Las métricas comunes, como la Euclidiana, son muchas veces inútiles, pues la distancia puede ser mayor entre patrones pertenecientes a la misma clase, de lo que es a patrones de diferentes clases


53

9. Editing

Un OCR para documentos manuscritos

1. Digitizing

2. Pre-

processing Digital Image Original

Document

3. Segmentation

of words Clean image

4. Character

Segmentation and feature extraction

6. Recognition

of characters

8. Identification of words

7. Training

of recognize

r

10. Correction

of style Transcription of

document

Parameters for training

Character objects

Possible characters

NN knowledge

Possible words

Words in text

Dictionary

5. Training of

segmentation

Segmentations for training

Words

Character objects

Parameters for training

NN knowledge


54

Redes autoRedes auto--organizables organizables para reconocer caracterespara reconocer caracteres

• Un reconocedor no supervisado puede aprender y representar la ambigüedad inmersa en los patrones a reconocer

• Utilizando mapas topológicos, es posible representar las similitudes y diferencias en cada clase de caracteres. Por lo tanto, es posible representar mas información que cuando se usan otros métodos de reconocimiento

• Se construyó la red SOFM (Self Organized Feature Map)


55

ExperimentosExperimentos • Se realizaron diferentes experimentos, utilizando

diferente número de clases, a fin de analizar detalladamente y entender el comportamiento de la red

• Empezamos con 3 clases y llegamos hasta 21. Desafortunadamente, al momento de realizar este trabajo, no se contaba con suficientes datos para probar el alfabeto completo usando sus 27 clases

• Los resultados se compararon con un “algoritmo de vecino mas cercano”, utilizando el algoritmo “k-means” para obtener los prototipos necesarios para usar el “vecino mas cercano”

56

Algunos resultadosAlgunos resultados Número de

clases

Número de patrones de

entrenamiento

Tipo de reconocedor

Porcentaje de reconocimient

o en el conjunto de

entrenamiento

3 13 Nearest neighbor 84%

SOFM (3x3) 92%


SOFM (5x1) 58%

SOFM (5x2) 71%

SOFM (5x5) 73%


SOFM (5x12) 63%

SOFM (2x30) 70%



57

Algunos mapas de características Algunos mapas de características

generados por vocalesgenerados por vocales


58

Mapas de características Mapas de características utilizando 21 clasesutilizando 21 clases


59

BibliografíaBibliografía 1. S. Grossberg. “How does the Brain Build a Cognitive Code”.

Phychological Review, 87, pp. 1-51- 1980 2. Hilera, José y Martínez, Víctor. Redes Neuronales Artificiales.

Alfaomega. 2000. 3. Germano, T. “Self-Organizing Maps” course material, Available

at: http://davis.wpi.edu/~matt/courses/soms/index.html#Java 4. Gómez-Gil, P. De-Los-Santos Torres G., Navarrete-García J.,

Ramírez-Cortés M.“The Role of Neural Networks in the interpretation of Antique Handwritten Documents.” Hybrid Intelligent Systems. Analysis and Design Series: Studies at Fuzziness and Soft Computing. Vol. 208. Editors: Castillo, O. Melin, P. Kacprzyk W. 2007 Springer.. Pags. 269-281.

5. Gómez-Gil, P. Gutierrez-Pulido, R. Columna Estado del I-Arte, Komputer Sapiens. Año 1, No. 1 Oct. 2008. pp.4. México

6. Haykin, Simon. Neural Networks, a comprehensive foundation” Second Edition, Delhi, India. Pearson Education. 1999

http://davis.wpi.edu/~matt/courses/soms/index.html

http://www.springerlink.com/content/33661173371xm44j/



http://ccc.inaoep.mx/~ksapiens/archivos/KS11.pdf



