Mapas Autoorganizados de kohonenEdgar Richard Polonio Bocanegra

Universidad San Pedro – Campus de Chimbote, Richardsmith_libra@hotmail.com

RESUMEN.

Se describe las características de los mapas auto organizados, su regla de aprendizaje, su algoritmo de entrenamiento, con la finalidad de resolver problemas de clasificación.

Kohonen Self-Organizing MapsABSTRACT

The characteristics of the self-organizing maps, the rule learning, the training algorithm, in order to solve classification problems described.

INTRODUCCIÓN

Los mapas autoorganizados o SOM (Self-Organizing Maps), también llamados redes de Kohonen son un tipo de red neuronal no supervisada, competitiva, distribuida de forma regular en una rejilla de, normalmente, dos dimensiones. Su finalidad es descubrir la estructura subyacente de los datos introducidos en ella. A lo largo del entrenamiento de la red, los vectores de datos son introducidos en cada neurona y se comparan con el vector de peso característico de cada neurona. La neurona que presenta menor diferencia entre su vector de peso y el vector de datos es la neurona ganadora (o BMU) y ella, y sus vecinas verán modificados sus vectores de pesos. Este tipo de mapas permiten reducir la dimensionalidad de los vectores de entrada para representarlos mediante una matriz de distancias unificada (U-matriz) generalmente consistente en una matriz 2D, apta para la visualización como una imagen plana.

ESTRUCTURA

Matriz de neuronas: Las neuronas se distribuyen de forma regular en una rejilla de dos dimensiones, que pueden ser rectangulares o hexagonales, en las que cada neurona puede tener cuatro o seis vecinos respectivamente.

Espacio de entrada: Los datos de entrada corresponden a un vector de N componentes por cada atributo que

queramos comprar, siendo esta dimensión la misma del vector de pesos sinápticos asociado a cada una de las neuronas de la rejilla.

Espacio de salida: Corresponde con la posición (2D) en el mapa de cada neurona.

Relación entre neuronas: Entre todas las neuronas hay una relación de vecindad que es la clave para conformar el mapa durante la etapa de entrenamiento. Esta relación viene dada por una función.

Ilustración 1 Estructura de un mapa autoorganizado

Entrenamiento Para cada paso del entrenamiento (época) se introduce un vector de datos correspondiente a una entrada seleccionada aleatoriamente y se calcula la similitud entre este vector y el peso de cada neurona. Aplicación de SOM a la visualización de datos 4 La neurona más parecida al vector de entrada será la neurona ganadora (Best-Matching Unit ó BMU). Generalmente se usa la distancia euclídea para medir esta similaridad entre pesos sinápticos. Tras esto, los vectores de

pesos de la BMU y sus vecinos son actualizados de forma que se acercan al vector de entrada.

APLICACIÓN DE SOM A LA VISUALIZACIÓN DE DATOS

Las dos características descritas anteriormente hacen especialmente atractivo el uso de SOM para representación de datos:

Reducción de la multidimensionalidad: Podemos representar conjuntos de datos de gran número de atributos en mapas 2D.

Asociación de elementos con atributos similares: Visualmente podemos ver de forma rápida como quedan agrupados elementos que tienen valores próximos entre sí.

Aparte de estas razones a nivel técnico tenemos además muchas ventajas como son:

Facilidad de implementación: La implementación de un sistema SOM es relativamente fácil y se adapta perfectamente al modelo de procesado en paralelo por lo que es también muy fácilmente optimizable.

Abstracción de los datos de entrada: Los SOM son totalmente transparentes a la naturaleza de los datos de entrada, tan solo se limitan a comparar vectores de entrada con los pesos sinápticos de las neuronas de la rejilla. Esto hace que pueda ser usado en gran variedad de problemas sin tener necesidad de cambiar la aplicación base.

Facilidad de integración con otras técnicas: Esta técnica se puede compaginar con otras técnicas de obtención de conocimiento como pueden ser las redes bayesianas realizando un preprocesado del conjunto de datos.

Recientemente se está produciendo un crecimiento del uso de mapas SOM gracias a su potencia y facilidad de uso para trabajar en campos como la estadística. Además una vez obtenida el mapa, la representación no tiene por qué limitarse a una rejilla rectangular, como se puede apreciar en la siguiente imagen.

Ilustración 2 Ejemplo de uso de SOM en aplicaciones estadísticas

APRENDIZAJE NO SUPERVISADO

Los algoritmos de clasificación no supervisados son aquellos que no requieren etiquetado de cada uno de los vectores de entrada; se suelen llamar también algoritmos auto-asociativos, porque asocian entradas a ellas mismas. Una buena explicación de estos algoritmos se halla en la FAQ de redes neuronales.

El tipo más común de algoritmos de aprendizaje o clasificación no supervisada son los algoritmos de análisis de grupos o clustering; estos algoritmos tratan de dividir las muestras del conjunto de entrada en una serie de grupos con características comunes. Un algoritmo debe descubrir cuáles son estos clusters, pero también cuáles son las características que define ese cluster y cuántos clusters hay; pero éste último es un problema que no tiene solución fácil.

Dentro de las redes neuronales, uno de los métodos no supervisados más comunes es precisamente el SOM, pero hay otro método denominado aprendizaje hebbiano que usa una red monocapa, con pesos conectando las entradas a las salidas, y aumentarndo el valor de los pesos que unen a dos neuronas si se activan a la vez, y disminuir el valor si se activan de forma diferencial. Una red hebbiana se puede disponer en una sola capa o varias: las entradas se propagan a la capa interna, y a la salida, y tras la propagación, se cambian los pesos de la forma indicada. El aprendizaje hebbiano equivale a un análisis de componentes principales de las entradas, según ha sido probado recientemente.

Una red neuronal supervisada tal como el perceptrón multicapa se puede convertir en no supervisada usando las entradas como salidas; de esta forma, la capa interna extraerá los componentes principales de las entradas, y se podrá usar, por ejemplo, como memoria asociativa; o bien, analizando las activaciones de la capa interna, se pueden asignar diferentes grupos (clusters) a las entradas: los patrones de entrada/salida que provoquen unos patrones de activación similares pertenecerán al mismo grupo.

Los métodos no supervisados se suelen usar en lo denominado análisis de datos exploratorio, es decir, en una fase del análisis de los datos, cuando no se sabe de antemano cuáles son los grupos naturales que se forman, y se quiere visualizar la abundancia y la relación que hay entre los grupos "naturales"; se puede decir que una de sus principales aplicaciones es la visualización de datos multidimensionales, porque un algoritmo no supervisado actúa como una proyección de un espacio multidimensional a otro de dimensiones visualizables. También se pueden usar como fase inicial de algoritmos de aprendizaje supervisados: un algoritmo como el k-medias o el mismo SOM se pueden usar para inicializar algoritmos de aprendizaje supervisado tales como el LVQ (Learning Vector Quantization). [1]

ARQUITECTURA EN RED

En general, el algoritmo SOM considera una arquitectura en 2 capas: por una parte tenemos una red de nodos de aprendizaje (de la que nos importa la relación de distancias que hay entre ellos) junto con un conjunto de vectores de entrenamiento, de forma que todos los elementos de la primera capa están conectados con todos los elementos de la segunda capa. Para los propósitos básicos que necesitamos en este ejemplo trabajaremos con una distribución 2D del SOM, tal y como muestra la siguiente figura (la red de aprendizaje viene representada por nodos rojos, y los vectores de entrenamiento vienen representados en verde).

Ilustración 3 La red de aprendizaje viene representada por nodos rojos, y los vectores de entrenamiento vienen representados en verde

Cada nodo tiene un posición topológica específica (que suele estar asociada a las coordenadas (x,y)) y contiene un vector de pesos de la misma dimensión que  los vectores de entrenamiento. Es decir, si cada vector, V, de entrenamiento tiene dimensión n, cada nodo tendrá un vector de pesos, W, de dimensión n.

ALGORITMO DE APRENDIZAJE

A grandes rasgos, ya que no hay vector objetivo al que aproximarse, lo que se hace es que, en aquellas zonas en las que la red tiene nodos con pesos que coinciden con vectores de entrenamiento, el resto de nodos de su entorno tienden a aproximarse también a ese mismo vector. De esta forma, partiendo de una dstribución de pesos inicial (normalmente aleatorios), el SOM tiende a aproximarse a una distribución de pesos estable. Cada una de estas zonas que se estabiliza se convierte en un clasificador de propiedades, de forma que la red se convierte en una salida que representa una aplicación de clasificación. Una vez estabilizada la red, cualquier vector nuevo estimulará la zona de la red que tiene pesos similares.

De forma más detallada, los pasos que se siguen para el proceso de entrenamiento son:

Cada nodo se inicializa con un peso (aleatorio). Normalmente, vectores en [0,1]n,

Se selecciona al azar un vector del conjunto de entrenamiento.

Se calcula el nodo de la red que tiene el peso más similar al vector anterior, que notaremos como Best Matching Unit (BMU). Para ello, simplemente se calculan las distancias euclídeas entre los vectores W de cada nodo y el vector de entrenamiento (por motivos de eficiencia, no se aplica la raíz cuadrada al cálculo de la distancia euclídea, cosa que no afecta para calcular el mínimo).

Se calcula el radio del entorno de BMU. Este radio comenzará siendo grande (como para cubrir la red completa) y se va reduciendo en cada iteración.

Cada nodo del entorno de BMU ajusta su peso para parecerse al vector de entrenamiento seleccionado en el paso 2, de forma que los nodos más cercanos al BMU se vean más modificados.

Repetir desde el paso 2 (el número de iteraciones que se considere necesario).

La fórmula que establece el radio en función de la iteración (que hace que vaya disminuyendo, pero no linealmente) es:

r(t)=r0e−tλ

donde r0 es el radio inicial (habitualmente, el radio de la red, es decir, uno suficiente para cubrir en el primer paso todos los nodos) yλ una constante que permite hacer que el radio sea muy pequeño cuando llegamos a la iteración máxima:

λ=Tiempo_de_Entrenamientolnr0

La siguiente figura muestra el efecto de ir reduciendo paulatinamente el radio del entorno, donde se marcan los nodos que se verían afectados si el nodo BMU es el nodo amarillo:[2]

Ilustración 4 La siguiente figura muestra el efecto de ir reduciendo paulatinamente el radio del entorno

LOS MAPAS AUTOORGANIZADOS APLICADOS A LA BIBLIOMETRÍA.

La Bibliometría es una disciplina que estudia los aspectos cuantitativos de la información registrada, para ello se han creado una serie de modelos estadísticos que aportan datos numéricos sobre el comportamiento de la actividad científica. También se han adaptado modelos de otras disciplinas para facilitar los análisis y representar los resultados

desarrollados a partir de la Bibliometría. Los mapas auto-organizados (SOM) o modelo de Kohonen (basado en las RNA) es una de estas herramientas. En los estudios métricos la aplicación de las redes neuronales, y específicamente los SOM, están asociados en lo fundamental con la clasificación de información, o sea, la formación de cluster y su representación en mapas bidimensionales de conceptos y más específicamente con el descubrimiento de información (data mining). Este último vinculado con la recuperación de la información con "ruido" e incompleta o con el tratamiento de información que incluye diferentes tipos de datos (números, texto, registros estructurados, etc.). Los SOM facilitan que el conocimiento tácito se haga explícito, a partir de la extracción no-trivial (a partir de los datos) de conocimientos implícitos potencialmente útiles desconocidos previamente. Se podrán encontrar patrones o estructuras en el conocimiento tácito. [3]

Las investigaciones bibliométricas, a través de la utilización de las redes neuronales, incursionan en:

la selección de variables. clasificación de información o

formación de cluster. regresión. relaciones entre variables. cambios y desviaciones. representación de las variables.

Lo anterior se puede ejemplificar a partir de algunas aplicaciones prácticas relacionadas con la evaluación de páginas web [8] y trabajos relacionados con la clasificación de revistas en un determinado campo temático [9]. Se conocen, además, investigaciones relacionadas con la minería de textos (text mining) sobre todo aplicado a la asociación de palabras o co-word. En todos estos ejemplos se utiliza como variante de las RNA el modelo de los mapas autoorganizativos (self-organizing map, SOM). En un análisis, realizado por los autores sobre el tema, se examinaron cerca de 56 documentos sobre redes neuronales aplicadas al análisis de información, con ello se constato que la mayoría utilizaban el modelo SOM como herramienta de estudio. (2, 7, 8,12,16). Un ejemplo de SOM podría ser.el estudio de una temática determinada, para este caso en un mapa cada documento (artículo de revista, podría ser una patente, una tesis, etc.) va a ocupar un lugar en el espacio, en función de su contenido temático.

Cada área del mapa va a Sotolongo, G.; Guzmán, MV. Aplicaciones de las redes neuronales. El caso de la bibliometría. Ciencias de la Información. (preprint) 2001; 32(1):27-34. 10 reflejar un contenido específico y los tópicos van variando levemente a lo largo del mismo. Las diferentes tonalidades indican la densidad de documentos, cuanto más oscura más documentos se encuentran. Este uso frecuente de los SOM quizás se deba a lo amigable de la interfaz de los mapas para los usuarios finales y a la diversidad de sus utilidades prácticas, estas representaciones son válidas para poder identificar, además de los desarrollos temáticos antes mencionados, relaciones entres áreas temáticas y publicaciones, alianzas estratégicas y características de la cooperación. Permite, también, visualizar los avances tecnológicos que tienen lugar en un período, conocer la evolución de una tecnología a través del tiempo e identificar campos emergentes. En el acápite anterior se mencionó al Viscovery SOMine como un software que ha automatizado el modelo SOM. Este sistema es utilizado por un equipo de trabajo del Instituto Finlay para elaborar mapas científico-tecnológicos.

Ilustración 5 Funcionamiento del Viscovery SOMine

El punto de partida, para el uso de esta herramienta, es la entrada de un conjunto de datos numéricos (datos multivariables, variables, “nodos” ). Estos datos necesitan ser preprocesados con el objetivo de “organizarlos” en forma de matrices. Los datos son convertidos hasta obtener una información visual en forma de mapa, para ello se aplica un número de técnicas de evaluación como coeficientes de correlación entre variables o factores discriminantes [4, 13, 14]. Los mapas serán amigables a la vista del usuario final, en ellos se identificarán dependencias entre parametros,

cluster y gráficos que facilitarán diferentes predicciones o el proceso de monitoreo.

APLICACIONES:

Se estima que a pesar de las limitaciones técnicas, las redes neuronales aplicadas a la Bibliometría constituyen un campo de investigación muy prometedor. Un ejemplo es presentado a continuación. La disciplina muldidisciplinar de las redes neuronales es aplicada en esta sección, donde se asume a la producción de los documentos de patentes como indicador de la capacidad de desarrollo industrial. El objetivo es identificar posibles competidores, alianzas estratégicas, dependencia tecnológica, etc. Se escogió para el primer ejemplo la representación de la situación tecnológica de la Neisseria meningitidis.3 Las diferentes instituciones en la primera hoja de sus patentes hacen referencias a otras patentes, a partir de estos datos se puede inferir el impacto que produce una tecnología o institución en otra. Con el objetivo de determinar la dependencia tecnológica entre instituciones, se realizó un análisis de citas, estas formaron los cluster que aparecen en la figura.

Ilustración 6 Posición tecnológica de las instituciones según las citaciones.

El mapa tecnológico presentado en la figura anterior representa a tres cluster: cluster 1 formado solamente por la Merck & Co., un cluster 2 formado únicamente por el National Res. Council of Canada y el cluster 3 que incluye al resto de las instituciones. Este último grupo está formado por una gran cantidad de instituciones que tienen igual estrategia de citación, sobre todo las representadas con colores más claros y sin límites de separación. Se presupone que estas firmas se basan para su

desarrollo en su propia base tecnológica, pues citan poco a otras instituciones. El cluster 2 evidencia un alto nivel de autocitación, cuando esto sucede, algunos investigadores [1] en el tema señalan que probablemente esta institución tenga un nicho de protección cerrada sobre un espacio tecnológico. Puede estar ocurriendo que exista una patente importante, la cual se ha rodeado de invenciones mejoradas. El cluster formado por la Merck & Co. indica un mayor nivel de citación, esto presupone una estrategia balanceada: absorbe tecnología externa y produce tecnología propia. La cercanía de los cluster también es una evidencia sobre las instituciones que tienen estrategias parecidas a la de otras. La Rockefeller University hace frontera con el cluster que incluye a North American Vaccine, y el National Res. Council de Canada; estas instituciones forman un colegio tecnológico invisible que basa sus desarrollos en la misma innovación tecnológica.

Otro ejemplo Otra aplicación se presenta en un campo diferente del conocimiento: la agricultura. En este ejemplo no solo se tomó como elemento de entrada la producción documental de determinados países, también se consideraron otros tipos de variables como "gastos en I+D" en cada uno de los países analizados, "personal dedicado a actividades de I+D", etc.

Ilustración 7 Mapa de América Latina y el Caribe (países seleccionados) de acuerdo con la

En la figura 6 se presenta un mapa auto-organizado sobre la actividad en ciencia agrícola en América Latina y el Caribe (se seleccionaron algunos países según los datos disponibles). Con ello se pretende lograr una representación de la región, teniendo en cuenta los indicadores de insumo y de resultados más significativos. En la figura aparecen, en dos dimensiones, 22 países. La semejanza de los

países, considerando de forma simultánea los 20 indicadores, se expresa mediante la cercanía de estos en el mapa. Los 22 países se agrupan (autorganizan) en 3 clusters o grupos: El cluster C1, que aparece en la esquina inferior izquierda, es seguido por una banda de 4 países correspondientes al cluster C2 (Cuba, Colombia, Chile y Venezuela) y otro cluster (C3) con el resto de los países.

En el ámbito regional e internacional hay un grupo de países formado por Brasil, México y Argentina que tienen una investigación en la temática con mayor solidez y con parecidos niveles de desarrollo. Esto coincide con los países que presentan mayor nivel regional en el desarrollo agrícola. [4]

ANÁLISIS DE PACIENTE DIABÉTICOS INTERNADOS

ANÁLISIS DE PACIENTE FACTORES DE RIESGO

RIESGOS BANCARIOS VARIABLES DE LOS DATOS [5]

INTERFERENCIA CATRASTOFICA

Sucede cuando cuanod la informacion que fue recientemente aprendida a menudo elimina la que fue anteriormente aprendida. El problema principal consiste en diseñar un sistema que sea simultaneament sensible a pero no radicalmente destructivo, a la nueva entrada.

ROBUSTEZ:

En la data real existen diversos puntos denominados outliers los cuales difieren del comun de los datos. Las SOM no son sensibles a la presencia de este tipo de datos, no logranso realizar una buena generalizacion del conjunto de entrada, siendo otro problema importante que se debe abordar. [6]

CONCLUSIONES:

El uso de las redes neurales incide en las empresas mejorando el proceso de calificación de las finanzas económicas al margen de error en el ranking. Todo esto demuestra su utilización en varios campos (capital de trabajo, pagos, inversiones, etc.), para poder ser aplicado a una gran variedad de proyectos e investigaciones.

En este trabajo hemos presentado los mapas auto-organizados tal y como fueron introducidas por Kohonen y particularizando desde el punto de vista general de redes neuronales artificiales. De entre las miles de aplicaciones que tienen los mapas auto-organizados hemos descrito varias de ellas orientadas a la segmentación de imágenes en color. Posteriormente hemos introducido el concepto de mapa auto-organizado generalizado, cuya principal virtud sea quizás su simetría respecto a los datos de entrada y las neuronas. Hemos visto como algunas de las variantes de mapas auto-organizados explicados anteriormente se enmarcan dentro de este nuevo concepto generalizado mientras que no lo hacían en el concepto clásico de mapa auto-organizado. Creemos que este concepto podría dar a nuevas desarrollos o variaciones de mapas auto-organizados. Como aplicación hemos diseñado

un mapa auto-organizado generalizado orientado a la segmentación de imágenes en color. La diferencia con un mapa clásico radica fundamentalmente en que el movimiento de las neuronas se realiza a lo largo de las geodésicas de cierta métrica. Esta métrica depende de una densidad continua calculada a partir de las muestras. La implementación se ha llevado a cabo en MATLAB y C.

Bibliografía

[1] [En línea]. Available: http://geneura.ugr.es/~jmerelo/tutoriales/bioinfo/Kohonen.html. [Último acceso: 22 mayo 2015].

[2] D. C. d. l. C. e. I. A. U. d. Sevilla, 10 enero 2014. [En línea]. Available: http://www.cs.us.es/~fsancho/?e=76. [Último acceso: 22 mayo 2015].

[3] [En línea]. Available: http://halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/DM/tema5dm.pdf. [Último acceso: 22 MAYO 2015].

[4] M. V. Guzmán. [En línea]. Available: http://www.dynamics.unam.edu/DinamicaNoLineal/Articulos/MineriaDatos/Articulo03.pdf. [Último acceso: 22 mayo 2015].

[5] G. Meschino. [En línea]. Available: http://www3.fi.mdp.edu.ar/meschino/Presentaciones/GUSTAVO%2008%20-%20KOHONEN.pdf. [Último acceso: 22 mayo 2015].

[6] [En línea]. Available: http://www.doc4net.es/doc/1850344633707/. [Último acceso: 22 mayo 2015].