introducción a las redes neuronales y su aplicación a la ... › 2011 › 02 ›...
TRANSCRIPT
![Page 1: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/1.jpg)
Introducción a las Redes Neuronales y su aplicación a la
Investigación Astrofísica
Patricio García Báez
![Page 2: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/2.jpg)
Redes Neuronales en la IARamas de la Inteligencia Artificial en sus inicios: Simbólica-deductiva:
–Sistemas formales de reglas y manipulación simbólica
–Rama más conocida de la IA
Conexionista:–Inspirada en las redes neuronales biológicas
–Métodos Inductivos: a partir de ejemplos
Ambas tratan de resolver problemas no algoritmicos a partir de la experiencia almacenada como conocimiento
![Page 3: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/3.jpg)
Inspiración biológica“Entender el cerebro y emular su potencia”
Cerebro:–Gran velocidad de proceso–Tratamiento de grandes cantidades de
información procedentes de:• Los sentidos• Memoria almacenada
–Capacidad de tratar situaciones nuevas–Capacidad de aprendizaje
![Page 4: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/4.jpg)
Inspiración biológica Neuronas:
– Árbol dendrítico de entradas
– Un axón de salida– Sobre de104
sinapsis– Comunicación
mediante Potenciales de Acción (PA)
– Periodo refractario de 10-3 segundos entre PAs
![Page 5: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/5.jpg)
Inspiración biológica Transmisión neuronal:
– Impulso eléctrico que viaja por el axón
– Liberación de neurotransmisores
– Apertura/cierre de canales iónicos
– Variación potencial en dendrita
– Integración de entradas en soma
– Si se supera umbral de disparo se genera un PA
![Page 6: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/6.jpg)
Inspiración biológica Red Neuronal Biológica:
– de 1010 a 1011 neuronas– 1014 sinapsis– Organización por capas– Organización por niveles:
• Sistema Nervioso Central (SNC)
• Circuitos entre regiones• Circuitos locales• Neuronas• Árboles dendríticos• Microcircuitos
neuronales• Sinapsis• Canales iónicos• Moléculas
![Page 7: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/7.jpg)
Inspiración biológica Características SNC:
– Inclinación a adquirir conocimiento desde la experiencia
– Conocimiento almacenado en conexiones sinápticas
– Gran plasticidad neuronal– Comportamiento altamente
no-lineal– Alta tolerancia a fallos
(muerte neuronal)
– Apto para reconocimiento, percepción y control
![Page 8: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/8.jpg)
Modelado Neuronal Una red neuronal artificial (RNA) es un
sistema de procesamiento de información que tiene ciertas aptitudes en común con las redes neuronales biológicas:
– El procesamiento de información ocurre en muchos elementos simples llamados neuronas.
– Las señales son transferidas entre neuronas a través de enlaces de conexión.
– Cada conexión tiene un peso asociado, el cual, típicamente, multiplica a la señal transmitida.
– Cada neurona aplica una función de activación (usualmente no lineal) a su entrada de red (suma de entradas pesadas) para determinar su salida.
Laurene Fausett
![Page 9: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/9.jpg)
Modelado NeuronalEnfoques:
–Computacional:• Modelos eficientes, potentes y simples
• Áreas de aprendizaje inductivo y reconocimiento de patrones
–Cognitivo:• Interesado por capacidades cognitivas de los modelos
• Centrados en representación del conocimiento
–Biocognitivo:• Premisa la plausibilidad biológica
–Psicofisiológico:• Mecanismos naturales de procesos cognitivos reales
![Page 10: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/10.jpg)
Modelado Neuronal Neurona Artificial:
– Grupo de entradas (x)– Pesos sinápticos (w)– Función suma (net)– Función de activación
(act)– Una única salida (y)– Funcionamiento en modo
aprendizaje o ejecución
Σ
x1
x2
xn
w1,j
w2,j
wn,j
netj(t) xj(t)
θ j
funciónsuma
funciónde activación
umbral (bias)
![Page 11: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/11.jpg)
Modelado Neuronal Neurona Natural vs. Artificial:
– Neurona = Unidad de proceso– Conexiones sinápticas =
Conexiones Pesadas– Efectividad sináptica = Peso
sináptico– Exitatorio/Inhibitorio = Pesos +
ó -– Efecto combinado de sinapsis
= Función suma– Activación-> Ratio disparo =
Función activación -> salida
![Page 12: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/12.jpg)
Modelado Neuronal Arquitecturas Neuronales:
– Según e/o/s• Número y tipo de entradas• Elementos ocultos• Elementos de salida
– Según conectividad entre capas
• Feedforward (hacia adelante)
• Redes Recurrentes
• Estructuras Enrejadas (Lattice)
Capa deentrada
Capa desalida
Capa deentrada
Capa desalida
Capaoculta
Capa desalida
Capaoculta
Monocapa feedforward
Multicapa feedforward
Multicapa feedforwardparcialmente conectada
![Page 13: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/13.jpg)
Modelado Neuronal Arquitecturas Neuronales:
– Según conexión entre capas
• Totalmente conectados (full-conexión)
• Parcialmente conectados
• Conexión uno a uno
– Sincronía (actualización de valores)
• Simultánea• Aleatoria• Según orden topológico
Recurrente coninterconexiones
laterales
Entradas
Salidas
Recurrente conneuronas ocultas
![Page 14: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/14.jpg)
Modelado Neuronal Aprendizaje:
–Estimulación de la RN por el entorno–Cambios en la RN debido a estimulación–Nueva forma de responder debido a
cambios de la estructura interna de la RN
![Page 15: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/15.jpg)
Modelado Neuronal Paradigmas de aprendizaje:
– Aprendizaje Supervizado
– Aprendizaje por Reforzamiento
– Aprendizaje Auto-organizado (No Supervizado)– Precalculado o prefijado
![Page 16: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/16.jpg)
Modelado Neuronal Aprendizaje supervizado:
– Se presentan pares de patrones de entrada y salida deseada
– Pasos:• Fijar pesos aleatorios las conexiones• Seleccionar par de entrenamiento• Presentar patrón de entrada y calcular salida• Calcular error o discrepancia con la salida deseada• Aplicar regla de aprendizaje
– Dudosa plausibilidad biológica:• Requiere propagar información hacia atrás• Requiere de instructor
![Page 17: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/17.jpg)
Modelado Neuronal Aprendizaje no supervizado:
– Se presentan sólo patrones de entrada
– Basado en la redundancia en las entradas
– Aprendizaje extrae de los patrones:• Familiaridad con patrones típicos o promedios
del pasado• Análisis de las Componentes Principales• Clustering• Prototipos, correspondientes a las categorias
existentes• Codificación• Mapa de Características
– Grandes plausibilidades biológicas
![Page 18: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/18.jpg)
Modelado NeuronalAlgoritmos de aprendizaje más
comunes:–Perceptrón multicapa o Backpropagation
(BPN)• Aprendizajes supervizados bajo corrección de
error
–Mapas Auto-organizados (SOM)• Aprendizajes competitivo no supervizados
–Extractores de características (GHA ó ICA)• Aprendizajes hebbianos no supervizados
![Page 19: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/19.jpg)
ImplementacionesNeurosimuladores:
–Software:• Flexibles• Económicos
–Hardware:• Eficientes
![Page 20: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/20.jpg)
Implementaciones Neurohardware:
– VLSI analógico– Opto-Electrónicos– FPGAs– Neuro-Chips (VLSI Digital)– Neuro-Tarjetas– Máquinas paralelas de
propósito general– Biochips
Objetivo:– Acelerar fases de aprendizaje
y ejecución
![Page 21: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/21.jpg)
ImplementacionesBiochips
![Page 22: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/22.jpg)
AplicacionesFases de desarrollo:
Selección dela arquitectura
neuronal
Selección delconjunto deaprendizaje
Selección delconjunto devalidación
Fase deaprendizaje
Fase devalidación
¿OK?
Implantar enaplicación
![Page 23: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/23.jpg)
Aplicaciones Tipos de problemas abordables:
–Asociación
–Clasificación de Patrones
–Predicción
–Control
–Aproximación
–Optimización
En general:–Difícil describir conocimiento/forma de
resolverlos
–Se dispone de una gran cantidad de datos
![Page 24: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/24.jpg)
Problemas de Asociación– NETalk (Sejnowski & Rosemberg):
• A partir de textos escritos genera gonemas correspondientes. Mejoras durante aprendizaje
– Tratamiento de imágenes:• Ruido placas matrículas• Restitución
– Compresión de Imágenes:
![Page 25: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/25.jpg)
Problemas de Clasificación de Patrones
–Conteo de células:• Clasificación de
glóbulos blancos
–Inspección visual:
– Seguimiento de pupilaSeguimiento de pupila
![Page 26: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/26.jpg)
Problemas de Predicción–Airline Marketing Tactician
(AMT):• Monitoriza y recomienda la
reserva de plazas
–Neuralstocks:• Servico de predicciones
financieras a corto plazo
![Page 27: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/27.jpg)
Problemas de Control–Control de robots:
• Cinemática inversa
• Dinámica
–ALVINN:• Conducción de
vehículo
![Page 28: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/28.jpg)
Problemas de Aproximación
–Aproximación de funciones utilizando RBFs
Problemas de Optimización
– Optimización de rutas:Optimización de rutas:• TSPTSP
![Page 29: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/29.jpg)
Aplicaciones en Astronomía/Astrofísica
– Reconocimiento de estrellas/galaxias
– Clasificación espectral y morfológica de estrellas/galaxias
– Estudios de superficies planetarias– Estudio del campo magnético interplanetario– Determinación de parámetros en atmósferas
estelares
– Clasificación de poblaciones de enanas blancas• Neural Networks, 16 (2003)
![Page 30: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/30.jpg)
Aplicaciones en Astronomía/Astrofísica
–Identificación y caracterización de objetos: QSO's, galaxias IR ultraluminosas, fuente de Rayos Gamma
–Determinación de desplazamientos fotométricos al rojo
–Eliminación de ruido en pixels–Descomposición de datos simulados multi-
frecuencia para la misión Planck–Búsqueda de cúmulos de galaxias
• Neural Networks, 16 (2003)
![Page 31: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/31.jpg)
Aplicaciones en Astronomía/Astrofísica
–Análisis de datos recogidos por instrumentos de nueva generación para astrofísica de alta energía:
• Telescopio de neutrinos AUGER y ARGO• Telescopio de rayos gamma Cherenkhov• Interferómetro de ondas gravitacionales VIRGO• Búsqueda de bosones Higgs
–AstroNeural, paquete AstroMinnig: reducción y análisis de datos
• Neural Networks, 16 (2003)
![Page 32: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/32.jpg)
Grupo de Trabajo Grupo de Computación Neuronal y
Adaptativa y Neurociencia Computacional– Departamento de Estadística, I. O. y Computación, ULL
– I. U. de Ciencias y Tecnologías Cibernética, ULPGC
– Área de Conocimiento: Ciencias de la Computación e Inteligencia Artificial
Líneas de trabajo– Neurociencia Computacional y Cognición Computacional:
Comunicación Neuronal;Aprendizaje y Memoria.Procesos y Estructuras Cognitivas/Perceptivas Teorías y Modelos
– Redes Neuronales Naturales y Artificiales: Diseño de Nuevos Modelos de RNAs
– Aplicación de la Computación Neuronal en Dominios Biomédicos, Clínicos y Medioambientales
![Page 33: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/33.jpg)
Comp. 1 Comp. 2 Comp. 3
Espectro
Analysis
Mezcla
12
Espectrofotómetrode Luminescencia
Preprocesado
CaracterísticasEspectrales
12
Comparación de Espectros(Capa SOM)
Mapa de SOM
Mapa de RechazoCapa de Tolerancias
Identificador de Espectros(Capa de Etiquetado) Etiquetado
Grupo de Trabajo Campos aplicativos estudiados
– Procesamiento de Señales Neurofisiológicas
– Identificación de Espectros Luminescentes
– Agente de Catalogación Automática de Webs
– Sistema Automático de Detección de Ataques Informáticos
– Diagnóstico de Enfermedades Neurodegenerativas
..... x i ......
...... d l ........
m li
h l
Entradas
Capa
SOM
Capa de
Holguras
Capa de
Etiquetado
...... z l ........
u pl
... v p
g pq
![Page 34: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/34.jpg)
Grupo de TrabajoDocencia Impartida en la ULL
– Introducción a los Modelos de Computación Conexionista• 3er curso, Ing. Técnica en Informática de Sistemas, ETSII• 30 a 40 alumnos• http://soma.etsii.ull.es/imcc/
– Introducción a la Inteligencia Artificial• 3er curso, ITI de Gestión/Sistemas• 50 a 60 alumnos• http://soma.etsii.ull.es/iia/
– Modelos Conexionistas y Autómatas• 5º curso, Ing. Informática, ETSII• 10 a 20 alumnos• http://soma.etsii.ull.es/mcya/
![Page 35: Introducción a las Redes Neuronales y su aplicación a la ... › 2011 › 02 › 1-5el-modelo-cognitivo-2.pdfIntroducción a las Redes Neuronales y su aplicación a la Investigación](https://reader033.vdocuments.net/reader033/viewer/2022042323/5f0e1cf37e708231d43dacd9/html5/thumbnails/35.jpg)
Futuro de las RNAs–Futuro prometedor, si nos seguimos acercando a
las característicias de los organismos vivos:• Evolución, Computación Colectiva, Manejo del
Conocimiento, ...
• Natural Computing => Soft Computing
–Presente problemático: dificultades de escalabilidad• ¿Tal vez algunos parámetros de nuestros modelos son
erroneos?
• ¿Tal vez no disponemos de la suficiente potencia informática?
• ¿Tal vez nuestros modelos no han alcanzado la suficiente complejidad?
• ¿Tal vez nos falta en nuestros modelos algún concepto fundamental?