redes neuronales artificialeslctorress/redneu/rna001c.pdf · una rna es una estructura de...
TRANSCRIPT
Redes Neuronales Artificiales
Red
es N
euro
nale
s Art
ifici
ales
22
¿Qué es una Red Neuronal Artificial?
Las redes neuronales artificiales (RNA) presentanuna alternativa computacional para la solución dealgunos problemas.Las redes neuronales son modelos del procesocognoscitivo del cerebro (Blum).Un sistema de computación hecho por un grannúmero de elementos simples, elementos de procesomuy interconectados, los cuales procesaninformación por medio de su estado dinámico comorespuesta a entradas externas. (Hecht-Niesen).
Red
es N
euro
nale
s Art
ifici
ales
33
Una RNA es un sistema procesador de informacióncon características de desempeño similares a lasredes neuronales biológicas.Las RNA son elementos (usualmente adaptativos)interconectados masivamente en paralelo y conorganización jerárquica, los cuales interactuan conobjetos del mundo real del mismo modo que lo haceel sistema nervioso biológico. (Kohonen).
Colección de procesadores paralelos conectadosentre sí en la forma de Grafo dirigido (Freeman).
Red
es N
euro
nale
s Art
ifici
ales
44
El procesamiento de información ocurre en elementossencillos llamados neuronas.
Las neuronas se transmiten señales a través de conexiones.Cada liga de conexión esta asociada con un peso, el cual, entípicas redes neuronales, multiplica la señal transmitida.En cada neurona se aplica una función de activación(usualmente no lineal) a las entradas (suma ponderada deentradas por los pesos).
Una RNA ha sido desarrollada como la generalización demodelos matemáticos del conocimiento humano o biologíaneuronal, basada en los siguientes acepciones:
Red
es N
euro
nale
s Art
ifici
ales
55
Las RNA son redes constituidas por muchas unidadesde proceso llamadas neuronas, las cuales se hallaninterconectadas para trasladar información entreellas.Las RNA son modelos de las redes neuronalesbiológicas.Las RNA (Artificial Neural Networks -ANNs-) sonuna simulación abstracta de los sistemas nerviososbiológicos, se forman por un conjunto de unidadesllamadas "neuronas" o "nodos" conectadas unas conotras.
Red
es N
euro
nale
s Art
ifici
ales
66
¿Por qué una RNA?
El cerebro humano es mucho más lento que unmicroprocesador y, sin embargo, es capaz de realizar ciertastareas de forma más eficiente que cualquier ordenador.
Visión, Reconocimiento,Toma de decisiones, Control,....
La potencia de cáculo tiene relación con lassiguientes características:
Complejidad,No linealidad,Paralelismo,Aprendizaje,...
Red
es N
euro
nale
s Art
ifici
ales
77
Una RNA es una estructura de computación masivay paralela compuesta por unidades no linealesindividuales (neuronas) en la cual el conocimiento:
Se establece mediante un proceso de aprendizaje.Se almacena en las conexiones (pesos o sinapsis)entre neuronas.
Red
es N
euro
nale
s Art
ifici
ales
88
Proceso clásico/RNA
• Proceso clásico
Datos
Datos
Construcción
Modelo
Validación
Modelo- Clasificación
- Predicción
- Reconocimiento,...
Red
es N
euro
nale
s Art
ifici
ales
99
Cómputo convencional
M em oriaCPU
¿Qué limitaciones tiene este esquema?, ¿quéproblemas no podrían ser resueltos así?
Máquina‘von Neuman’
Tomar una instrucción de memoria.Tomar datos de memoria requeridos por la
instrucción.Ejecutar la instrucción (procesar los datos).Almacenar resultados.Regresar al paso#1.
Proceso clásico/RNA
Red
es N
euro
nale
s Art
ifici
ales
1010
• Proceso con RNA
Datos
DatosAprendizaje
RNA
- Clasificación
- Predicción
- Reconocimiento,...Entrenamiento
Test
¡ La red neuronal extrae directamente de los datosla informacion para resolver el problema!
Proceso clásico/RNA
Red
es N
euro
nale
s Art
ifici
ales
1111
E SProcesamientode información
a = x1*w1 + x2*w2;y = F(a);
neurona
Σ F(a)x1
x2
w1
w2ya
Proceso clásico/RNA
Red
es N
euro
nale
s Art
ifici
ales
1212
Una RNA es un conjunto de nodos ordenados adaptables loscuales, a través de un proceso de aprendizaje medianteejemplos prototipo, almacenan conocimiento de tipoexperiencial y lo hacen disponible para su uso. [AnIntroduction to Neural Computing. Igor Aleksander andHelen Morton]
Una RNA es un ensamble de elementos procesadores simplesy adaptables, cuya funcionalidad está burdamente basada enuna neurona animal. La habilidad de procesamiento de la redestá almacenada en la intensidad de las conexiones entreelementos, obtenidos por un proceso de adaptación a unconjunto de patrones de entrenamiento
Definiciones
Red
es N
euro
nale
s Art
ifici
ales
1313
Las conexiones de las RNA tienen una gransemejanza con las dendrítas y los axones en lossistemas nerviosos biológicos.El campo de las RNA, como otros, ha tenido unrápido desarrollo al hacer énfasis a la inspiraciónbiológica para la solución a algunos problemas.
El paralelismo masivo y la interconectividad que seobserva en los sistemas biológicos complejos son lascausas de la capacidad del cerebro para llevar a cabocomplejos reconocimientos de tramas en poco tiempo.
Red
es N
euro
nale
s Art
ifici
ales
1414
La arquitectura del cerebro humano se presentasignificativamente distinta a la forma de uncomputador convencional.Se estima que el cerebro humano (sistema nerviosohumano) contiene más de cien mil millones (1011) deneuronas y 1014 sinápsis (una neurona se comunicahasta con 1000 neuronas).Aunque el tiempo de conmutación de la neurona(unos pocos milisegundos) es casi un millón de vecesmenor que en las actuales elementos de loscomputadores ellas tienen conectividad miles de vecessuperior que los actuales supercomputadores.
Red
es N
euro
nale
s Art
ifici
ales
1515
El objetivo principal de de las redes neuronales detipo biológico es desarrollar un elemento sintéticopara verificar las hipótesis que conciernen a lossistemas biológicos.Las neuronas y las conexiones entre ellas(sinápsis) constituyen la clave para el proceso dela información.
Red
es N
euro
nale
s Art
ifici
ales
1616
El cerebro es un sistema super complejo.
El tamaño de una neurona biológica es deaproximadamente un tamaño de 5-100micrómetros.
El cerebro es el dispositivo de computo máspoderoso que existe.
Le ha tomado a la naturaleza 4.000 millones de añosdesarrollarlo.
Bases biológicas
Red
es N
euro
nale
s Art
ifici
ales
1717
Neurona biológica
Red
es N
euro
nale
s Art
ifici
ales
1818
NEURONA
Red
es N
euro
nale
s Art
ifici
ales
1919
En la neurona biológica se pueden tomarsus tres partes más principales:1. El cuerpo de la neurona.2. Ramas de extensión llamadas dendrítas.3. Un axón que lleva la salida de laneurona a las dendritas de otras neuronas.
Neurona biológica
Red
es N
euro
nale
s Art
ifici
ales
2020
La forma que dos neuronas interactuan no estátotalmente conocida, dependiendo además decada neurona.En general, una neurona envía su salida a otraspor su axón.El axón lleva la información por medio dediferencias de potencial, u ondas de corriente,que depende del potencial de la neurona.
Neurona biológica
Red
es N
euro
nale
s Art
ifici
ales
2121
La neurona recoge las señales por su sinapsissumando todas las influencias excitadoras einhibidoras.Si las influencias excitadoras positivas dominan,entonces la neurona da una señal positiva ymanda este mensaje a otras neuronas por sussinapsis de salida.En este sentido la neurona puede ser modeladacomo una simple función f(.).
Neurona biológica
Red
es N
euro
nale
s Art
ifici
ales
2222
Las DENDRITAS recogen señales procedentes deotras neuronas, por estímulos del mundo externo ointerno y las transmiten al cuerpo de la neurona.El CUERPO de la neurona recibe las señales de todaslas dendritas y según la tipología de la neurona en si,determina una respuesta.El AXON de la neurona transmite la respuestagenerada por el cuerpo de la neurona a otrasneuronas o a algún miembro receptor (músculo,nervio,...).
Neurona biológica
Red
es N
euro
nale
s Art
ifici
ales
2323
Una neurona es una célula viva y, como tal, contienelos mismos elementos que forman parte de todas lascélulas biológicas.El axón posee ramas en su extremo para tenerconexión con mayor número de neuronas.El axón se ramifica en filamentos y subfilamentos,mediante los cuales establece conexión con otrasneuronas.La característica principal que diferencian a lasneuronas del resto de las células vivas, es sucapacidad de comunicarse.
Neurona biológica
Red
es N
euro
nale
s Art
ifici
ales
2424
Una red neuronal
Red
es N
euro
nale
s Art
ifici
ales
2525
Sinapsis
Red
es N
euro
nale
s Art
ifici
ales
2626
Red
es N
euro
nale
s Art
ifici
ales
2727
La SINAPSIS de la neurona es el punto de uniónentre dos neuronas (dendrita - axón).Cada neurona establece sinapsis desde una docenahasta con cientos de miles de otras neuronas.No es un elemento especial de la neurona.El impulso (señal) que proviene del axón setransmite a otras neuronas, determinando elcomportamiento general de la red neuronal.
Neurona biológica
Red
es N
euro
nale
s Art
ifici
ales
2828
El proceso de comunicación entre las neuronas serealizan en términos generales de la siguientemanera: las dendritas y el cuerpo celular recibenseñales de entrada; el cuerpo celular las combinae integra y emite señales de salida.El axón transporta esas señales a los terminalesaxónicos, que se encargan de distribuirinformación a un nuevo conjunto de neuronas.
Modelo Biológico
Red
es N
euro
nale
s Art
ifici
ales
2929
Aprendizaje en el cerebro
Las señales se propagan de neurona a neuronamediante una complicada reacciónelectroquímica.Las sinapsis liberan sustancias químicas Tx yentran a las dendrita con lo cual se activa elpotencial del cuerpo de la célula.Cuando el cuerpo rebasa cierto limite, se envia alaxón un impulso eléctrico (potencial de acción), elcual se difunde a través de las ramas del axón, yfinalmente llega a la sinapsis y libera Tx en loscuerpos de otras células.
Red
es N
euro
nale
s Art
ifici
ales
3030
Quizás el descubrimiento mas grande es que lasconexiones sinapticas muestran plasticidad:alteraciones a largo plazo de la intensidad de lasconexiones como respuesta al patrón deestimulación.Las neuronas establecen también conexiones conotras neuronas, y en ocasiones, con gruposcompletos de neuronas capaces de migrar de unsitio a otro.
Red
es N
euro
nale
s Art
ifici
ales
3131
Por lo general, una neurona recibe información demiles de otras neuronas y, a su vez, envíainformación a miles de neuronas más.Las señales que utilizan las neuronas son denaturaleza eléctrica y química.
Modelo Biológico
Red
es N
euro
nale
s Art
ifici
ales
3232
Naturaleza bioeléctrica
La señal generada por la neurona y transportada a lo largodel axón es un impulso eléctrico, mientras que la señal que setransmite entre los terminales axónicos de una neurona y lasdendritas de la neuronas siguientes es de origen químico;concretamente, se realiza mediante moléculas de sustanciastransmisoras (neurotransmisores) que fluyen a través de unoscontactos especiales, llamados sinapsis, que tienen la funciónde receptor y están localizados entre los terminales axónicos ylas dendritas de la neurona siguiente (espacio sináptico, entre50 y 200 Angstroms).
Red
es N
euro
nale
s Art
ifici
ales
3333
Señal eléctrica
La membrana de la neurona separa el plasmaintracelular del fluido intesticial que se encuentrafuera de la célula.La membrana es permeable para ciertas especiesiónicas, y actúa de tal forma que se mantenga unadiferencia de potencial entre el fluido intracelulary el fluido extracelular.La diferencia más notable se da en relación con laconcentración de los iones sodio y potasio.
Red
es N
euro
nale
s Art
ifici
ales
3434
El medio externo es unas 10 veces más rico ensodio que el interno, mientras que el mediointerno es unas 10 veces más rico en potasio queel externo.Esta diferencia de concentración en iones sodio ypotasio a cada lado de al membrana produce unadiferencia de potencial de aproximadamente 70milivoltios, negativa en el interior de la célula. Eslo que se llama potencial de reposo de la célulanerviosa.
Red
es N
euro
nale
s Art
ifici
ales
3535
La llegada de señales procedentes de otrasneuronas a través de las dendritas (recepción deneurotransmisores) actúa acumulativamente,bajando ligeramente el valor del potencial dereposo.El potencial modifica la permeabilidad de lamembrana, de manera que cuando llega a ciertovalor crítico comienza una entrada masiva deiones sodio que invierten la polaridad de lamembrana.
Red
es N
euro
nale
s Art
ifici
ales
3636
La inversión del voltaje de la cara interior de lamembrana cierra el paso a los iones sodio y abreel paso a los iones potasio hasta que se restableceel equilibrio en reposo.La inversión del voltaje, conocida como potencialde acción, se propaga a lo largo del axón y, a suvez, provoca la emisión de los neurotransmisoresen los terminales axónicos.
Red
es N
euro
nale
s Art
ifici
ales
3737
Después de un pequeño periodo refractario,puede seguir un segundo impulso.El resultado de todo esto es la emisión por partede la neurona de trenes de impulsos cuyafrecuencia varía en función (entre otros factores)de la cantidad de neurotransmisores recibidos.
Red
es N
euro
nale
s Art
ifici
ales
3838
Señal química
La acción química que se produce en los receptores dalugar a cambios de permeabilidad de la membranapostsináptica para ciertas especias iónicas.Existen dos tipos de efectos locales en la sinapsis:– a) el efecto excitador, cuyos neurotransmisores
provocan disminuciones de potencial en la membranade la célula postsináptica, facilitando la generación deimpulsos a mayor velocidad
– b) el efecto inhibidor, cuyos neurotransmisores tiendena estabilizar el potencial de la membrana, dificultandola emisión de impulsos.
Red
es N
euro
nale
s Art
ifici
ales
3939
Estos dos efectos actúan solo a lo largo de unapequeña distancia hacia el interior de la célula; sesuman en el montículo del axón; la suma de losefectos excitadores e inhibidores determina si lacélula será o no estimulada; es decir, si emitirá o noun tren de impulsos y a qué velocidad.
Red
es N
euro
nale
s Art
ifici
ales
4040
Neurona artificial
Bajo estas consideraciones se llega al modelo de unaneurona artificial.
Red
es N
euro
nale
s Art
ifici
ales
4141
∑∑ ∫∫ Yi
gg
Yi=g(ini)
ininii
Función deentrada
Función deactivación
Salida
Conexionesde entrada
XjWj,i
Conexionesde salida
Neurona artificial
Red
es N
euro
nale
s Art
ifici
ales
Unidades ó nodosConexionesPesosNivel de activaciónFunción de activaciónSalida
W Wg
Neurona artificial
Red
es N
euro
nale
s Art
ifici
ales
4343
Atributo Valor ValnorEdad 20 0.4No. Rec. 3 0.3Repar 2 0.15Clima D 0.25Cochera 2 0.33Terreno 400 0.4Construc. 350 0.35Sector 3 0.65
0.71315
$2,255,000
0.79612
0.5824
0.4
0.3
Pesos Wij
Valores aj
0.15
0.25
0.33
0.4
0.35
0.65
0.8234
0.6136
-1.325
1.23
-0.24
0.937
Neurona artificial
Red
es N
euro
nale
s Art
ifici
ales
4444
Los modelos de RNA sólo son un parecidosuperficial con sus contrapartes biológicas.Lo importante de las RNA es que muestran unoscomportamientos útiles al aprender, reconocer yaplicar relaciones entre objetos y tramas de objetospropios del mundo real.
Neurona artificial
Red
es N
euro
nale
s Art
ifici
ales
4545
El Primer modelo de red neuronal fue propuesto en1943 por McCulloch y Pitts en términos de unmodelo computacional de "actividad nerviosa".El modelo de McCulloch-Pitts es un modelo binario, ycada neurona tiene un umbral prefijado.El modelo de McCulloch-Pitts sirvió de ejemplo paralos modelos posteriores de Jhon Von Neumann,Marvin Minsky, Frank Rosenblatt, Hopfield,Kohonen, ...
Neurona artificial
Red
es N
euro
nale
s Art
ifici
ales
4646
Una primera clasificación de los modelos deRNA podría ser, atendiendo a su similitud con larealidad biológica.Los modelos de tipo biológico comprenden lasredes que tratan de simular los sistemasneuronales biológicos así como las funcionesauditivas, de la visión, del habla, ...
Conceptos básicos
Red
es N
euro
nale
s Art
ifici
ales
4747
El modelo dirigido a aplicación son modelos queno guardan necesariamente similitud con lossistemas biológicos.La arquitectura de los modelos dirigidos a laaplicación están fuertemente ligadas a lasnecesidades específica de la aplicación para laque se diseñadas.
Conceptos básicos
Red
es N
euro
nale
s Art
ifici
ales
4848
Red
es N
euro
nale
s Art
ifici
ales
4949
¿Cómputo convensionalvs. Redes neuronales?
Los computadores actuales son incapaces parainterpretar el mundo.Son capaces de realizar 100 millones deoperaciones de punto flotante por segundo perono pueden entender el significado de formasvisuales.Puede repetir en forma indefinida un conjuntode instrucciones generadas por un programadorhumano pero no pueden aprender a partir de laexperiencia.
Red
es N
euro
nale
s Art
ifici
ales
5050
¿Por qué utilizar una RNA?
Las RNA, con su marcada habilidad paraderivar de datos complicados o imprecisos, seutilizan para extraer patrones y detectar tramasque son muy difíciles de apreciar por humanos uotras técnicas computacionales.Una RNA entrenada puede usarse como un"experto" para categorizar la información quese ha dado para su análisis. Este experto puedeusarse para proveer proyecciones de nuevassituaciones.
Red
es N
euro
nale
s Art
ifici
ales
5151
Las redes neuronales son preferibles a otros métodosmatemáticos cuando se presentan las siguientescaracterísticas:Es muy difícil encontrar reglas que definan lavariable a modelizar en relación a las entradasconsideradas en el modelo.Los datos son imprecisos o contienen perturbacionesestadísticas (ruido).El problema necesita para ser definido un gran número devariables dependientes (presenta una alta dimensionalidad).
Red
es N
euro
nale
s Art
ifici
ales
5252
El modelo a resolver es no lineal.Se dispone de un gran número de datos.El entorno de trabajo es variable
Red
es N
euro
nale
s Art
ifici
ales
5353
Ventajas
Aprendizaje adaptativo. Capacidad de aprender a realizartareas basada en un entrenamiento o una experiencia inicial.
Autoorganización. Una red neuronal puede crear su propiaorganización o representación de la información que recibedurante la etapa de aprendizaje.Tolerancia a fallas vía información redundante.
La destrucción parcial de una red conduce a una degradaciónde su estructura; sin embargo, algunas capacidades de la redse pueden retener, incluso sufriendo daños mayores.
Red
es N
euro
nale
s Art
ifici
ales
5454
Operación en tiempo real. El cómputo neuronalpuede realizarse en paralelo. Inicia el diseño yfabricación de máquinas especiales con estasventajas para obtener esta capacidad.
Red
es N
euro
nale
s Art
ifici
ales
5555
Algunas aplicaciones
Espacio aéreo– Pilotos automáticos de alto desempeño, simulaciones y
predicciones de trayectoria de vuelo, sistemas de controlde vuelo, detección de fallas en componentes de la nave.
Automotriz– Sistemas automáticos de navegación, comando por voz
Bancos– Lectores de documentos, evaluadores de asignación de
crédito, identificador de firmas.
Red
es N
euro
nale
s Art
ifici
ales
5656
DefensaElectrónica– Predicción de secuencias de códigos, control de
procesos, análisis de fallas de circuitos, visión demáquina, síntesis de voz, modelado no lineal.
Robótica– Control de trayectorias, control de manipuladores,
sistemas de visión.Voz– Reconocimiento de voz, compresión de voz,
sintetizadores de texto a voz.
Algunas aplicaciones
Red
es N
euro
nale
s Art
ifici
ales
5757
Telecomunicaciones– Compresión de datos e imágenes, servicios automáticos de
información, traducción de lenguaje hablado en tiempo real.Transportation
– Sistemas ruteadores, diagnóstico de motores, tiempos ymovimientos.
Seguridad– Reconocimiento de rostros, identificación y acceso de personas.
Financieros– Evaluación de bienes raíces, consultor de prestamos, valuación de
bonos corporativos, análisis sel uso de la línea de crédito,predicción de tipo de cambio.
Algunas aplicaciones
Red
es N
euro
nale
s Art
ifici
ales
5858
Manufactura– Control de procesos de manufactura, análisis y diseño
de productos, diagnóstico de máquinas y procesos,identificación de partes en tiempo real, sistemas deinspección de calidad, predicción de fin de proceso,análisis de mantenimiento de máquinas, modelado desistemas dinámicos.
Medicina– Detección de cáncer mamario o en la piel, análisis de
EEG y ECG, diseño de prótesis, optimización detiempos de trasplante, reducción de gastos enhospitales.
Oficinas postales, Verificación remota, etc.
Algunas aplicaciones
Red
es N
euro
nale
s Art
ifici
ales
5959
•Comunicaciones:-Igualación, cancelación, conmutación,enrutamiento, demodulación multiusuario,...
•Tratamiento de Voz:-Reconocimiento, autentificación de locutores,codificación, cuantificación vectorial,...
•Tratamiento de Imagen:-Reconocimiento de formas y patrones (huellasdactilares, números, caras,...)
Algunas aplicaciones
Red
es N
euro
nale
s Art
ifici
ales
6060
•Modelado/Predicción:-Predicción no lineal de series temporales(financieras, consumo eléctrico,...)
•Control:-Control de procesos, robots, vehículos, ...
Red
es N
euro
nale
s Art
ifici
ales
6161
• Un Filtro No lineal
- Algoritmos Adaptativos (LMS, RLS, Newton), Modelos no lineales (Volterra,
Wiener), Clasificadores Bayesianos,...
• Un sistema dinámico no lineal
- Estabilidad, Funciones de Liapunov, Atractores, Ecs diferenciales no lineales,
...
• Un aproximador funcional
- Análisis funcional, Teoría de la aproximación,....
• Un modelo neurofisiológico
- Percepción, Visión, Reconocimiento,...
• Una red neuronal puede ser vista como:
Conclusiones
Red
es N
euro
nale
s Art
ifici
ales
6262
Conclusiones
Las RNA son estructuras paralelas y no linealescapaces de resolver un gran número de problemas.Ofrecen soluciones en problemas en los queintervienen muchas variables y que son difíciles deformalizar.Son capaces de aprender y generalizarExisten un gran número de topologías y algoritmosde entrenamiento
Red
es N
euro
nale
s Art
ifici
ales
6363
Inconveniente: Funcionan como una “caja negra”,resuelven un problem pero es difícil saber cómolo han hecho.
Son una herramienta valiosa, pero no resuelvenTODOS los problemas, ni siempre los resuelvende la MEJOR manera.
Conclusiones
Red
es N
euro
nale
s Art
ifici
ales
6464
Bibliografía
Bishop C.M. (1996). Neural Networks for PaternRecognition. Clarendon Press.Demuth H., Beale M. (1998). Neural NetworkToolbox for use with MATLAB. Math WorksInc.Fausett L. (1994). Fundamentals of NeuralNetworks. Prentice-Hall.Freeman J.A., Skapura D.M. (1993). Redesneuronales, algoritmos, aplicaciones y técnicas deprogramación. Madrid, Díaz de Santos.
Red
es N
euro
nale
s Art
ifici
ales
6565
Haykin S. (1998). Neural Networks: aComprehensive Foundation. Prentice-Hall.Haykin S. (1999). Neural Networks. 2nd Edition,Prentice Hall.Kohonen T. (1997). Self-organization AndAssociative Memory. 3ª ed., Berlin, Springer-Verlag.
Red
es N
euro
nale
s Art
ifici
ales
6666
Kung S. Y. (1993). Digital Neural Networks.Prentice Hall, Inc.Mitchell T. (1997). Machine Learning. Mc Graw-Hill.Murray A.F. (1995). Applications of NeuralNetworks. Kluwer Academic Publishers.Reed R.D. , Marks R.J. (1999). Neural Smithing.Cambridge (EEUU), MIT Press.Ripley B.D. (1996). Pattern Recognition & NeuralNetworks. Cambridge University Press.
Red
es N
euro
nale
s Art
ifici
ales
6767