UNIVERSIDAD DE VALLADOLID

Dpto de Teora de la Senal y Comunicaciones e Ing Telematica

Escuela Tecnica Superior de Ingenieros de Telecomunicacion

Proyecto de Tesis Doctoral

Arquitecturas neuronales

ART para el reconocimiento

de patrones y la

aproximacion de funciones

AUTOR

Eduardo Gomez Sanchez

Ingeniero de Telecomunicacion

DIRECTORES

Juan Lopez Coronado

Dr Ingeniero Industrial

Yannis A Dimitriadis

Dr Ingeniero de Telecomunicacion

Diciembre de

Indice General

Introduccion

Redes neuronales articiales

Proliferacion de categoras en Fuzzy ARTMAP

El reconocimiento de caracteres

La aproximacion de funciones con redes ART

La produccion de penicilina

Objetivos de la tesis

Conclusiones

Referencias

Introduccion

El presente documento describe el proyecto de tesis doctoral centrada en

el analisis y mejora de diversas arquitecturas neuronales de la Teora de la

Resonancia Adaptativa y su aplicacion al reconocimiento de patrones y la

aproximacion de funciones En la seccion se describe la importancia de

las redes neuronales articiales para la resolucion de multiples problemas

En particular la Teora de la Resonancia Adaptativa presenta algunas ca

ractersticas interesantes constituyendo el objeto fundamental de esta tesis

La seccion esta dedicada a describir uno de los problemas tratados

el de la proliferacion de categoras en redes ART Este problema es espe

cialmente importante en casos en los que la interpretacion del conocimiento

adquirido es deseable como es el caso del reconocimiento de caracteres ma

nuscritos Este problema que es en s objeto de intensa investigacion sera

utilizado como aplicacion para algunas de las propuestas de esta tesis La

seccion describe brevemente la importancia de este problema

Por otra parte la seccion describe las peculiaredades de la aproxi

macion de funciones con redes ART objeto tambien de esta tesis Esta

utilizacion de las redes neuronales sera ilustrada sobre un problema de gran

importancia industrial como es el de la produccion de penicilina La seccion

describe brevemente este problema

La seccion describe los objetivos de esta tesis en el ambito anterior

mente descrito Finalmente la seccion presenta unas breves conclusiones

Redes neuronales articiales

En muchos casos las redes neuronales articiales de aqu en adelante simple

mente llamadas redes neuronales RRNN surgen como intento de reproducir

el sistema nervioso humano ofreciendo modelos simplica

dos de algunos de sus mecanismos combinando para ello los conocimientos

de disciplinas tales como la biologa la neurologa o la sicologa Aunque su

funcion como elementos en la comprension y modelizacion del cerebro es un

campo de investigacion muy activo las redes neuronales han despertado un

mayor interes en el campo de la ingeniera Durante las dos ultimas decadas

han sido aplicadas con exito a la resolucion de numerosos problemas

Al igual que otras tecnicas agrupadas bajo el topico de aprendizaje

automatico machine learning las redes neuronales permiten construir co

nocimiento a partir de datos numericos Esto es muy util ya que la reco

leccion de datos en muchos casos es automatizada y poco costosa mientras

que la generacion de modelos analticos bien matematicos o logicos que

describan adecuadamente un problema es difcil Ademas la mayora de las

arquitecturas neuronales presentan una serie de caractersticas como tole

rancia a fallos robustez al ruido en los datos de entrenamiento y alto grado

de paralelismo que las hacen soluciones deseables para multiples problemas

de ingeniera

Algunos de los problemas mas frecuentemente tratados en la literatura

son el reconocimiento de escritura manuscrita voz smbolos u objetos a

partir de imagenes visuales y otros muchos en los que dados un conjunto

de caractersticas que denen a un patron la red debe proporcionar una

etiqueta Aunque pertenecen a distintos campos de aplicacion estos pro

blemas presentan caractersticas comunes siendo abordados con tecnicas

denominadas de reconocimiento de patrones pattern recognition

Por otra parte existe otro tipo de problemas en que dado un vector de

entrada la red debe proporcionar un valor numerico de salida normalmente

en un conjunto nito pero no discreto Estos problemas se conocen como de

aproximacion de funciones y son de gran importancia en la identicacion

de sistemas o la estimacion de variables fsicas como la temperatura la

demanda electrica

Posiblemente la arquitectura neuronal mas utilizada actualmente es el

perceptron multicapa entrenado con el algoritmo de retropropagacion del

error back propagation BP

Sin embargo esta arquitectura presenta algu

La utilizacion del algoritmo de backpropagation para entrenar el perceptron multicapa

nos inconvenientes conocidos En concreto plantea el dilema de estabilidad

plasticidad es decir retener lo aprendido o adquirir conocimiento nuevo

Tambien se ve afectado por el dilema de ruidosaturacion o como apren

der dando igual importancia a todas las senales independientemente de su

amplitud Por ultimo y aunque en algunos ambitos de aplicacion puede

ser deseable el tratamiento de la red BP como caja negra resulta un fuerte

inconveniente en otros casos el oscuro funcionamiento interno de la red En

concreto la expresion del conocimiento adquirido en una forma compren

sible no es en absoluto inmediata Existen multiples trabajos dedicados a

resolver este problema normalmente imponien

do restricciones fuertes sobre la topologa de la red o sobre la forma de

entrenarla

La popularidad de los sistemas difusos ha motivado la propuesta de

multiples sistemas de extraccion a partir de los datos de las reglas a ser

utilizadas por el sistema difuso En se propone una tecnica para

aprender un sistema difuso a partir de reglas pero la estructura del sistema

disfuso debe jarse a priori En se proponen sistemas neurodifusos

basados en la Teora de la Resonancia Adaptativa para el aprendizaje

de reglas difusas pero como otras arquitecturas de este tipo generan un

numero de reglas excesivo

La mencionada Teora de la Resonancia Adaptativa Adaptive Resonance

Theory ART propone una modelizacion matematica de las dinamicas que

rigen las conexiones entre neuronas en una red neuronal natural A partir de

esta teora se ha propuesto una familia de arquitecturas neuronales desta

cando ART ART ART y Fuzzy ART para la realizacion de

aprendizaje no supervisado y ARTMAP y Fuzzy ARTMAP para

el aprendizaje supervisado Estas redes resuelven los dilemas comentados

anteriormente permitiendo un aprendizaje rapido y estable

Proliferacion de categoras en Fuzzy ARTMAP

En lo que respecta a la interpretabilidad del conocimiento adquirido la ar

quitectura neuronal Fuzzy ARTMAP puede verse como una arquitectura

capaz de aprender reglas difusas aunque formalmente no describe un sis

tema difuso Sin embargo las reglas categoras en terminologa ART

que genera son inmediatamente comprensibles por los seres humanos

es tan habitual que se habla de redes backpropagation Aunque esto no es estrictamente

correcto se utilizara aqu porque es parte de la jerga habitual en la literatura de redes

neuronales

aunque como se ha comentado con anterioridad para otros miembros de esta

familia su numero es excesivo Esto se conoce como proliferacion de

categoras

Para superar estas limitaciones en se propone un sistema de ex

traccion de reglas a partir de Fuzzy ARTMAP Este no tiene la misma

nalidad que los propuestos sobre el perceptron multicapa ie ha

cer comprensible una infomacion ininteligible en su representacion interna

sino que su proposito es seleccionar un pequeno conjunto de reglas signica

tivas que pueda ser de utilidad practica y al mismo tiempo abarcado por la

capacidad de comprension humana Esta es una de las dos aproximaciones

posibles para reducir el problema de la proliferacion de categoras en Fuzzy

ARTMAP

Se utiliza algun metodo de postprocesamiento que reduzca el numero

de reglas tras el entrenamiento de Fuzzy ARTMAP como en

Se modica la arquitectura o el algoritmo de Fuzzy ARTMAP de for

ma que se comprometa un numero menor de categoras como en

donde se utiliza informacion probabilstica en donde ademas la

funcion de activacion de las categoras se dene a partir de los datos de

entrenamiento o en donde la informacion es aprendida entre las

distintas categoras de forma distribuida de forma que sea necesario

un numero menor de ellas Otras aproximaciones pueden reducir en

numero de categoras en determinados casos en si los patrones de

cada clase se distribuyen en esferas pero es deseable tener soluciones

generales

Sin embargo pese a que se genere un numero mas reducido de ca

tegoras algunas de las modicaciones alteran el hecho

de que cada categora tene una hipercaja asociada y por lo tanto la

extraccion de reglas no es inmediata

Si la forma de las categoras no es alterada es tambien posible realizar un

postprocesamiento que seleccione unas pocas reglas tras el entrenamiento de

una arquitectura modicada

De entre las modicaciones de la arquitectura o el algoritmo de Fuzzy

ARTMAP anteriormente citadas varias utilizan la informacion probabilstica

para optimizar el numero de categoras Esto es razonable ya que

Fuzzy ARTMAP al realizar una optimizacion local asigna cada patron de

entrnenamiento en el momento en que se presenta a una categora que

predice la salida correcta Esto lleva a que cuando la informacion es ruido

sa porque existe ruido uniforme o gaussiano que distorsione las fronteras

de clasicacion o porque existan patrones de ruido impulsivo Fuzzy ART

MAP genere muchas categoras innecesarias Por otra parte por lo

general se podra obtener un numero de categoras menor si se permite un

ligero error sobre los datos de entrenamiento de forma que no se dedi

quen categoras a codicar patrones muy poco probables y por lo tanto con

una menor aportacion al error siempre que la distribucion de los datos de

entrenamiento sea representativa del problema

El reconocimiento de caracteres

El reconocimiento de caracteres ha sido intenso objeto de investigacion du

rante muchos anos

recobrando ahora interes debido a las aplica

ciones moviles sin cables que requeriran interfaces amigables en supercies

pequenas Sin embargo presenta dicultades intrnsecas que lo mantie

nen como problema abierto Fundamentalmente es un problema que conlleva

una alta variabilidad de autores de idiomas de formas de escritura de ta

bletas digitalizadoras Para compensar este problema el proyecto UNIPEN

ha recolectado mas de cinc millones de caracteres que reejan toda esta

variabilidad Esto permite desarrollar clasicadores mas robustos y permitir

comparaciones mas justas con los resultados de otros investigadores

El reconocimiento de escritura implica varias tareas previamente a la

clasicacion La primera de ellas es la segmentacion de caracteres en trazos

porciones de escritura producidas como respuesta a un solo impulso motor

Este proceso esta motivado por los modelos biologicos de segmentacion

Tras la segmentacion un conjunto de caractersticas debe ser extrai

do que permita al sistema clasicador etiquetar el trazo Finalmente

mediante un sistema de clasicacion que tenga en memoria se clasica la

secuencia de trazos y se produce la etiqueta del caracter

La extraccion de un numero reducido de reglas es de particular interes

en este problema ya que se postula que el reconocimiento de caracteres y su

generacion utilizan la misma informacion los llamados alogramas Un alo

grama es la representacion ideal de un caracter y sirven para explicar

los procesos de generaciond de la escritura como para la implementacion

de reconocedores sintacticos Claramente si se construye un dic

cionario de alogramas pero su numero es excesivo su utilidad se ve

mermada Por ello la aplicacion de redes neuronales ART optimizadas para

generar un numero pequeno de categoras es especialmente util al permitir

extraer a partir de una gran cantidad de datos nunmericos un pequeno

conjunto de reglas o alogramas que los expliquen

La aproximacion de funciones con redes ART

Fuzzy ARTMAP es muy adecuado para resolver prolemas de clasicacion

pero su diseno original no excluye su utilizacion para problemas

de aproximacion con una cuanticacion automatica del espacio de salida

realida por el Fuzzy ARTb Sin embargo en la literatura se pueden encon

trar varios informes sobre el uso de Fuzzy ARTMAP para aproximacion de

funciones presentes pero la mayora con el propostito de servir como base

comparativa para diversas arquitecturas modicadas

En la utilizacion de Fuzzy ARTMAP para aprender un mapeado f

m

cuando los datos de entrenamiento son ruidosos la precision

maxima alcanzable esta determinada por el valor de

b

Sin embargo

arma que Fuzzy ARTMAP no debera utilizarse cuando existe ruido en

los patrones de entrenamiento ya que lleva a la proliferacion de categoras

Esta es una de las razones que motivan la derivacion de otras arquitecturas

a partir de Fuzzy ARTMAP que sean mas robustas frente al ruido tanto

para problemas de clasicacion como de identicacion

Por otra parte Fuzzy ARTMAP produce una salida escalonada no con

tinua Ademas su comportamiento en fase de test carece por completo

de interpretabilidad como sistema difuso a pesar de su nombre Para

resolver estos problemas se propuso FasArt y FasBack como una mo

dicacion de este Estas arquitecturas y algunas mejoras introducidas en

ellas se estudian tambien en Aunque FALCON no se presenta co

mo una modicacion de Fuzzy ARTMAP tambien puede verse como tal ya

que utiliza un Fuzzy ART para dividir el espacio de entrada estando cada

conjunto asociado a un valor en el espacio de salida

El algoritmo de test de FasArt realiza una equivalencia entre cate

gora y conjunto difuso y por lo tanto entre activacion de la categora y

funcion de pertenencia Ademas la salida es distribuida siendo una de

fusicacion de las distintas salidas difusas predichas por varias categoras

En general se puede decir que en modo de test FasArt es equivalente a un

sistema difuso con funciones de pertenencia triangulares inferencia produc

to y defusicacion basada en el promedio de centros de conjuntos difusos

single point defuzzication based on average of fuzzy sets centers Esta

equivalencia permite aplicar el teorema de aproximacion universal que

asegura que los sistemas difusos con inferencia producto y defusicacion

basada en el promedio de centros de conjuntos difusos son aproximadores

universales Sin embargo esto solo ocurre en modo de test y aunque se

puede decir que durante el entrenamiento se esta aprendiendo un sistema

difuso dicho aprendizaje podra llevarse a cabo con otros metodos o

incluso con Fuzzy ARTMAP postprocesando adecuadamente sus pesos

La produccion de penicilina

La produccion de penicilina es un proceso de alto valor anadido por lo que su

optimizacion tiene gran interes economico e industrial Sin embargo presen

ta caractersticas altamente no lineales y como otros bioprocesos esta sujeto

a una gran incertidumbre debido a factores como mutaciones de la bioma

sa contaminaciones Por todo ello aunque existen modelos analticos del

proceso de fermentacion estos son muy simples y no recogen muchos

de los factores de variabilidad mencionados Por ello para el entrenamiento

de redes neuronales que pueden ser adaptativas es especialmente util para

el desarrollo de controladores basados en modelo

Por otra parte la monitorizacion de ciertas variables del proceso como

la cantidad de biomasa o la viscosidad de esta es muy interesante ya que

normalmente la unica forma de medirlas es en laboratorio con gran coste

y un signicativo retraso en la medicion El empleo de redes neuronales

tambien se revela intersante aqu para construir los denominados sensores

software

Por todo ello el analisis realizado sobre la utilidad de las redes ART pa

ra la aproximacion de funciones continuas se ilustrara con la identicacion

de distintas variables de este difcil proceso Ademas se utilizaran datos de

la planta piloto de Antibioticos SAU en Leon en la medida en que las

limitaciones de condencialidad permitan Este trabajo es de gran impor

tancia debido la escasa presencia en la literatura de resultados obtenidos

sobre datos reales y la gran distancia existente entre estos y los modelos

analticos

Objetivos de la tesis

De acuerdo con los problemas existentes en las redes ART que se han ex

puesto hasta ahora la tesis que se propone se centra en

La propuesta de soluciones para el problema de la proliferacion de ca

tegoras en Fuzzy ARTMAP aplicado a problemas de reconocimiento

de patrones Se busca esta solucion a traves de la modicacion de la

arquitectura o del algoritmo de Fuzzy ARTMAP

Se evaluara el aprendizaje distribuido como solucion

para reducir el numero de categoras necesarias para aprender

una distribucion de datos

Es interesante contemplar informacion probabilstica al igual que

otras soluciones ya que permite ofrecer mayor ro

bustez frente al ruido y una mejor distribucion de las categoras

en el espacio de entrada

En cualquier caso es deseable mantener la forma de las categoras

hipercajas ya que esto permite la directa traduccion de categoras en

reglas De esta forma el objetivo ultimo se formula como la propuesta

de un sistema que a partir de una coleccion de datos genere un conjunto

reducido de reglas interpretables y de alta capacidad predictiva

Las contribuciones de esta tesis a este punto son una evaluacion for

mal de la utilizadad del aprendizaje distribuido para reducir

la proliferacion de categoras y tambien una red ART que

utilice informacion probabilstica para reducir la proliferacion

de categoras

El estudio detallado de FasArt FasBack y RFasArt conocidas como

la familia FasArt como sistemas de aproximacion de funciones

y su relacion con Fuzzy ARTMAP Para ello se considerara lo siguiente

Se determinaran las semejanzas y diferencias de la clasicacion

de patrones y la aproximacion de funciones en relacion con los

principios de funcionamiento de Fuzzy ARTMAP

Se estudiara la importancia real tanto teorica como practica de

la dualidad red neuronalsistema difuso presente en estas arqui

tecturas En particular se evaluara si al producirse la dualidad

unicamente en fase de test las modicaciones introducidas du

rante el entrenamiento son necesarias

Se estudiaran modicaciones en la fase de test que manteniendo

el entrenamiento de Fuzzy ARTMAP permitan mejorar su fun

cionamiento en tareas de aproximacion de funciones Para ello se

utilizaran las observaciones realizadas sobre FasArt y FasBack

En relacion con el primer gran objetivo de esta tesis se evaluara

el problema de la proliferacion de categoras en Fuzzy ARTMAP

y las redes derivadas en su aplicacion a la aproximacion de fun

ciones En particular se estudiara si las modicaciones que per

mitan reducir el numero de reglas generadas en un problema de

reconocimiento de patrones son efectivas en un problema de apro

ximacion de funciones

Las contribuciones de la tesis a este punto son una evaluacion com

parativa de distintas arquitecturas ART para aproximacion

as como una propuesta para mejorar la prediccion de Fuzzy

ARTMAP en tareas de aproximacion

Se validaran las propuestas anteriores en una serie de problemas

Se propondran tareas sinteticas sencillas tanto de reconocimiento

de patrones como de aproximacion de funciones que permitan

evaluar las propiedades de las distintas arquitecturas

Se estudiara la efectividad de las mejoras en el algoritmo de Fuzzy

ARTMAP sobre algun problema de reconocimiento de patrones

real de relevancia En concreto resulta de gran interes el reco

nocimiento de caracteres manuscritos de UNIPEN ya que la ex

traccion de un pequeno conjunto de reglas es de una importancia

especial

Identicamente se realizara un estudio experimental sobre un pro

blema de aproximacion de funciones real de interes En concreto

se estudiara la modelizacion del proceso de fermentacion que da

lugar a la prediccion de penicilina a partir de datos recoletcados

en la planta piloto de Antibioticos SAU en Leon

En este punto se realizan contribuciones con diversas propuestas de

metodos de reconocimiento de escritura basados en redes ART

as como el desarrollo de estimadores o sensores software

para el proceso de produccion de penicilina utilizando redes ART y

a partir de datos simulados y reales obtenidos en planta

Conclusiones

Las redes neuronales han tenido amplio uso para problemas de ingeniera

pero multiples problemas quedan abiertos siendo por ello un campo de

investigacion muy intensa Las redes de la Teora de la Resonancia Adapta

tiva solucionan algunos de los problemas existentes en otras arquitecturas

y ademas ofrecen una inmediata interpretabilidad del conocimiento adquiri

do en forma de reglas Sin embargo debido a que el numero de reglas que

generan es habitualmente muy alto algun metodo de postprocesamiento o

alguna modicacion de los algoritmos originales son necesarios para la inter

pretacion efectiva de dicho conjunto de reglas Este situacion se produce en

problemas de reconocimiento de patrones para los que Fuzzy ARTMAP es

una solucion adecuada y tambien en problemas de aproximacion de funcio

nes en los que multiples modicaciones han sido propuestas con particulares

ventajas para dicho tipo de problemas

La tesis que se propone busca encontrar una modicacion de la arqui

tectura de Fuzzy ARTMAP para reducir el problema de la proliferacion

de categoras especialmente en problemas de reconocimiento de patrones

Ademas se estudiaran distintas soluciones propuestas para la aproximacion

de funciones determinando cuales de sus principios de funcionamiento son

los que realmente permiten adecuar las arquitecturas ART a este tipo de

funciones mostrando tambien sus deciencias actuales Como parte de este

estudio se contempla la presencia del problema de proliferacion de cate

goras en tareas de aproximacion

Las propuestas de este estudio se validaran sobre problemas reales de

relevancia En concreto el reconcimiento de patrones se ilustrara con el

reconocimiento de caracteres manuscritos de UNIPEN mientras que la es

timacion de diversas variables en el proceso de produccion de penicilina se

utilizara como tarea de aproximacion de funciones

Referencias

GC Anagnostopoulos and M Georgiopoulos Hypersphere ART and

ARTMAP for unsupervised and supervised incremental learning In

Proceedings of the International Joint Conference on Neural Networks

IJCNN Como Italia July

MJ Arauzo Bravo E Gomez Sanchez JM Cano Izquierdo

J Lopez Coronado M Lopez

Nieto and A Collados de la Vieja Con

trol of the penicillin production with adaptive IMC using fuzzy neural

networks In Proceedings of IFAC volume O pages

Beijing

China

R Bajpai and M Reu A mechanistic model for penicillin production

Journal of Chemical Technology and Biotechnology

G Bologna Rule extraction from a multilayer perceptron with stairca

se activation functions In Proceedings of the International Joint Con

ference on Neural Networks IJCNN Como Italia July

G Bradski G Carpenter and S Grossberg Working memory networks

for learning temporal order of arbitrary temporal sequences Neural

Computation

JM Cano Izquierdo YA Dimitriadis MJ Arauzo and J Lopez Co

ronado FasArt A new neurofuzzy architecture for incremental lear

ning in system identication In Proc of the IFAC World Congress

IFAC volume F pages San Francisco USA June

JM Cano Izquierdo YA Dimitriadis E Gomez Sanchez and

J Lopez Coronado Learning from noisy information in FasArt and

FasBack neurofuzzy systems Neural Networks Aceptado para

publicacion

JM Cano Izquierdo YA Dimitriadis and J Lopez Coronado A fuzzy

neural architecture for supervised learning and classication of tempo

ral sequences In Proceedings of ICANN

Amsterdam Nedherland

JM Cano Izquierdo E Gomez Sanchez YA Dimitriadis and

J Lopez Coronado Aproximacion de funciones con fuzzy artmap In

Actas de las Jornadas de Automatica Sevilla Espana September

GA Carpenter and K Govindavajan Evaluation of speaker norma

lization methods for vowel recognition using Fuzzy ARTMAP and K

NN Technical Report CASCNS Boston University Center for

Adaptive Systems and Department of Cognitive and Neural Systems

GA Carpenter and S Grossberg ART Selforganization of stable

category recognition codes for analog input patterns Applied Optics

December

GA Carpenter and S Grossberg A massively parallel architecture for

selforganizing neural pattern recognition machine Computer Vision

Graphics and Image Processing

GA Carpenter S Grossberg N Markuzon J Reynolds and DB Ro

sen Fuzzy ARTMAP A neural network architecture for incremental

supervised learning of analog multidimensional maps IEEE Transac

tions on Neural Networks September

GA Carpenter S Grossberg and J Reynolds ARTMAP Supervised

realtime learning and classication of nonstationary data by a self

organizing neural network Neural Networks

GA Carpenter S Grossberg and DB Rosen Fuzzy ART Fast stable

learning and categorization of analog patterns by an adaptive resonance

system Neural Networks

GA Carpenter BL Milenova and BW Noeske Distributed ART

MAP a neural network for fast distributed supervised learning Neural

Networks

GA Carpenter and HA Tan Rule extraction From neural architec

ture to symbolic representation Connection Science

J Castro and M Delgado Fuzzy systems with defuzzication are

universal approximators IEEE Transaction on Systems Man and

CyberneticsPart B Cybernetics February

MW Craven and JW Shavlik Learning symbolic rules using articial

neural networks In Proc of the Tenth International Joint Conference

on Machine Learning Amherst MA Morgan Kaufmann

MW Craven and JW Shavlik Using sampling and queries to extract

rules from trained neural networks In WW Cohen and H Hirsh

editors Proceedings of the Eleventh International Joint Conference on

Machine Learning San Mateo CA Morgan Kaufmann

MW Craven and JW Shavlik Extracting comprenhensible concept

representations from trained neural networks In Proc of the Interna

tional Joint Conference on Articial Intelligence Workshop on Com

prehensibility in Machine Learning Montreal Canada

YA Dimitriadis and J Lopez Coronado Towards an ARTbased mat

hematical editor thar uses online handwritten symbol recognition

Pattern Recognition June

L Duneau and B Dorizzi Incremental building of an allograph lexicon

In C Fanre P Kenss G Lorette and A Vinter editors Advances

in handwriting an drawing a multidisciplinary aproach pages

Europia

L Fu Rule generation from neural networks IEEE Transactions on

Systems Man and Cybernetics

August

E Gomez Sanchez JM Cano Izquierdo MJ Arauzo Bravo YA

Dimitriadis and J Lopez Coronado Adaptive IMC using fuzzy neural

networks for the control of nonlinear systems In Changing the Ways

we Worsk Proc of Conference on Integration in Manufacturing IiM

pages Goteborg Suecia October

E Gomez Sanchez YA Dimitriadis JM Cano Izquierdo and

J Lopez Coronado MicroARTMAP use of mutual information for

category reduction in Fuzzy ARTMAP In Proceedings of the Interna

tional Joint Conference on Neural Networks IJCNN volume VI

pages Como Italia July

E Gomez Sanchez YA Dimitriadis JM Cano Izquierdo and

J Lopez Coronado MicroARTMAP use of mutual information for

category reduction in Fuzzy ARTMAP IEEE Transactions on Neural

Networks Enviado para publicacion

E Gomez Sanchez JA Gago Gonzalez YA Dimitriadis JM Ca

no Izquierdo and J Lopez Coronado Experimental study of a nove

neurofuzzy system for online handwritten recognition Pattern Recog

nition Letters

March

E Gomez Sanchez JA Gago Gonzalez YA Dimitriadis JM Ca

no Izquierdo and J Lopez Coronado Online handwritten digit re

cognition with fuzzy neural networks In Proc of the th Biennial

Conference of the International Graphonomics Society IGS pages

Genova Italia August

E Gomez Sanchez MJ Arauzo Bravo JM Cano Izquierdo

J Lopez Coronado M Lopez

Nieto and A Collados de la Vieja Con

trol of the penicillin production using fuzzy neural networks In Pro

ceedings of the IEEE SMC volume VI pages Tokio Japon

October

S Grossberg A theory of human memory selforganization and perfor

mance of sensorymotor codes Progress in Theoretical Biology

S Grossberg Studies of mind and brain Neural principles of learning

perception development cognition and motor control Reidel Press

Boston MA USA

I Guyon L Schomaker R Plamondon M Liberman and S Janet

UNIPEN Project of online data exchange and recognizer benchmarks

In Proc of the th International Conference on Pattern Recognition

Jerusalem Israel pages October

DO Hebb The organization of behaviour Wiley

C Lin and C Lin Reinforcement learning for an artbased fuzzy adap

tive learning control network IEEE Transactions on Neural Networks

May

CJ Lin and CT Lin An ARTbased fuzzy adaptive learning control

network IEEE Transactions on Fuzzy Systems Novem

ber

S Marriott and R Harrison A modied Fuzzy ARTMAP architecture

for the approximation of noisy mappings Neural Networks

M Parizeau and R Plamondon A handwriting model for syntactic

recognition of cursive script In Proc of the th International Con

ference on Pattern Recognition volume pages The Hague

Netherlands

M Parizeau and R Plamondon A fuzzysyntactic aproach to an allo

graph modeling for cursive script recognition IEEE Transactions on

Pattern Analysis and Machine Intelligence July

M Parizeau R Plamondon and G Lorette Fuzzyshape grammars

for cursive script recognition In Proc of the Workshop on Structural

and Syntactic Pattern Recognition

E Parrado Hernandez E Gomez Sanchez YA Dimitriadis and

J Lopez Coronado A neurofuzzy sytem that uses distributed learning

for compact rule set generation In Proceedings of the IEEE Conferen

ce on System Man and Cybernetics SMC Tokyo Japan October

R Plamondon A kinematic theory of rapid human movements Part

Movement representation and generation Biological Cybernetics

R Plamondon A kinematic theory of rapid human movements part

Movement time and control Biological Cybernetics

R Plamondon GE Stelmach and N Teasdale Motor program coding

representation from a handwriting generator model the production of

line responses Biological Cybernetics

GI Sainz Palmero YA Dimitriadis JM Cano Izquierdo

E Gomez Sanchez and E Parrado Hernandez Art based model set

for pattern recognition The fasart family In H Bunke editor Neuro

fuzzy pattern recognition World Scientic Publishing Singapore

En prensa

N Srinivasa Learning and generalization of noisy mappings using a

modied probart neural network IEEE Transactions on Signal Proces

sing October

CC Tappert CY Suen and T Wakahara The state of the art in on

line handwriting recognition IEEE Transactions on Pattern Analysis

and Machine Intelligence August

V Tiller J Meyerho D Sziele K Schugerl and Bellgardt K Se

gregated mathematical model for the fedbatch cultivation of a high

producing strain of penicillium crysogenum Journal of Biotechnology

G Towell and JW Shavlik Interpretation of articial neural networks

mapping knowledgebased neural networks into rules In J Moody

S Hanson and R Lippmann editors Advances in Neural Information

Processing Systems volume Morgan Kaufmann San Mateo CA

G Towell and JW Shavlik Extracting rened rules from knowledge

based neural networks Machine Learning

SJ Verzi GL Heileman M Georgiopoulos and MJ Healy Boosted

ARTMAP In Proc of the IEEE World Congress on Computational

Intelligence WCCI pages Anchorage Alaska May

L Wang Adaptive Fuzzy Systems and Control Prentice Hall

L Wang and J Mendel Generating fuzzy rules by learning from

examples IEEE Transactions on Systems Man and Cybernetics

NovemberDecember

R Want and G Borriello Survey on information appliances IEEE

Computer Graphics Applications May

J Williamson Gaussian ARTMAP A neural network for fast incre

mental learning of noisy multidimensional maps Neural Networks