red de retro-propagación neuronal

ESCOM I P N Febrero 2006 1

RED De Retro-propagaciónRED De Retro-propagación

Modelo Y Arquitectura De La Red

ESCOM I P N Febrero 2006 2

Red MulticapaRed Multicapa

R – S1 – S2 – S3 Network

ESCOM I P N Febrero 2006 3

Arquitectura general de una red de Arquitectura general de una red de propagación hacia atráspropagación hacia atrás

ESCOM I P N Febrero 2006 4

ESCOM I P N Febrero 2006 5

ARQUITECTURA DE LA RBPARQUITECTURA DE LA RBP

• Esta red puede utilizarse para “Aproximar una función”. Puede aproximar cualquier función con un numero finito de discontinuidades.

ESCOM I P N Febrero 2006 6

IntroducciónIntroducción• En 1986, Rumelhart, Hinton y Williams formalizaron un método para que una red

neuronal aprendieraaprendiera la relación que existe entre los patrones de entrada a la

red y las salidas correspondientes, utilizando más niveles de neuronas que

los que utilizó Rosenblatt para desarrollar el Perceptron.

ESCOM I P N Febrero 2006 7

IntroducciónIntroducción

• La red Back-Propagation está basada en la generalización de la regla delta.

• Al igual que el Perceptron, ADALINE y MADALINE, la red Back-Propagation se caracteriza por tener una arquitectura en niveles y conexiones estrictamente

hacia adelante entre las neuronas. • Utilizan aprendizaje supervisado.

ESCOM I P N Febrero 2006 8

¿En que consiste la RBP? ¿En que consiste la RBP?

Consiste en un aprendizaje de un conjunto predefinido de pares de entradas-salidas dados como ejemplo, empleando un ciclo propagación-adaptación de dos fases.

ESCOM I P N Febrero 2006 9

FASESFASES

Primero.- se aplica un patrón de entrada como estímulo para la primera capa de las neuronas de la red, se va propagando a través de todas las capas superiores hasta generar una salida. Después se compara el resultado obtenido en las neuronas de salida con la salida que se desea obtener y se calcula un valor del error para cada neurona de salida.

ESCOM I P N Febrero 2006 10

FASESFASES

Segundo.- estos errores se transmiten hacia atrás, partiendo de la capa de salida, hacia todas las neuronas de la capa intermedia que contribuyan directamente a la salida, recibiendo el porcentaje de error aproximado a la participación de la neurona intermedia en la salida original.

ESCOM I P N Febrero 2006 11

La importancia de este algoritmo consiste en su capacidad de auto adaptar los pesos de las neuronas de las capas intermedias para aprender la relación que existe entre un conjunto de patrones dados como ejemplo y sus salidas correspondientes.

Importancia Importancia

ESCOM I P N Febrero 2006 12

Ya entrenada la red se podrá aplicar esa misma relación (terminado el entrenamiento), a nuevos vectores de entrada con ruido o incompletos, dando una salida activa si la nueva entrada es parecida a las presentadas durante el aprendizaje.

GeneralizaciónGeneralización

ESCOM I P N Febrero 2006 13

Regla Delta GeneralizadaRegla Delta Generalizada

• Es una extensión de la regla delta propuesta por Widrow (1960).

• Se usa en redes con capas intermedias con conexiones hacia delante y cuyas células tienen funciones de activación continuas. Estas funciones continuas son no decrecientes y derivables (la función sigmoidal pertenece a este tipo de funciones).

ESCOM I P N Febrero 2006 14

Superficie de errorSuperficie de error

El algoritmo utiliza una superficie de error asociada a la red, buscando el estado de mínimo error a través del camino descendente de la superficie del error.

ESCOM I P N Febrero 2006 15

Superficie de errorSuperficie de error

ESCOM I P N Febrero 2006 16

Estructura y aprendizajeEstructura y aprendizaje•Capa de entrada con n neuronas.

•Capa de salida con m neuronas.

•Al menos una capa oculta de neuronas.

Cada neurona de una capa recibe entradas de todas las neuronas de la capa anterior y envía su salida a todas las neuronas de la capa posterior. No hay conexiones hacia atrás ni laterales entre neuronas de la misma capa.

ESCOM I P N Febrero 2006 17

Control de la convergenciaControl de la convergencia• La velocidad de aprendizaje se

controla mediante . Normalmente, debe ser un número entre 0.05 y 0.25.

Velocidad de convergencia• El valor de se aumenta a medida

que disminuye el error.• Añadir un momento (sumar una

fracción del ajuste de peso anterior al ajuste actual).

ESCOM I P N Febrero 2006 18

Si una red deja de aprender:

• Realizar un cambio en el número de neuronas ocultas.

• Volver a empezar con un conjunto distinto de pesos.

ESCOM I P N Febrero 2006 19

BPN vs. PERCEPTRONBPN vs. PERCEPTRON• La salida de BPN puede tomar valores entre

0 y 1; el perceptrón sólo toma 0 o 1.• Perceptrón y BPN normalmente empiezan

con un conjunto de pesos aleatorios.• El método de la regla delta generalizada

para ajustar pesos es el mismo que el de la regla delta utilizada en el perceptrón y ADALINE.

• BPN usa neuronas con función de activación continua.

ESCOM I P N Febrero 2006 20

RED De Retro-propagaciónRED De Retro-propagación

Algoritmo de Aprendizaje y Entrenamiento

ESCOM I P N Febrero 2006 21

Funcionamiento del Algoritmo Funcionamiento del Algoritmo de Aprendizajede Aprendizaje

1. Inicialice los pesos de la red con valores pequeños aleatorios.

2. Presentar un patrón de entrada y especificar la salida deseada.

3. Calcule los valores de ajuste de las unidades de salida en base al error observado.

ESCOM I P N Febrero 2006 22

Funcionamiento del Algoritmo Funcionamiento del Algoritmo de Aprendizajede Aprendizaje

4. Empezando por el nivel de salida, repita lo siguiente por cada nivel de la red, hasta llegar al primero de los niveles ocultos:

1. Propague los valores de ajuste de regreso al nivel anterior.

2. Actualice los pesos que hay entre los dos niveles.

5. El proceso se repite hasta que el error resulta aceptablemente pequeño para cada uno de los patrones aprendidos.

ESCOM I P N Febrero 2006 23

Funcionamiento del Algoritmo Funcionamiento del Algoritmo de Entrenamientode Entrenamiento

•El método es exactamente el mismo que el de la regla delta utilizada en el Perceptron y ADALINE.

obtenidasaldeseadasal ..

ESCOM I P N Febrero 2006 24

Algoritmo de retropropagaciónAlgoritmo de retropropagación

Primer Paso,0 pa

,1,,2,0)( 1111 Mmparammmmm baWfa

,Maa

ESCOM I P N Febrero 2006 25

Algoritmo de retropropagaciónAlgoritmo de retropropagación

Segundo Paso

,121 ssss MM

,2 atnFs

MM

M

.1,2,,1,11

MmparasmTmm

mm WnFs

ESCOM I P N Febrero 2006 26

Algoritmo de retropropagaciónAlgoritmo de retropropagación

Tercer Paso

,1 1 Tm-mm

m kk asαWW

mm

m kk sbb α1

ESCOM I P N Febrero 2006 27

Suponer que se quiere utilizar una RNA (1-2-1)para aproximar la función:

.224

1)(

pparapsinpg

ESCOM I P N Febrero 2006 28

EntrenamientoEntrenamiento

.48.00,13.0

48.00,17.009.00,

47.0

27.00 2121

bbWW

1.0Si p = 1 y entonces:

,0 1pa

ESCOM I P N Febrero 2006 29

EntrenamientoEntrenamiento

La salida de la primera capa es:

368.0

321.0

1

11

1

54.0

75.0log

13.0

48.01

41.0

27.0log)(

54.0

75.0

10111

e

esig

sigbaWfa

ESCOM I P N Febrero 2006 30

EntrenamientoEntrenamiento

Mientras que la salida para la segunda capa es :

446.048.0368.0

321.017.009.0)( 21222

purelinbaWfa

Y se calcula el error de la red que será de:

261.1446.014

14

1 2

sinapsinate

ESCOM I P N Febrero 2006 31

EntrenamientoEntrenamientoEtapa 2 retropopagación de la sensibilidad.

Se necesita derivar las funciones de transferencia de las capas de la Red:

11

2

1.

11

1

1

11

11

1)( aa

eee

e

edn

dnf

nnn

n

n

12.

ndn

dnf

ESCOM I P N Febrero 2006 32

EntrenamientoEntrenamientoEl punto de inicio se encuentra en la segunda etapa :

522.2261.112261.122 22.

22

2

nfatnFs

La sensibilidad de la primera capa se calcula al retropropagar la sensibilidad desde la segunda capa:

ESCOM I P N Febrero 2006 33

EntrenamientoEntrenamiento

La etapa final del algoritmo conlleva la actualización de los pesos :

.0997.0

0495.0

429.0

227.0

233.00

0218.0

522.217.0

09.0

368.0368.010

0321.0321.01

522.217.0

09.0

10

0112

12

11

11221

11

aa

aas

TWnFs

ESCOM I P N Febrero 2006 34

EntrenamientoEntrenamientoLa etapa final del algoritmo conlleva la actualización de los pesos y umbrales, para la capa de salida:

.0772.0171.0

368.0321.0522.21.017.009.0α01 122

2

TasWW

732.0522.21.048.0α01 22

2 sbb

ESCOM I P N Febrero 2006 35

EntrenamientoEntrenamiento

Y para las capas ocultas:

.420.0

265.01

0997.0

0495.01.0

41.0

27.0α01 01

11

T

asWW

140.0

475.0

0997.0

0495.01.0

13.0

48.0α01 1

11 sbb

ESCOM I P N Febrero 2006 36

EntrenamientoEntrenamiento

Estos resultados completan la primera iteración del algoritmo de la retropropagación. Se continuará iterando hasta que la diferencia entre la respuesta de la red y la función objetivo alcance algún nivel aceptable.

ESCOM I P N Febrero 2006 37

Consideraciones sobre el algoritmo de Consideraciones sobre el algoritmo de aprendizajeaprendizaje

• Este algoritmo encuentra un valor mínimo de error (local o global) mediante pasos descendentes (gradiente descendente).

• Cada punto de la superficie corresponde a un conjunto de valores de los pesos de la red.

ESCOM I P N Febrero 2006 38

Consideraciones sobre el algoritmo de Consideraciones sobre el algoritmo de aprendizajeaprendizaje

• Con el gradiente descendente, siempre que se realiza un cambio en todos los pesos de la red, se asegura el descenso por la superficie del error hasta encontrar el valle más cercano, lo que puede hacer que el proceso de aprendizaje se detenga en un mínimo local de error.

ESCOM I P N Febrero 2006 39

Superficie de errorSuperficie de error