new redes neuronales artificialeslctorress/redneu/rna004c.pdf · 2019. 7. 7. · 2 redes neuronales...
TRANSCRIPT
![Page 1: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/1.jpg)
Redes Neuronales Artificiales
![Page 2: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/2.jpg)
22
Red
es N
euro
nale
s A
rtifi
cial
es
Perceptrón
Definición. Es una red neuronal feedforward queconsta de dos capas, una de entrada y una desalida.
![Page 3: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/3.jpg)
33
Red
es N
euro
nale
s A
rtifi
cial
es
Separabilidad de patrones
01 11
1000
Función AND (linealmente separable)
![Page 4: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/4.jpg)
44
Red
es N
euro
nale
s A
rtifi
cial
es
OROR XORXOR
Separabilidad de patrones
![Page 5: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/5.jpg)
55
Red
es N
euro
nale
s A
rtifi
cial
es
Separabilidad de patrones
01 11
1000
Función XOR. No es posible obtener una recta quesepare las dos clases.
![Page 6: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/6.jpg)
66
Red
es N
euro
nale
s A
rtifi
cial
es
Patrones de entrenamiento
Un patrón es una pareja de vectores X y Y delongitud n y m respectivamente:
X = (x1, x2, x3, .. , xn)Y= (y1, y2, y3, .. , ym)
donde xi corresponde a un valor para la neurona deentrada i y yj es el valor deseado de la neurona desalida j.
![Page 7: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/7.jpg)
77
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónAprendizaje
1. Inicialización aleatoria de los pesos (wi) y delumbral (a).
2. Tomar un patrón de entradaXp=(x1,x2,...,xn, d(t)) d(t) es la salida deseada
3. Cálcular la salida actual yiyi =f [Σwixi - a] f función de activación
4. Adaptación de los pesos :wi+1=wi + ∆wi∆wi = η[di - yi] xiη es la tasa de aprendizaje
5. Repetir desde el paso 2.
![Page 8: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/8.jpg)
88
Red
es N
euro
nale
s A
rtifi
cial
es
Σ
x0
x1
x2
1.5
0.5
1.51
0
El Perceptrón
![Page 9: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/9.jpg)
99
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Patrones dados:00 0 01 1 10 1 11 1
Ajuste de pesos de las conexiones de una red quedebe realizar la función OR.
1. Valores elegidos aleatoriamente:w0=1.5, w1=0.5 w2=1.5 a=0
![Page 10: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/10.jpg)
1010
Red
es N
euro
nale
s A
rtifi
cial
es
2. Se toman cada uno de los patrones de entrada y seaplica el método:
2.1.Patrón de entrada 00, d=0Entradas: x1=0; x2=0; x0=1Pesos: w1=0.5; w2=1.5; w0=1.5sum i= 1*1.5 +0*0.5+0*1.5 = 1.5
Salida producida yi : 1 ( sumi >= 0)Error: (deseada-obtenida)= 0-1= -1
El PerceptrónEjemplo
![Page 11: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/11.jpg)
1111
Red
es N
euro
nale
s A
rtifi
cial
es
Nuevos pesos:w1 = 0.5 + (-1)*0 = 0.5w2 = 1.5 + (-1)*0 = 1.5w0 = 1.5 + (-1)*1 = 0.5
El PerceptrónEjemplo
![Page 12: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/12.jpg)
1212
Red
es N
euro
nale
s A
rtifi
cial
es
2.2. Patrón de entrada 01, d=1Entradas: x1=0; x2=1; x0=1Pesos: w1 = 0.5; w2 = 1.5; w0 = 0.5sum i = 1*0.5 + 0*0.5 + 1*1.5 = 2
Salida producida : 1Error : (deseada-obtenida)= 1-1 = 0Los pesos no se modifican
El PerceptrónEjemplo
![Page 13: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/13.jpg)
1313
Red
es N
euro
nale
s A
rtifi
cial
es
2.3. Patrón de entrada 10, d=1Entradas: x1=1; x2=0; x0=1Pesos: w1 = 0.5; w2 = 1.5; w0 = 0.5sum i = 1*0.5 + 1*0.5 + 0*1.5 = 1
Salida producida : 1Error : (deseada-obtenida)= 1-1 = 0Los pesos no se modifican
El PerceptrónEjemplo
![Page 14: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/14.jpg)
1414
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
2.4. Para el patrón 11 1, la salida obtenida es iguala la deseada, por tanto no varían los pesos. Si nofuese así se aplica la corrección.
Como existió un patrón de entrada (00 0) en que elerror no es cero, se realiza de nuevo el proceso.
![Page 15: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/15.jpg)
1515
Red
es N
euro
nale
s A
rtifi
cial
es
3. Se toman de nuevo los cuatro patrones deentrada:
3.1 Patrón de entrada 00, d=0Entradas: x1=0; x2=0; x0=1Pesos: w1=0.5; w2=1.5; w0=0.5sum i: 1*0.5 +0*0.5+0*1.5 = 0.5
Salida producida = 1Error = -1
El Perceptrón
![Page 16: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/16.jpg)
1616
Red
es N
euro
nale
s A
rtifi
cial
es
3.2. Patrón de entrada 01, d=1Entradas: x1=0; x2=1; x0=1Pesos: w1=0.5; w2=1.5; w0(t)= -0.5sum i = 0*0.5+1*1.5+1*-0.5 =1
Salida producida = 1Error = 0 No se modifican los pesos
El Perceptrón
Nuevos pesos:w1 = 0.5+(-1)*0 = 0.5w2 = 1.5+(-1)*0 = 1.5w0 = 0.5+(-1)*1 = -0.5
3.3. Para las entradas restantes 10 y 11, los pesosno varían.
Existe aún una entrada con error distinto de cero.
![Page 17: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/17.jpg)
1717
Red
es N
euro
nale
s A
rtifi
cial
es
4. Se toman de nuevo los cuatro patrones deentrada:4.1 Patrón de entrada 00, d=0
Entradas: x1=0;x2=0; x0=1Pesos: w1=0.5; w2=1.5; w0= -0.5sum i = 0*0.5+0*1.5+1*-0.5= -0.5
Salida producida = 0Error = 0
No se varían los pesos
El Perceptrón
![Page 18: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/18.jpg)
1818
Red
es N
euro
nale
s A
rtifi
cial
es
4.2 Patrón de entrada 01, d=0Entradas: x1=0;x2=1; x0=1Pesos: w1=0.5; w2=1.5; w0= -0.5sum i = 0*0.5+1*1.5+1*-0.5= -0.5
Salida producida = 1Error = 0 No se varían los pesos
El Perceptrón
4.3. Al no variar los pesos en los otros patrones, elerror cometido es cero.
Con estos pesos, al calcular la salida para cualquierade los cuatro patrones no se obtiene error, luego laetapa de aprendizaje concluye.
![Page 19: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/19.jpg)
1919
Red
es N
euro
nale
s A
rtifi
cial
es
x1
x2
xm
.
...
y1
y2
yn
El Perceptrón
![Page 20: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/20.jpg)
2020
Red
es N
euro
nale
s A
rtifi
cial
es
El Perceptrón
La salida depende de los pesos (W) y los umbrales(a).Los umbrales a pueden ser un W0 con entrada 1.
Busca minimizar el error producido por las salidasobtenidas t1, t2,...,tm, con respecto a las esperadas y1,y2, ..., ym para unas entradas dadas x1, ..., xn
El entrenar un perceptrón es reducir el error en lospesos. Por tanto, el espacio de búsqueda tiene unadimensión igual al número de conexiones.
![Page 21: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/21.jpg)
2121
Red
es N
euro
nale
s A
rtifi
cial
es
1. Inicializar los pesos y el umbral:– Se asignan valores aleatorios a los pesos (wi)
de las conexiones y al umbral (a).2. Presentar nuevo par (entrada, salidaesperada):– Entrada Xp=(x1,x2,...,xN), salida esperada d(t).
3. Cálculo de la salida actual– y(t)=f [Σwi(t)xi(t)]
f (x) = función de transferencia (Escalón).
El Perceptrón Regla de Aprendizaje
![Page 22: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/22.jpg)
2222
Red
es N
euro
nale
s A
rtifi
cial
es
La función de error es la función cuadrática medio.Para la neurona de salida i el error cuadrático es:ei = (di – yi)2 / 2
Donde di es: ∑j wij xj ó f(∑j wij xj) si no es linealExpresado en términos de pesos: ei = (∑j wij xj – yi)2 / 2 ei = (f(∑j wij xj)– yi)2 / 2 no lineal
El Perceptrón
![Page 23: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/23.jpg)
2323
Red
es N
euro
nale
s A
rtifi
cial
es
Aplicando técnica de gradiente
(∑j wij xj – yi)x1
(∑j wij xj – yi)x2
∇ ei =
(∑j wij xj – yi)xn
f’(wi1)( ∑j wij xj)(f(wij xj)– yi)
∇ ei f’(wi2)( ∑j wij xj)(f(wij xj)– yi)
f’(win)( ∑j wij xj)(f(wij xj)– yi)
lineal No lineal
.
.
.
.
.
.
.
.
.
El Perceptrón
![Page 24: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/24.jpg)
2424
Red
es N
euro
nale
s A
rtifi
cial
es
(di– yi)x1
(di– yi)x2
∇ ei =
(di– yi)xn
(f’(wi1)( ∑j wij xj))(di -yi)
∇ ei = (f’(wi2)( ∑j wij xj))(di -yi)
(f’(win)( ∑j wij xj))(di -yi)
.
.
.
.
.
.
lineal No lineal
El Perceptrón
![Page 25: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/25.jpg)
2525
Red
es N
euro
nale
s A
rtifi
cial
es
4. Adaptación de los pesos :
∆wij(t)=η[d(t)-y(t)] xi(t)
(0<=i<=N)donde η es la tasa de aprendizaje y varia entre 0 y 1. wij (t+1) =w ij(t) - η[di (t)-yi (t)] xj(t)
5. Repertir desde el paso 2.
El Perceptrón
![Page 26: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/26.jpg)
2626
Red
es N
euro
nale
s A
rtifi
cial
es
Sean los patrones:
El PerceptrónEjemplo
[ 1 1 0 1 ] [ 1 0 1 1 ] [ 0 1 1 1 ]
[ 0 1 0 0 ] [ 1 0 0 0 ] [ 0 0 1 0 ]
![Page 27: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/27.jpg)
2727
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos iniciales: W01=.5, W11=1, W21=0, W31=.8
Umbral a= 0.5, µ=.5 (t aprendizaje
Patrón 1: X1=1; X2=1; X3=0, X0=1, Sd=1
Y = 1*.5 + 1*1 + 1*0 + 0*.8 = 1.5 > .5, Y=1
Error = Sd - Y = 1 - 1 = 0
No hay cambio de pesos
![Page 28: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/28.jpg)
2828
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01=.5, W11=1, W21=0, W31=.8
Patrón 2: X1=1; X2=0; X3=1, X0=1, Sd=1
Y = 1*.5 + 1*1 + 0*0 + 1*.8 = 2.3 > .5, Y=1
Error = Sd - Y = 1 - 1 = 0
No hay cambio de pesos
![Page 29: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/29.jpg)
2929
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01=.5, W11=1, W21=0, W31=.8
Patrón 3: X1=0; X2=1; X3=1, X0=1, Sd=1
Y = 1*.5 + 0*1 + 1*0 + 1*.8 = 1.3 > .5, Y=1
Error = Sd - Y = 1 - 1 = 0
No hay cambio de pesos
![Page 30: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/30.jpg)
3030
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01=.5, W11=1, W21=0, W31=.8Patrón 4: X1=0; X2=1; X3=0, X0=1, Sd=0Y = 1*.5 + 0*1 + 1*0 + 0*.8 = .5 >= .5, Y=1
Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=.5-.5(-1)1=1
W11=1-.5(-1)0=1W21=0-.5(-1)1=.5W31=.8-.5(-1)0=.8
![Page 31: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/31.jpg)
3131
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01= 1, W11=1, W21=.5, W31=.8Patrón 5: X1=1; X2=0; X3=0, X0=1, Sd=0Y = 1*1 + 1*1 + 0*.5 + 0*.8 = 2 >= .5, Y=1
Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=1-.5(-1)1=1.5
W11=1-.5(-1)1=1.5W21=.5-.5(-1)0=.5W31=.8-.5(-1)0=.8
![Page 32: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/32.jpg)
3232
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01= 1.5, W11=1.5, W21=.5, W31=.8Patrón 6: X1=0; X2=0; X3=1, X0=1, Sd=0Y = 1*1.5 + 0*1 + 0*.5 + 1*.8 = 2.3 >= .5, Y=1
Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=1.5-.5(-1)1=2
W11=1.5-.5(-1)0=1.5W21=.5-.5(-1)0=.5W31=.8-.5(-1)1=1.3
![Page 33: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/33.jpg)
3333
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01= 2, W11=1.5, W21=.5, W31=1.3
Patrón 1: X1=1; X2=1; X3=0, X0=1, Sd=1
Y = 1*2 + 1*1.5 + 1*.5 + 0*1.3 = 4 >= .5, Y=1
Error = Sd - Y = 1 - 1 = 0
NO hay que ajustar pesos
En el ciclo de los patrones existió un error, portanto, se requiere volver a mirar todos los patronescon los nuevos pesos.
![Page 34: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/34.jpg)
3434
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01= 2, W11=1.5, W21=.5, W31=1.3Patrón 2: X1=1; X2=0; X3=1, X0=1, Sd=1
Y = 1*2 + 1*1.5 + 0*.5 + 1*1.3 = 4.8 >= .5, Y=1Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos
![Page 35: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/35.jpg)
3535
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01= 2, W11=1.5, W21=.5, W31=1.3Patrón 3: X1=0; X2=1; X3=1, X0=1, Sd=1
Y = 1*2 + 0*1.5 + 1*.5 + 1*1.3 = 3.8 >= .5, Y=1Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos
![Page 36: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/36.jpg)
3636
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01= 2, W11=1.5, W21=.5, W31=1.3Patrón 4: X1=0; X2=1; X3=0, X0=1, Sd=0
Y = 1*2 + 0*1.5 + 1*.5 + 0*1.3 = 2.5 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=2-.5(-1)1=2.5
W11=1.5-.5(-1)0=1.5W21=.5-.5(-1)1=1W31=1.3-.5(-1)0=1.3
![Page 37: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/37.jpg)
3737
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01= 2.5, W11=1.5, W21=1, W31=1.3Patrón 5: X1=1; X2=0; X3=0, X0=1, Sd=0
Y = 1*2 + 1*1.5 + 0*.5 + 0*1.3 = 3.5 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=2.5-.5(-1)1=3
W11=1.5-.5(-1)1=2W21=1-.5(-1)0=1W31=1.3-.5(-1)0=1.3
![Page 38: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/38.jpg)
3838
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W01= 3, W11=2, W21=1, W31=1.3Patrón 6: X1=0; X2=0; X3=1, X0=1, Sd=0
Y = 1*2 + 0*1.5 + 0*.5 + 1*1.3 = 3.3 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=3-.5(-1)1=3.5
W11=2-.5(-1)0=2W21=1-.5(-1)0=1W31=1.3-.5(-1)1=1.8
![Page 39: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/39.jpg)
3939
Red
es N
euro
nale
s A
rtifi
cial
es
Nuevamente existe error diferente de 0Hay que volver a repasar por todos lospatrones hasta que todos posean error=0
Se puede visualizar que la red no converge.¿Qué sucede sin X0?
![Page 40: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/40.jpg)
4040
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos iniciales: W11=1, W21=0, W31=.8Umbral a= 0.5, µ=.5 (t aprendizaje
Patrón 1: X1=1; X2=1; X3=0, Sd=1
Y = 1*1 + 1*0 + 0*.8 = 1 > .5, Y=1
Error = Sd - Y = 1 - 1 = 0
No hay cambio de pesos
![Page 41: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/41.jpg)
4141
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1, W21=0, W31=.8Patrón 2: X1=1; X2=0; X3=1, Sd=1Y = 1*1 + 0*0 + 1*.8 = 1.8 > .5, Y=1
Error = Sd - Y = 1 - 1 = 0No hay cambio de pesos
![Page 42: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/42.jpg)
4242
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1, W21=0, W31=.8Patrón 3: X1=0; X2=1; X3=1, Sd=1Y = 0*1 + 1*0 + 1*.8 = .8 > .5, Y=1
Error = Sd - Y = 1 - 1 = 0No hay cambio de pesos
![Page 43: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/43.jpg)
4343
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1, W21=0, W31=.8Patrón 4: X1=0; X2=1; X3=0, Sd=0Y = 0*1 + 1*0 + 0*.8 = 0 >= .5, Y=0
Error = Sd - Y = 0 - 0 = 0
No hay cambio de pesos
![Page 44: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/44.jpg)
4444
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1, W21=0, W31=.8Patrón 5: X1=1; X2=0; X3=0, Sd=0Y = 1*1 + 0*0 + 0*.8 = 1 >= .5, Y=1
Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W11=1-.5(-1)1=1.5
W21=0-.5(-1)0= 0
W31=.8-.5(-1)0=.8
![Page 45: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/45.jpg)
4545
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1.5, W21=0, W31=.8Patrón 6: X1=0; X2=0; X3=1, Sd=0
Y = 0*1.5 + 0*0 + 1*.8 = .8 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W11=1.5-.5(-1)0=1.5
W21= 0 -.5(-1)0= 0
W31=.8-.5(-1)1=1.3
![Page 46: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/46.jpg)
4646
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1.5, W21=0, W31=1.3Patrón 1: X1=1; X2=1; X3=0, Sd=1Y = 1*1.5 + 1*0 + 0*1.3 = 1.5 >= .5, Y=1
Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos
En el ciclo de los patrones existió un error, por tanto,se requiere volver a mirar todos los patrones con losnuevos pesos.
![Page 47: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/47.jpg)
4747
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1.5, W21=0, W31=1.3Patrón 2: X1=1; X2=0; X3=1, X0=1, Sd=1Y = 1*1.5 + 0*0 + 1*1.3 = 2.8 >= .5, Y=1
Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos
![Page 48: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/48.jpg)
4848
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1.5, W21=0, W31=1.3Patrón 3: X1=0; X2=1; X3=1, Sd=1
Y = 0*1.5 + 1*0 + 1*1.3 = 1.3 >= .5, Y=1Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos
![Page 49: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/49.jpg)
4949
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1.5, W21=0, W31=1.3Patrón 4: X1=0; X2=1; X3=0, Sd=0
Y = 0*1.5 + 1*0 + 0*1.3 = 0 < .5, Y=0Error = Sd - Y = 0 - 0 = 0NO hay que ajustar pesos
![Page 50: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/50.jpg)
5050
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=1.5, W21=0, W31=1.3Patrón 5: X1=1; X2=0; X3=0, X0=1, Sd=0
Y = 1*1.5 + 0*0 + 0*1.3 = 1.5 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W11=1.5-.5(-1)1=2
W21=0-.5(-1)0=0
W31=1.3-.5(-1)0=1.3
![Page 51: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/51.jpg)
5151
Red
es N
euro
nale
s A
rtifi
cial
es
El PerceptrónEjemplo
Pesos : W11=2, W21=0, W31=1.3Patrón 6: X1=0; X2=0; X3=1, Sd=0Y = 0*2 + 0*0 + 1*1.3 = 1.3 >= .5, Y=1
Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W11=2-.5(-1)0=2
W21=0-.5(-1)0=0
W31=1.3-.5(-1)1=1.8
![Page 52: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/52.jpg)
5252
Red
es N
euro
nale
s A
rtifi
cial
es
Nuevamente existe error diferente de 0Hay que volver a repasar por todos lospatrones hasta que todos posean error=0
Se puede visualizar que la red no converge.¿Hacemos otro ciclo?¿Se cambia el umbral?
![Page 53: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/53.jpg)
5353
Red
es N
euro
nale
s A
rtifi
cial
es
![Page 54: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/54.jpg)
5454
Red
es N
euro
nale
s A
rtifi
cial
es
EL PERCEPTRON MULTICAPA
• Es la Red Neuronal más empleada y conocida• Conocido un conjunto de patrones entrada/salida la red es capaz
de “aprender” mediante un algoritmo de entrenamiento• El “conocimiento” está almacenado y distribuido en los pesos de
la red.• Es una estructura de computación robusta ante fallos
Entra
das
1ª capaoculta
2ª capaoculta
Salid
as
![Page 55: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/55.jpg)
5555
Red
es N
euro
nale
s A
rtifi
cial
es
Un ejemplo de aplicación
• PROBLEMA: Predicción de consumo eléctrico a corto plazo en un áreageográfica determinada
- Si infraestimamos la carga necesaria tendremos que comprar MW a otrascompañías a un precio elevado- Si sobreestimamos la carga es posible que no podamos venderla (si el resto decompañías predicen adecuadamente sus necesidades)
• Es un problema no lineal en el que intervienen factores climatológicos(temperatura, humedad,...), estacionales y geográficos (horarios de trabajo yocio, uso de aire acondicionado y calefacción, etc.)
• Es un problema difícil de formular y solucionar mediante técnicasconvencionales, pero del que es sencillo disponer de un gran número dedatos entrada/salida
Red Neuronal
![Page 56: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/56.jpg)
5656
Red
es N
euro
nale
s A
rtifi
cial
es
Solución con RNA7
entra
das Carga ayer a la misma hora
Temperatura prevista para esa hora
MHumedad prevista para esa hora
24 cargas del día anterior
24 temperaturas del día anterior
24 temp. previstas para el día actual
24 cargas mismo día sem. anterior
24 temp. mismo día sem. anterior
24 temp. previstas para el día actual
72 e
ntra
das
72 e
ntra
das
Módulo Horario
24 MLPsM
Módulo Diario
7 MLPs
Módulo Semanal
7 MLPs
M
Carga H 1Carga H2
MCarga H24
M
Carga H1Carga H 2
MCarga H24
M
Carga H 1Carga H2
MCarga H24
CombinadorM
Carga H1Carga H2
Carga H24
“Artificial Neural Network Short-Term Load Forecaster (ANNSTLF)”, propuesta por A. Khontanzad,R. C. Hwang,A. Abaye, D. Martukalam, IEEE Trans on Power Systems, Aug. 1995; IEEE Transon Neural Networks, July 1997.
![Page 57: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/57.jpg)
5757
Red
es N
euro
nale
s A
rtifi
cial
es
Aprendizaje/generalización
• En el problema la red no se limita a memorizar losdatos sobre los que ha sido entrenada
¡¡ LA RED NEURONAL ES CAPAZ DEGENERALIZAR!!
• GENERALIZACION: La salida proporcionada por lared es correcta (o al menos razonable) en puntos enlos que no ha sido entrenada.
• La generalización está relacionada con la suavidadde la función a aproximar o modelar
![Page 58: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/58.jpg)
5858
Red
es N
euro
nale
s A
rtifi
cial
es
Perceptrón generalizado
En el PerceptrónGeneralizado el cómputo queejecutan las neuronas de lacapa de salida es:
Mientras que las neuronas dela capa escondida ejecutan:
![Page 59: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/59.jpg)
5959
Red
es N
euro
nale
s A
rtifi
cial
es
Perceptrón generalizado
En las expresiones anteriores no se consideraexplícitamente un umbral. Éste se incluye al patrón deentrada con una componente adicional de valor 1 yagregando en la capa intermedia una unidad adicionalcon actividad constante de uno.
El algoritmo de aprendizaje en este tipo de redes essupervisado, y provee de un método para ajustar lospesos sinápticos de tal forma que la red sintetice lacorrespondencia entre los pares de patrones (xk , ςk) enel conjunto de patrones de entrenamiento.
![Page 60: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/60.jpg)
6060
Red
es N
euro
nale
s A
rtifi
cial
es
Si la salida estimada es O y la salida correcta es Tentonces el error es: Err = T - OSi el error es positivo incrementamos O, si el errores negativo decrementamos OCada unidad de entrada contribuye W j Ij a laentrada totalSi Ij es positiva, un incremento en W j incrementaráOSi Ij es negativa, un incremento en W jdecrementará O
![Page 61: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/61.jpg)
6161
Red
es N
euro
nale
s A
rtifi
cial
es
W j ← W j + α x Ij x Err, α es una constante deaprendizajeConvergerá a un conjunto de pesos que representancorrectamente los ejemplos, si se trata de una funciónlinealmente separable
![Page 62: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/62.jpg)
Red
es N
euro
nale
s A
rtifi
cial
es
function NNL (ejemplos) returns redrepeat for each p de ejemplos do
O ← NNO(red,p)T ← salida observada por valores de pactualizar pesos en red basados en p, O y T
enduntil todo ejemplo no posea error o criterio de paradareturn red
Algoritmo del perceptrón
![Page 63: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/63.jpg)
6363
Red
es N
euro
nale
s A
rtifi
cial
es
Búsqueda gradiente descendiente en el espacio depesosNo hay mínimos localesSi α no es muy grande (sobretiro) la búsquedaconvergerá a los pesos correctosAtributos continuos
El Perceptrón
![Page 64: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/64.jpg)
6464
Red
es N
euro
nale
s A
rtifi
cial
es
El Perceptrón
F(a)
w1neurona
Σx1
x2 w2ya
y = F(a)y = 1, si (x1w1 + x2w2) ≥ θy = 0, si (x1w1 + x2w2) < θ
Frank Rosenblatt desarrolla una prueba de convergencia en1962 y definió el rango de problemas para los que sualgoritmo aseguraba una solución. Además propuso a los'Perceptrons' como herramienta computacional.
![Page 65: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/65.jpg)
6565
Red
es N
euro
nale
s A
rtifi
cial
es
¿Qué tipo de problemas resuelve?
Un hiperplano es un objeto de dimensión n-1 queactúa en un espacio de dimensión n.En general un perceptron de n entradas puedeejecutar cualquier función que esté determinadapor un hiperplano que corte un espacio dedimensión n. ¿Implicaciones?
![Page 66: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/66.jpg)
6666
Red
es N
euro
nale
s A
rtifi
cial
es
Funciones realizables
X1 X2 Y 0 0 0 0 1 1 1 0 1 1 1 1
x2
1
¿Qué tipo de función no sería realizable?
1
x1(0,0) (1,0)
(1,1)(0,1)1
0
![Page 67: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/67.jpg)
6767
Red
es N
euro
nale
s A
rtifi
cial
es
x1
x2
(0,0) (1,0)
(1,1)(0,1)1
0
1
1
Notar que el vectorde pesos es
perpendicular alhiperplano. Esta
característica se extiendea dimensión n.
θ=∑=
i
n
ii xw
1θ=+ iiii xwxw
+
−=
21
2
12 w
xwwx θ bmxx += 12
Si hacemos w1=1, w2=1 y theta=0.5, tenemos:
Ecuación del hiperplano
![Page 68: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/68.jpg)
6868
Red
es N
euro
nale
s A
rtifi
cial
es
Separabilidad lineal
El perceptron tiene la capacidad de clasificar vectores de entradadividiendo el espacio de entrada en dos regiones mediante unahiperplano. Si el espacio de entrada no es separable de esta manera,un perceptron no encontrará solución.
![Page 69: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/69.jpg)
6969
Red
es N
euro
nale
s A
rtifi
cial
es
θ=+ iiii xwxw
0)1( =−++ θiiii xwxw0=−+ θiiii xwxw
Ajuste del valor del valor de umbral como un ‘peso’ más.
W·X=0(producto punto = qué tan alineados están)
W
XW·X>0
W
XW·X=0
W
XW·X<0
Si W·X >= 0, y = 1; Si W·X < 0, y = 0
¿Qué pasa si no obtenemos el resultado deseado?Se requiere de un ajuste. ¿Cómo?, ¿De qué valor?
Para entender mejor al procedimiento de entrenamiento, vamosa introducir una representación vectorial.
Entrenamiento:
![Page 70: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/70.jpg)
7070
Red
es N
euro
nale
s A
rtifi
cial
es
WαXW’
X
W’=W-αX
W
XW’=W+ αX
W’αXSi el resultado es 0 en lugar de 1:
En resumen:
donde 0< α <1
Si el resultado es 1 en lugar de 0:
w’ = w + α(t-y)x ∆w = α(t-y)x
A esto se le llama la regla de aprendizaje Delta.El parámetro α es la razón de aprendizaje.
![Page 71: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/71.jpg)
7171
Red
es N
euro
nale
s A
rtifi
cial
es
Algoritmo de entrenamientodel Perceptron
repetirpara cada par en los vectores de entrenamiento (x,t)
evaluar la salida yi cuando xi es la entrada al ...perceptronsi y ≠ t, entonces forme un nuevo vector de pesos w’ de acuerdo a... la ecuación correspondientede otra manera, no haga nadaFin del si
fin del parahasta que y = t para todos los vectores.
Los valores de los pesos para este caso están restringidosentre -1 y 1.
![Page 72: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/72.jpg)
7272
Red
es N
euro
nale
s A
rtifi
cial
es
Ejemplo
Supongamos que un Perceptron de dos entradas tienepesos iniciales 0, 0.4 y umbral 0.3. Se requiere que estePerceptron aprenda la función lógica AND. Suponga unarazón de aprendizaje α de 0.25. Usando el algoritmoexpuesto complete la tabla hasta que encuentreconvergencia. El percepton usado es el que muestra lafigura.
x1
x2
yw2
w1
t
a
![Page 73: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/73.jpg)
7373
Red
es N
euro
nale
s A
rtifi
cial
esw1 = 0.0w2 = 0.4θ = 0.3α = 0.25t = Función AND
w’=w+α(t-y)xó ∆wi=α(t-y)xiy = 1, si (x1w1 + x2w2) ≥ θy = 0, si (x1w1 + x2w2) < θ
-0.250.250.250.25100.15110.550.150
0000000010.550.150
0.25-0.250-0.25010.4100.30.40
0000000000.30.40
∆ θ∆w2∆w1α(t-y)tyax2x1θw2w1
1) ¿Cuántas iteraciones se requieren para la convergencia?2) ¿Cuáles son los valores de convergencia de los pesos y el umbral?3) Defina algebráicamente el hiperplano de decisión.4) Demuestre gráficamente que éste hiperplano es un límite apropiado parala distinción de clases (ver gráfica) y que el vector de pesos y el hiperplanoson ortogonales.
![Page 74: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/74.jpg)
7474
Red
es N
euro
nale
s A
rtifi
cial
es
Resultado
-0.5 0 0.5 1 1.5 2-0.5
0
0.5
1
1.5
2
x1
x2
Funcion lógica e hiperplano de decisión
w
Valores finales: w1=0.5, w2=0.15, theta=0.55.Ec. de la recta: x2 = -(3.333)x1+3.667
![Page 75: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/75.jpg)
7575
Red
es N
euro
nale
s A
rtifi
cial
es
x1
x2
(0,0) (1,0)
(1,1)(0,1)1
0
0
1
¿Esta función sería realizable con un Perceptron, o no?
¿Qué pasa si la función que queremosrealizar ahora es la siguiente?
X1 X2 Y0 0 00 1 11 0 11 1 0
![Page 76: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/76.jpg)
7676
Red
es N
euro
nale
s A
rtifi
cial
es
Medición del desempeño
Qué es el factor (t - y)? Para los Perceptrons, hay corrección,si hay error. Sólo se detecta la presencia del error, no sumagnitud.En entrenamiento, cómo se sabe que se ha encontradoconvergencia?En general, en entrenamiento se usa la figura de error de 'SSE'o suma de los cuadrados de los errores:
( ) ( ) ( )sse e k t k y kk
Q
k
Q= = −
= =∑ ∑2
1
2
1( )
Esto se usa para cuando se esta entrenando una red en 'batch' opor lotes. Un lote en este caso es el conjunto de vectores deentrada que se muestran a la red para que ésta los procese enconjunto (en lugar de presentarlos vector por vector).
![Page 77: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/77.jpg)
7777
Red
es N
euro
nale
s A
rtifi
cial
es
EPOCA y BIAS
Se le llama época a cada iteración de la red por ellote de entradas en la que haya ajuste de variables. Elajuste de variables se puede hacer después de lapresentación de vectores de entrada individuales opor lotes.
La variable θ también es llamada elemento detendencia o 'bias' porque, como se ve en la figuraanterior, es el que mueve el hiperplano de decisión alo largo del eje 'x' (en este caso). A esta variable se ledenomina en muchas ocaciones con el símbolo 'b'.
![Page 78: New Redes Neuronales Artificialeslctorress/RedNeu/RNA004c.pdf · 2019. 7. 7. · 2 Redes Neuronales Artificiales Perceptrón Definición. Es una red neuronal feedforward que consta](https://reader031.vdocuments.net/reader031/viewer/2022011923/6058c3a367b0bd78e401f680/html5/thumbnails/78.jpg)
7878
Red
es N
euro
nale
s A
rtifi
cial
es