inteligência computacional
TRANSCRIPT
![Page 1: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/1.jpg)
1/21
Inteligência ComputacionalRedes Neurais
Aula 8Prof. Daniel Cavalcanti Jeronymo
Universidade Tecnológica Federal do Paraná (UTFPR)Engenharia Eletrônica – 7º Período
CP78D
![Page 2: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/2.jpg)
2/21
Plano de Aula
• Preditor Linear
• Perceptron
• Multilayer Perceptron (MLP)
![Page 3: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/3.jpg)
3/21
Perceptron
Perceptron Multilayer Perceptron Atividade
![Page 4: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/4.jpg)
4/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
x1
xn
x2yq
w1
w2
wn
Perceptron Multilayer Perceptron Atividade
![Page 5: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/5.jpg)
5/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
x1
xn
x2yq
w1
w2
wn
𝑦 = 𝜃 𝑤0 +
𝑖=1
𝑑
𝑤𝑖 ∙ 𝑥𝑖
Perceptron Multilayer Perceptron Atividade
![Page 6: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/6.jpg)
6/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
x1
xn
x2yq
w1
w2
wn
𝑦 = 𝜃 𝑤0 +
𝑖=1
𝑑
𝑤𝑖 ∙ 𝑥𝑖
𝜃(𝑥) = 1 𝑠𝑒 𝑥 > 00 𝑠𝑒𝑛ã𝑜
Perceptron Multilayer Perceptron Atividade
![Page 7: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/7.jpg)
7/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
x1
xn
x2yq
w1
w2
wn
𝑦 = 𝜃 𝑤0 +
𝑖=1
𝑑
𝑤𝑖 ∙ 𝑥𝑖
classificador linear!
Perceptron Multilayer Perceptron Atividade
![Page 8: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/8.jpg)
8/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
• Limitação
• Classifica apenas informações separáveis linearmente
AND OR NAND
w = [-1.15938768 -1.14587725]b = [1.5899148]
w = [1.8462093 3.20945227]b = [-0.90263086]
w = [0.70271209 0.422434]b = [-0.89096912]
Perceptron Multilayer Perceptron Atividade
![Page 9: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/9.jpg)
9/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
• Limitação
• XOR?
AND OR NAND
?
w = [-1.15938768 -1.14587725]b = [1.5899148]
w = [1.8462093 3.20945227]b = [-0.90263086]
w = [0.70271209 0.422434]b = [-0.89096912]
Perceptron Multilayer Perceptron Atividade
![Page 10: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/10.jpg)
10/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
• Limitação
• XOR?
w = [-1.15938768 -1.14587725]b = [1.5899148]
w = [1.8462093 3.20945227]b = [-0.90263086]
w = [0.70271209 0.422434]b = [-0.89096912]
AND OR NAND
?
Perceptron Multilayer Perceptron Atividade
![Page 11: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/11.jpg)
11/21
AND
NAND
OR
Perceptron
• Solução XOR
x1
1
x2 q
1.85
3.21
-0.90
x1
1
x2 q
-1.16
-1.15
1.59
1
yq
0.70
0.42
-0.89
Perceptron Multilayer Perceptron Atividade
![Page 12: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/12.jpg)
12/21
Perceptron
• Solução XOR
Fronteira de decisão
Perceptron Multilayer Perceptron Atividade
![Page 13: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/13.jpg)
13/21
Perceptron• Solução XOR
• Duas interpretações
• Perceptrons mapeiam subproblemas
• Perceptons definem fronteiras de decisão
Perceptron Multilayer Perceptron Atividade
![Page 14: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/14.jpg)
14/21
Multilayer Perceptron
• Perceptrons ligados em camadas
entradas camada oculta saída
Perceptron Multilayer Perceptron Atividade
![Page 15: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/15.jpg)
15/21
Multilayer Perceptron
• Perceptrons ligados em camadas
camada de entrada
camada oculta
camada de saída
Perceptron Multilayer Perceptron Atividade
![Page 16: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/16.jpg)
16/21
Multilayer Perceptron
• Perceptrons ligados em camadas
• Uma camada de entrada
• Uma camada oculta
• Uma camada de saída
• Perceptrons no MLP não são limitados à uma única funçãode ativação (Heaviside)
Perceptron Multilayer Perceptron Atividade
![Page 17: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/17.jpg)
17/21
Multilayer Perceptron
• Funções de ativação
a
y
a
y
a
y
a
y
threshold linear
piece-wise linear sigmoid
Perceptron Multilayer Perceptron Atividade
![Page 18: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/18.jpg)
18/21
Multilayer Perceptron
• Teorema da Aproximação Universal de Funções
• Teorema da aproximação de Kolmogorov
• Kolmogorov demonstrou que qualquer função contínua g(x) definida no hipercubo unitário In pode ser representada pela escolha adequada de funções e por:
12
1 1))(()(
n
j
d
i iijj xxg
j ij
Kolmogorov, A. N. (1957). "On the Representation of Continuous Functions ofSeveral Variables by Superposition of Continuous Functions of one Variable andAddition," Doklady Akademii. Nauk USSR, 114, 679-681.
Perceptron Multilayer Perceptron Atividade
![Page 19: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/19.jpg)
19/21
Multilayer Perceptron
• Teorema da Aproximação Universal de Funções
• Toda função pode ser aproximada com acurácia arbitrária por uma rede com duas camadas ocultas [Cybenko 1988]
• Toda função limitada pode ser aproximada com um erro arbitrariamente pequeno, por uma rede com uma camada oculta [Cybenko 1989, Hornik 1989]
Perceptron Multilayer Perceptron Atividade
![Page 20: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/20.jpg)
20/21
Multilayer Perceptron
• Deep Learning
Perceptron Multilayer Perceptron Atividade
![Page 21: Inteligência Computacional](https://reader034.vdocuments.net/reader034/viewer/2022050512/6271d642a31f6f6a132bdd34/html5/thumbnails/21.jpg)
21/21
Atividade
• Modificar a atividade anterior Breast Cancer
• Utilizar uma framework (Keras, Theano, TensorFlow, PyTorch, etc)
Perceptron Multilayer Perceptron Atividade