![Page 1: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/1.jpg)
T6.1 – Reconhecimento de Padrões
Proc. Sinal e ImagemMestrado em Informática Médica
Miguel Tavares Coimbra
![Page 2: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/2.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Resumo
1. Introdução ao reconhecimento de padrões
2. Representação do conhecimento3. Reconhecimento estatístico de padrões4. Aprendizagem máquina
![Page 3: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/3.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
1. Introdução ao reconhecimento de padrões
1. Introdução ao reconhecimento de padrões
2. Representação do conhecimento3. Reconhecimento estatístico de padrões4. Aprendizagem máquina
![Page 4: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/4.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
• Consigo manipular imagens.• Quero agora tomar decisões!
• Classificar/Identificar características.• Reconhecer padrões.
Introdução
![Page 5: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/5.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
• Objectivas• Reflectem directamente as características
da imagem– Cor– Textura– Forma– Movimento (?)– Etc.
Características de nível baixo
![Page 6: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/6.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
• Algum grau de subjectividade• Tipicamente são resultados de problemas
que implicam mais do que uma solução possível
• Exemplos:– Segmentação– Fluxo óptico– Identificação– Etc.
Características de nível médio
![Page 7: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/7.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Características de nível alto
• Interpretação semântica da situação• Comportamento• Contexto• Exemplos:
– Esta pessoa é epiléptica.– O vírus avança de forma inteligente para o
núcleo da célula.– Esta pessoa está a fugir daquela.
Como é que os seres humanos
fazem isto tão bem?
![Page 8: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/8.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
A ponte semântica
• Problema fulcral da investigação actual!
Baixo nível:- Cor
- Textura- Forma
- …
Alto nível:- Interpretação
- Decisão-Compreensão
- …
E agora??Como cruzar esta ponte!
![Page 9: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/9.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
2. Representação do conhecimento
1. Introdução ao reconhecimento de padrões
2. Representação do conhecimento3. Reconhecimento estatístico de padrões4. Aprendizagem máquina
![Page 10: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/10.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Conhecimento
• O reconhecimento não é possível sem Conhecimento.– Acerca dos objectos a reconhecer.– Acerca das classes de objectos.– Acerca do contexto do reconhecimento.
Mas o que é isso de conhecimento?
Como o represento?
Como o calculo?
![Page 11: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/11.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Sintaxe e Semântica• Sintaxe
– A sintaxe de uma representação especifica os símbolos que podem ser usados, e a forma como estes podem ser combinados em palavras.
• Semântica– A semântica de uma representação especifica
a codificação de significado nesta, assim como a forma que as palavras podem ser combinadas em frases.
![Page 12: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/12.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Representação
• Uma Representação é uma conjunto de convenções sintáticas e semânticas que tornam possível a descrição de algo.
A língua portuguesa é uma representação
com sintaxe e semântica bem
definida.Como representar isto?
![Page 13: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/13.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Representação do conhecimento
• Como representar matematicamente o conhecimento?• Várias técnicas:
– Características– Gramática e linguagens– Predicate Logic– Regras– Fuzzy Logic– Redes semânticas– etc
E agora?Como escolher?
Hueaxis
Saturation axis
![Page 14: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/14.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Características
• Não são uma representação pura.• São blocos fundamentais de
representações mais complexas.• Tipicamente:
– Representação escalar de uma grandeza.Tamanho: 5
Curvatura: 2,3Cor dominante: 8,23
etc.
![Page 15: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/15.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Regras• Baseadas em pares condição-acção.
Se condição x for verdadeira, então realizar acção y.
• Vantagens:– Simples– Intuitiva
• Desvantagem:– Obtenção das regras nem sempre trivial.
Forward-Chaining
Backward-Chaining
![Page 16: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/16.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Fuzzy Logic• Regras: Decisões binárias (sim ou não).• E se não tivermos certezas?
– Fuzzy LogicSe condição x Então acção y Com confiança z
• Exemplo: Regras vs. Fuzzy LogicRegras: Se o objecto é redondo então é uma bola.FL: Se o objecto é muito redondo então é uma bola
com grande probabilidade.• Fuzzy Logic: Framework matemático para lidar
com esta incerteza.
![Page 17: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/17.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
3. Reconhecimento estatístico de padrões
1. Introdução ao reconhecimento de padrões
2. Representação do conhecimento3. Reconhecimento estatístico de padrões4. Aprendizagem máquina
![Page 18: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/18.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Porto pertence a Portugal?
![Page 19: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/19.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Porto pertence a Portugal
• Quero tomar decisões.– Porto pertence a Portugal?
• Sei algumas coisas– Um mapa-mundo que inclua cidades e países.
• Posso tomar uma decisão!– Porto pertence a Portugal.
Tinha suficiente conhecimento a priori para tomar esta decisão.
![Page 20: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/20.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
E se eu não tiver um mapa?• Continuo a querer tomar uma decisão.• Observo que:
– Amarante tem coordenadas x1,y1 e pertence a Portugal.
– Viseu tem coordenadas x2,y2 e pertence a Portugal.– Vigo tem coordenadas x3,y3 e pertence a Espanha.
• E classifico:– Porto está perto de Amarante e de Viseu portanto
Porto pertence a Portugal.• E se eu tentar classificar Valença?
![Page 21: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/21.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Reconhecimento estatístico de padrões
• Usei estatísticas para tomar uma decisão.– Posso tomar decisões mesmo sem ter
conhecimento a priori de todo o processo.– Posso cometer erros.
• Como reconheci este padrão?– Aprendi com observações anteriores nas
quais sabia o resultado da classificação.– Classifiquei uma nova observação.
Que padrão?
![Page 22: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/22.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Características de uma observação
• Reduzi cada observação a um conjunto fundamental de características.
• Vectores numéricos.– Condensam matematicamente uma ou várias
características.– Formam um espaço vectorial.
Exemplo: Cada bin de um histograma é uma característica. Um
histograma completo é um vector de
características
![Page 23: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/23.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
De volta ao nosso exemplo
• Classifiquei o Porto como pertencente a Portugal.
• Que característica usei?– Localização espacial
• De forma mais formal– Defini um vector F com uma característica F1,
que possui dois coefientes f1x, f1y:
],[][ 111 yx ffFF
![Page 24: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/24.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Espaço de características• Vector de características
– Dois coeficientes.– Pode ser visto como um ‘espaço’ de
características com dois eixos ortogonais.• Espaço de características
– Hiper-espaço com N dimensões em que N é o número total de coeficientes do meu vector de características.
Feature Space
Amarante
Vigo
Porto
Braga
-10
-5
0
5
10
15
20
25
30
35
-2 0 2 4 6 8 10 12
X Coordinate
Y C
oord
inat
e
![Page 25: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/25.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Conhecimento A Priori• Tenho um modelo
preciso do meu espaço de características baseada no meu conhecimento a priori.Cidade pertence a Espanha
se F1Y>23
Feature Space
Amarante
Vigo
Porto
Braga
-10
-5
0
5
10
15
20
25
30
35
-2 0 2 4 6 8 10 12
X Coordinate
Y C
oord
inat
e
Sei onde fica a
fronteira
Porto pertence a Portugal!
![Page 26: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/26.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
E se eu não tiver um modelo?
• Tenho que aprender com as minhas observações.– Derivar um modelo.– Classificar directamente.
• Fase de treino– Aprender os parâmetros do modelo.
• Classificação
Feature Space
Amarante
Vigo
Porto
Braga
-10
-5
0
5
10
15
20
25
30
35
-10 0 10 20 30
X Coordinate
Y C
oord
inat
e
Modelo ‘Aprendido’
![Page 27: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/27.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Classes de objectos
• No nosso exemplo as cidades pertencem a:– Portugal– Espanha
• Tenho duas classes de cidades.• Uma classe representa um sub-espaço
do meu espaço de características.
Feature Space
Amarante
Vigo
Porto
Braga
-10
-5
0
5
10
15
20
25
30
35
-2 0 2 4 6 8 10 12
X Coordinate
Y C
oord
inat
e
ESPANHA
PORTUGAL
![Page 28: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/28.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Classificadores• Classificador:
– Atribui uma classe a um objecto.– Concretiza um padrão.
• Como criar um classificador?– ‘Ensinar’ o classificador com dados de treino.– Utilizar técnicas de auto-aprendizagem (e.g.
Clustering).
Construção de umadescrição formal ClassificadorObjecto Padrão Classificação
![Page 29: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/29.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Classificador estatístico
• Dispositivo com:– n entradas– 1 saída
• As entradas são as características do objecto.
• A saída é a classe a que o objecto pertence.
• Fase de treino– O classificador ‘aprende’ com exemplos a
identificar uma classe.• Exemplo:
– Distância Euclideana ao vector com as médias das características de uma classe.
![Page 30: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/30.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Cluster analysis• Não necessita de dados de treino.• Tenta distinguir os objectos em classes
diferentes usando muito exemplos não anotados.
• Mais popular:– K-means clustering.
Adaptado de Wikipedia
![Page 31: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/31.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
4. Aprendizagem máquina
1. Introdução ao reconhecimento de padrões
2. Representação do conhecimento3. Reconhecimento estatístico de padrões4. Aprendizagem máquina
![Page 32: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/32.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Soft-Computing Machines• Métodos avançados de computação.• Tentam modelar o sistema
automaticamente, utilizando apenas dados de treino.
• Muito eficazes para sistemas complexos!• Exemplos:
– Redes neuronais.– Support Vector Machines
![Page 33: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/33.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Redes neuronais
• Constituídas por elementos simples.– Neurónios.
• Elevado grau de conectividade.– Sistema complexo!
• Inspiração biológica.– Cérebro humano.
Entradas
Saídas
![Page 34: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/34.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Neurónios• N entradas.• 1 saída.• Faz um a soma
ponderada das entradas.– Pesos
• Limiar de disparo.– Threshold
N
iiiwvx
1
x
x1
x2
xN
x3
x...
f(x)
0001
)(xx
xf
Neurónio deMcCulloch-Pitts
![Page 35: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/35.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Feed-forward networks• Fase de Treino
– Rede ‘alimentada’ com dados pré-anotados.– Auto-aprendizagem dos pesos.– Auto-aprendizagem do limiar de decisão.
• Backpropagation
• Classificação– Entrada: Vector de características
desconhecido.– Saídas: Neurónios disparam caso a
classificação seja positiva.
Custo computacional elevado!
![Page 36: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/36.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Support Vector Machines• Calcula o hiperplano de decisão que
maximiza a margem de separação entre classes.
Qual o melhor hiperplano?
• Aumenta o número de dimensões do espaço de características.– Separação das classes.
![Page 37: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/37.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Fuzzy systems• Usam regras Fuzzy.• Usam probabilidades em vez de decisões.• Decisão final:
– Defuzzification.
Melhor capacidade para lidar com a
incerteza.
![Page 38: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/38.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Optimização• Modelo do objecto a analisar.
– Best-Fit• Minimização de uma função de erro.• Hill-climbing tem limitações.• Optimização:
– Algoritmos genéticos.– Simulated annealing.– Etc.
![Page 39: T6.1 – Reconhecimento de Padrões Proc. Sinal e Imagem Mestrado em Informática Médica Miguel Tavares Coimbra](https://reader035.vdocuments.net/reader035/viewer/2022081515/5706386b1a28abb823904d98/html5/thumbnails/39.jpg)
PSI 14/15 - T6.1 – Reconhecimento de Padrões
Resumo
• A ponte semântica.• Características, regras e Fuzzy-logic.• Espaço de características.• Criação de um classificador estatístico.• Aprendizagem máquina.