introdución á telemedicina teoría aula 4 – a imaxe dixital · introdución á adquisición de...
TRANSCRIPT
1
Introdución á TelemedicinaTeoría Aula 4 – A Imaxe Dixital
Xosé M. [email protected]
http://www.dec.usc.es/~pardo
Grupo de Visión ArtificialDpto Electrónica e Computación
USC
2
Guión
O problema da visión computacionalA imaxe dixitalProcesamento de imaxe dixital
Baixo nivelAlto nivel
3
Visión e imaxe
Visión: principal fonte de información sensorial procesada polo cerebro.Visión artificial: importante campo de investigación coa chegada dos ordenadores.
Considerábase inicialmente momento un problema doado de resolver.
“M. Minksy (pioneiro da IA) propúxolle a un alumno en 1966 como proxecto que un ordenador puidese describir o que vise”
A facilidade do procesamento visual para os humanos só pon de manifesto que non somos conscientes das operacións que se realizan dende a captación da imaxe ata a extracción de información.
4
Visión e imaxe
Coñécese que diferentes partes do cerebro están especializadas en extraer diferentes características das imaxes:
Movemento.Cor, texturas, orientaciónsSegregación de obxectos e fondoetc.
Sábese aínda pouco de como o cerebro combina esta información.
5
Visión
Problema da visión computacional: “explicar o mecanismo que transforma a matriz de valores de intensidade luminosa nunha representación a nivel de obxectos, que se poida almacenar na memoria e procesar por outros sistemas cognitivos”.
Marr suxeriu un enfoque de procesamento da información:
Describe a percepción en termos da reconstrución xeométrica dos obxectos observados.Cáptanse tódolos detalles do entorno e vanse elaborando descricións sucesivas con niveis de abstracción crecentes ate obter experiencias visuais de alto nivel.
6
Teoría da Visión de Marr
A visión procede mediante a computación de descricións simbólicas da imaxe e o recoñecemento dun obxecto prodúcese cando hai correspondencia entre unha descrición reconstruída ea representación almacenada dunha clase.Para describir un obxecto non é preciso saber que é o que se está observando.Base nas teorías psicolóxicas e neurofisiolóxicas do momento.
7
Psicoloxía da Gestalt
Lei de Prägnanz: os sistemas de percepción fan organizacións tendentes a formas o máis simples e estables posible. Outras leis describen como se agrupan elementos de percepción dispares.
proximidade similitude
boa continuidade clausura
8
Psicoloxía da Gestalt
Os principios básicos da percepción sobreviviron.Aínda que non os argumentos de que tales procesos son moi primarios na percepción.
Está o “x” no mesmo obxecto?
• Responder esta cuestión leva máis tempo no caso da figura da dereita.
• Os procesos da Gestalt están influenciados por procesos semánticos
9
Achegas Posteriores
A experiencia inflúe na forma en que os humanos perciben o mundo
Conceptos de alto nivel “dan forma” a percepcións de baixo nivel.
O HVS máis que unha “estrutura xerárquica” é unha colección de subsistemas relacionados:
Existen elementos independentes con obxectivos propios que cooperan de xeito sinerxético.Hai subsistemas adestrados/expertos en recoñecer obxectos específicos.
10
Coñecemento a priori
Mexicano montado en bicicleta
Necesidade de coñecemento específico sobre a tarefa para agrupar características e interpretar imaxes: Segmentación⇔ Recoñecemento
11
Visión activa
Finais dos 80: admítese que un sistema de visión de propósito xeral é unha meta ambiciosa demais.
É preciso darlle pistas ó sistema sobre o que se espera que vexa:
Sistemas para dominios concretos. Algoritmos de propósito específico.
Non é preciso organizar tódalas características, abonda con comparar ás áreas de interese coa aparencia que se espera que teñan.Sistemas non xerárquizados ....
Os sistemas de Visión Activa intentan modelar con maior precisión a interacción dos humanos co mundo.
12
Que é unha imaxe?
Unha imaxe é unha función, f, de R2 en R:f( x, y ) da a intensidade na posición ( x, y ) Unha imaxe está definida sobre un rectángulo, cun rango definido:
f: [a,b]x[c,d] [0,1]
13
Sistema de visión por ordenador
Superficie
Óptica
Matriz CCD
P
Fonte de luz
L(P,d)
in
p
e
Sinal de vídeo
Frame grabber
PC
Frame grabber: dixitaliza nunha matriz 2-D de NxMvalores enteiros e alamacénaa nunha memoria
14
Sistema de visión por ordenador
.
Canle AzulA/D ConversorCanle Verde
A/D Converter
ÓpticaPlano Imaxe
Digital Image
E(x,y) : Sinal eléctricode vídeo
Imaxe L(x,y)
Memoria
22 3422 0 18 ¥¥¥
¥¥¥¥¥¥
Canle VermellaConversor A/D
VídeoCámara
B(i,j)G(i,j)
R(i,j)
15
Introdución á adquisición de imaxes
Imaxe: función bidimensional F(x,y), onde (x,y) é un punto da imaxe e o valor da función representa a información captada polo sensor.As imaxes analóxicas deben sufrir un proceso de dixitalización para ser tratadas mediante ordenadores. Unha imaxe dixital é unha función I(x,y) sobre un espazo 2D discreto e os valores da función tamén son discretos.
Mostraxe ou resolución espacialCuantificación ou resolución en amplitude
16
Que é unha imaxe dixital?
Imaxes dixitais:Mostraxe do espazo 2D nun mallado regularCuantización de cada mostra (redondeo ao enteiro máis próximo)
17
Que é unha imaxe dixital?
A imaxe represéntase coma unha matriz:Se as mostras están separadas en ∆:f[i ,j] = Cuantización{ f(i ∆, j ∆) }
62 79 23 119 120 105 4 0
10 10 9 62 12 78 34 0
10 58 197 46 46 0 0 48
176 135 5 188 191 68 0 49
2 1 1 29 26 37 0 77
0 89 144 147 187 102 62 208
255 252 0 166 123 62 0 31
166 63 127 17 1 0 99 30
18
Que é unha imaxe dixital?
19
Cuantización
Diferentes resolucións en niveis de gris: 256, 128, …, 2Menos niveis de gris leva aparellada unha redución de datos.Para 256, 128, 64 niveis de gris: Diferencias apenas visibles
20
Resolución espacial
Mostraxe dende 1024x1024 ata 32x32 píxeles
Mesma mostraxe variando os tamaños dos píxeles para percibir mellor o cambio en nivel de detalle
21
Vecindade dun píxel
Veciños dun Píxel:
O píxel p en (x, y) ten 4 veciños na
horizontal e na vertical.
4-veciños of p: N4(p)
veciños a distancia 1 de p
O píxel p ten 4 veciños nas
diagonais, ND(p)
Usualmente distínguese entre
vecindade-4 e vecindade-8
N4(p) versus N8(p)
vecindade-4
vecindade-8
22
Que é o procesamento dixital de imaxe?
A interpretación de imaxes, a análise de imaxes e a visión artificial teñen coma obxectivo imitar o proceso da visión humana.
Adquisición de imaxesPreprocesadoSegmentaciónRepresentación e descriciónRecoñecemento e interpretación
23
Modelo de cámara
Como vemos o mundo?Deseñemos unha cámara
Idea 1: por un cacho de película en frente dunha cámara Temos unha imaxe razoable?
object filmObxecto Película
24
Modelo de cámara
Cámara PinholeEngadir barreira para bloquear a maioría dos raios
Reduce o emborronamentoO burato chámase aperturaComo afecta isto á imaxe?
object filmbarrierobxecto barreira película
25
Modelo de cámara
Cámara escuraA primeira cámara
Coñecida por AristótelesO fondo da habitación é a distancia focalPódense medir distancias?
26
Modelo de cámara
LentesEnfocan a luz sobre a película
Hai unha distancia específica á que os obxectos estánenfocadosOs outros puntos proxectan un “círculo de confusión na imaxe” Cambiando a forma/foco dos lentes cambia esta distancia.
object filmlensobxecto lente película
“círculo de confusión”
27
Modalidades de imaxe médica
Raios-X A primeira modalidade (1875- 1970’s)Proxección 2D
O calcio dos ósos é o que máis raios-X absorbeOs tecidos brandos absorben menos, e quedan grises O aire é o que menos absorbe e por iso os pulmóns vense negros
Fonte Obxecto
Película
28
Modalidades de imaxe médica
CTRequire unha cantidade importante de cálculo matemático (1072-).Proporciona información en 3D
29
Procesamento de imaxes dixitais
Aproximacións en dous niveis:Procesamento de baixo nivel. Pouco coñecemento sobre o contido e a semántica das imaxes.
Mellora da calidade visual da imaxeDetección de características:partes significativas,
contornos,Esquinas,Texturas,...
Interpretación de alto nivel. Imita o proceso cognitivo humano (percepción, aprendizaxe, razoamento) para:
Combinar información de características+Inferir información das imaxes.
30
Procesamento de imaxe de baixo nivel
Moi pouco coñecemento acerca do contido das imaxes.As imaxes orixinais son os datos, matrices de valores de intensidade
Mostraxe discreta dun campo continuo
Orixe (Ox,Oy)
Espazado (Sy)
Espazado (Sx)
Valor de Pixel
Rexión de Pixel
vecindade 3x3
31
Procesamento de imaxes
Unha operación de procesamento de imaxe define unha nova imaxe g a partir doutra f.
)],([),( yxfTyxg =Imaxe transformada
Imaxe orixinal
Opera na vecindadede (x,y)
),( yxgT
),( yxf
Imaxe transformadaImaxe orixinal
Tf g
32
Histograma
O histograma proporciona información global da imaxe sobre a posibilidade de realce.
r: posible valor de intensidade do píxelh (r): porcentaxe de píxeles con valor r
h(rk)
rk
33
HistogramaImaxe clara Imaxe escura
Imaxe con alto contraste Imaxe con baixo contraste
34
Transformación de histograma
Formas de T: vecindade 1x1: )(rTs =
L-1
L-1
T(r)
r
s
(r1,s1)
(r2,s2)
• Se r1=s1 e r2=s2 ⇒ transformación identidade.
• Se r1=r2, s1=0 e s2 =L-1 ⇒ umbralización.
• En xeral se r1≤ r2, s1≤ s2 ⇒ transformación monótona crecente.
35
Transformación de histograma
Aumento de contraste
0 255
255
INPUT
OU
TPU
T
36
Transformación de histograma
Umbralización: Emprégase para separar obxectos do fondo.Os picos no histograma relacionánse con obxectos na imaxe.
A altura dos picos está relacionada co tamaño dos obxectos.
0 100 200
0
10
20
0 100 200
0
50
100
150
escuro ⇔ claro
escu
ro
⇔cl
aro
S
T(r)
r
sUmbralización
R
37
Transformación de histograma
Negativo da imaxe: invertir a orde de negro a branco na imaxe transformada.
rrTs −== 255)(
escuro ⇔ claro
S
T(r)
r
s
escu
ro
⇔cl
aro
R
38
Negativo
O sistema visual humano percibe mellor obxectos claros sobre fondo escuro que ao revés.
39
Filtrado espacial
Formas de T: Vecindade nxn:
O valor de g(x,y) depende dos valores de f nun entorno de (x,y).Aproximación máis usual: definición de máscaras de convolución. Os valores dos coeficintes da máscara determinan a natureza do proceso.
w1 w2 w3
w4 w5 w6
w7 w8 w9
Píxel (x,y)
g (x,y)
wi : coeficiente máscarazi : valores de gris nos
píxeles da imaxe992211),( zwzwzwyxg +++= L
40
Procesamento de imaxe de baixo nivel
Redución de ruídoRealceExtracción de características....
41
Filtrado espacial
Ruído: contaminación da imaxe con información non desexada.
Eliminación/mitigación mediante promediado espacial
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
∗=
111111111
91W
fWg
42
Filtrado espacial
Realce de bordes:Experimentos psicofísicos indican que unha imaxe con bordes acentuados é subxectivamente máis agradable.As células da retina fan un filtrado laplaciano
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
−−−
−=
010151
010W
43
Laplaciano
Engadir o Laplaciano á imaxe orixinal.A(x)+LResalte encima e debaixo do borde.
( )
( ) 2
2
2
2
2
2
dxAdxA
dxAd
dxAdxA
−
−
5 10 15 20 25 300
100
200
5 10 15 20 25 30-20
0
20
5 10 15 20 25 30-20
0
20
0 5 10 15 20 25 30100
200
300
44
Filtrado espacial
ContornosCambio na intensidade luminosa dunha imaxe, entre dúas rexións “suaves”.Unha das características primitivas máis importantesdas imaxes.
0.1
1Umbralización
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
−−−
−=
010141
010W
45
Procesamento de imaxe de baixo nivel
MorfoloxíaFiltrado espacial con operacións lóxicas:
g(x,y):= f(x-1,y-1) AND f(x,y) AND f(x+1,y+1)
Regularización de formasEliminación de ocosSeparación de estruturasEliminación de ruído....
1 0 0
0 0
0 0 1
1
Elemento estruturante
(= máscara de convolución)
(x-1,y-1)
(x,y) → Punto de ancora
(x+1,y+1)
46
MorfoloxíaDilatación Binaria: Unha imaxe B dilatada por un elemento estruturante E (B⊕E),
combina con OR os valores correspondentes aos píxeles 1 do elemento estruturante.
É unha operación de expansión.
A cantidade depende do tamaño e a forma do elemento estruturante e do número de veces que se aplican.
1 1 1
1 1
1 1 1
1
47
MorfoloxíaErosión Binaria: Unha imaxe F erosionada por un elemento estruturante E (B⊗E)
Combina con AND os valores correspondentes aos píxeles 1 do elemento estruturante.
É unha operación de contración
A cantidade depende do tamaño e a forma do elemento estruturante e do número de veces que se aplican.
48
Morfoloxía
Apertura Binaria: Unha imaxe B aberta por unelemento estruturante E defínese coma:
(B⊗E)⊕E
Elimina rexións máis pequenas ca o elemento estruturante
49
MorfoloxíaPeche Binario: Unha imaxe B pechada por unelemento estruturante E defínese coma:
(B⊕E)⊗E
Enche buratos máis pequenos ca o elemento estruturante
50
Procesamento de imaxe de baixo nivel
Segmentación:UmbralizaciónCrecemento de rexiónsContornos...
22#1 )),(()( i
RiRiaestatístic
ii
yxIVRH σµ ≤−⇔= ∑
51
Detección de movementoMovemento:
Busca de correspondenza entre imaxesDetectar desprazamentos
Busca de diferenzas entre imaxes
Fondo Imaxe actual
Resta e umbralización
Erosión+ Dilatación
52
Interpretación de imaxes de alto nivelImitación do proceso cognitivo humano sobre a información contida na imaxe.
Parte de características de baixo nivelCombina información de diferentes fontesIncorpora coñecementoOs resultados representan coñecemento sobre o contido da imaxe, e están a miúdo nun formato simbólico.