introdución á telemedicina teoría aula 4 – a imaxe dixital · introdución á adquisición de...

Click here to load reader

Post on 14-Jul-2020

1 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

  • 1

    Introdución á TelemedicinaTeoría Aula 4 – A Imaxe Dixital

    Xosé M. [email protected]

    http://www.dec.usc.es/~pardo

    Grupo de Visión ArtificialDpto Electrónica e Computación

    USC

    mailto:[email protected]

  • 2

    Guión

    O problema da visión computacionalA imaxe dixitalProcesamento de imaxe dixital

    Baixo nivelAlto nivel

  • 3

    Visión e imaxe

    Visión: principal fonte de información sensorial procesada polo cerebro.Visión artificial: importante campo de investigación coa chegada dos ordenadores.

    Considerábase inicialmente momento un problema doado de resolver.

    “M. Minksy (pioneiro da IA) propúxolle a un alumno en 1966 como proxecto que un ordenador puidese describir o que vise”

    A facilidade do procesamento visual para os humanos só pon de manifesto que non somos conscientes das operacións que se realizan dende a captación da imaxe ata a extracción de información.

  • 4

    Visión e imaxe

    Coñécese que diferentes partes do cerebro están especializadas en extraer diferentes características das imaxes:

    Movemento.Cor, texturas, orientaciónsSegregación de obxectos e fondoetc.

    Sábese aínda pouco de como o cerebro combina esta información.

  • 5

    Visión

    Problema da visión computacional: “explicar o mecanismo que transforma a matriz de valores de intensidade luminosa nunha representación a nivel de obxectos, que se poida almacenar na memoria e procesar por outros sistemas cognitivos”.

    Marr suxeriu un enfoque de procesamento da información:

    Describe a percepción en termos da reconstrución xeométrica dos obxectos observados.Cáptanse tódolos detalles do entorno e vanse elaborando descricións sucesivas con niveis de abstracción crecentes ate obter experiencias visuais de alto nivel.

  • 6

    Teoría da Visión de Marr

    A visión procede mediante a computación de descricións simbólicas da imaxe e o recoñecemento dun obxecto prodúcese cando hai correspondencia entre unha descrición reconstruída ea representación almacenada dunha clase.Para describir un obxecto non é preciso saber que é o que se está observando.Base nas teorías psicolóxicas e neurofisiolóxicas do momento.

  • 7

    Psicoloxía da Gestalt

    Lei de Prägnanz: os sistemas de percepción fan organizacións tendentes a formas o máis simples e estables posible. Outras leis describen como se agrupan elementos de percepción dispares.

    proximidade similitude

    boa continuidade clausura

  • 8

    Psicoloxía da Gestalt

    Os principios básicos da percepción sobreviviron.Aínda que non os argumentos de que tales procesos son moi primarios na percepción.

    Está o “x” no mesmo obxecto?

    • Responder esta cuestión leva máis tempo no caso da figura da dereita.

    • Os procesos da Gestalt están influenciados por procesos semánticos

  • 9

    Achegas Posteriores

    A experiencia inflúe na forma en que os humanos perciben o mundo

    Conceptos de alto nivel “dan forma” a percepcións de baixo nivel.

    O HVS máis que unha “estrutura xerárquica” é unha colección de subsistemas relacionados:

    Existen elementos independentes con obxectivos propios que cooperan de xeito sinerxético.Hai subsistemas adestrados/expertos en recoñecer obxectos específicos.

  • 10

    Coñecemento a priori

    Mexicano montado en bicicleta

    Necesidade de coñecemento específico sobre a tarefa para agrupar características e interpretar imaxes: Segmentación⇔ Recoñecemento

  • 11

    Visión activa

    Finais dos 80: admítese que un sistema de visión de propósito xeral é unha meta ambiciosa demais.

    É preciso darlle pistas ó sistema sobre o que se espera que vexa:

    Sistemas para dominios concretos. Algoritmos de propósito específico.

    Non é preciso organizar tódalas características, abonda con comparar ás áreas de interese coa aparencia que se espera que teñan.Sistemas non xerárquizados ....

    Os sistemas de Visión Activa intentan modelar con maior precisión a interacción dos humanos co mundo.

  • 12

    Que é unha imaxe?

    Unha imaxe é unha función, f, de R2 en R:f( x, y ) da a intensidade na posición ( x, y ) Unha imaxe está definida sobre un rectángulo, cun rango definido:

    f: [a,b]x[c,d] [0,1]

  • 13

    Sistema de visión por ordenador

    Superficie

    Óptica

    Matriz CCD

    P

    Fonte de luz

    L(P,d)

    in

    p

    e

    Sinal de vídeo

    Frame grabber

    PC

    Frame grabber: dixitaliza nunha matriz 2-D de NxMvalores enteiros e alamacénaa nunha memoria

  • 14

    Sistema de visión por ordenador

    .

    Canle AzulA/D ConversorCanle Verde

    A/D Converter

    ÓpticaPlano Imaxe

    Digital Image

    E(x,y) : Sinal eléctricode vídeo

    Imaxe L(x,y)

    Memoria

    22 3422 0 18 ¥¥¥

    ¥¥¥¥¥¥

    Canle VermellaConversor A/D

    VídeoCámara

    B(i,j)G(i,j)

    R(i,j)

  • 15

    Introdución á adquisición de imaxes

    Imaxe: función bidimensional F(x,y), onde (x,y) é un punto da imaxe e o valor da función representa a información captada polo sensor.As imaxes analóxicas deben sufrir un proceso de dixitalización para ser tratadas mediante ordenadores. Unha imaxe dixital é unha función I(x,y) sobre un espazo 2D discreto e os valores da función tamén son discretos.

    Mostraxe ou resolución espacialCuantificación ou resolución en amplitude

  • 16

    Que é unha imaxe dixital?

    Imaxes dixitais:Mostraxe do espazo 2D nun mallado regularCuantización de cada mostra (redondeo ao enteiro máis próximo)

  • 17

    Que é unha imaxe dixital?

    A imaxe represéntase coma unha matriz:Se as mostras están separadas en ∆:f[i ,j] = Cuantización{ f(i ∆, j ∆) }

    62 79 23 119 120 105 4 0

    10 10 9 62 12 78 34 0

    10 58 197 46 46 0 0 48

    176 135 5 188 191 68 0 49

    2 1 1 29 26 37 0 77

    0 89 144 147 187 102 62 208

    255 252 0 166 123 62 0 31

    166 63 127 17 1 0 99 30

  • 18

    Que é unha imaxe dixital?

  • 19

    Cuantización

    Diferentes resolucións en niveis de gris: 256, 128, …, 2Menos niveis de gris leva aparellada unha redución de datos.Para 256, 128, 64 niveis de gris: Diferencias apenas visibles

  • 20

    Resolución espacial

    Mostraxe dende 1024x1024 ata 32x32 píxeles

    Mesma mostraxe variando os tamaños dos píxeles para percibir mellor o cambio en nivel de detalle

  • 21

    Vecindade dun píxel

    Veciños dun Píxel:

    O píxel p en (x, y) ten 4 veciños na

    horizontal e na vertical.

    4-veciños of p: N4(p)

    veciños a distancia 1 de p

    O píxel p ten 4 veciños nas

    diagonais, ND(p)

    Usualmente distínguese entre

    vecindade-4 e vecindade-8

    N4(p) versus N8(p)

    vecindade-4

    vecindade-8

  • 22

    Que é o procesamento dixital de imaxe?

    A interpretación de imaxes, a análise de imaxes e a visión artificial teñen coma obxectivo imitar o proceso da visión humana.

    Adquisición de imaxesPreprocesadoSegmentaciónRepresentación e descriciónRecoñecemento e interpretación

  • 23

    Modelo de cámara

    Como vemos o mundo?Deseñemos unha cámara

    Idea 1: por un cacho de película en frente dunha cámara Temos unha imaxe razoable?

    object filmObxecto Película

  • 24

    Modelo de cámara

    Cámara PinholeEngadir barreira para bloquear a maioría dos raios

    Reduce o emborronamentoO burato chámase aperturaComo afecta isto á imaxe?

    object filmbarrierobxecto barreira película

  • 25

    Modelo de cámara

    Cámara escuraA primeira cámara

    Coñecida por AristótelesO fondo da habitación é a distancia focalPódense medir distancias?

  • 26

    Modelo de cámara

    LentesEnfocan a luz sobre a película

    Hai unha distancia específica á que os obxectos estánenfocadosOs outros puntos proxectan un “círculo de confusión na imaxe” Cambiando a forma/foco dos lentes cambia esta distancia.

    object filmlensobxecto lente película

    “círculo de confusión”

  • 27

    Modalidades de imaxe médica

    Raios-X A primeira modalidade (1875- 1970’s)Proxección 2D

    O calcio dos ósos é o que máis raios-X absorbeOs tecidos brandos absorben menos, e quedan grises O aire é o que menos absorbe e por iso os pulmóns vense negros

    Fonte Obxecto

    Película

  • 28

    Modalidades de imaxe médica

    CTRequire unha cantidade importante de cálculo matemático (1072-).Proporciona información en 3D

  • 29

    Procesamento de imaxes dixitais

    Aproximacións en dous niveis:Procesamento de baixo nivel. Pouco coñecemento sobre o contido e a semántica das imaxes.

    Mellora da calidade visual da imaxeDetección de características:partes significativas,

    contornos,Esquinas,Texturas,...

    Interpretación de alto nivel. Imita o proceso cognitivo humano (percepción, aprendizaxe, razoamento) para:

    Combinar información de características+Inferir información das imaxes.

  • 30

    Procesamento de imaxe de baixo nivel

    Moi pouco coñecemento acerca do contido das imaxes.As imaxes orixinais son os datos, matrices de valores de intensidade

    Mostraxe discreta dun campo continuo

    Orixe (Ox,Oy)

    Espazado (Sy)

    Espazado (Sx)

    Valor de Pixel

    Rexión de Pixel

    vecindade 3x3

  • 31

    Procesamento de imaxes

    Unha operación de procesamento de imaxe define unha nova imaxe g a partir doutra f.

    )],([),( yxfTyxg =Imaxe transformada

    Imaxe orixinal

    Opera na vecindadede (x,y)

    ),( yxgT

    ),( yxf

    Imaxe transformadaImaxe orixinal

    Tf g

  • 32

    Histograma

    O histograma proporciona información global da imaxe sobre a posibilidade de realce.

    r: posible valor de intensidade do píxelh (r): porcentaxe de píxeles con valor r

    h(rk)

    rk

  • 33

    HistogramaImaxe clara Imaxe escura

    Imaxe con alto contraste Imaxe con baixo contraste

  • 34

    Transformación de histograma

    Formas de T: vecindade 1x1: )(rTs =

    L-1

    L-1

    T(r)

    r

    s

    (r1,s1)

    (r2,s2)

    • Se r1=s1 e r2=s2 ⇒ transformación identidade.

    • Se r1=r2, s1=0 e s2 =L-1 ⇒ umbralización.

    • En xeral se r1≤ r2, s1≤ s2 ⇒ transformación monótona crecente.

  • 35

    Transformación de histograma

    Aumento de contraste

    0 255

    255

    INPUT

    OU

    TPU

    T

  • 36

    Transformación de histograma

    Umbralización: Emprégase para separar obxectos do fondo.Os picos no histograma relacionánse con obxectos na imaxe.

    A altura dos picos está relacionada co tamaño dos obxectos.

    0 100 200

    0

    10

    20

    0 100 200

    0

    50

    100

    150

    escuro ⇔ claro

    escu

    ro

    ⇔cl

    aro

    S

    T(r)

    r

    sUmbralización

    R

  • 37

    Transformación de histograma

    Negativo da imaxe: invertir a orde de negro a branco na imaxe transformada.

    rrTs −== 255)(

    escuro ⇔ claro

    S

    T(r)

    r

    s

    escu

    ro

    ⇔cl

    aro

    R

  • 38

    Negativo

    O sistema visual humano percibe mellor obxectos claros sobre fondo escuro que ao revés.

  • 39

    Filtrado espacial

    Formas de T: Vecindade nxn:

    O valor de g(x,y) depende dos valores de f nun entorno de (x,y).Aproximación máis usual: definición de máscaras de convolución. Os valores dos coeficintes da máscara determinan a natureza do proceso.

    w1 w2 w3w4 w5 w6w7 w8 w9

    Píxel (x,y)

    g (x,y)

    wi : coeficiente máscarazi : valores de gris nos

    píxeles da imaxe992211),( zwzwzwyxg +++= L

  • 40

    Procesamento de imaxe de baixo nivel

    Redución de ruídoRealceExtracción de características....

  • 41

    Filtrado espacial

    Ruído: contaminación da imaxe con información non desexada.

    Eliminación/mitigación mediante promediado espacial

    ⎥⎥⎥

    ⎢⎢⎢

    ⎡=

    ∗=

    111111111

    91W

    fWg

  • 42

    Filtrado espacial

    Realce de bordes:Experimentos psicofísicos indican que unha imaxe con bordes acentuados é subxectivamente máis agradable.As células da retina fan un filtrado laplaciano

    ⎥⎥⎥

    ⎢⎢⎢

    −−−

    −=

    010151

    010W

  • 43

    Laplaciano

    Engadir o Laplaciano á imaxe orixinal.A(x)+LResalte encima e debaixo do borde.

    ( )

    ( ) 22

    2

    2

    2

    2

    dxAdxA

    dxAd

    dxAdxA

    5 10 15 20 25 300

    100

    200

    5 10 15 20 25 30-20

    0

    20

    5 10 15 20 25 30-20

    0

    20

    0 5 10 15 20 25 30100

    200

    300

  • 44

    Filtrado espacial

    ContornosCambio na intensidade luminosa dunha imaxe, entre dúas rexións “suaves”.Unha das características primitivas máis importantesdas imaxes.

    0.1

    1Umbralización

    ⎥⎥⎥

    ⎢⎢⎢

    −−−

    −=

    010141

    010W

  • 45

    Procesamento de imaxe de baixo nivel

    MorfoloxíaFiltrado espacial con operacións lóxicas:

    g(x,y):= f(x-1,y-1) AND f(x,y) AND f(x+1,y+1)

    Regularización de formasEliminación de ocosSeparación de estruturasEliminación de ruído....

    1 0 0

    0 0

    0 0 1

    1

    Elemento estruturante

    (= máscara de convolución)

    (x-1,y-1)

    (x,y) → Punto de ancora

    (x+1,y+1)

  • 46

    MorfoloxíaDilatación Binaria: Unha imaxe B dilatada por un elemento estruturante E (B⊕E),

    combina con OR os valores correspondentes aos píxeles 1 do elemento estruturante.

    É unha operación de expansión.

    A cantidade depende do tamaño e a forma do elemento estruturante e do número de veces que se aplican.

    1 1 1

    1 1

    1 1 1

    1

  • 47

    MorfoloxíaErosión Binaria: Unha imaxe F erosionada por un elemento estruturante E (B⊗E)

    Combina con AND os valores correspondentes aos píxeles 1 do elemento estruturante.

    É unha operación de contración

    A cantidade depende do tamaño e a forma do elemento estruturante e do número de veces que se aplican.

  • 48

    Morfoloxía

    Apertura Binaria: Unha imaxe B aberta por unelemento estruturante E defínese coma:

    (B⊗E)⊕E

    Elimina rexións máis pequenas ca o elemento estruturante

  • 49

    MorfoloxíaPeche Binario: Unha imaxe B pechada por unelemento estruturante E defínese coma:

    (B⊕E)⊗E

    Enche buratos máis pequenos ca o elemento estruturante

  • 50

    Procesamento de imaxe de baixo nivel

    Segmentación:UmbralizaciónCrecemento de rexiónsContornos...

    22#1 )),(()( i

    RiRiaestatístic

    ii

    yxIVRH σµ ≤−⇔= ∑

  • 51

    Detección de movementoMovemento:

    Busca de correspondenza entre imaxesDetectar desprazamentos

    Busca de diferenzas entre imaxes

    Fondo Imaxe actual

    Resta e umbralización

    Erosión+ Dilatación

  • 52

    Interpretación de imaxes de alto nivelImitación do proceso cognitivo humano sobre a información contida na imaxe.

    Parte de características de baixo nivelCombina información de diferentes fontesIncorpora coñecementoOs resultados representan coñecemento sobre o contido da imaxe, e están a miúdo nun formato simbólico.