L’ENHANCEMENT DI IMMAGINI MAMMOGRAFICHE

Applicazioni

Caratteristiche dell’immagine mammografica

4624 x 2960

512 x 512

12-16 bpp

Risoluzione: 42-50 m

Masse e microcalcificazioni

Microcalcificazioni:

Masse:

Il sistema CADx

Mammografia

selezione della regione di interesse

(ROI)

…

Estrazione delle caratteristiche

Forma(2D)

Classificatore

Indice di malignità

Texture(3D)

Segmentazione

Denoising eenhancement

Caratteristiche delle masse

Strutture rotondeggiantiLuminosità crescente verso il centro

Enhancement per le masse

Caratteristiche delle microcalcificazioni

PROBLEMI

• Piccole dimensioni

• Rumore presente nell’immagine

• Luminosità

OBIETTIVI

• Estrarre strutture di piccole dimensioni

• Distinguere queste strutture dal rumore presente nell’immagine

Cosa succede senza una fase di denoising

wlt d1enh pw (mod grad)t=0.2G=10D=3

wlt d1enh pw (mod grad)t=0.2G=10D=3

Caratteristiche del rumore

Il processo di formazione dell’immagine determina la natura dei fenomeni rumorosi:

• Fluttuazione del numero di fotoni in arrivo (rumore di Poisson dipendente dal segnale)

• Scattering fotonico (eliminabile)

• Rumore elettronico (gaussiano indipendente dal segnale)

Stima del rumore

Filtro Passa-Basso

Edge detector Soglia

Negative

Negative

Signal DependentNoise Variance

Estimation

Waveletdenoising

RobustMedian

estimator

Original Image

Caratteristiche del rumore stimato

Processamento Wavelet – schema generale

2)

Elaborazione dei coefficienti

E(x)

W

1)

Decomposizione

Immagine

W-1

3)

Ricostruzione

Immagine elaborata

Decomposizione

GI(v) GII(v)

GI(h) GII(h)

H(v) H(h)

GI(2v) GII(2v)

GI(2h) GII(2h)

dI{v,1}

dI{h,1}

a1

dI{v,2}

dI{h,2}

dII{v,1}

dII{h,1}

dII{v,2}

dII{h,2}

H(2v)H(2)

a2

Ricostruzione

dI I{v,1}

dI I{h,1}

dI I{v,2}

dI I{h,2}

a2

K(v) L(h)

L(v) K(h)

H(v) H(h)

+

K(2v) L(2h)

L(2v) K(2h)

H(2v)H(2h)

+

Esempio

50 100 150 200 250 300 350-1

0

1Gradiente

50 100 150 200 250 300 350-0.5

0

0.5

50 100 150 200 250 300 350-0.5

0

0.5

50 100 150 200 250 300 350-0.5

0

0.5

50 100 150 200 250 300 350-0.5

0

0.5Laplaciano

50 100 150 200 250 300 350-0.5

0

0.5

50 100 150 200 250 300 350-0.5

0

0.5

50 100 150 200 250 300 350-0.5

0

0.5

1

2

3

4

WaveletDecomposition

First Gradient D=3

Ivd 1,

Ihd 1,

Ivd 2,

Ihd 2,

Ivd 3,

Ihd 3,

3a

WaveletReconstruction

D=3

Denoising

WaveletDecomposition

Second Gradient D=3

Enhancement

WaveletReconstruction

D=3

03 a

IIvd 1,

IIhd 1,

IIvd 2,

IIhd 2,

IIvd 3,

IIhd 3,

Enhancedforeground

background

Schema specifico a doppia

ricostruzione

Elaborazione dei coefficienti per il denoising

-10 -8 -6 -4 -2 0 2 4 6 8 10-10

-8

-6

-4

-2

0

2

4

6

8

10funzione s oglia ne tta (hard thre s holding)

-10 -8 -6 -4 -2 0 2 4 6 8 10-10

-8

-6

-4

-2

0

2

4

6

8

10funzione s oglia dolce (s oft thre s holding)Funzione soglia netta (hard thresholding) Funzione soglia dolce (soft thresholding)

Elaborazione dei coefficienti per l’enhancement

G

Th

Risultati per le microcalcificazioniori

gin

al

een

han

ced

masc

her

a

Valutazione di un algoritmo di enhancement

Il CII è dato dal rapporto tra il contrasto di una ROI nel mammogramma elaborato ed il contrasto della ROI nel mammogramma originale:

Il contrasto C di una regione è definito come:

in cui f e b sono rispettivamente i valori medi dei livelli di grigio di un particolare oggetto nella ROI (il foreground) e del suo sfondo (il background). Questa definizione di contrasto ha il vantaggio di essere indipendente dal range dei livelli di grigio dell’immagine.

LA CLASSIFICAZIONE DI SEGNI TUMORALINELLE IMMAGINI MAMMOGRAFICHE

Applicazioni

Microcalcificazioniori

gin

al

een

han

ced

masc

her

a

Masse tumoraliori

gin

al

em

asc

her

a

en

han

ced

Imm

ag

ine c

on

co

nto

rno

Microcalcificazioni: benigne e maligne

C0239

1.LEFT

MLO

A1280

1.LEFT

CC

BENIGNE

MALIGNE

A1469

1.LEFT

CC

A1220

1.RIGHT

CC

Masse: benigne e maligne

BENIGNE

MALIGNE

Estrazione dei parametri

L’operazione di scelta dei parametri per la classificazione è estremamente difficile a causa della grande variabilità di:

Dimensione, forma, distribuzione e colore delle microcalcificazioni e del cluster

Dimensione, forma, distribuzione e colore delle masse tumorali.

La scelta dei parametri può ovviamente influenzare ed eventualmente alterare la fase di classificazione. Questa fase verrà infatti valutata in termini di due parametri: sensitivity e specificity.

Sensitivity and Specificity

Un a regione segmentata è detta positiva se patologica o negativa se normale.

Un algoritmo decisionale dice il vero se la decisione è corretta e dice il falso se la decisione è sbagliata.

Un algoritmo che identifica oggetti o regioni (segmenta) potrà dare Ii seguenti risultati: vero positivo (TP) , vero negativo, (TN), falso positivo (FP), e falso negativo (FN). FN e FP sono due tipi di errori.

Un FP significa che qualcosa di normale è stato segnalato come patologico.

Un FN significa che una anomalia è stata segnalata come normale.

Sensitivity (sinonimo di TP) e Specificity (sinonimo di TN) sono definite come

Sensitivity=TPs/(TPs+FNs) specificity=TNs/(TNs+FPs).

Parametri di forma

Caratteristiche geometriche Singola microcalcificazione • Standard deviation of Area:

where Ak is the area (number of pixels) of kth microcalcification, A is the mean area, N is the number of microcalcifications in the cluster.

• Mean perimeter of microcalcifications p.

• Total area evaluated by the sum of the pixels representing the microcalcifications.

• Mean eccentricity. Values close to 1 means high circularity of the microcalcifications, whereas values close to 0 denote lengthened shape of microcalcifications.

• Mean circularity evaluated as where A and p are defined above.

2

1

1( )

1

N

kk

A AN

2

4 AC

p

Parametri di forma

Caratteristiche geometriche

• Microcalcifications cluster features

• Standard deviation of mutual distances.

• Cluster perimeter, where the cluster is represented by the convex hull as shown in figure

• Approximative cluster area evaluated by the area of the convex hull.

Parametri di texture

Texture Features Haralick: Second angular moment, contrast, correlation, variance, inverse differential moment, sum of mean values, sum of variances, sum of entropy, entropy, differential variance, differential entropy, correlation measure information, maximum correlation coefficient Caratteristiche basate sull’istogramma

Mean intensity value of microcalcifications .

Skew function that measures the asymmetry of the histogram of microcalcifications.

Mean intensity value of the boundary of the microcalcifications .

Difference:

Contrast:

I

bI

bI I

( ) /( )b bI I I I

Parametri di texture

020

4060

020

4060

0.7

0.75

0.8

0.85

0.9

0.95

1

1.05

0

5

10

15

20

25

30

35

40

0.7 0.75 0.8 0.85 0.9 0.95 1

(a) (b)

Scelta delle caratteristiche

Caratteristiche discriminanti

0 5 10 15 20 25 30 35 40 450

200

400

600

800

1000

1200

1400

Minimum distances of microcalcifications

Clu

ster

per

imet

er

Benign

Malignant

0 200 400 600 800 1000 1200 1400 16000

20

40

60

80

100

120

140

Microcalcifications total area

Stan

dard

dev

iatio

n of

are

a

Benign

Malignant

10 15 20 25 30 35 40 45 50 550

50

100

150

200

250

300

Mean perimeter

Mea

n m

utua

l dis

tanc

es

10 15 20 25 30 35 40 45 50 550

20

40

60

80

100

120

140

Mean perimeter

Sta

ndar

d de

viat

ion

of a

reas

Benign

Malignant

(a) (b)

(c) (d)

Scelta delle caratteristiche

Caratteristiche non discriminanti0 5 10 15 20 25 30 35 40 450

200

400

600

800

1000

1200

1400

Minimum distances of microcalcifications

Clu

ster

per

imet

er

Benign

Malignant

0 200 400 600 800 1000 1200 1400 16000

20

40

60

80

100

120

140

Microcalcifications total area

Sta

ndar

d de

viat

ion

of a

rea

Benign

Malignant

10 15 20 25 30 35 40 45 50 550

50

100

150

200

250

300

Mean perimeter

Mea

n m

utua

l dis

tanc

es

10 15 20 25 30 35 40 45 50 550

20

40

60

80

100

120

140

Mean perimeter

Sta

ndar

d de

viat

ion

of a

reas

Benign

Malignant

(a) (b)

(c) (d)

Estrazione dei parametri: masse

Caratteristiche geometriche 

Caratteristiche di texture (luminanza interna)

Caratteristiche di forma

Area e perimetro

Statistica del raggio

Circolarità

Rettangolarità

Eccentricità

Entropia

Zero crossing

Boundary roughness

Raggi

CentroGeometrico

Bounding Box

Area

Geometric center

Circle withmean radial

length

Radiallengths

Zero Crossing

Shape Features

Geometric center

Circle withmean radial

length

Radiallengths

Zero Crossing

Shape Features

Caratteristiche di struttura

Secondo momento angolareContrasto

Correlazione

Varianza

Momento differenziale inversoSomma di media, varianza, entropia

Varianza ed entropia differenzialiMisura della correlazione

Massimo coefficiente di correlazione

Caratteristiche di Haralick:

Scelta delle caratteristiche

Istogramma sovrappostoIstogramma non sovrapposto

Circolarità

Raggio normalizzato

Entropia

Caratteristiche scelte:

Sviluppi:

Selezione del set minimo di parametri: PCA ? Metodi Black Box

Scelta del classificatore:

I valori delle variabili sono espressi con parole del linguaggio comune

Il radiologo può capire il sistema ed interagire con esso

Reti neurali Black box Non c’è possibilità di interazione

Sistemi Fuzzy

Metodi diretti In fase iniziale Poche informazioni a priori