teoria dell’informazione e codici parte iii · facoltà di ingegneria appunti dalle lezioni del...

26
Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno accademico 2008-2009

Upload: lamhanh

Post on 15-Feb-2019

222 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

Facoltà di Ingegneria

Appunti dalle lezioni del corso di

Teoria dell’informazione e codici Parte III

Prof. Alessandro NERI

Anno accademico 2008-2009

Page 2: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

CONTENUTI Motivazioni

Analisi a multirisoluzione e trasformata Wavelet

Scalogramma complesso

Funzioni armoniche circolari (CHF)

Wavelet Armoniche Circolari (CHW)

Wavelet di Laguerre-Gauss

Espansioni in funzioni Laguerre-Gauss ed Hermite-Gauss

Piramide ipercompleta di Wavelet Armoniche Circolari

Applicazioni

restauro di immagini

ricerca di oggetti in una scena

stima del movimento

semplificazione di immagini

Conclusioni

Page 3: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

MOTIVAZIONI Definizione di immagine:

♦ B/N 2,: RR ⊆→ DDf

♦ estensione 2,: RC ⊆→ DDf

♦ Colori 23 ,: RR ⊆→ DDf

un'immagine f è un elemento di uno spazio di Hilbert

Applicazioni restauro

Page 4: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

codificazione (archiviazione e trasmissione) di • immagini fisse • sequenze video Rivelazione e riconoscimento di oggetti per • visione artificiale • ricerche su basi di dati multimediali

Page 5: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

MOTIVAZIONI ♦ Necessità di

una rappresentazione efficiente e parsimoniosa delle varie componenti di una scena naturale quali bordi e tessiture ( non ottenibile per mezzo di un unico sistema non ridondante)

♦ Tecniche correnti Matching pursuit strategy: adatta la base di sviluppo ai contenuti locali dell'immagine, selezionando gli elementi della base a partire da un insieme altamente ridondante (dizionario di forme d'onda) − elementi critici

− costruzione del dizionario

− costruzione della migliore rappresentazione locale (Minimum Description Length).

♦ Obiettivo

espansione locale

− efficacemente approssimabile con pochi elementi dello sviluppo

− basata su pattern specifici rilevanti per il sistema visivo umano (bordi, linee, incroci) la cui scala ed il cui orientamento possano essere variati in modo parametrico

Page 6: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

ANALISI DI SEGNALI A MULTIRISOLUZIONE ♦ teoria matematica che permette di rappresentare uno stesso segnale a livelli di accuratezza

differenti, caratterizzati da una risoluzione crescente

♦ nasce dal limite intrinseco dell’analisi di Fourier: l’impossibilità di ottenere una localizzazione congiunta sia nel tempo che in frequenza, che risulta invece altamente desiderabile in molti contesti applicativi:

Analisi di segnali acustici

musica voce umana

Percezione di un'immagine

Page 7: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno
Page 8: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

TRASFORMATA WAVELET MONODIMENSIONALE ♦ REQUISITI

esprimere una funzione come combinazione lineare di una famiglia di forme d'onda elementari

− con forte localizzazione sia in spazio che in frequenza

− mediante un algoritmo veloce

− con sviluppo rapidamente convergente

♦ FONDAMENTI

Base costituita da una famiglia di funzioni ricavate da una sola mother wavelet )( tψ per

cambiamenti di scala e traslazioni

,1( )b a

t btaa−⎛ ⎞ψ = ψ⎜ ⎟

⎝ ⎠

Page 9: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

TRASFORMATA WAVELET UNIDIMENSIONALE

Data una funzione g ),(2 dtL R∈ ed una funzione ψ che soddisfi la condizione di

ammissibilità

2

0

ˆ ( )0 C d

∞ψ

ψ ω< = ω < ∞

ω∫ ,

la funzione g può essere rappresentata come combinazione lineare di repliche

traslate e scalate di ψ

,20

1 1( ) ( , ) ( )b ag t g b a t db daC a

∞ ∞ψ−∞

ψ

⎡ ⎤= ψ⎢ ⎥

⎢ ⎥⎣ ⎦∫ ∫ W

essendo ( , )g b aψW la trasformata Wavelet (WT) di g rispetto a ψ, definita da

Page 10: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

,1( , ) ( ), ( ) ( )b a

t bg b a g t t g t dtaaψ−⎛ ⎞= ψ = ψ⎜ ⎟

⎝ ⎠∫WR

La validità della formula di inversione può essere verificata facilmente nel dominio

della frequenza. A questo scopo riscriviamo la formula di inversione come segue

0,20

1 1( ) ( , ) ( )ag t g b a t b db daC a

∞ ∞ψ−∞

ψ

⎡ ⎤⎢ ⎥= ψ − =⎢ ⎥⎣ ⎦

∫ ∫ W

poichè ψ soddisfa la condizione di stabilità e ( )afΨ2 è una funzione pari, si ha la seguente

eguaglianza

( ) ( ) ( ) ( )0 0 0

1 1 11a af af

da d af daC a C af C a

∞ ∞ ∞

ψ ψ ψ

Ψ Ψ Ψ= = =∫ ∫ ∫

2 2 2

Pertanto

Page 11: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

( )0

1( ) ( )af

G f G f daC a

ψ

Ψ= =∫

2

20

1 1 ( ) ( ) ( )a af G f a af daC a

∞ ∗

ψ= Ψ Ψ =∫

{ }0,20

1 1 ( , ) ( ) .ag t a t daC a

ψ= ∗ψ∫ F W

ovvero

,20

1 1( ) ( , ) ( )b ag t g b a t dbdaC a

∞ +∞ψ−∞

ψ= ψ∫ ∫ W .

c.d.d.

In alternativa, poichè

{ } 1( , ) ( ) * ( ) *( )tg b a g t G f a afaaψ

⎧ ⎫⎛ ⎞= ∗ ψ − = Ψ⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

F W F

si ha

Page 12: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

,20

1 1 ( , ) ( )b ag b a t db daC a

∞ ∞ψ−∞

ψ

⎧ ⎫⎪ ⎪ψ =⎨ ⎬⎪ ⎪⎩ ⎭∫ ∫F W

0,20

1 1 ( , ) ( )ag t a t daC a

∞ψ

ψ

⎧ ⎫⎪ ⎪⎡ ⎤∗ψ =⎨ ⎬⎣ ⎦⎪ ⎪⎩ ⎭∫=F W

{ }0,20

1 1 ( , ) ( )ag t a t daC a

∞ψ

ψ∗ψ =∫= F W

( )20

1 1 ( )G f a af daC a

ψΨ =∫

2=

( )0

1( )af

G f daC a

ψ

Ψ=∫

2

=

( )0

1( ) ( )G f d G fC

ψ

Ψ ωω=

ω∫2

=

Page 13: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

WAVELET DIADICHE Teorema: Se una funzione ψ soddisfa la condizione di stabilità

20 (2 ) . .k

kA f B a e

=−∞< ≤ Ψ ≤ < ∞∑

la funzione g può essere ricostruita a partire dai soli coefficienti ( ,2 )mg b −ψW della WT

tramite la formula di inversione

,21( ) ( ,2 ) ( )

2m

mbm

mg t g b t db

+∞ ∞ψ−∞

=−∞

′= ψ∑ ∫ W

essendo ′ψ definita a partire dalla sua trasformata di Fourier pari a

2

( )( )(2 )m

m

fff

=−∞

Ψ′Ψ =Ψ∑

poichè ψ soddisfa la condizione di stabilità, si ha la seguente eguaglianza

Page 14: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

2

2

(2 )1

(2 )

m

km

k

f

f

∞=−∞

=−∞

Ψ=

Ψ∑

Pertanto per la trasformata di Fourier di g(t) si ha

2

2

(2 ) ( )( )

(2 )

m

km

k

f G fG f

f

∞=−∞

=−∞

Ψ= =

Ψ∑

2

1 2 (2 )2 (2 ) ( )2 (2 )

m mm m

mkm

k

ff G ff

∞∗

∞=−∞

=−∞

Ψ= Ψ =

Ψ∑

{ }2

1 2 (2 )( ,2 )2 (2 )

m mm

mkm

k

fg bf

ψ ∞=−∞

=−∞

Ψ=

Ψ∑

∑F W

Poiché

Page 15: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

2 2(2 ) (2 )k k m

k kf f

∞ ∞+

=−∞ =−∞

Ψ = Ψ∑ ∑

Si ha

{ }2

1 2 (2 )( ) ( ,2 )2 (2 )

m mm

mk mm

k

fG f g bf

ψ ∞+=−∞

=−∞

Ψ= =

Ψ∑

∑F W

{ } 1( ,2 ) 2 (2 )2

m m mm

mg b f

ψ=−∞

′= Ψ =∑ F W

{ }0,21 ( ,2 ) ( )

2m

mm

mW g t t

ψ=−∞

′= ∗ψ∑ F .

Page 16: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

ANALISI A MULTIRISOLUZIONE • Sia Φ una funzione tale che ( ){ }/ 22 2i i t k− −φ − Δτ formi una base ortonormale per il

sottospazio 2( )∈iV L .

• Sia Ψ una wavelet ammissibile tale che

o l'insieme discreto ( ){ }/ 22 2i i t k− −ψ − Δτ formi una base ortogonale per il sottospazio

2 ( )∈iW L

o i due sottospazi Vi e Wi siano mutuamente ortogonali Wi ⊥ Vi

o il sottospazio Vi-1 può essere espresso come somma diretta di Vi e Wi

Vi−1 = Vi ⊕ Wi

Un segnale s(t) ∈V0 può essere rappresentato tramite un'approssimazione a risoluzione i=M

ottenuta combinando linearmente repliche traslate della funzione ( )tφ scalata per un fattore 2M e

Page 17: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

M dettagli alle scale diadiche 2l ottenute combinando linearmente repliche traslate e dilatate della

mother wavelet ( )tψ

[ ] ( ) [ ] ( )/ 2 / 2 / 2 / 2

1( ) 2 2 2 2

MM M

Mk k

s t c k t k d k t k− − − −

== φ − Δτ + ψ − Δτ∑ ∑∑

• è possibile dimostrare che la wavelet e la basic scaling function soddisfano le equazioni

[ ] ( )( ) 2 2k

t h k t kφ = φ − Δτ∑

[ ] ( )( ) 2 2k

t g k t kψ = φ − Δτ∑

in cui g k⎡⎣ ⎤⎦ e h k⎡⎣ ⎤⎦ sono i coefficienti di due Quadrature Mirror Filter (QMF)

H(ω ) =12

h[k]e− jωkΔτ

k∑

G(ω ) =12

g[k]e− jωkΔτ

k∑

Page 18: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

e Δτ è l’intervallo di campionamento.

• La trasformata wavelet discreta (DWT) può essere calcolata per mezzo dell'algoritmo

piramidale di Mallat.

• Siano [ ]0c k i coefficienti della rappresentazione del segnale s(t) ∈V0 rispetto alla base

ortogonale φ(t − Δτ ) :

c0 k⎡⎣ ⎤⎦ = ⟨s(t),φ(t − Δτ )⟩ = s∫ (t)φ*(t − Δτ )dt

• I coefficienti c0[k] possono essere espressi come combinazione lineare dei coefficienti

c1 n⎡⎣ ⎤⎦ relativi all'approssimazione del segnale a livello di risoluzione 1 e dei coefficienti

d1 n⎡⎣ ⎤⎦ relativi ai dettagli relativi al livello di risoluzione 1 per mezzo della convoluzione

discreta tra la serie dei coefficienti c1 n⎡⎣ ⎤⎦ ed il filtro passa basso h[n] e della convoluzione

Page 19: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

discreta tra la serie dei coefficienti d1 n⎡⎣ ⎤⎦ ed il filtro il filtro passa alto g[n] seguito da un

ricampionamento per un fattore 2:

c0 n⎡⎣ ⎤⎦ = c1k∑ k⎡⎣ ⎤⎦ h 2k − n⎡⎣ ⎤⎦ + d1 k⎡⎣ ⎤⎦ g 2k − n⎡⎣ ⎤⎦

• I coefficienti c1 n⎡⎣ ⎤⎦ e d1 n⎡⎣ ⎤⎦ possono essere ottenuti dai coefficienti [ ]0c k tramite filtraggio

con il filtro passa basso h[n] eil filtro il filtro passa alto g[n] seguito da un

sottocampionamento per un fattore 2:

c1 n⎡⎣ ⎤⎦ = c0 k⎡⎣ ⎤⎦ h 2n − k⎡⎣ ⎤⎦k∑

d1 n⎡⎣ ⎤⎦ = c0 k⎡⎣ ⎤⎦ g 2n − k⎡⎣ ⎤⎦k∑

• La scomposizione DWT dimezza la risoluzione temporale e raddoppia la rislouzione in

frequenza perché la larghezza della banda del segnale d'uscita e solo la metà di quella

d'ingresso, quindi metà dei campioni possono essere scartati senza perdita d'informazione.

Page 20: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

• La procedura di scomposizione può essere reiterata e ad ogni livello di decomposizione l il

filtro ed il sottocampionamento dimezzano il numero dei campioni e la larghezza di banda

[ ] [ ] [ ]1 2k

c n c k h n k−= −∑

[ ] [ ] [ ]1 2k

d n c k g n k−= −∑

Essendo [ ]c n e [ ]d n i coefficienti dell’approssimazione grossolana e dei dettagli alla

risoluzione l-esima.

• Questo approccio riduce il carico computazionale rispetto alla Fast Fourier Transform (FFT),

perche ad ogni livello di scomposizione solo elaborati solo la metà degli elementi.

[ ] [ ] [ ]1 2k

d n c k g n k−= −∑

Page 21: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

WAVELET DI DAUBACHIE ♦ Le wavelet di Daubachie sono caratterizzate dalla proprietà che i primi A momenti sono

nulli.

scaling and

wavelet

functions

amplitudes of

the frequency

spectrum

Page 22: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

SCALOGRAMMA COMPLESSO ♦ La rivelazione di patterns indipendentemente dalla loro scala, dal loro orientamento e dalla

loro posizione, nonché la stima di tali parametri si semplificano se si considera come

dominio di una immagine il piano complesso C costituito dai punti z=x1+jx2, invece del

piano reale R2 costituito dai punti x=(x1, x2)

♦ Infatti, in questo caso variazioni di scala e rotazioni possono essere tenute in conto tramite

una sola operazione: il cambiamento di scala complessa

nel piano complesso il fattore complesso di scala α = a e jϕ corresponde a

• una dilatazione/contrazione isotropica per un fattore pari al modulo a,

• una rotazione ϕ attorno all'origine z= 0.

♦ Quindi una qualsiasi combinazione di traslazioni, dilatazioni, rotazioni di un pattern attorno

ad un qualsiasi punto del piano complesso può essere sempre posto nella forma

⎟⎟⎠

⎞⎜⎜⎝

⎛α

β−zf

Page 23: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

TRASFORMATA WAVELET 2-D La trasformata Wavelet (WT) di una funzione

f ),(2 zddzL C∈ rispetto a ψ è definita da

∫ ⎟⎟⎠

⎞⎜⎜⎝

⎛α

β−ψ

α=ψ=αβ αβψ

Czddz

zzfzzff )(

21

)(),(),( ,W

⎟⎟⎠

⎞⎜⎜⎝

⎛α

β−ψ

α∗β=β−ψ∗β= α

1)(

21

)()(21

,0 ff

in cui ψβ,α è ottenuta da ψ applicando gli operatori di traslazione e di cambiamento di scala

complessa che lascia invariata la norma L2(C, zddz )

⎟⎠⎞

⎜⎝⎛

αβ−

ψα

=ψ αβzz 1)(,

Quando ψ soddisfa la condizione di ammissibilità

∞<ωωω

ωψ=< ∫ψ ddC

C 2

2)(ˆ0 ,

Page 24: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

la WT costituisce una rappresentazione dell'immagine f, nel senso che la trasformata inversa

esiste

∫ ∫ ααββψαβα

= αβψψ C C

ddddzfC

zf )(),(1

21

)( ,4W

Page 25: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno

poichè ψ soddisfa la condizione di stabilità e ( )afΨ2 è una funzione pari, si ha la seguente

eguaglianza

( ) ( ) ( ) ( )0 0 0

1 1 11a af af

da d af daC a C af C a

∞ ∞ ∞

ψ ψ ψ

Ψ Ψ Ψ= = =∫ ∫ ∫

2 2 2

Pertanto

( )0

1( ) ( )af

G f G f daC a

ψ

Ψ= =∫

2

20

1 1 ( ) ( ) ( )a af G f a af daC a

∞ ∗

ψ= Ψ Ψ =∫

{ }0,20

1 1 ( , ) ( ) .ag t a t daC a

ψ= ∗ψ∫ F W

ovvero

,20

1 1( ) ( , ) ( )b ag t g b a t dbdaC a

∞ +∞ψ−∞

ψ= ψ∫ ∫ W .

Page 26: Teoria dell’informazione e codici Parte III · Facoltà di Ingegneria Appunti dalle lezioni del corso di Teoria dell’informazione e codici Parte III Prof. Alessandro NERI Anno