blind image deconvolution e applicazioni nella microscopia...
TRANSCRIPT
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Blind Image Deconvolution e applicazioni nella microscopia ottica
Moretti Claudio
26 settembre 2011
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
1 Blind Image Deconvolution
2 Applicazioni, Tecniche ed Algoritmi
3 BID nella Microscopia Ottica
4 Implementazioni Real Time
5 Bibliografia
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Quando, Dove e Perche
Gran parte dei progressi dell’image processing sono cominciati nella fine degli anni ’70,con l’introduzione dei primi calcolatori e dei charged couple devices.Una parte di questa nuova scienza si preoccupava di elaborare e migliorare i datiottenuti da imaging aereo e satellitare, oltre che dai telescopi montati a terra , neiquali l’optical tranfer function risente del moto relativo e della perturbazione dovutaalle variazioni di densita dell’aria.Mentre la forma del primo problema e spesso derivabile a priori, nel secondo caso erichiesto necessariamente un approccio diverso, in cui i parametri della correzionedevono essere ricavati parallelamente alla correzione stessa.A seguito di cio sono state introdotte le prime tecniche di blind image deconvolution,dove il PSF e parzialmente noto o completamente sconosciuto, e su cui si ricaverannole informazioni necessarie mediante la sua forma parametrica, o opportuni vincoli postisotto diverse forme sia all’immagine che al psf, nello spazio immagine o nello spazioconiugato.La grande varieta di problemi, di tecniche e vincoli che si possono richiederesoddisfatti, hanno portato ad una grande vastita di algoritmi e tecniche che,soprattutto ora che macchine di grande potenza di calcolo sono alla portata di tutti,vanno a cercare la soluzione al problema sotto diversi punti di vista ed in ambitidiversi, dal spekle imaging in astronomia, alle tecniche di superisoluzione adottatenella videosorveglianza.A seguito vengono presentati solo alcuni esempi utili ad avere un’idea delle tecnicheutlizzate per la BID, con particolare interesse per le applicazioni in microscopia.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
i(x,y)h(x,y)
n(x,y)
o(x,y)
o(x , y) = i(x , y)⊗ h(x , y) + n(x , y)
g immagine osservata
f immagine originale
h point spread function (PSF)
n rumore
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
i(x,y)h(x,y)
n(x,y)
o(x,y)
o(x , y) = i(x , y)⊗ h(x , y) + n(x , y)
g immagine osservata
f immagine originale
h point spread function (PSF)
n rumore
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
i(x,y)h(x,y)
n(x,y)
o(x,y)
o(x , y) = i(x , y)⊗ h(x , y) + n(x , y)
g immagine osservata
f immagine originale
h point spread function (PSF)
n rumore
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
i(x,y)h(x,y)
n(x,y)
o(x,y)
o(x , y) = i(x , y)⊗ h(x , y) + n(x , y)
g immagine osservata
f immagine originale
h point spread function (PSF)
n rumore
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Deconvoluzione - Approcci
o(x , y) = i(x , y)⊗h(x , y)+n(x , y)
O(x , y) = I (x , y)∗H(x , y)+N(x , y)
iest (x , y) = F−1t
[1
H
(|H|2
|H|2 + 1/snr
)O
]stima di I(x,y)
IFFT
vincoli sull'immagine
FFT
stima di H(x,y)
IFFT
FFT
vincoli sull'immagine
Inverse Matrix
Approccio Bayesiano
Metodo veloce ed intuitivo, che tuttavia epoco flessibile nell’implementazione divincoli, e risente una sensibile amplificazionedel rumore per via degli zeri di H.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Deconvoluzione - Approcci
p(o, h|i , α) =p(i |o, h, α)p(o|α)p(h|α)
p(i |α)
Inverse Matrix
Approccio Bayesiano
Si considerano immagine originale i , blur h erumore n in termini statistici, corrispondentia dei dati appartenenti ad un determinatadistribuzioe che rappresenta i vincoli noti apriori, qui raccolti nell’indice α (e.g. lanonegativita del PSF).La ricostruzione viene effettuatageneralmente reiterando il processo finchenon si raggiunge la precisione volutamisurata da una funzione peso.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Modelli per la BID
Parametric BlurModels
Prior Image and BlurModels
Linear Motion Blurh(x) = 1
L+1e
Atmospheric Turbolence Blur
h(x) = Ke−‖x‖22σ2
Out Of Focus (uniform circular psf approx)h(x) = 1
π‖x‖2
altro. . .
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Modelli per la BID
Parametric BlurModels
Prior Image and BlurModels
Per il fit si usano delle distribuzioni p(i |α) p(h|α) cherispecchiano la natura che ci si aspetta dall’immaginee/o dal psf (e.g. si richiede che l’immagine sia daicontorni morbidi, o che vi siano texture ricorrenti,ovvero crosscorrelazione su certe scale).
p([i , h]|α) =e−J[i,h]([i,h],α)
Z[i,h](α)
Stationary Gaussian Models (SimultaneousAutoregression (SAR) o Conditional AR),J = 1/2k‖ν · i‖2
Autoregressive Moving Average (ARMA) Models
Markov Random Field Models, J =∑η φη (i),
dove φ e posto come un potenziale, e la Z diventaa tutti gli effetti una funzione di partizione
Total Variation, o Anisotropic Diffusion, utilizza∫‖∇ · i(x)‖ come funzione di peso, cercando di
preservare le discontinuita dell’immagine.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Modelli per la BID
Per una rassegna esaustiva si rimanda altesto di Campisi della CRC press BlindImage Deconvolution.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Adaptive Image Deconvolution Algorithm - AIDA
La tecnica usata in AIDA consiste nelcorreggere un psf parzialmente noto(myopic deconvolution) ricavatoperlopiu dal set di immagini che si vuoleelaborare.Si tratta di una reimplementazione diMISTRAL (Myopic IterativeSTep-preserving Restoration ALgorithm,Mugnier et al 2004), algoritmopresentato inizialmente per utilizzo inastronomia, dove il psf puo esserericavato dall’immagine di una stellalontana che sia in subrisoluzione per ilsistema.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Adaptive Image Deconvolution Algorithm - AIDA
Si tratta di un algoritmo stocastico(Bayesian Deconvolution Framework)che rientra nella categoria dei MAP(Maximum A Posteriori), il cui codice edisponibile in rete e liberamentemodificabile.L’implementazione e stata fatta inPython, NumPy, C++, e librerie FFTW.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Adaptive Image Deconvolution Algorithm - AIDA
Il problema viene posta sotto l’approccio di inferenza Bayesiana:
p(o, h|i , α) =p(i |o, h, α)p(o|α)p(h|α)
p(i |α)
p(i |o, h, α) e la probabilita a posteriori di osservare l’immagine con le caratteristicherichieste, mentre le p(o|α) p(h|α) p(h|α) sono le probabilita a priori assunte dalmodello.I termini di probabilita indicati sopra sono visti in termini di funzione di partizione
Z(α) =e−J(α)∫e−J(α)
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Adaptive Image Deconvolution Algorithm - AIDA
si ottiene una formula del tipo:
p(o, h|i , α) = Ni,n,o,h exp [−Jn(i |o, h, α)− Jo (o|α)− Jh(h|α) + Ji (i |α)]
ed infine il problema si riduce formalmente a:[o, h]
= argmin {Jn(i |o, h, α) + Jo (o|α) + Jh(h|α)}
Separatamente i termini sono:
Jn(i |o, h, α)
Jo (o|α)
Jh(h|α)
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Adaptive Image Deconvolution Algorithm - AIDA
si ottiene una formula del tipo:
p(o, h|i , α) = Ni,n,o,h exp [−Jn(i |o, h, α)− Jo (o|α)− Jh(h|α) + Ji (i |α)]
ed infine il problema si riduce formalmente a:[o, h]
= argmin {Jn(i |o, h, α) + Jo (o|α) + Jh(h|α)}
Separatamente i termini sono:
Jn(i |o, h, α)
Jo (o|α)
Jh(h|α)
data fideluty termAlgoritmi con il Richardson-Lucyutilizzano solo questo termine, edsoffrono di problemi come rumore edartifatti “ad anello”.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Adaptive Image Deconvolution Algorithm - AIDA
si ottiene una formula del tipo:
p(o, h|i , α) = Ni,n,o,h exp [−Jn(i |o, h, α)− Jo (o|α)− Jh(h|α) + Ji (i |α)]
ed infine il problema si riduce formalmente a:[o, h]
= argmin {Jn(i |o, h, α) + Jo (o|α) + Jh(h|α)}
Separatamente i termini sono:
Jn(i |o, h, α)
Jo (o|α)
Jh(h|α)
Edge-Preserving Object Term Terminedi penalizzazione per i vincolisull’immagine
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Adaptive Image Deconvolution Algorithm - AIDA
si ottiene una formula del tipo:
p(o, h|i , α) = Ni,n,o,h exp [−Jn(i |o, h, α)− Jo (o|α)− Jh(h|α) + Ji (i |α)]
ed infine il problema si riduce formalmente a:[o, h]
= argmin {Jn(i |o, h, α) + Jo (o|α) + Jh(h|α)}
Separatamente i termini sono:
Jn(i |o, h, α)
Jo (o|α)
Jh(h|α)
Harmonic OTF Constraint sul PSF
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Adaptive Image Deconvolution Algorithm - AIDA
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Adaptive Image Deconvolution Algorithm - AIDA
I tempi di calcolo si attestanoattorno alle decine di minuti perogni frame con la myopicdeconvolution.I risultati sono buoni solo nelcaso di immagini da STED,mentre la deconvoluzione diframe dove non si e utilizzato ildepletion spot non mostranomiglioramenti, se non unaumento del contrasto.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Richardson-Lucy
L’idea proposta nell’articolo di Pankajakshan e quella di usare una BID con un PSFparametrico su delle immagini ottenute da un microscopio confocale.In questo caso la parametrizzazione e stata fatta su un PSF gaussiano, e ladeconvoluzione mediante un algoritmo Richardson-Lucy. Sono evidenti gli artifattidescritti nell’articolo di Hom et al.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
PSF con Machine Learning
Blind Image Deconvolution Using Machine Learning fot Three-DimensionalMicroscopy - Kenig et al 2010La tecnica implementata da Kenig et al consiste nel considerare, anziche un psfparametrico o con caratteristiche note, un set di training data noti della stessacategoria di immagini che si vogliono trattare, e nello scegliere poi nello spazio dei psfammissibili quelli che risolvono il problema al meglio.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
PSF con Machine Learning
Il set di dati sono ottenuti mediantel’utilizzo di un psf dato da un modellodel tipo descritto a fianco, simmetricorispetto all’asse verticale, e dove
λ0 e la lunghezza d’onda
n0 indice di rifrazione del mezzo diimmersione
NA l’apertura numerica, NA = n0 sin θ
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
PSF con Machine Learning
Rk = o − ik ⊗ hk
Rk = denoise(Rk )
fk+1 = fk
[(ik ⊗ hk + Rk
ik ⊗ hk
)⊗ hs
k
]
htempk+1 =
hk∑x ik (x)
[(ik ⊗ hk + Rk
ik ⊗ hk
)⊗ i s
k
]hk+1 = ηA(htemp
k+1 ) + (1− η)htempk+1
La funzione deoinse() e in questo casoun filtro di matrice 3x3x3, mentre ilfattore η va a soppesare quanto delnuovo psf ottenuto mediante A vienemesso nella nuo iterazione, dove ilmetodo A utilizza una tecnica diPrincipal Component Analisys perricavare dallo spazio dei psf quel set chesoddisfa le relazioni trovate tra leimmagini di training e quella che si staottenendo dall’elaborazione.Il ciclo viene ripetuto entro un algoritmodi Maxixmum Likelihood ExpectationMaximization (MLEM) e Maximum APosteriori (MAP).
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
PSF con Machine Learning
a. originaleb. risutato con PCAc. risultato con KPCAd. AIDA
L’algoritmo richiede, oltre allapreparazione del training-set, un tempocomplessivo attorno alle 2 ore, su deglistack da una quarantina di frames da1024x1024px, per un totale di 600iterazioni.Il tempo e stato stimato essere per un20% dovuto alla regolarizzazione delPSF, mentre per un ∼ 70% dovuto allenumerose FFT ed IFFT.Gli algoritmi utilizzati, primi fra tuttiFFT e IFFT, sono implementabili sottopiattaforma CUDA, per cui e possibilepensare che con opportuni accorgimentie ritocchi, si possano ottenere risultatisimili in tempi molto ridotti.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
GPU e Real Time Processing
Li, Lu, Shi e Zhang propongonoun’implementazione ibrida CPU/GPU suun sistema Adaptive Optics ConfocalScanning Laser Microscope utilizzato inoftalmologia per la scansione dellaretina.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
GPU e Real Time Processing
I estm (x , y) = I est
n−1(x , y)+H(x , y)O(x , y)
‖H(x , y)‖2 + ‖H(0,0)‖2
5
Hestm (x , y) = Hest
n−1(x , y)+I (x , y)O(x , y)
‖I (x , y)‖2 + ‖I (0,0)‖2
5
Incremental Wiener FilterL’algoritmo comincia con il PSFmisurato dal WS, ovvero il segnale delsingolo pixel che arriva al PMT,dopodiche viene fatto reiterare 6 volte.
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
GPU e Real Time Processing
GTX280(CPU E4600 system, GPU GT240)
141GB/s banda della RAM(∼ 5GB/s, ∼ 50GB/s)
933 GFLOPS(∼ 5 GFLOPS, 385 GFLOPS)
Matlab ∼ 1440msCUDA ∼ 5ms282x speedup!
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica
Blind Image DeconvolutionApplicazioni, Tecniche ed Algoritmi
BID nella Microscopia OtticaImplementazioni Real Time
Bibliografia
Pubblicazioni, Tesi e Riferimenti
Blind Image Deconvolution, theory and application - autori vari, editato da P.Campisi e K. Egiazarian ed autori vari, CRC Press 2007
Super Resolution Imaging - autori vari, editato da Peyman Milanfar, CRC Press2011
Image Restoration by blind deconvolution - Wolfgang Stefan 2003Diploma Thesis in Mathematics - Technische Universitat Munchen / ArizonaState University
Blind Image Deconvolution - Deepa Kundur and Dimitrios Hatzinakos, 1996
AIDA: an adaptive image deconvolution algorithm with application to multi-frameand three-dimensional data - Hom et al, 2007http://code.google.com/p/aida-deconvolution
MISTRAL: a myopic edge-preserving image restoration method, with applicationto astronomical adaptive-optics-corrected long-exposure images - Mugnier et al,2004
Blind Deconvolution for Diffraction-Limited Fluorescence Microscopy -Pankajakshan et al 2008
Blind Image Deconvolution Using Machine Learning for Three-DimensionalMicroscopy - Kenig, Kam and Feuer 2010
Real-time blind deconvolution of retinal images in adaptive optics scanning laserophthalmoscopy - H. Li et al, Opt. Comm. 2011
Moretti Claudio Blind Image Deconvolution e applicazioni nella microscopia ottica