università degli studi la sapienza tesina di visione e percezione anno accademico 2005/2006 nobili...
TRANSCRIPT
Università degli studi“La Sapienza”
Tesina di Visione e Percezioneanno accademico 2005/2006
Nobili Diana Santoro
Simona
Componenti del sistema
• computer
• telecamera non calibrata
• insieme di immagini di riferimento:
• disordinate
• acquisite a mano con la telecamera
• punti di vista non conosciuti a priori
• almeno 2 immagini
Cosa fa il sistema
Estrazione features
Feature matching
Validazione match
Inserimento oggetto virtuale
Riconoscimento modelloP
osa del la c amera
Natural features
Scale Invariant Feature Transform
(SIFT)
Caratteristiche
• Invarianti a cambiamento di scala, rotazione e traslazione.• Parzialmente invarianti a trasformazioni affini, cambiamenti di illuminazione, cambiamenti di punto di vista nella scena, aggiunta di rumore e occlusioni.
SIFT: algoritmo di David Lowe L’algoritmo calcola un set di keypoints insieme ai corrispondenti
descrittori di features.1. Costruzione dello spazio scala definito come:
2. Differenza di gaussiane e individuazione di massimi e minimi della piramide.
3. Localizzazione dei keypoints individuati.
4. Attribuzione di una direzione a ciascun keypoint.
5. Definizione dei descrittori di keypoints:
dove
Feature matching• Miglior match – minima distanza Euclidea tra vettori di descrittori• Matches tra 2 viste calcolate con ricerca Best-Bin-First (BBF) su un albero k-d • Miglioramento matches attraverso RANSAC su coppie di immagini selezionate costruendo uno spanning tree sul set delle immagini:
Struttura 3D euclidea ottenuta da corrispondenze tra diverse viste utilizzando il
direct bundle adjustment che minimizza l’errore di riproiezione:
Struttura della scena
dove:X’j= coordinate 3D del punto del mondo Y’j=posizione della camera per l’immagine jZ’’j=parametri di calibrazioneOttimizzazione della formula per
riduzione jitter:
α2 iterativamente corretto per ogni frame nel modo:
NW t222 1tpp
22
2
1t
pptW
N
dove W è una matrice diagonale 6x6 di pesi sui parametri di posizionamento della telecamera e α è uno scalare che controlla la differenza tra misure correnti e stima desiderata.
Pij= proiezione 2D di un punto 3D
Costruzione del modello: un esempio
Il modello ricostruito cattura correttamente la planarità della superficie del libro e la rotondità della tazza.
Inserimento oggetto virtuale
Determinazione della profondità relativa
Correzione dimensione e posizionamento
Inserimento iniziale in 2D
Inserimento dell’oggetto
Un esempio
www.cs.ubc.ca/~skrypnyk/arproject
SIFT Tutorialby Thomas El Maraghi
Il tutorial fornisce diversi esempi di applicazione dell’algoritmo delle SIFT sviluppato da David G. Lowe ed è basato sugli articoli seguenti:
[1] David G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints”
[2] David G. Lowe, “Object Recognition from Local Scale-Invariant Features”
[3] David G. Lowe, “Local feature view clustering for 3D object recognition”
Esempio 1: the Einstein image Vengono calcolati i keypoints per l’immagine di Einstein e per la sua
versione ruotata applicando l’algoritmo delle SIFT.
1. Piramidi
2. Localizzazione keypoints. Massimi locali nella piramide laplaciana.
3. Localizzazione keypoints dopo eliminazione punti a basso contrasto.
4. Localizzazione keypoints dopo filtraggio per eliminazione edges.
5a. Keypoints finali con attribuzione direzione.
5b. Keypoints finali per l’immagine ruotata
Esempio 2: architectural imagesPasso1 : SIFT su insieme di immagini I;
Passo2 : scelta immagine di riferimento r;
Passo4 : calcolata la matrice affine tra immagine r e originale per ottenere l’immagine allineata;
Passo5 : differenza tra r e immagine allineata.
Legenda: O inliers O outliers + + features
Passo3 : calcolate le corrispondenze con r;
per ogni coppia di immagini <r, p> con p in I <> da r :
Esempio 3: object recognitionSfruttando le stesse tecniche dell’esempio precedente si individua un oggetto in un’ immagine anche se parzialmente nascosto.
Conclusioni
CONTRO non su tutte le immagini(es. basso contrasto) buoni risultati; su Web disponibili alternative alle SIFT come Multi-Scale Oriented Patches
che restitituiscono una migliore distribuzione spaziale delle features.
PRO non necessita di: calibrazione camera, markers, conoscenza della geometria della scena, ecc. tracciamento robusto anche in presenza di occlusioni o cambiamenti di scena.
Altre applicazioni delle SIFT generazione panorama a partire da un gruppo d’immagini (nell’esempio 57) sony aibo per la localizzazione