tracciamento automatico dei movimenti del volto umano tesi di laurea in ingegneria informatica v.o....
TRANSCRIPT
![Page 1: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/1.jpg)
Tracciamento Automatico dei Tracciamento Automatico dei Movimenti del Volto UmanoMovimenti del Volto Umano
Tesi di laurea in
Ingegneria Informatica V.O.
Relatore: Prof. Marco Schaerf
Correlatore: Ing. Marco Fratarcangeli
Candidato: Gabriele Fanelli
![Page 2: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/2.jpg)
Sommario
Obiettivi
Descrizione del metodo: Active Appearance Models
Costruzione
Adattamento
Risultati
Conclusioni
![Page 3: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/3.jpg)
Obiettivi
Sistema capace di determinare:Posizione e forma di un volto generico da immagini statiche
Movimenti globali e deformazioni in un volto specifico da sequenze video
Immagini provenienti da telecamere di fascia bassa (webcam)
![Page 4: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/4.jpg)
Active Appearance ModelsModelli generativi e parametrici del volto
FormaApparenza
Costruiti statisticamente da immagini esempio (training)
Apprendimento delle variazioni permesse
Algoritmo di adattamentoRicerca dei parametri che rendono il modello simile ad una nuova immagine
![Page 5: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/5.jpg)
Sommario
Obiettivi
Active Appearance Models
Costruzione
Adattamento
Risultati
Conclusioni
![Page 6: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/6.jpg)
AAM generici - specifici
Set espressivo
Set identità
![Page 7: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/7.jpg)
FormaDef.: Maglia triangolata
Vettore delle coordinate dei vertici
Modellazione:Collezione dei vettori
Allineamento
Principal Component Analysis: Calcolo media
Calcolo matrice di covarianza
Selezione degli autovettori corrispondenti agli autovalori maggiori
![Page 8: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/8.jpg)
Modello lineare di forma
Nuova forma
Forma media(base)
Vettori di forma
Parametri di controllo
![Page 9: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/9.jpg)
Apparenza
• Intensità dei pixel all’interno della forma base
• Le immagini di training vanno normalizzate rispetto alla forma
![Page 10: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/10.jpg)
Modello lineare di apparenza
Eigenfaces
Parametri di apparenza
Texture media
Nuova texture
![Page 11: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/11.jpg)
Istanza completa
Immagine: cortesia di Simon Baker
![Page 12: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/12.jpg)
Sommario
Obiettivi
Active Appearance ModelsCostruzione
Adattamento
Risultati
Conclusioni
![Page 13: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/13.jpg)
Algoritmo di adattamento
Minimizzare la differenza tra:Immagine in ingresso mappata sulla forma base
Istanza del modello (apparenza)
Utilizzato l’Inverse Compositional Algorithm
![Page 14: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/14.jpg)
Algoritmo di adattamento
Immagine in ingresso
Texturedeformata
Apparenzacorrente
Forma corrente
Immagine
differenza
sottrazione
![Page 15: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/15.jpg)
Algoritmo di adattamento
Apparenzacorrente
Forma corrente
Immagine
differenza
∆p
∆λ
![Page 16: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/16.jpg)
Inizializzazione
Punto d’inizio adeguato per la ricerca
Localizzatore di facce - OpenCV
![Page 17: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/17.jpg)
Adattamento
![Page 18: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/18.jpg)
Sommario
Obiettivi
Active Appearance ModelsCostruzione
Adattamento
Risultati
Conclusioni
![Page 19: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/19.jpg)
Test 1: immagini “viste”
Entrambi i modelli adattati a immagini presenti nel training set
Oggetto:Qualità dell’algoritmo
Dipendenza dalla traslazione iniziale
Misura: errore RMSDisponibili le coordinate selezionate manualmente
![Page 20: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/20.jpg)
Test 1: immagini “viste”
Distanza iniziale dal centro della faccia in % dell’altezza dell’immagine
Errore
RMS
![Page 21: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/21.jpg)
Test 1: immagini “viste”
![Page 22: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/22.jpg)
Test 2 : Immagini “non viste”
Immagini non presenti nel training set
Oggetto:Qualità algoritmo
Capacità del modello generico di descrivere nuove facce
Giudizio visivo60% di risultati positivi
![Page 23: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/23.jpg)
Immagini “non viste” - successo
![Page 24: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/24.jpg)
Immagini “non viste” - fallimento
![Page 25: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/25.jpg)
Test 3: video
![Page 26: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/26.jpg)
Test 3: video
![Page 27: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/27.jpg)
Test 3: video
![Page 28: Tracciamento Automatico dei Movimenti del Volto Umano Tesi di laurea in Ingegneria Informatica V.O. Relatore: Prof. Marco Schaerf Correlatore: Ing. Marco](https://reader034.vdocuments.net/reader034/viewer/2022052522/5542eb75497959361e8de751/html5/thumbnails/28.jpg)
Conclusioni
Sistema implementato:Migliorabile per caso generico
Buoni risultati nello specifico
Sviluppi futuri:Ampliamento training
Tempo reale
3D