pyxel, una llibreria per a l’anotació automàtica de fotografies
TRANSCRIPT
![Page 1: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/1.jpg)
Pyxel, una llibreria per a l’anotació automàtica de fotografies
Irene Gris Sarabia
Supervisat perXavier Giró i Nieto
![Page 2: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/2.jpg)
Agraïments
Amaia Salvador
Xavi Giró
Sergi ImedioEva Mohedano
Daniel Manchón
![Page 3: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/3.jpg)
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
3
![Page 4: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/4.jpg)
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
4
![Page 5: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/5.jpg)
5
Motivació
![Page 6: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/6.jpg)
6
Introducció Pyxel
Pyxel ja està disponible a la plataforma de control de versions Bitbucket
URL: https://bitbucket.org/emohe/pyxel/src
![Page 7: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/7.jpg)
IndexIntroducció
RequerimentsEstat de l’art
DesenvolupamentDisseny i Implementació
Avaluació i resultatsConclusions
7
![Page 8: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/8.jpg)
Requeriments
8
Crear un sistema complert i genéric d’anotació d’imatges
Extracció de característiques; visuals i textuals
Entrenament i Detecció
Avaluació de la qualitat de les
anotacions automàtiques
Usuaris potencials → Estudiants universitaris
● Facilitar l’accés a llibreries externes als usuaris que s’inicien en la materia
● Proporcionar eines per obtenir el sistema complert de forma sencilla i ràpida.
Que es demana?
![Page 9: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/9.jpg)
Requeriments
9
Crear un sistema complert i genéric d’anotació d’imatges
Que es demana?
Manual Annotations Model
Trainer
New Image New Annotation
Detector
Bloc: http://bitsearch.blogspot.com/search/label/classification
![Page 10: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/10.jpg)
Requeriments
10
Extracció de característiques visuals
Extracció de característiques SIFT
Generació d’un vocabulari visual
Obtenció dels vectors de característiques BoF
![Page 11: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/11.jpg)
Requeriments
11
Extracció de característiques visuals
Extracció de característiques SIFT
Generació d’un vocabulari visual
Obtenció dels vectors de característiques BoF
w1
w2
w3
w4w1 w2 w3 w4
Clusterització
Paraules visuals
![Page 12: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/12.jpg)
Requeriments
12
Extracció de característiques visuals
Extracció de característiques SIFT
Generació d’un vocabulari visual
Obtenció dels vectors de característiques BoF
2 3 3 0
w1
w2
w3
w4
w1 w2 w3 w4
Vector de caraterístiques
![Page 13: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/13.jpg)
Requeriments
13
Extracció de característiques textuals
Obtenir les metadades de la imatge; etiquetes
Generació d’un vocabulari textual
Obtenció dels vectors de característiques TF-IDF
[ I, love, surf ]
Títol: “I love university concerts”
Metadades
Títol: “I love surf”
[ I, love, university, concerts ]
![Page 14: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/14.jpg)
Requeriments
14
Extracció de característiques textuals
Obtenir les metadades de la imatge; etiquetes
Generació d’un vocabulari textual
Obtenció dels vectors de característiques TF-IDF
TF-IDF → [ 0 , 0 , 0.3 , 0.3 , 0.3 ] [ I , love, university, concerts, surf ]
[ university, concerts, surf, I, love ]
[ 0.3 , 0.3 , 0.3 , 0, 0 ]
Vocabulari/Diccionari → [ university, concerts, surf ]
![Page 15: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/15.jpg)
Requeriments
15
Extracció de característiques textuals
Obtenir les metadades de la imatge; etiquetes.
Generació d’un vocabulari textual
Obtenció dels vectors de característiques TFIDF
Vocabulari/Diccionari → [ university, concerts, surf ]
[ I, love, surf ]
[ I, love, university, concerts ] [ 1 , 1 , 0 ]
[ 0 , 0 , 1 ]
![Page 16: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/16.jpg)
Requeriments
16
Mesures de qualitat
Que es demana?
docId1 Label1docId2 Label1docId3 Label2docId4 Label3
.
.
.docIdn Labeln
Avaluació F1
F1
docId1 Label1docId2 Label4docId3 Label2docId4 Label3
.
.
.docIdn Labeln
cp = certs positius
fp = falsos positius
fn = falsos negatius
Ver
itat T
erre
nyA
nota
cion
s pr
edite
s
![Page 17: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/17.jpg)
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
17
![Page 18: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/18.jpg)
Estat de l’artExtracció de característiques
visuals
18
NLTKNatural LanguageToolKit
Extracció de característiques textuals Reconeixement de patrons
![Page 19: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/19.jpg)
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
19
![Page 20: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/20.jpg)
Disseny
20
Extracció de característiques; visuals i textuals
Classificació
Avaluació de la qualitat de les
anotacions automàtiques
Disseny general de classificació
![Page 21: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/21.jpg)
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator
=
Evaluator
Extracció de característiquesDisseny
21
![Page 22: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/22.jpg)
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator
=
Evaluator
EntrenamentDisseny
22
Classe Semantica + + Classe Semantica
![Page 23: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/23.jpg)
Són la mateixa classe
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Model Visual Model TextualTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator
=
Evaluator
EntrenamentDisseny
23
![Page 24: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/24.jpg)
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator Evaluator
DeteccióDisseny
24
![Page 25: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/25.jpg)
Són la mateixa classe
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator Evaluator
DeteccióDisseny
25
![Page 26: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/26.jpg)
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator Evaluator
AvaluacióDisseny
26GroundTruth GroundTruth
![Page 27: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/27.jpg)
Són la mateixa classe
Són la mateixa classe
Són la mateixa classe
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator Evaluator
Disseny
27
![Page 28: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/28.jpg)
IndexIntroducció
RequerimentsEstat de l’art
Disseny DesenvolupamentAvaluació i resultats
Conclusions
28
![Page 29: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/29.jpg)
Llenguatge de programacióDesenvolupament
29
![Page 30: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/30.jpg)
Entorn de desenvolupamentDesenvolupament
30
Té llicencia per estudiants
![Page 31: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/31.jpg)
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
31
![Page 32: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/32.jpg)
32
Contribució a Pyxel
20 % 40 % 90 %60 %
Dataset, Annotation, AnnotatedSemanticClass, Ontology
VisualVocabulary, SiftExtractor, BofExtractorTextualVocabulary, TfidfExtractor
100 % 100 %
Metadata, GroundTruth
Trainer
100 %
DetectorEvaluator
Avaluació i resultats
100 %
Documentació
![Page 33: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/33.jpg)
Avaluació i resultats Detecció de productes de supermercat en vídeos
egocèntrics
33
Sergi Imedio, “An investigation of eye gaze tracking utilities in image object recognition”. Dublin City University 2014.
![Page 34: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/34.jpg)
Avaluació i resultats
34
Amb Pyxel es poden obtenir aquests resultats
![Page 35: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/35.jpg)
Avaluació i resultatsDetecció d’esdeveniments en
fotografies d’Instagram
35
Els estudiants de GDSA han utilitzat Pyxel per fer un clasificador d’imatges de tipus d’esdeveniments.
![Page 36: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/36.jpg)
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
36
![Page 37: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/37.jpg)
Conclusions
37
Objectius del projecte
Sistema complert d’anotacions d’imatges● Extracció de característiques● Anotació● Avaluació
Utilització d’altres usuaris
● Han aconseguit dur a terme el que se'ls demanava utilitzant Pyxel● Han extès la llibreria per ajustar-la a les eines amb les que han volgut fer el
processat
![Page 38: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/38.jpg)
Conclusions
38
Participació al ICMR
Detalls: https://imatge.upc.edu/web/publications/photo-clustering-social-events-extending-phototoc-rich-context
![Page 39: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/39.jpg)
Conclusions
39
Participació al MediaEval2014
Manchon-Vizuete, D., Gris-Sarabia, I., Giro-i-Nieto, G. “UPC at MediaEval 2014 Social Event Detection Task”. Working Notes Proceedings of the MediaEval 2014 Workshop, Barcelona, Catalunya, Spain, October 16-17, 2014, CEUR-WS.org, online ceur-ws.org/Vol-1263/mediaeval2014_submission_58.pdf
![Page 40: Pyxel, una llibreria per a l’anotació automàtica de fotografies](https://reader034.vdocuments.net/reader034/viewer/2022042522/55accf551a28ab0b2c8b483b/html5/thumbnails/40.jpg)
40
Moltes gràcies!