Enver Sangineto,Dipartimento di Informatica

Riconoscimento automatico di oggetti in immagini digitali

p. 2

Panoramica della presentazione

Motivazioni Problemi Principali approcci

p. 3

Riconoscimento di oggetti

L’obiettivo di un sistema di object recognition è rilevare la presenza di “oggetti” d’interesse all’interno di immagini/video digitali

Passo fondamentale per permettere ad un computer di “capire cosa sta guardando”

p. 4

Perchè riconoscere automaticamente gli oggetti di un'immagine

Recupero/classificazione d'immagini in data base visivi (Image Retrieval): ricerche on-line, annotazione (automatica) video, organizzazione di archivi fotografici musei, e-commerce...

Visione applicata alla robotica: manipolazione d’oggetti, navigazione guidata dalla visione

p. 5

Perchè riconoscere automaticamente gli oggetti di un'immagine [2]

Video sorveglianza: rilevamento di intrusioni, …

Biometria Interfacce uomo-macchina di tipo “intelligente” Guida automatica di veicoli su strada Visione industriale, medica, aerea, militare, ... Altro…

p. 6

Object recognition è un problema aperto

Non esistono sistemi general purpose

p. 7

Problemi principali nel riconoscimento di oggetti

Variabilità delle apparenze Segmentazione della scena

p. 8

Variabilità: cambiamento del punto di vista

Michelangelo 1475-1564

p. 9

Variabilità [2]: cambiamento delle condizioni di illuminazione

p. 10

Variabilità [3]: oggetti deformabili

Xu, Beihong 1943

p. 11

Variabilità [4]: variazione intra-classe

p. 12

Segmentazione: Occlusioni

Magritte, 1957

p. 13

Klimt, 1913

Segmentazione [2]: separazione dallo sfondo

p. 14

Approcci principali al riconoscimento

Model-based Machine learning

p. 15

Ipotesi…

Un solo oggetto per immagine Machine learning per rappresentare la

conoscenza

p. 16

Riconoscimento tramite apprendimento automatico: schema

generale Suppongo di disporre, in fase di training, di un

insieme

T = {(I1, y1), …, (IN, yN)},

dove Ij è un’immagine e yj un’etichetta che indica l’oggetto in essa contenuto:

yj {o1, …, om}

p. 17

Riconoscimento tramite apprendimento automatico [2]

Ogni Ij è rappresentata tramite un punto xj in Rn, detto spazio delle feature

Utilizzo T per stimare la distribuzione statistica dei punti in Rn e costruire il classificatore C

p. 18

Riconoscimento tramite apprendimento automatico [3]

On-line, uso C per classificare un’immagine nuova I, non appartenente a T:

C(I) {o1, …, om}

p. 19

Un semplice esempio

Istogramma dell’intensità dei pixel in I: Divido il range [0, 255] in n bin Assegno ogni pixel ad un bin: I(p) -> divn(I(p)) f(I) = (v0, …, vn-1)T, dove: vi = # { p I : divn(I(p)) = i}

p. 20

Esempio [2]

Rappresentazione di T in Rn (n,m = 2)

p. 21

Esempio [3]

Rappresentazione della nuova immagine (x = f(I))

p. 22

Rappresentazione di un’immagine mediante feature

Una feature è una rappresentazione, tramite valori numerici, di tutta o parte dell’immagine

Se I' è una sottoparte dell’immagine I, allora una feature f è t.c.:f(I') Rd, f(I') = (v0, … vd-1)T,

d >= 1

p. 23

Feature globali e locali

I' = I: feature globale I' I: feature locale

p. 24

Esempio: feature locale

fi(I') I'

I

immagine presa da: Tutorial CVPR 07

p. 25

Scelta delle feature

L’immagine in esame viene quindi descritta usando i valori di un insieme di feature pre-scelte f1, …, fk

p. 26

Spazio delle feature

Se: fj(I) Rd (1 <= j <= k), allora: x(I) = (f1(I) T f2(I) T … fk(I) T)T è un

punto in Rk*d (spazio delle feature)

p. 27

Proprietà (desiderabili) delle feature

Stabilità, Capacità discriminative, Efficienza computazionale, …

p. 28

Proprietà (desiderabile) del feature space

Punti geometricamente “vicini” corrispondono ad immagini simili

p. 29

Teoria Decisionale Bayesiana

Data l’immagine x e m classi di oggetti C1, … Cm, associare x alla classe più probabile

Scelgo Cj* tale che:

Notazione abbreviata:

p. 30

Esempio

Le probabilità sono stimate tramite training

immagine presa da: Duda, Hart, Stork, Pattern Classification

p. 31

Metodi discriminativi

Mirano a determinare i bordi di decisione (superfici iper-dimensionali) che meglio partizionano Rn rispetto alle classi d’interesse

p. 32

Bordi di decisione: ese. monodimensionale

c1c2c1c2

p. 33

Bordo di decisione: ese. bidimensionale

p. 34

Esempi di classificatori discriminativi

Reti neurali (ANN) Support Vector Machines (SVM) Decision Trees K-Nearest Neighbor (k-NN) Boosting …

p. 35

Riassumendo…

In un approccio all’object recognition basato sul machine learning è necessario modellare due tipi di conoscenza: Conoscenza visiva (e.g., scegliere le feature) Conoscenza statistica (e.g., scegliere il

classificatore)

p. 36

Alcuni riferimenti

Forsyth, Ponce, Computer Vision, a Modern Approach 2003

Duda, Hart, Stork, Pattern Classification (II edition) 2001

Bishop, Pattern Recognition and Machine Learning, 2006

Sebe, Cohen, Garg, Huang, Machine Learning in Computer Vision, 2005

p. 37

Domande…