IMAGE ANNOTATION USING MOMENTS AND MULTILAYER NEURAL NETWORKS

Présenté par : M. OUJAOURA

International Conference on Software Engineering, Databases and Expert Systems(SEDEXS'12)

June 14 -16, 2012 Settat, Morocco

Plan

Introduction Système d’annotation

Segmentation Extraction des attributs Classification et Annotation

Résultats Conclusion et Perspectives

Introduction

Diversité des sources d’informations. Enorme quantité d’information. Importance et pertinence de l’information. Temps de traitement d’information. Besoin d’automatisation du traitement

d’information. Recherche d’information textuelle /visuelle.

Annotation automatique d’image.

Système d’annotation

Features Extraction

Annotation keywords &

Features Database

Query Image

Image Database

Annotation Results

Image Segmentation

ClassifierImage

SegmentationFeatures

Extraction

Classifier Modeling &

training

Système d’annotation: Segmentation

Tant Que l’image n’est pas entièrement segmentée;

1- Choisir un pixel pk non étiqueté;

2- Fixer la moyenne de la région sur l’intensité du pixel pk;

3- Considérer les pixels voisins non étiqueté pkj;

Si |intensité du pixel – moyenne de la région k| < seuil; Ajouter le pixel à la région k. Mettre à jour la moyenne de la

région k et retour à l’étape ; Sinon k = k + 1 et retour à

l’étape . FinSi;Fin Tant Que;

Système d’annotation: Attributs Méthodes utilisées pour l’extraction des

attributs: Les 7 Moments de Hu:

[Hu1,Hu2,……,Hu7] 9 Moments de Zernike :

[Z00, Z11, Z20, Z22, Z31, Z33, Z40, Z42, Z44]

10 Moments de Legendre : [L00, L01, L02, L03, L10, L11, L12, L20, L21,

L30]

Système d’annotation: Classification

10

Hidden Layer

*

w

b

+

n

Output Layer

*

w

b

+

m

Input Layer

*

w

b

+

12exp12)( xxtsig

Fonction de transfert: hyperbolic tangent sigmoid

Résultats

Object Hu Zernike Legendre Average

Apple 79,54% 79,54% 92,13% 83,74%

Car 68,53% 83,49% 62,18% 71,40%

Cow 25,14% 41,17% 44,39% 36,90%

Cup 76,57% 58,91% 73,20% 69,56%

Dog 51,57% 70,78% 84,61% 68,99%

Horse 31,83% 53,33% 50,28% 45,15%

Pears 79,99% 69,54% 70,78% 73,44%

Tomato 76,06% 66,49% 76,52% 73,02%

Average 61,15% 65,41% 69,26% 65,27%

Résultats

Exemple d’annotation automatique d’image en utilisant les moments de Zernike.

Résultats

Conclusion et Perspectives

Le système d’annotation automatique d’image proposé donne de bons résultats pour quelques images qui sont proprement segmentées.

Les résultats sont affectés par la méthode utilisé pour l’extraction des attributs de l’image.

Autres attributs doivent être pris en considération ainsi que d’autres classificateurs.

La segmentation d’images reste un challenge dans le domaine du traitement d’image.

Questions ?