extremal human curves: a new human body shape and pose descriptor

Extremal Human Curves: a New Human Body Shape and Pose Descriptor

Réalisé parRim SLAMA

Encadré par Hazem WANNOUS

Mohamed DAOUDI

Plan

• Introduction• Etat de l’art• Approche proposée: EHC

• Descripteur statique• Descripteur Temporel

• Résultats et Evaluation• Recherche de pose par contenu• Identification de trames similaires dans les vidéos

• Conclusion et perspectives

2

Introduction - Context et motivation

• Amélioration des méthodes d’acquisition de corps humains: statique et dynamique

• Présence de multiple BD de vidéos 3D de corps humain en mouvement synthétiques (animation) et réelles (système multi-vue)

• Applications potentielles• Compression • Reconnaissance d’action • Concaténation de vidéo• Indexation de vidéo

3

Introduction - Problématique4

Observations• Vidéo 3D = séquence maillages fermés / différentes poses

o Variation de poseo Changement de connectivité du maillageo Déformation surfacique : vêtements, cheveux

Questions• Comment représenter le corps humain dans chaque trame ?• Comment représenter une séquence de trame ?• Comment comparer 2 trames ? • Comment comparer 2 séquences ?• Quelles sont les bases existantes de vidéos 3D et leurs qualités ?

Représentation Propriétés Descripteur Comparaison Dynamique Base

SqueletteCheng Chen

[Computer Graphics 2010]

Description de la pose Joints +

bones

Eucl. Dist.orientations ou

coordonnées des jointures

***** MoCap

FormePeng Huang[IJCV2010 ]

[3DPVT2010]

Descripteur de forme HistogrammeSI/SD/SH/SH

Eucl. Dist. Filtre de temps

i3dPost

Structure topologiqueTony Tung

[Pami 2012]

Structure articulé du corps

Reeb graph multi résolution

Différence entre les nœuds du RG

Filtre de temps

i3dPost

Représentation spectralePeng Huang

[3DPVT2010]

Binding free MDS distance of de Hausdorff

Filtre de temps

i3dPost

Etat de l'art5

Etat de l’art - Représentation du corps humain6

Représentation• Invariante aux déformations géométriques: Rotation et translation• Invariante aux déformations élastiques:

Compression\étirement• Résistante aux changement de topologie• Résistante aux changement de connectivité • Description de la forme et de la pose à la fois

Métrique de similarité

Squelette:Histogramme: Reeb graph

MDS:

Connaissance de la Relation entre les jointures

Pas assez discriminant pour distinguer différentes poses

Plus bas taux de reconnaissance

7

Approche proposée – Descripteur de pose et de forme

ReprésentationComparaison

8

preprocessing

Feature Extraction

Curve Extraction

Elastic Shape analysis framework

Elastic matching of Extremal Curves

séquence

Approche proposée – Descripteur de pose et de forme

Convolution with a time filter T(Nt)

Similarity Scores(pi ,qj)

Temporal similarity : ST

pi

qj

Extraction des points caractéristiques9

• Points de références:o Sommets « caractéristiques»;o Sommets « les plus éloignés»

• Distances géodésiques ³ :o Invariance affine et isométrique;o Algorithme de Dijikstra.

Å =• Méthode: (*)

o v1, v2 2 S : sommets les plus distants ;o f1(v) =³ (v, v1), f2(v) =³ (v, v2) 8 v 2 S ;o F = F1 \ F2 (F1,F2 : extrema de

f1, f2).

• Propriétés :o Invariance aux transformation géométriqueso Invariance aux changement de pose

[(*) J.Tierny et al. 3DPVT 06]

Extraction des courbes

Chemin géodésique : • Invariance affine et isométrique• Faible invariance par rapport à la pose

• Courbe ¯ = chemin géodésique entre 2 extrémités

• 5 extrémités 10 courbes géodésiques

• Représentation• Collection de courbes = {¯ n}n=1:10• Sélection de meilleur combinaison

10

Pourquoi cette représentation?

1- Courbes entre extrémités : information sur la pose

2- Comparer 2 maillages • Comparer leur courbes • Mesure de similarité : Espace de courbes

11

Mesure de similaritéCadre Riemannien d’analyse des courbes

12

[Joshi et al. IEEE CVPR 2007] [ ] ( ) ( ( )) / (3),q t Oq t O SO

SRVF

Translation Mise à l’échelle Rotation Paramétrisatio

n

[(*) S. Joshi CVPR07]

Mesure de similaritéCadre Riemannien d’analyse des courbes

13

α(τ)

Φ=<q1,q2>

Cercle

Géodésique

Distance géodésique entre

où

Chemin géodésique

d=0.7603 d=0.2889

Mesure de similarité14

Descripteur statiqueWalk (Per1)

Walk (Per1) Walk (Per2)

Matrice de confusion: similarité Inter-personnes

Trame requête

4 Minimas locaux8 Minimas locaux

Courbe de similarité

15

Query frame

Descripteur temporel

Convolution avec le filtre de temps!

16

Walk (Per1)

Walk (Per1) Walk (Per2)

Protocole d’éxpérimentation (1)

DB

Query

Results

1. S=0.21 2. S=0.25 3. S=0.27 4. S=0.29

Dataset:18 Poses

338 models

Recherche de pose par contenu

RésultatsCourbes Rappel/Précision

NN(%) 1st Tier(%) 2ns tier(%) E-mesure(%)

SI 23,2 13,0 20,9 15,3

SD 54,4 40,1 60,0 33,9

SH 80,7 72,3 90,6 44,49

ECD 10Curves

94,8 92,2 98,4 46,8

ECD 5Curves 98,2 94,4 0.994 0.562

Matrice de confusion

18

Sélection des courbesF-

Tier

Combinaison des courbes

Courbes Rappel/Précision

26/08/201020th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

3D video

Walk

Dancing

i3dPost:Synthetic DB :

• 14 poeple • 28 motions


Identification de trames similaires

20

VT

21

StatiqueSH ECD

SHT

ECDT


Courbes ROC

Courbes ROC


EHC_T

• 3ieme meilleur performance• aMGRGT sensible aux changement de topologie• SHRT couteuse en temps de calcul

Conclusion et perspectives

Conclusion

• Descripteur de pose et de forme: • Recherche de pose par contenu • Filtrage temporel similarité dans les vidéos 3D

limites :• Forte dépendance au chemin géodésique• Sensibilité au bruit

Perspectives• Comparaison entre séquences de vidéos: actions similaires

• Reconnaissance d’action : analyse des déformations des courbes dans le temps

23

Publications

Rim Slama, Hazem Wannous, Mohamed Daoudi, Extremal Human Curves: a New

Human Body Shape and Pose Descriptor, IEEE Automatic Face and Gesture Recognition FG 2013 Shanghai en Chine du 22 au 26 avril 2013. (Accepted)

Hassen Drira, Rim Slama, Boulbaba Ben Amor, Mohamed Daoudi, Srivastava Anuj."Une nouvelle approche de reconnaissance de visages 3D partiellement occultés". RFIA 2012, Lille.

H. Drira, B. Ben Amor, A. Srivastava, M. Daoudi and R. Slama, 3D Face Recognition Under Expressions, Occlusions and Pose Variations. TPAMI. (Minor Revision).

Merci pour votre attention

25

P24: les coupes

LBP pour les images de profondeur Stan et all 2005

28

Corps Humain ?

Avec vêtements

Sans vêtements

Différentes formes différentes poses

Analyse du mouvement du corps1. Reconnaissance de l’action2. Indexation des vidéos3. Compression4. Concaténation des vidéos

Analyse des déformations surfaciques du corps humain1. Trasfert de mouvement2. Animation3. Création des espace de pose et espace de forme

26/08/201020th International Conference on

Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

26/08/201020th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August

2010



Sélection des courbes en statique

Courbe ROC 14x28 utilisant 5 ourbes et 10 courbes



Courbe ROC 14x28 utilisantStat et Temp Nt=4

20th International Conference on Pattern Recognition (ICPR), Istanbul,

Turkey, August 2010



Nt=2

CtCp Cv

= 0,5x+ 0,5x

= Distance euclidienne entre xi’ et yi’

My computation of Temporal Ground truth for jigna in the action: run circle left

Temporal Ground truth for jigna in the action: run circle lefas presented in IJCV 2010 http://cvssp-data.eps.surrey.ac.uk/Personal/AdrianHilton/Publications_files/huang10ijcv_final_1.pdf (Page 10)

Ct

http://cvssp-data.eps.surrey.ac.uk/Personal/AdrianHilton/Publications_files/huang10ijcv_final_1.pdf



Temporal Ground truth for jigna in the action: run circle lefAs presented in IJCV 2010

http://cvssp-data.eps.surrey.ac.uk/Personal/AdrianHilton/Publications_files/huang10ijcv_final_1.pdf (Page 10)

http://cvssp-data.eps.surrey.ac.uk/Personal/AdrianHilton/Publications_files/huang10ijcv_final_1.pdf

Static

1-specificity

sens

itivi

ty



Temporal Nt=1

1-specificity

sens

itivi

ty



Temporal Nt=2



Temporal Nt=3



Temporal Nt=4

Vogue

1-specificity

sens

itivi

ty

1-specificity

Faint

1-specificity

sens

itivi

ty

Shot arm

1-specificity

sens

itivi

ty

Rock and roll

Complex motions



Vogue

1-specificity

sens

itivi

ty

Rock and roll

1-specificity

sens

itivi

ty

extremal human curves: a new human body shape and pose descriptor

Documents

d de corps humain

corps humains

dautre vidos similaire

colonnes forme

mthodes dacquisition

dynamique prsence

bases existantes

nouvelle vido