cvim saisentan-cvpr-deep face

of 24 /24
DeepFace: Closing the Gap to Human-Level Performance in Face Veri cation Yaniv Taigman* Ming Yang* Marc’Aurelio Ranzato* Lior Wolf** *:Facebook AI Research **:Tel Aviv University Tomoaki Teshima @tomoaki_teshima

Upload: tomoaki0705

Post on 19-Aug-2014

265 views

Category:

Engineering


0 download

DESCRIPTION

関東CV勉強会24回(後編)の発表資料

TRANSCRIPT

Page 1: Cvim saisentan-cvpr-deep face

DeepFace: Closing the Gap to Human-Level

Performance in Face Verification

Yaniv Taigman* Ming Yang* Marc’Aurelio Ranzato* Lior Wolf**

*:Facebook AI Research**:Tel Aviv University

Tomoaki Teshima @tomoaki_teshima

Page 2: Cvim saisentan-cvpr-deep face

Contributions• DNN architecture• Facial alignment based on 3D model• Result

• LFW – human performance• YTF – low error rate

Page 3: Cvim saisentan-cvpr-deep face

Verification とは

CV 勉強会第 6 回からの抜粋 (@dandelion1124 さんの資料 )

• Verification• Object categorization• Identification• Detection• Scene and context categorization

DeepFace: Closing the Gap to Human-Level Performance in Face Verification

Page 4: Cvim saisentan-cvpr-deep face

Modern face recognition

detect align represent classify

Constrained/Unconstrained

Page 5: Cvim saisentan-cvpr-deep face

Face Alignment

Page 6: Cvim saisentan-cvpr-deep face

Face Alignment in 2D ( 前処理 )

6 点を使って回転と並進とスケールする

顔を検出するCropped area から基準点を検出する

• 両目 (2点 )• 鼻先• 唇中央• 口角 (2点 )

Page 7: Cvim saisentan-cvpr-deep face

Face Alignment in 3D ( 前処理 )Second SVR を使って 2D aligned な image に USF Human ID database 平均顔をのっける

Frontalization (こっちだ)

Page 8: Cvim saisentan-cvpr-deep face

DNN architecture

Face feature

SFC に 4030人いたから

Page 9: Cvim saisentan-cvpr-deep face

Max pooling と Convolution

Page 10: Cvim saisentan-cvpr-deep face

L4 層と L5 層と L6 層

Page 11: Cvim saisentan-cvpr-deep face

全結合の L7 層と L8 層

Dropout を適用するのも、全結合の L7 層から

Page 12: Cvim saisentan-cvpr-deep face

SFC とは

Shonan Fujisawa Campus Super Famicom

Page 13: Cvim saisentan-cvpr-deep face

SFC とは ( 海外において )•Santos Futebol Clube, a Brazilian football club•Scarborough F.C., a dissolved English football club•Servette FC, a Swiss football club•Sevilla FC, a Spanish football club•SFC Opava, a Czech football club•Shelbourne F.C., an Irish football club •Sheffield F.C., an English football club •Southampton F.C., an English football club •Southport F.C., an English football club •Spartans F.C. A Punes football club •Sriwijaya F.C., an Indonesia football club •Stamford F.C., an English football club •Stenhousemuir F.C., a Scottish football club •Stevenage F.C., an English football club •Stranraer F.C., a Scottish football club •Sydney FC, an Australian football club •Syrianska FC, a Swedish football club

http://en.wikipedia.org/wiki/SFC

Page 14: Cvim saisentan-cvpr-deep face

SFC とは ( 今回の論文 )

The proposed face representation is learned from a largecollection of photos from Facebook, referred to as the Social Face Classification (SFC) dataset.

Page 15: Cvim saisentan-cvpr-deep face

全結合の L7 層と L8 層 ( 再掲 )

Dropout を適用するのも、全結合の L7 層から

Page 16: Cvim saisentan-cvpr-deep face

Normalization明度の変化からくる影響を軽減するために正規化する

コントラスト正規化

教師データ内の最大値で除算し、 L2 正規化する

Page 17: Cvim saisentan-cvpr-deep face

Verification MetricWeighted χ2 distance

Simanse network

http://www.cs.columbia.edu/~jebara/papers/metricfromnetwork.pdf

http://bengio.abracadoudou.com/lce/slides/andrews.pdf

Page 18: Cvim saisentan-cvpr-deep face

dataset• SFC

Social Face Classification• LFW

Labeled Faces in the Wild• YTF

Youtube Faces

• SFC は人によりラベリングされてるが、 3%ぐらいエラーがある• SFC は、光源環境、ノイズ、 expression に幅がある• LFW や YTF だと、通常プロに撮影されている

Page 19: Cvim saisentan-cvpr-deep face

5.2. Training on the SFC

Page 20: Cvim saisentan-cvpr-deep face

5.3. Results on the LFW dataset

Page 21: Cvim saisentan-cvpr-deep face

5.4. Results on the YTF dataset

Page 22: Cvim saisentan-cvpr-deep face

5.5 Computational efficiency

SIMD でチューニングして、キャッシュヒットを考慮

Intel2.2GHz で画像の読みこみ→ アライメント→Feed forward network→classificationTotal で 0.33s

Page 23: Cvim saisentan-cvpr-deep face

結論• Deep Face は顔の位置合わせと Deep Learning を組み合わせました。• Verification の結果で人間とほぼ同等の性能• 顔認識全般にもこの恩恵があるだろう

Page 24: Cvim saisentan-cvpr-deep face

参考文献• 第六回「コンピュータビジョン最先端ガイド2」勉強会~第1章物体認識のための画像局所特徴量~

http://www.atinfinity.info/doc/cvsaisentan/cvsaisentan_20101023_dandelion.pdf, @dandelion1124

• http://shusse.kyokasho.biz/archives/685• http://upload.wikimedia.org/wikipedia/commons/3/30/Super_

Famicom_JPN.jpg

• http://en.wikipedia.org/wiki/SFC• http://www.cs.columbia.edu/~jebara/papers/metricfromnetwo

rk.pdf

• http://bengio.abracadoudou.com/lce/slides/andrews.pdf