Active Basis 活動基for Modeling, Learning and Recognizing表達、學習、識別

Deformable Template可變形模板Ying Nian Wu 吳英年

UCLA Department of Statistics

Joint work with Zhangzhang Si, Haifeng Gong, and Song Chun Zhu司長長、龔海峰、朱松純

（ this version is outdated, see http://www.stat.ucla.edu/~ywu/AB/ActiveBasisMarkII.html

for the most updated version)

Reproducibility page

可重復網頁http://www.stat.ucla.edu/~ywu/ActiveBasis

Matlab/C code, Data

源代碼、數據Wu, Si, Gong, Zhu, 2008

Deformable template可變形模板•Yuille, Hallinan, Cohen, 1989•key element in object recognition 物體識別

•Represent and learn the deformable template 表達和學習 Wu, Si, Gong, Zhu, 2008

Deformable template可變形模板

•Recognize the deformable template 學以致用：舉一反三、觸類旁通 Wu, Si, Gong, Zhu, 2008

Content• Representation: Active basis model 活動基模型• Algorithm: Shared sketch algorithm 共同勾畫算法• Computational architecture: Sum-max maps 體系結構：局部求和圖、局部求極值圖 Wu, Si, Gong, Zhu, 2008

ix

yx

eyxyxG ]}[21exp{),( 2

2

2

2

Gabor wavelets 賈巴小波 Daugman, 1985 Olshausen, Field, 1996

simple cells

不同位置、不同角度、不同頻率的局部波動可以平移、旋轉、放縮

)','(,,, yxB syx )','()','(,','

,,,,,, yxByxIBIyx

syxsyx

Gabor wavelets 賈巴小波

),(),(),(1

yxUyxBcyxIn

iii

Olshausen, Field, 1996: wavelet sparse coding

不同位置、不同角度、不同頻率的局部波動

操作

表達小波稀疏編碼：由大量的像素到少量的線段操作在表達的指導下變得有的放矢

Active basis 活動基Wu, Si, Gong, Zhu, 2008

每一個細橢圓代表一個小波，活動基的一個基元每個小波可以沿法向平移、也可以旋轉局部范圍內的擾動：刻畫附近的邊

Active basis 活動基

每一個小線段代表一個小波，活動基元小波可以沿法向平移、也可以旋轉局部范圍內的移動：刻畫附近的邊

Active basis活動基

每一個小線段代表一個小波，活動基元小波可以沿法向平移、也可以旋轉局部范圍內的活動：刻畫附近的邊

),...,1,( ,,, niBBiii syxi

),...,1,(,,, ,,,, niBBimimim syxim

iimiim xx sin,,

iimiim yy cos,,

imiim ,,

niBB

UBcI

iim

n

imimimm

,...,1,

,

,

1,,

Mm ,...,1

活動基和基元的活動

Matching pursuit 匹配追尋Mallat, Zhang, 1993

UBcI i

n

ii

1

2. Step back to go ,1 Otherwise, stop. , If :4 Step....Represent . Update:3 Step

.,Let .|,|maxarg :2 Step

.1Set .Set :1 Step

11

2

iiniUBcBcIBcUU

BUcBUB

iIU

iiii

iiBi

線性回歸中的前向的變量選擇

表達指導下的操作解釋走之后的再解釋

Shared sketch 共同勾畫Wu, Si, Gong, Zhu, 2008

niBB

UBcI

iim

n

imimimm

,...,1,

,

,

1,,

同時進行的匹配追尋當一個活動基元被選中后，我們可以局部移動它同時刻畫所有圖像中的邊每一個活動基元就如同一個漢字中的一筆一畫我們的算法就是在眾多同類物體的圖像中，造出一個字

Shared sketch 共同勾畫算法

niBB

UBcI

iim

n

imimimm

,...,1,

,

,

1,,

選取的每一筆畫在略加移動后盡量能畫在所有物體的邊上也就是對應這一筆的局部波動的振幅在所有的圖像中都很大每一筆都盡量畫出本組圖像和其它無關圖像的最大差異

)()}(exp{)(

1);( cqrhZ

cp

)](log)([

)()(

log)(

)|(log

1,

1 ,

,

i

n

iimi

n

i im

imi

m

mm

Zrh

cqcp

IqIp

B

Pursuit index and template matching score

),...,1,( and ),,...,1,( :Template

niniB

i

i

B

M

mimimim

i

i

crrh

cqcpB

1

2,,, || ),(

))(||)((KL next selectingfor index Pursuit 追尋目標

h- 函數：抑制強邊 一圖一票選舉筆畫指數族分布、指數傾斜似然函數：學習模板 給模板匹配打分

似然函數：學習模板 給模板匹配打分

似然函數：學習模板 給模板匹配打分

Recognizing learned deformable template認識學習到的可變形模板：舉一反三Wu, Si, Gong, Zhu, 2008

Riesenhuber and Poggio, 1999 complex cell: local maximum pooling

局部求和：局部波動的振幅 此地有筆畫否？

局部求極值：附近有筆畫否？

局部求和：模板匹配打分 此處有字否？

多個分辨率（尺度）

Classification 識別：正例、反例

Viola and Jones, 2004: adaboost for face

在訓練圖像上學習在檢驗圖像上考試

EM and K-mean Clustering 分門別類 多類別混合自學、發現隱含的結構似然函數中加入隱含變量

EM and K-mean Clustering 分門別類

EM and K-mean Clustering 分門別類

物以類聚，人以群分

Learning from non-aligned training images

Learning from non-aligned training images

自動發現物體在何處，對齊似然函數給對齊度打分只告知第一幅圖中物在何處

Learning moving template from video sequence

行動中的模板自動發現速度、對齊似然函數給對齊度打分

Composing multiple templates 偏旁部首

字由偏旁部首組成

偏旁部首由筆畫組成

何處分割有最佳對齊度？

仍然用似然函數給對其度打分

Content• Representation: Active basis model 活動基模型• Algorithm: Shared sketch algorithm 共同勾畫算法• Computational architecture: Sum-max maps 體系結構：局部求和圖、局部求極值圖 Wu, Si, Gong, Zhu, 2008

Key references•Olshausen, Field, 1996: wavelet sparse coding•Riesenhuber and Poggio, 1999: local maximum pooling cortex-like structure•Viola and Jones, 2004: adaboost for face

Acknowlegement• Chuck Fleming, Alan Yuille, Zhuowen Tu, Leo Zhu• NSF-DMS 0707055, NSF-IIS 0713652• Lotus Hill Institute