Image Segmentation with A Bounding Box Prior

作者 : Victor Lempitsky, Pushmeet Kohli, Carsten Rother, Toby Sharp

出處 : ICCV 2009

第一作者 Name: Victor Lempitsky Education:

Postdoc: Microsoft Research Cambridge Ph.D and undergraduate: Moscow State University

Researches: Computer vision and pattern recognition

Publications: Conference: ICCV’09, CVPR’09, ECCV’08, CVPR’ 08, ICCV’

07, CVPR’07(3), BMVC’ 06, ECCV’ 06. Journal: PAMI’ 2009

第二作者 Name: Pushmeet Kohli Education:

Postdoctoral Researcher: Microsoft Research Cambridge, 2007 PhD: Computer Vision, Oxford Brookes University, 2007 Undergraduate: National Institute of Technology, Warangal, 2004

Researches: Computer Vision Discrete Optimization Algorithms for MAP Inference Crowd-sourcing for Machine Learning

Publications: Conference: ECCV’08, ICML’08, CVPR’08(3), CVPR’07, ECCV’06, ICCV’05,

Journal: IJCV’09, SIGGRAPH’08, PAMI’08, IJCV’08, CVIU’08, PAMI’07

第三作者 Name: Carsten Rother Education:

Permanent researcher: Microsoft Research Cambridge, 2004 -- PhD: Royal Institute of Technology Stockholm/Sweden, 2004 Diploma degree: University of Karlsruhe/Germany, 1999

Researches: Markov Random Field Models for Computer Vision Discrete Optimization Vision for Graphics (interactive segmentation and matting)

Publications: Conference: CVPR(13), ICCV(8), ECCV(7), BMVC(3), … Journal: IJCV(3), PAMI(2), …

第四作者 Name: Toby Sharp Education:

Diploma degree: University of York in pure mathematics Researches:

Lead developer for the Computer Vision group Professional member of the BCS and IEEE Led the design and development of MoviePlus

Publications: Conference: ICCV’09, CVPR’08(2), ECCV’08(2) Journal: ACM Transactions on Graphics

文章摘要 用戶提供的矩形邊框 (bounding box ) ，在現有的交互式圖像分割

框架中，被認為是一種簡單和流行的交互方式。但這些框架僅利用提供的邊框將邊框外的部分排除在外，以此作為能量最小化的初始化。本文中，我們討論如何進一步利用邊框提供的拓撲先驗(topological prior) ，確保分割結果與邊框保持足夠的緊緻性。

拓撲先驗被表示為全局能量最小化框架中的嚴格約束，推導為整數規劃 (integer program) 問題。通過線性鬆馳 (linear relaxation ) 和 pinpointing 的圖割算法，可以近似求解上述的整數規劃問題。

公共的數據集上的定性及定量的實驗展示了新的先驗的有效性。

目錄 背景知識介紹：線性規劃和圖形分割

問題的提出

問題的形式化表述-緊緻性定義-最小化能量函數

問題的求解-連續鬆馳線性規劃-Pinpointing 算法

實驗結果

問題與討論

互動式圖形分割簡介

互動式圖割的目標- 更精確分割-降低與使用者互動次數

互動方式- 矩形框 (此 paper 所採用方式 )- 筆劃-…

What is foreground?

線性規劃的標準形式

目標函數

約束

矩陣形式

1

minn

j jj

z c x

1

s.t. 1, 2,

0, , 2,

,

1 ,

n

ij j ij

j

a

j

i

n

x b m

x

subject to

minimiz

e

Ax , 0

Tc x

b x

線性規劃的求解

演算法求解 單純形法 ( 可行域邊界 ) 椭球法（ ellip-soid method ） 內點法（可行域內部） …

算法已經很成熟

圖像分割中的能量最小化方法

圖像分割 指定每個像素為背景（標號為 0）或前景（標號為 1） Cp 為圖像 B中像素 p的特徵（本文中取 RGB 值） 最優分割等價於最小化能量函數 E(x)

其中 為整數，各表示像素屬於前景或背景

ε 為臨域像素的集合。

一元項　　稱為數據項，編碼像素屬於前景或背景的偏好。

二元項　　稱為平滑項，讓分割結果與邊緣對齊。

使用 Graph cut最小化能量函數

Boykov(2001) 等人提出的方法可以快速最小化形如 的能量函數

a) 利用 Graph cut 找到要處理的像素集合，通過標籤擴展及標籤交換的兩個基本操作進行能量最小化

b) 複雜度為多項式級，較之原始的指數級下降很多。

c) Google scholar 中該文章被引用 1484次，另外兩篇後續的文章分別被引用 846和 801 次。

Graph Cuts

Source (foreground)

Sink (background)

Pixel connectivity (boundaries)Inter-pixel weights (boundaries)

Source and Sink weights (regions)

Cost Function : E(A) = λ R(A) + B(A)

本文問題的提出

未利用邊框的緊緻性約束，分割結果的某些部分離圖像的邊框過遠（顏色與主體不一致的部分）

以前的方法

現有的交互式分割方法大多忽略邊框的拓撲先驗(topological prior) ，只對邊框的內部進行處理

主動邊界亦稱為 Snake,可以利用拓撲先驗，但容易收縮過於嚴重或陷入局部最小

本文方法

將拓撲先驗形式化為緊緻性，從而將分割問題轉化為整數規劃 (integer program) 的問題

目標函數中整合了顏色分佈和邊緣信息，約束項中實現緊緻性

通過放鬆對解的整數性要求，最後對實數解進行取整，可得到上述整數規劃問題的近似解

提出 pinpointing 作為替代簡單的利用門檻值取整數方法

緊致性定義

邊框 B中虛線與邊框之間的部分稱為 margin ，四種 margin 分別為 right, left, top, bottom Margin包圍的部分稱為中間盒 (middle box) M. 兩種交叉路徑

短交叉路徑：位於中間盒 M中，且端點在 M上的曲線 (圖中藍虛線 ) 長交叉路徑：曲線位於邊框 B中，如曲線的端點在邊框 B的左右的兩側，曲線只能經過 top, bo

ttom margin 的中間 ; 類似地，當端點在上下兩側，曲線只能經過 right, left margin 的中間。 （圖中紅虛線）

三種形狀 強緊緻形狀：與所有短交叉路徑相交（圖 b） 弱緊緻形狀：與所有的長交叉路徑相交（圖 d） 非緊緻形狀：不符合弱緊緻的其他形狀（圖 c）

緊緻性約束下的能量最小化

緊緻性約束：交叉路徑上的點，至少有一個四鄰域點為前景像素

新約束下的能量函數如下

精確求解上述整數規劃問題的複雜度為指數級，需要進行近似求解

{ , }

min· ·

{0

1

. ,1}.

p pqp p q

B

p

p p

p C

q

p

U V

s t p x

C

x x x

x

ò

優化方法介紹

放鬆對 xp 的整數性約束，優化函數變為標準線性規劃

問題：約束（ c ）的數目為指數級，無法直接求解，可使用迭代的方法求解。

{ , }

· ·

1 (b)

1 (c)

min (a)

. . 0

{ , } , (d)

p pqp pq

B

p

pp C

pq p q pq

p

q

p q

p

x

x

p q y

U V y

s t

y x x

C

x

p x

x

ò

ò

線性規劃的疊代求解

每次只考慮交叉路徑的子集

1. 開始時設路徑子集 Γ’ 為 NULL

2. 從剩下的路徑中選取誤差最多為 ε 的路徑加入到 Γ’ 中

3. 當所有的路徑都在誤差為 ε 的範圍內，則疊代結束

Pinpointing Algorithm

上述線性規劃的解為實數，需要利用門檻值得到最終的分割結果。保證取整結果滿足路徑約束的前提下，門檻值應該盡可能大。

問題：如何確定門檻值？ 求解如下的整數規劃問題得到分割結果

{ , }

· ·

{0,1} (b)

1

m

in (a)

.

(c)

pinpoint

.

p pqp p q

B

p

p

p p q

U V

s t p x

p

x x x

x

保存分配集 给前景的像素

ò

Pinpointing Algorithm 詳解

先決條件：實值的優先圖，可使用前面的線性規劃的解

兩個階段1. 擴展：目標是滿足所有的路徑約束2. 收縮：去除多餘的像素

實驗

平滑項和數據項的定義

數據項中使用了高斯混合對前背景進行建模

資料庫的建立： 50張自然圖像

{ , }

6

1·exp 8, 80 / max

|

,

(log ( ) log )), 1( | 0

pq p q p qp q

p p pb f

C C

GMM GMM

V C Cp q

U P C P C

ò

Gaussian Mixture Models

Background GMM Foreground GMM

實驗一

六種方法的相對性能

1. Unary-Threshold （ unary terms+門檻條件）2. Graph Cut （圖割）3. LP-Threshold （線性規劃 +門檻條件）4. LP-Pinpoint （線性規劃 +Pinpoint ）5. Unary-Pinpoint （ unary terms+Pinpoint ）6. MinMarginal-Pinpoint （ 1-MinMarginals+Pinpoint ）

實驗結果

上方為較容易的實驗圖形，下方為較難的實驗圖形

實驗結果

Error-22 ： Graph Cut 的分割結果不滿足緊緻性的 22張圖像上的錯誤率

實驗二：疊代過程

對比 GrabCut 方法，利用當前的分割結果，更新前景與背景模型進行疊代。左（上）為 GrabCut 結果，右（下）為本文方法

實驗二

實驗：敏感度實驗

錯誤率（縱坐標）與緊緻度（橫坐標）的關係，增加緊緻性先驗以後，分割的錯誤率下降。