特征点深度值估计

报告人：朱 珠

2012 年 8 月 30 日

参考文献• [1] 龚勋 . 基于单张二维图片的三维人脸建模 ;

西南交通大学 ,2005.

• [2] 姜太平 , 王晓娟 , 刘玉洁 , 张学锋 , 邰伟鹏 . 基于 candide 模型的人脸深度信息生成技术研究 ; 计算机技术与发展 ,2012;

• [3] 胡永利 . 真实感三维人脸建模及应用研究 [D], 北京工业大学 ,2004.

实验背景

• 人类视觉系统 (Human Visual System,HVS) 天生具备识别人脸复杂模式的能力 . 即使只有一张照片 , 借助 HVS的处理 , 人类也能够准确 , 快速地恢复出人脸三维形状信息 , 进而实现身份辩别 . 要用计算机实现自动的三维人脸建模 , 如果能够借鉴人类的认知机理和相关数学最新研究成果 , 实现基于单张二维图片的三维人脸建模 , 首先要解决的问题就是如何从二维图片中确定人物的深度信息 .

问题描述 • 给定包含 m 个三维人脸形状模型的训练集 ,

令三维模型 上与人脸图像上的特征点 ， k 是特征点的数目）相对应的顶点为 。

},,{ 1 mss

)1( mjs j

ktvup Tttt 1(),(

jtv ,

最优匹配法 • 以训练集为先验知识，估计平面特征点 的深度

信息最简单、最直观的方法是在训练集中找到一个人脸模型 ，使得其顶点 的二维坐标

与 最接近，即：

• 然后，将 的第三维 作为 的深度值，该方法称为最优匹配法（ Best Matching,BM ）。

tp

js jtv ,

),()( 2:1', ttjt yxv tp

||))(min(||arg 2:1,' jttj vps

', jtv 3', )( jtv tp

插值拟合函数 • 为了避免直接利用空间顶点坐标产生的误差，采

用插值拟合函数（ Interpolation Fitting Function,IFF ）是较好的选择，它相对 BM 更加稳定。

• 将训练集中所有人脸的第 t 个顶点当作空间散乱点集合 ，用一个拟合函数 f(p) 对这些点进行拟合。 },,,,{ ,,1, mtjtt vvv

基于稀疏线性模型的优化算法 • 为了获得相对准确、稳定的估计结果，本文提出

一个基于稀疏线性模型的优化算法（ Sparse Linear Model based Optimization,SLMO ） , 把所有特征点看成一个整体，将其组合成一个稀疏的形状向量，然后利用训练库中的先验知识对稀疏向量中缺失的数据（即所有特征点的 z 值）进行整体估计。

基于稀疏线性模型的优化算法 • 在已知三维人脸上 k 个特征点的情况下，用特征

点集何来表示人脸结构，把它们进行线性组合构造一个稀疏形状向量：

• 其中，上标‘ L’ 表示向量是由特征点（ landmark ）组合而成的。从而，测试人脸上的特征点向量的估计值 可以由训练库中所有人脸的稀疏形状向量经线性组合而成：

• （ 2.1 ）• 其中， ， m 是训练库中三维人脸的数目。

ktRvvvs kTTk

Tt

TL 1,)( 31

Lests

LLest Ss

mkLm

LL RssS 3),(1

基于稀疏线性模型的优化算法• 对 进行 PCA变换得到特征矩阵 以

及相应的特征值 ，其中 。用特征矩阵代替原始形状向量空间 ，式（ 2.1 ）可以改写为：

• （ 2.2 ）• 其中 是组合系数，平均稀疏向量

.

• 根据 PCA 理论，系数 的方差 。

iILS'3

1 ),,( mkm

L RqqQ

),,( 2'

21 m 2

'21 m

LS

LLLLLest ssQss

Tmi ),,( '1

m

i

Li

L sm

s1

1

)(D

基于稀疏线性模型的优化算法• 从而，我们可以用特征值对特征矩阵进行缩放：

• 从而系数方差 被归一化，即 。采用缩放后的特征矩阵，式（ 2.2 ）可以改写为：

（ 2.3 ）

),,( 11 mmLs qqQ

1)( D

LLLs

LLest ssQss

基于稀疏线性模型的优化算法 • 下面讨论如何根据稀疏线性模型进行特征点的深

度值的估计。• 从式（ 2.3 ）可知，在已知 （通过训练库变换

获得）的情况下， 是计算测试人脸特征值坐标的关键。对于二维照片而言，特征点的坐标分量z 是未知的，从而 未知。因此，只有通过已知的二维信息来求解 。给定二维人脸照片上的一组（数目为 k ）特征点 ， ，将其进行组合成向量：

LsQ

Ls

T

ttt vup ),( kt 1

kTTk

Tt

TDL Rppps 21

2, )(

基于稀疏线性模型的优化算法• 另外，从平均稀疏向量可以提取二维稀疏

形状向量 如下：

• 其中 是三维顶点 的前二维数据构成的向量。类似地，从每三行中提取前两行数据，我们可以得到 的二维版本 。将 ， 和 代入式（ 2.3 ） ,可得：

• （ 2.4 ）

DLs 2,

kTTk

Tt

TDL Rvvvs 22:12:12:11

2, ))()()(( T

tt yxv ),()( 2:11 1v

LsQ

DLsQ2, DLs 2, DLs 2, DL

sQ2,

DLs

DLDLn

DL Qsss 2,2,2,2,

基于稀疏线性模型的优化算法• 从而，从式（ 2.4 ）计算 可以通过最优

化方法求解，令目标函数• 因为式（ 2.4 ）只是（ 2.3 ）的二维表示形

式，很显然式（ 2.4 ）的解并不能保证

最小化。为了对优化结果进行约束，使其偏离平均值不大，我们添加一个罚函数对 的范围进行约束，从而目标函数变为：

22,2, ||||)( DLDL

s sQE

2|||| LLs sQ

|||| 2, DLsQ

222,2, ||||||||)( DLDLs sQE

基于稀疏线性模型的优化算法• 为便于计算，我们将罚函数简化为 是大于 0 的任意正数），从而

• 其中 是罚因子，它的大小变化对估计值结果的影响包括两方面：

• 增大， 变小，从式（ 2.3 ）可知，最终估计结果更接近平均值 ；

• 减小， 增大，式（ 2.3 ）中 部分的作用相对较强。

(||||

222,2, ||||||||)( DLDLs sQE

Ls

DLQ 2,

基于稀疏线性模型的优化算法• 令 取最小值， 的求解过程如下：

(2.5)• 根据奇异值分解（ SVD ）， ，• ，代入式（ 2.5 ）：• 两边都乘以 ，从而解出

使 取最小值的 ：

)(E 0)()( 2,2,2,2, DLTDL

sDL

sTDL

s sQQQDLTDL

sDL

sTDL

s sQQQ 2,2,2,2, )()(

''222, ,),( mmkkTDLs RVRUVUQ 其中，

'2)( mki Rdiag

DLTT sUVVV 2, TV

)(E 0DLT

i

i sUVE 2,20 )(||)(||minarg

基于稀疏线性模型的优化算法• 将代入式（ 2.3 ） , 所有特征点的坐标组成

的稀疏形状向量的估计值为：• （ 2.6 ）• 因此我们就可以采用式（ 2.6 ）的深度信息。

与二维观测值进行组合构成特征点的三维坐标。

0 Ls

LLest Qss