beyond face recognition: remote physiological signal...

Beyond Face Recognition: Remote Physiological Signal Sensing (RePSS)

韩琥中科院计算所

[email protected]

1VALSE Webinar 2020.3.25

Institute of Com

puting Technology, Chinese Academ

y of Sciences

2

Q1: 他是谁？特朗普

Q2: 他的表情/情绪如何？貌似生气

Q3: 他的心跳如何？可能加快

人脸视频图像既能反映身份信息，也能反映情感表情、甚至生理状态

人脸视频图像蕴含的视觉特征

Institute of Com


y of Sciences

3

人脸分析与识别的若干研究分支

人脸视频图像

人脸检测与识别检测与跟踪人脸识别属性分析

情感计算表情识别, AU识别

专注度,疲劳度

以中科院计算所VIPL大组为例

视听语言感知与理解唇语识别

说话人脸转换视觉语音活动检测

视觉生物特征分析多模态识别活体判别

生理体征与状态感知

Institute of Com


y of Sciences

4

基于视觉的遥测式/非接触式生理信号感知(RePSS)

Figure is from : https://jbhi.embs.org/special-issues/camera-based-monitoring-for-pervasive-healthcare-informatics/

心率（成人60-100）、心率变异性(逐次心跳周期差异的变化情况，它含有神经体液因素对心血管系统调节的信息，从而判断其对心血管等疾病的病情及预防，可能是预测心脏性猝死和心律失常性事件的一个有价值的指标)

血氧饱和度(血液中被氧结合的氧合血红蛋白占全部可结合的血红蛋白的百分比，是呼吸循环的重要生理参数，正常95%以上)

呼吸频率(成人12~20次)

体温、疼痛…

Institute of Com


y of Sciences

5

基于视觉的遥测式生理信号感知的可行性

以人脸估计心率为例，物理模型如下

(1) 心脏周期性收缩推动动脉血液向全身涌动

(2) 血液涌动造成毛细血管中血液容量的周期性变化

(3) 相机成像过程中，皮肤对光线的吸收也呈现周期性变化

(4) 分析视频中肤色变化的周期性就能获得对心率的估计

周期性的动脉血涌动造成肤色周期性变化分析微弱的肤色周期变化，得到心率估计

远距离/非接触式光体积变化描记图法 (remote photoplethysmography, rPPG)

Institute of Com


y of Sciences

6

问题形式化

视频图像 X

占主导但与任务无关的背景信号

U微弱但与任务相关的前景信号

V噪声信号

N

X = U + V + N

关键问题：如何建立对微弱视觉信号V的有效抽取和表示？

本质是微弱视觉信号分析问题

Institute of Com


y of Sciences

7

基于rPPG的人脸视频心率估计发展历程

Verkruysse et al.Opt. Express 2008

First work on camera based HR est.(spatial avg. &

filtering)

2008 2010 2013 2014 2017 2018-

Poh et al.Opt. Express 2010/2011

(ICA)

Haan et al.TBME 2013

(chrominance)

Li et al.CVPR2014

(light rectification & motion estimation)

Wang et al.TBME 2017

(orthogonal projection plane)

Niu et al.ACCV2018/TIP19(knowledge + data

driven)

Chen et al.ECCV 2018(DeepPhys)

Institute of Com


y of Sciences

8

方法回顾：利用ICA进行心率信号抽取

M.-Z. Poh, D. J. McDuff, and R. W. Picard, “Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.” Opt.Express, vol. 18, no. 10, pp. 10 762–10 774, 2010.M.-Z. Poh, D. J. McDuff, and R. W. Picard, “Advancements in noncontact, multiparameter physiological measurements using a webcam,” IEEE Trans. Biomed.Eng., vol. 58, no. 1, pp. 7–11, 2011.

Institute of Com


y of Sciences

9

方法回顾：利用ICA进行心率信号抽取

比常用的只从绿色通道抽取心率信号效果更好

M.-Z. Poh, D. J. McDuff, and R. W. Picard, “Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.” Opt.Express, vol. 18, no. 10, pp. 10 762–10 774, 2010.M.-Z. Poh, D. J. McDuff, and R. W. Picard, “Advancements in noncontact, multiparameter physiological measurements using a webcam,” IEEE Trans. Biomed.Eng., vol. 58, no. 1, pp. 7–11, 2011.

Institute of Com


y of Sciences

10

方法回顾：利用色度空间进行心率信号抽取

假定头部运动动对不同颜色通道的影响是均等的

G. de Haan and V. Jeanne, “Robust pulse-rate from chrominance-based rPPG,” IEEE Trans. Biomed. Eng. , 2013

Institute of Com


y of Sciences

11




Two orthogonal signals

Institute of Com


y of Sciences

12




SNR of stationary scenario SNR of exercise scenario

Institute of Com


y of Sciences

13

方法回顾：考虑背景光照和运动影响

X. Li, J. Chen, G. Zhao, and M. Pietikainen, “Remote heart rate measurement from face videos under realistic situations,” in Proc. IEEECVPR, 2014, pp. 4264–4271.

Institute of Com


y of Sciences

14

方法回顾：考虑背景光照和运动影响

较早在公开数据库MAHNOB-HCI上进行了评测

X. Li, J. Chen, G. Zhao, and M. Pietikainen, “Remote heart rate measurement from face videos under realistic situations,” in Proc. IEEECVPR, 2014, pp. 4264–4271.

Institute of Com


y of Sciences

15

方法回顾：CNN+Attention

Weixuan Chen and Daniel McDuff DeepPhys: Video-Based Physiological Measurement Using Convolutional Attention Networks. In Proc. ECCV 2018.

Using normalized difference between

frames as input Learning spatial mask as attention

Institute of Com


y of Sciences

16

方法回顾：CNN+Attention

Weixuan Chen and Daniel McDuff DeepPhys: Video-Based Physiological Measurement Using Convolutional Attention Networks. In Proc. ECCV 2018.

内部数据集评测

Institute of Com


y of Sciences

17

趋势与挑战

趋势从基于物理模型的算法设计到数据驱动的模型学习从单一生理特征到多生理特征

挑战真实场景下的RePSS，特别是存在较大幅度头部运动的情况下有GT生理特征信号的视频数据相当较少，一定程度上限制了数据驱

动建模方法的应用，特别是基于深度学习的建模方法模型的泛化能力仍然不高

Institute of Com


y of Sciences

18

我们的尝试

基于模型迁移的深度人脸心率估计

(ICPR2018)

不均衡数据建模(FG2019最佳海报论文)

视频图像X = U + V + N

知识与数据联合驱动建模

(TIP2020)

大规模数据库建设(VIPL-HR)

生理指标

基于特征解耦的建模

Institute of Com


y of Sciences

19

I. 基于模型迁移的深度人脸心率估计

传统非深度学习方法的框架

…

心率、心跳变异率、呼吸频率、

血氧含量

人脸视频输入感兴趣区域选择颜色变化信号提取

(PCA, ICA, Filtering, Avg.)

频谱分布生理特征估计

心率时序信号

FFT

Institute of Com


y of Sciences

20


传统非深度学习方法的框架

…


血氧含量



频谱分布生理特征估计

心率时序信号

FFT

能否通过数据驱动的方法学习更具判别力的特征表示？

Institute of Com


y of Sciences

21


基于深度学习的人脸心率估计


血氧含量…



生理特征估计深度特征学习

难点：当时最大的人脸心率数据集也不超过50人，深度模型容易过拟合

Institute of Com


y of Sciences

22


通过渐进式训练将通用场景模型迁移到具体场景

ImageNet 预训练

真实人脸心率信号精调

直接迁移，gap太大！

Institute of Com


y of Sciences

23


通过渐进式训练将通用场景模型迁移到具体场景

ImageNet 预训练

合成的有噪声周期时序信号预训练

真实人脸心率信号精调

RyhthmNet v1.0 (2017-2018)Xuesong Niu, Shiguang Shan, Hu Han, and Xilin Chen. SynRhythm: Learning a Deep Heart Rate Estimator from General to Specific. ICPR, 2018.

Institute of Com


y of Sciences

24


方法效果：MAHNOB-HCI数据集(共27人，每人20段视频)

RyhthmNet v1.0 (2017-2018)Xuesong Niu, Shiguang Shan, Hu Han, and Xilin Chen. SynRhythm: Learning a Deep Heart Rate Estimator from General to Specific. ICPR, 2018.

Institute of Com


y of Sciences

25

II. 大规模心率数据集构建

实验室场景MAHNOB-HCI数据集(共27人，每人20段视频)

Institute of Com


y of Sciences

26

II. 大规模心率数据集构建

构建并公开半开放场景数据集: VIPL-HR (Ver1.0) 国际上最大的公开库：100多人，3000多段视频，RGB与NIR多模

态，头部运动、光照变化、不同成像设备, 运动状态(跳绳前后)

http://vipl.ict.ac.cn/view_database.php?id=15

头部运动

光照变化

不同传感器

数据库下载：

(2018)X. Niu, H. Han, S. Shan, and X. Chen. VIPL-HR: A Multi-modal Database for Pulse Estimation from Less-constrained Face Video. ACCV, 2018.

Institute of Com


y of Sciences

27

III. 面向不均衡分布数据的人脸心率估计

VIPL-HR中真实心率的分布：不均衡

Institute of Com


y of Sciences

28


人脸心率数据增广: 时域上下采样

原始视频

下采样

上采样

视频片段时空

表示图

133bpm

71.2bpm

89bpm

心率值

X. Niu, X. Zhao, H. Han, A. Das, A. Dantcheva, S. Shan, and X. Chen. Robust Remote Heart Rate Estimation from Face Utilizing Spatial-temporal Attention. IEEE FG, 2019. (最佳海报论文)

Institute of Com


y of Sciences

29


人脸心率数据增广: 时域上/下采样

增广前

增广后

Institute of Com


y of Sciences

30


避免大幅头部运动干扰: 在RyhthmNet v1.0中引入注意力机制

…… …

心率信号

人脸视频

估计结果 68bpm 70bpm 90bpm 69bpm


Institute of Com


y of Sciences

31


避免大幅头部运动干扰: 在RyhthmNet v1.0中引入注意力机制


Institute of Com


y of Sciences

32


方法效果: VIPL-HR

方法 𝑯𝑹𝒔𝒕𝒅 𝒃𝒑𝒎 𝑯𝑹𝒔𝒕𝒅 𝒃𝒑𝒎 𝑯𝑹𝒎𝒂𝒆 𝒃𝒑𝒎 𝑯𝑹𝒓𝒎𝒔𝒆 𝒃𝒑𝒎 𝑯𝑹𝒎𝒆𝒓 rHaan13 7.63 15.1 11.4 16.9 17.8% 0.28

Tulyakov16 10.8 18.0 15.9 21.0 26.7% 0.11

Wang17 7.87 15.3 11.5 17.2 18.5% 0.30

RhythmNet v1 1.02 8.88 5.79 8.94 7.38% 0.73RhythmNet v1

+ 数据增广 -0.08 8.14 5.58 8.14 6.91% 0.63

RhythmNet v1+ 数据增广+注意力机制 -0.16 7.99 5.40 7.99 6.70% 0.66


Institute of Com


y of Sciences

33


IEEE FG 2019最佳海报论文奖


Institute of Com


y of Sciences

34

IV. 知识与数据联合驱动建模

基于物理先验构建序列时空特征图：弱化心率信号无关的空间纹理信息(背景信号)，强化心率信号相关的时序周期信号

ROI块色度信号抽取ROI均值池化

序列长度T

ROI

块数N

整个序列的时空特征图

时空特征图中一个通道的可视化

序列长度TRO

I

块数N

Xuesong Niu, Shiguang Shan, Hu Han, and Xilin Chen. RhythmNet: End-to-end Heart Rate Estimation from Face via Spatial-temporal Representation. IEEE Trans. Image Process., Oct. 2019.

Institute of Com


y of Sciences

35


利用CNN学习心率表征，利用RNN建模相邻视频片段关系


Institute of Com


y of Sciences

36


人脸心率估计效果: MAHNOB-HCI数据集


Institute of Com


y of Sciences

37


人脸心率估计效果: VIPL-HR数据集


Institute of Com


y of Sciences

38


人脸心率估计实测效果演示

平均误差小于3次/分钟

Institute of Com


y of Sciences

39

V. 基于特征解耦的人脸心率估计

特征解耦在相似的微弱信号建模中的应用：动作单元(AU)识别

个体无关的AU特征

个体相关的形状特征(背景特征)

正则化约束

个体自适应的偏置项

X. Niu, H. Han, S. Yang, Y. Huang, and S. Shan. Local Relationship Learning with Person-specific Regularization for Facial Action Unit Detection. IEEE CVPR, 2019.

Institute of Com


y of Sciences

40

V. 基于特征解耦的人脸心率估计

让视频中的心率相关特征与其它特征(人脸基础特征与噪声特征)解耦开来，从而提升特征对心率估计的针对性和判别力

X = U + V + N

𝐹 𝐸 𝑋𝐹 𝐸 𝑋𝑋 𝐷 𝐹 , 𝐹

挑战：我们没有其它无关信号的标签

Institute of Com


y of Sciences

41

VI. 大规模心率数据集构建

开放场景数据集: VIPL-HR (Ver2.0) 2019年开始构建 RGB与IR多模态，头部运动、光照变化、不同传感器, 被试运动前

后状态大约3000人规模，预计5-10秒的视频片段达到100万其中，前期整理好的500人数据已经用于CVPR 2020 首届遥测式生

理特征感知竞赛(RePSS)

Institute of Com


y of Sciences

42

首届遥测式生理特征感知竞赛(RePSS)

CVPR 2020 CVPM Workshop的一部分: https://competitions.codalab.org/competitions/22287

由来自中科院计算所、奥卢大学、微软、飞利浦等单位研究人员共同发起

2020.1.15发放训练数据: 500人含心率标签,来自VIPL-HR v22020.2.20发放测试数据: 200人无标签,来自OULU OBF和VIPL-

HR v22020.3.5提交截止共收到来自10余个国家和地区的100多个参赛队伍注册

Institute of Com


y of Sciences

43

首届遥测式生理特征感知竞赛(RePSS)

Institute of Com


y of Sciences

44

展望

在人脸识别、属性分析、表情识别等面向宏观视觉特征感知取得突飞猛进发展的背景下，面向生物体征/精神/病症等微弱视觉信号的建模研究尚处于起步阶段自外而内的理解内外融合的理解

Institute of Com


y of Sciences

谢谢！

45

beyond face recognition: remote physiological signal...

Documents