基于观众面部信号的视频情感语义隐式标注和编辑合成研究

视频情感语义的隐式标注研究刚刚起步，为此本项目提出基于观众面部可见光图像、红外热像以及温度的视频情感语义隐式标注；在此基础上，研究情感化视频编辑合成算法；探索情感化合成算法有效性的评估方法。.本项目融合可见光和红外热像识别观众的表情，结合面部温度推理观众的情感，以此作为视频隐式标签，并采用自上而下和自下而上相结合的方式，建立视频物理空间和情感语义空间的映射，为视频情感语义隐式标注提供一种新的可行的途径。本项目以观众的面部信号作为反馈，编辑合成出能够满足观众某种情感诉求的视频，为视频编辑提供新的思路。本项目借鉴心理物理学中的心理量表的方法，为情感模型和算法的评估提供一种新的解决方法，对于推进情感智能的理论研究具有重要的学术价值。

随着优酷、土豆等视频网站的蓬勃发展，视频已成为人们交流娱乐的重要媒介。因此，视频情感内容分析和识别研究已成为情感计算的研究热点之一。本项目提出基于观众面部信号的视频情感语义隐式标注研究。具体来说，本项目提出基于面部先验知识的自发表情识别研究, 采用概率图模型对表情变化时，面部肌肉相互作用的时空特性建模，对可见光图像中面部特征点跟踪，面部动作单元识别和表情分类以及红外热像的人眼定位进行了一系列基于面部先验知识的研究；该工作突破传统的特征驱动方式，有效地融入了面部先验知识，提出了一种新的识别范式。此外，本项目提出融合可见光图像和红外热像的表情识别，充分发挥两种图像的优势，以增强表情识别对成像条件的鲁棒性；在此基础上，依据观众的各种生理或者面部行为信号，提出和完成了自上而下和自下而上相结合的情绪推理和视频情感隐式标注研究。项目组共发表和录用论文45篇，其中SCI期刊论文17篇，包括IEEE Trans. 论文4篇。培养博士2名和硕士6名。组织情感计算方向的国际研讨会和博士生论坛各一次。