时变姿态下三维唇语行为表示及身份识别研究

Identity recognition and verification are the core of access control when protecting cyber or information security. The ever-increasing population and open internet have been posing multiple challenges to the identity recognition approaches. The conventional approaches typically suffer from some security threats, including spoofing, losing or forgetting signatures, etc. Behaviometrics via bio-modalities with high anti-spoofing level and representation power are an inevitable trend and demand in the community of identity recognition. This project focuses on 3D lip motion unlimited to varying head pose, and will be investigating 3D lip motion representation algorithms and its application to behaviometrics, throughout the 4D spatio-temporal domain. We propose to model the 3D shape and pose variations of the lip motion with varying pose under the 4D domain, and thus to demonstrate the dynamics mechanism of the 3D behavior. We present a behavior segmentation algorithm via dense 3D tracking on the videos of multi-pose 3D lip motion. Using the segmentation-cleaned 3D videos, we finally propose to extract 3D lip motion features encoding the spatio-temporal properties, which are then applied to the behaviometrics via classification strategies. Based on the proposed work and previous research, we will establish a systematic framework for the 3D lip motion based behaviometrics. The proposed ideas will solve the mixed-dynamics brought by the lip motion and its varying pose, and thus improve the representation power of the lip motion features by learning spatio-temporal information from the 4D domain. The dual-dynamics modelling mechanism will also works for enhancing the robustness and applicability of the lip motion based behaviometrics.

安全且便捷的身份识别技术是保障信息安全的重要环节之一。随着人口数量及互联网开放程度的增加，身份识别的密码常面临易丢失、被伪造等风险。探索高伪造难度的生物模态并增强其特征表示力和环境适应性，是身份识别技术领域的迫切需求。本项目围绕头部姿态时变下的唇语这一生物行为模态，聚焦三维唇语行为表示理论及身份识别应用。提出时变姿态下三维唇语行为在四维时空域的形状与位姿（形位）及其双动态性建模表示方法，揭示该生物模态在四维时空域的行为发生机理；提出三维唇语行为视频在四维时空域的有效行为发生区域分割算法；将时变姿态下的三维唇语行为表示机制应用于身份识别中。通过提取时空域的形位及其动态性属性，提升三维唇语行为特征表示力，克服头部姿态变化对三维唇语行为模态表示力和稳定性的影响。最终建立完整的三维唇语行为身份识别技术框架体系，提升三维唇语行为身份识别技术的适用性和安全性。

随着互联网开放程度和大数据的飞速发展，信息安全问题逐渐被广泛关注。保障个人数据和信息系统安全是高速信息化时代得以健康可持续发展的重要前提和迫切需求。精准、安全、便捷的身份识别技术是信息安全领域的核心之一。传统的基于静态生物特征的身份识别技术存在易于被伪造、身份特征表示力有限的瓶颈问题，探索高伪造难度的动态生物模态、增强其特征表示力和环境适应性是发展身份识别技术的重要方向。本项目围绕三维动态点云数据下的唇语行为模态，开展了三维点云显著特征表示理论研究及三维唇语身份识别应用研究，提出了三维点云在空间域的细粒特征表示及目标分割方法，实现了优越且高效的三维点云语义分割，为点云中的三维目标理解奠定了重要基础；提出了三维动态唇部点云在四维时空域的行为检测系列方法，通过唇部关键点三维散度特征或深度四维时空域特征学习，表征三维动态唇部点云的空域帧内形状属性及其时域帧间动态性，从而实现三维唇语行为的发生时刻精准检测，这是后续三维唇语行为的时空域全局特征表述及身份识别应用的重要前提环节；为了克服单视角三维唇部点云的完整性和形状准确性不足的难点，提出基于三维点云自修正的端到端唇语行为身份识别方法及应用框架，有效降低了唇语身份识别应用对用户合作性的约束，提升了该应用的环境适应性，在对比实验中取得了最优性能表现。另外，为了进一步改善三维点云的数据质量，本项目还拓展地研究了基于主动视觉的三维点云重建各环节的鲁棒性算法，实现高精度三维点云获取，夯实了基于三维视觉的形状特征表征及三维动态性建模的数据基石。本项目的研究成果丰富了从三维点云重建到空间域及时间域三维点云理解的三维感知理论方法，其在三维唇语身份识别的应用克服了用户姿态时变对三维唇语行为模态表示力和稳定性的影响，建立了较为完整的三维唇语身份识别技术框架体系，为信息安全领域提供了高防伪、高精度、适应性强的新颖身份识别手段。