唇语特征在身份认证中若干关键技术研究

It is well-known that different people have different lip shape and appearance and different people have their unique talking style during utterances. The visual information of the lip region which is related to the uttering procedure is referred to as the lip features. Recently, many researchers have demonstrated that the lip features contain rich speaker-identity-related information and can be used as a new kind of biometric feature in speaker authentication. This project aims to carry out a systematic and in-depth study on the discriminative power of various lip features in differentiating speaker's identity and provide a comprehensive analysis to discover the underlying rationale of the role of the lip features in speaker authentication. Based on the characteristics of the lip features, a series of speaker authentication algorithms will be designed. The major research focuses of the project lie in: i) Accurate, robust and efficient lip feature extraction techniques; ii) Underlying mechanism of the discriminative power of the lip features; iii) Speaker authentication schemes based on the lip features for fixed or variable prompt-texts. This investigation will disclose the underlying relationship between the lip features and the speaker's identity. Furthermore, this study should contribute to the advancement of the identity authentication technology based on visual cues by providing a series of new ideas and feasible solutions. Finally, the expected research results of the project can be incorporated in various multimodal biometrics authentication systems to provide higher level security in many access control applications.

众所周知，不同人有不同的嘴唇形状和外观，在讲话过程中的讲述风格也各不相同。这些与讲话过程相关的嘴唇信息被称为唇语特征。近期研究表明，唇语特征之中包含了丰富的讲话人身份信息，可被用来识别和认证讲话人的身份。本项目旨在深入研究唇语这一与讲话过程相关的新型生物特征，探寻唇语特征区分讲话人身份的鉴别力根源所在，并设计适合其特点的讲话人身份认证方法。重点的研究内容包括：1）准确、鲁棒、高效的唇语特征提取技术；2）唇语特征身份认证机理；3）针对特定/可变提示语，适合唇语特征特点的讲话人身份认证机制。通过本项目的研究，对揭示唇语特征与讲话人身份之间的内在联系有重要的理论意义。同时，为世界范围内依据视觉信息进行讲话人身份认证领域的若干研究难点提供了新的思路和解决方法。最后，项目预期研究成果可望融入各种多生物特征身份认证系统，在安全性要求较高的入口控制系统和访问控制系统中有广阔的应用前景。

众所周知，人讲话时候的嘴唇及其运动变化中包含着丰富的讲话人身份信息，可被用来识别和认证讲话人的身份。本项目旨在深入研究唇语特征这一新型生物特征，探究唇语特征在讲话人识别和讲话人认证这两个典型环境下的应用效果和潜力。在项目研究过程中，课题组对于嘴唇图像分割、嘴唇轮廓建模、唇语特征身份鉴别力分析、最优唇语特征的提取和表达、静、动态唇语特征建模以及讲话人识别/认证机制设计等方面进行了深入、系统的研究，取得了一系列研究成果。具有代表性的有：1）在唇语特征身份鉴别力分析方面，课题组通过大量实验验证了动态唇语特征相比静态唇语特征具备更高的身份鉴别力，进而说明了不同的讲话风格比不同的嘴唇外观更能区分讲话人身份；2）在最优唇语特征提取方面，课题组通过引入时空域多层次稀疏编码方法，提出了符合唇语特点的时空域唇语特征表达，相比现有方法能够取得更高的识别和认证性能。该技术处于国际先进水平；3）在嘴唇分割方面，课题组提出了融合竞争模式和模糊聚类的嘴唇分割方法，能够自动化的识别口腔内部的成分数，是目前为数不多的同时分割嘴唇内外轮廓的嘴唇分割算法；4）在讲话人身份识别和认证机制方面，课题组率先提出基于视位和视位转移的静、动态唇语特征建模方法，依据讲述不同内容时讲话人讲话的独特程度差异，通过组合学习的方式提升整体身份识别和认证的效果；5）最后，课题组所搭建的包含200个讲话人，讲述中英文混合提示语的大规模唇语图像序列库为世界范围内唇语特征的进一步研究提供了良好的测试平台。上述研究成果说明，通过本项目的研究，为唇语特征这一新型生物特征的研究奠定了良好的基础，也为今后的相关研究指明了方向。