基于视觉及图模型的连续手语识别研究

The deaf people in China have reached 25 million, the continuous sign language recognition is very important to education and communication of the deaf people. With the popularity of new human-computer interactive equipments and further development of machine learning theory, it has become a key issue in field of natural human-computer interaction that how to capture 3D sign language motion based on vision quickly and accurately and understand sign language semantics in real-time. This project will carry on research on continuous sign language recognition in human-computer interactive environment. The graph model is used as mathematical tools, which is an effective approach for sequence signal processing. The key point of project is study on 3D sign language motion capture and continuous semantic understanding based on monocular vision and depth image. The recognition results can be used for education and communication of the deaf people and used in other fields. Some researches carried in project including: to study on the methods of 3D sign language motion capture based on vision, to study on the methods of continuous sign language recognition based on graph model, and to study on system construction of continuous sign language recognition. This project is forward-looking and challenging, the research results can be applied to education and communication of the deaf people, and it can also be applied to the intelligent machine control based on hand gesture interaction and applied in other related fields. The key theory breakthrough will be important theoretical and practical significance for exploring issues related complex space-time sequence information processing.

中国现有聋人已达到2500万，连续手语识别在聋人教学及交流方面有着非常重要的作用。随着新型体感交互设备的普及及机器学习理论的深入，如何基于视觉快速准确的捕获三维手语运动数据并实时理解连续手语的语义，已经成为自然人机交互领域的关键问题。本项目欲针对体感交互三维连续手语运动语义理解问题进行研究，以图模型这种时序信号处理的有力数学手段为工具，重点研究单目视觉及深度数据环境下的快速三维手语运动捕获及连续语义理解，并将手语运动理解结果应用于聋人教学及交流等诸多人机交互领域。我们研究的主要问题包括：基于视觉的手语三维运动捕获方法研究，基于图模型的连续手语运动语义理解研究，体感交互连续手语识别示范系统构建。本项目具有前瞻性和挑战性，其研究成果可用于聋人教学、交流等领域，也可应用于手势交互智能机器控制等相关领域。本研究在理论和关键技术上的突破对于探索复杂时空序列信息处理相关问题具有重要的理论和实际意义。

连续手语识别在聋人教学及交流方面有着非常重要的作用。如何基于视觉快速准确的捕获三维手语运动数据并实时理解连续手语的语义，已经成为自然人机交互领域的关键问题。本项研究的主要问题包括：基于视觉的手语三维运动捕获方法研究，基于图模型的连续手语运动语义理解研究，体感交互连续手语识别示范系统构建。经四年探索，本项目取得了阶段性研究成果，具体包括：(1) 提出了基于多信息融合的手语识别系统框架，由此衍射出多个算法模型，搭建了多Kinect的数据融合及手语识别系统，用于CSL500数据库、自建连续中国手语数据库以及国际通用德国手语数据库上进行了测试，连续手语的测试精度已经达到81.3%，孤立词手语识别精度达到98.2%；(2) 针对多模式融合手语识别，提出了一种基于深度图像、RGB图像及人体骨架多模式融合的连续手语识别方法，通过图模型与序列神经网络模型的有机组合，获得了多模式融合的连续手语辨识框架，在中国手语CSL500的测试平均达到85%以上认知精度；(3) 针对设计具有区分性的手语表征难题，提出基于双路改进型神经网络用于连续手语特征提取及基元孤立词识别。针对连续手语语句识别所涉及的时间序列分割及孤立词标注两大难题，提出两层编码器和一个解码器的网络模型，构建了序列到序列的映射模型。结合中国连续手语语句结构特性，对传统LSTM编解码架构进行扩展，改模型绕过了序列时间分割难题，避免了孤立词标注耗时缺陷; (4) 设计了聚类算法及分层注意力机制联合机制对连续手语识别性能影响对比实验，测试结果中LSTM编解码网络的识别率最低76.8%，说明分层网络结构远超基础编解码网络性能，对连续手语视频图像聚类算法提取关键帧分层网络结构识别准确率为86.9%，高于直接基于分层网络识别率6%，说明聚类算法能有效剔除手语视频序列中冗余信息，优化识别框架。分层注意力网络模型对聚类得到的关键片段叠加识别率为87.5%，优于分层网络86.9%的识别率，对比表明注意力机制引入利于对手语识别准确率提升。该成果可用于人机交互等多个军事及民用领域。