基于时空特征融合的中国手语识别研究

Sign language is a kind of visual language, which is expressed by continuous spatio-temporal motions. Research on sign language recognition is beneficial to communication between the deaf and hearing persons, and can also promote the development of natural human-machine interaction. The handcrafted features are usually used for image/video-based sign language recognition, which are not robust to temporal and spatial variation of sign language (such as speed, duration), occlusion, illumination, viewpoint, individual differences and other factors, and are not enough to describe sign language features accurately. In order to realize the non-contact sign language recognition under natural conditions, this project aims to extract effective and robust sign language features based on RGB-D data. Firstly, we will present the tensor representation of Chinese Sign Language basic unit, which aims to describe spatial and temporal correlation of sign language motions. Secondly, we will study deep learning model based on tensor to extract hierarchical features of sign language. The project will eventually research classification model fusing the depth and RGB.

手语是一种视觉语言，手语基元由连续的时空动作表达，手语识别研究有利于听力障碍人群之间以及与健听人之间的无障碍交流，有利于推动自然人机交互的发展。传统的基于图像/视频的手语识别方法通常是基于预定义的特征提取方法，容易受手语动作时空变化（如速度、持续时间）、遮挡、光照、视点、个体差异等因素影响，提取的手语特征精确度不高。本项目面向自然条件下非接触式手语识别的需求，针对有效的、鲁棒的手语基元特征提取问题，借助深度和纹理两种感知数据，研究中国手语基元的张量表示方法，以有效描述手语基元的时空相关性；面向手语多层次特征提取问题，研究基于张量的深度学习模型；建立融合深度和纹理数据流信息的融合分类模型。

手语识别是模式识别领域的重要研究内容，它广泛应用于聋哑人教育教学、虚拟现实、人机交互以及机器人操作等领域。目前，虽然已有一些手语识别的研究成果，但由于表达手语的手势的复杂多变性，基于视频的手语识别仍存在着数据表示不适应新数据、特征鲁棒性低、识别率不高等问题。本项目针对手语识别在数据表示、时空特征提取和识别分类方面面临的挑战性问题，在张量和深度学习理论指导下，研究了手语手势的张量表示方法，面向张量变量的深度学习模型，以及多通道融合分类模型。具体完成了以下五个方面的研究工作：.（1）设计搭建了优化的手语数据采集平台，采集构建了中国手语数据库，该数据库包含138个不同的手语词以及常用句子和段落；.（2）针对面向手语表达的深度图像质量差、噪声大的问题，提出了基于噪声响应字典学习的手部深度图像去噪方法，以及基于曲率尺度空间特征的手部骨架点提取方法；解决了手部深度图像去噪及手部特征点提取问题。.（3）针对手语视频的时空结构特点，提出基于预定义先验特征和卷积神经网络学习的手语张量表示方法，有利于鲁棒、自适应地表达高维手语数据。.（4）针对手语数据的不同张量表示方法，提出了面向张量变量的系列深度学习模型，扩展了深度学习模型的应用范围，有利于提取手势数据的时空特征。.（5）针对传统手语视频数据单一的缺点，提出了多源数据流信息的融合分类模型，利用多个模式数据的互补提升表现力，从而利于分类。.基于以上研究内容，项目组取得了较好的研究成果。在国际国内期刊及国际学术会议发表(含已录用)论文7篇，其中国际期刊论文3篇，国内期刊论文1篇，国际学术会议论文3篇；申请国家发明专利3项；培养硕士研究生3名。