基于RGB-D数据的个性化手势交互技术研究

Gesture recognition is an important branch of human computer interaction and it has been widely used in many applications. Owing to the RGB-D camera (e.g. Kinect) launched by different companies, gesture recognition based on RGB-D data has gained a lot of attentions in recent years. In this project, we focus on the personalized Gesture Interaction Technology from RGB-D Data. The main research contents are: (1) Research on the spatio-temporal feature extraction and visual dictionary optimization from RGB-D data; (2) Research on the temporal segmentation from RGB-D video streams; (3) Research on dynamic gesture recognition based on deep learning; (4) Design personalized gesture interaction systems based on RGB-D data. This project will focus on gesture recognition form RGB-D data, and solve the key technique problems of gesture recognition, such as spatio-temporal feature extraction, dictionary optimization, deep learning. And this project not only refers to the theoretical researches but also the application systems’ development, and provides the foundation theory and technical support of human computer interaction.

手势识别是人机交互的重要组成部分，具有广泛的应用场景和重要的研究意义。特别是近年来随着RGB-D相机（如Kinect）的发展，基于RGB-D数据的手势识别研究是当前手势识别中的一个研究热点。本项目围绕基于RGB-D数据的个性化手势交互技术进行研究，具体研究内容：（1）研究基于RGB-D数据的时空特征提取和视觉字典优化；（2）研究基于RGB-D数据的动态手势定位算法；（3）研究基于RGB-D数据的深度学习动态手势识别；（4）设计基于RGB-D数据的个性化手势交互模型。本项目的特色是从RGB-D数据入手，深入研究该数据下的手势识别，解决手势识别中的关键问题，并且注重基础理论研究，同时兼顾实际应用开发，为人机交互提供有力的基础理论和技术支撑。

手势识别是人机交互的重要组成部分，具有广泛的应用场景和重要的研究意义。特别是近年来随着RGB-D相机（如Kinect，intel Realsense）的发展，基于RGB-D数据的手势识别研究是当前手势识别中的一个研究热点。本项目围绕基于RGB-D数据的手势交互技术进行研究，具体研究内容：（1）研究基于RGB-D数据的时空特征提取,提出了具有旋转、尺度不变性的时空特征算子 MFSK；（2）研究基于RGB-D数据的深度学习方法，提出了一致性投票策略算法，以及基于Ranking loss的多模态数据混合训练算法；（3）构建了两个大规模基于RGB-D数据的孤立和连续动态手势库IsoGD和ConGD，并且基于这两个数据库，在ICPR2016以及ICCV2017上举办了两次手势识别竞赛，已收到申请的高校和研究机构超过200余次，包括普渡大学，加州大学圣地亚哥分校，清华大学，北京大学，中科院等知名高校和研究机构。本项目从RGB-D视频数据入手，深入研究了该数据下的手势识别，解决手势识别中的关键问题，并且注重基础理论研究，同时兼顾实际应用开发，为人机交互提供有力的基础理论和技术支撑。