实时深度图像人手位姿估计方法及其稳定性分析

The project aims at real-time hand pose estimation from depth images which is a new research topic that has emerged in recent 7 years. The bottleneck of this technology is instability problem because of the complex structure of human hand and the ambiguous pose occurred. Firstly, we investigate how the ambiguous pose and depth image noise affect the stability of pose estimation. Secondly, we analyze the feasible conditions for steady estimating hand pose, and a new pose estimation method will be developed based on Lie group manifold theory and deep learning framework. Finally, the proposed method will be verified in an Intelligent lower limb rehabilitation robot application. The outcome of this research will help machine understand human hand actions and intentions as human does, which could be wildly applied in many fields such as medical care, intelligent robot, and assistance driving. Therefore, it has important theoretic and practical value.

实时深度图像人手位姿估计是近年来发展起来的一个新的计算机视觉方向，所指的是实时的从单幅深度图像（或序列图像）中识别人手并估计人手的全自由度三维位姿。由于人手结构复杂、关节自遮挡严重，常出现歧义位姿现象，位姿估计的稳定性难以保证。本项目针对人手位姿估计的稳定性问题，首先，探讨深度图像噪音与歧义位姿现象对位姿估计稳定性的影响规律及失稳机制；然后，分析稳定求解人手位姿的可行条件，研究在深度学习框架下结合李群流形理论提出新的人手位姿估计方法，提高位姿估计的稳定性；最后，在面向智能下肢康复机器人的人机交互应用中验证本项目所提出的方法的有效性。研究成果可以有效的帮助机器像人一样用视觉方式感知人手的动作并理解用户的意图，在医疗卫生、智能机器人、辅助驾驶等领域有广阔的应用前景，具有重要的理论意义与应用价值。

本项目针对实时深度图像人手位姿估计问题，从深度图像噪音与歧义位姿现象这两个关键点入手对人手位姿估计的稳定性展开研究。首先，研究了深度相机图像噪音形成的物理机制，通过大量有噪音的真实人手深度图像和无噪音的合成人手学习点云失真的规律，实现低成本合成大量带有随机噪音的人手深度图像；然后，分析了歧义位姿失稳现象，构建了基于Transformer的深度模型预测歧义关节点位置的概率分布，并根据所求得概率分布的特点判定是否存在歧义位姿；接着，结合深度学习框架并利用物理运动的时空连续性，设计了能求解单幅图像位姿概率分布和序列图像连续动态位姿的方法；最后，搭建了面向智能下肢康复的人机交互实验平台，对所提出方法的有效性进行了验证。本项目取得了一系列研究成果，共发表学术论文15篇，其中SCI收录JCR二区论文5篇，EI收录国际会议论文10篇，获得发明专利3项，软件著作权1项，培养了2名博士研究生，10名硕士研究生，其中6名已经获得硕士学位。