基于深度骨架模型的多模态多视角3D手势识别的研究

3D hand pose estimation plays important roles in human-computer interaction areas, where depth images are usually used to estimate the joint locations, which is the basics of more complicated applications. Currently, 3D hand pose estimation is still a research area awaiting for full exploration. Its difficulty is how to characterize the spatial relationship among joints to compute the joint locations accurately. In this research project, skeletal model is used to characterize the spatial relationship among joints. It can flexibly represent hand poses with different bone length and orientations. Deep learning methods are used to estimate the parameters in the skeletal model. The novelty of this project is using deep skeletal model and multi-modality multi-view images to help improve the performance of 3D hand pose estimation. This project mainly solves the end-to-end learning problem using deep skeletal model based on multi-modality multi-view images. The expected outcomes of this project include a method that can flexibly estimate 3D hand pose, 6 to 8 high quality papers, and a patent.

3D手势识别在人机交互领域发挥着广泛的作用，其主要是通过3D图像（深度图像）数据来估计每个手部关节的空间位置。准确的手势识别是判别复杂手部行为的基础。目前国际上对于手势识别尚处于起步研究的阶段，其难点主要是如何通过有效地描述关节之间的联系来准确估计关节的3D位置。本项目提出采用柔性骨架模型来描述关节之间的空间位置关系，其能够灵活地表示任意手势，包括不同的手指长度和方向。柔性骨架模型参数通过深度学习算法来估计。本项目的创新点是采用深度骨架模型，并结合多模态多视角图像来有效估计3D手势。本项目主要解决了基于柔性骨架模型，如何从多模态多视角图像数据中端对端地学习深度模型参数的问题。本项目的预期成果为一种能对3D手势有效估计的算法，同时将产生6-8篇高质量论文，还可望取得具有自主知识产权的专利技术。

本项目的研究背景是手势识别在人机交互领域发挥着广泛的作用，其主要是通过图像来估计每个手部关节的空间位置。手势识别是复杂行为识别的基础。本项目主要研究内容是通过柔性骨架模型来描述关节之间的空间位置关系，并基于深度学习算法来估计柔性骨架模型参数。本项目研究相关结果已发表在计算机视觉领域会议、期刊6篇，其中包括计算机视觉领域顶刊IEEE Transactions on Pattern Analysis and Machine Intelligence 1篇（已录取）、Pattern Recognition 1篇和计算机视觉领域顶会ECCV’2020 1篇，IJCAI’2020 2篇。并已申请专利3项。本项目研究成果已与华为公司的应用合作中得到检验，并在华为Atlas200嵌入式平台上运转，证实了该方法在实践中的有效性。本项目的意义是基于多模态多视角图像，采用柔性骨架模型有效估计3D手势。主要解决了基于柔性骨架模型，如何从多模态多视角图像数据中端对端地学习深度模型参数的问题。本项目的研究成果能有效应用于多种手势识别场合。