动态环境中的新型人体动作识别理论与方法研究

With the development of artificial intelligence software and hardware technology, human body recognition technology has a wide application on human-machine intelligent interaction, virtual reality, video surveillance, bionic robot design and so on, and the related research has also made important progress . However, due to the complexity and variability of human body movements, especially in the dynamic environment, the accuracy and efficiency of the recognition can’t fully meet the practical requirements of related industries. This project is planned to carry out the research about how intelligent robots can understand the action and behavior of human being in the dynamic environment. There are four key points :1) Human pose estimation based on three-dimensional symmetrical spatial transformer network and Stacked Hourglass; 2)Action recognition based on spatio-temporal attention network; 3)multi-view feature fusion of scenes; 4) Combining the scene content with human being behavior recognition to understand, which are supported to each other. This project explores the human action recognition algorithms for robots，which will turn the weak artificial intelligence algorithms based on the statistics into the strong artificial intelligence which can combine the scene with human action for action semantic analysis. It will advance the development of the robot area and intelligent interaction technology in both theory and practice.

随着人工智能软硬件技术的发展，人体动作识别技术广泛应用于人机智能交互、虚拟现实、视频监控和仿生机器人设计等领域。相关的研究也取得了重要进展，但源于人体运动高复杂性、多变化性等特点，特别是在动态环境中，识别的精确性和高效性，并没有完全满足相关行业的实用要求。本项目拟开展在动态环境中，智能机器人对人体动作识别和行为理解的支撑方法和技术的研究。具体内设置：1). 基于三维对称空间变换网络和Stacked Hourglass的人体姿态估计；2). 基于时空注意网络的动作识别；3). 场景多视图特征融合；4). 场景内容与人体行为识别相结合进行理解等四个互为支撑与促进的研究课题。尝试设计新型机器人的人体姿态估计、动作识别和行为理解算法，将基于统计学的弱人工智能算法提高到能够结合场景进行行为语义分析的强人工智能，有效提高人体动作识别的效率和准确度。本项目的研究，将在理论和技术方面，对机器人领域的发展。

随着人工智能的发展，人体动作识别技术广泛应用于人机交互、视频监控和仿生机器人设计等领域。相关的研究也取得了重要进展，但由于人体运动具有高复杂性、多变化性等特点，特别是在动态环境中，识别的精确性不高。本项目拟开展在动态环境中人体动作识别和行为理解的研究，设计新型机器人的人体姿态估计、动作识别和行为理解算法，提高识别的效率和准确度，实现能够结合场景进行行为语义分析的强人工智能算法，推进机器人领域的发展。.在国家自然科学基金的资助下，开展了新型优化算法与应用的研究，新型高性能计算网络进行进一步优化，提出了正则化深度级联宽度学习系统，开拓了宽度与深度结合的新型神经网络系统研究的新方向，提出了一种具有动态结构的叠层宽度神经网络，克服了深度学习的计算量大、硬件需求高及模型设计复杂等不足，解决了深度网络不能在线学习的难题，为动态环境中的人体行为数据处理提供算法支持。针对行为数据的不同行为分割任务，提出新型计算框架。提出新颖的基于骨架数据的人体动作识别方法；针对复杂动作识别设计了特权信息下的潜在任务学习算法以及新型的自上而下的人体姿态估计网络。相关成果在人类情感识别、机器人协同控制、群智感知、场景语义分割等领域得到应用。发表相关论文150余篇，养一名国家级人才（国家优青），培养毕业博士\硕士研究生30余名，此外在读博士研究生、硕士研究生50余人，申请专利44项，申请计算机软件著作8项。