基于动态三维传感器网络的分布式人体行为意图识别

The robot and smart devices can offer better services according to the recognition results of human behaviors, which has great potential scientific significance and social significance. Recently, the consumer RGBD sensors become affordable, such that the sensing technique of human recognition using these 3D sensors is more popular. However, the single 3D sensor has limited sensing range, which affects its performance for human behavior recognition. Although this problem can be alleviated by using multiple 3D sensors in a network, the research on such topic currently focuses on the centralized information processing, which requires high bandwidth, and has low network scalability and difficulty to handle fault tolerance. To solve these problems, we propose to construct a distributed dynamic 3D sensor network by integrating the static 3D sensor network with mobile robots, and research on distributed estimation algorithms for skeleton joints tracking, multiple objects data association, human behavior recognition and robot coordination, such that a comprehensive knowledge of human behaviors can be learned, and an optimized intelligent service of robots can be made for the human.

自主识别人的行为可以让机器人和智能设备更加聪明的判断人的意图，从而提供因人行为而异的个性化智能服务，因此该技术的研究具有重要的科学意义和社会意义。随着近年RGBD三维传感设备的快速发展，人体行为识别技术呈现出了从二维感知到三维感知的发展趋势。但目前，单一三维传感器感知范围的局限性影响了其对人体的精确建模和全面感知，而利用多个三维传感器组成静态传感网络对人体行为进行协同感知的研究还停留在集中式信息处理阶段，具有较高的带宽需求、较低的网络扩展能力和容错能力。另外，静态传感器缺少移动执行能力，无法对移动的人体目标近距离观测和提供个性化服务。针对这两大问题，本课题通过构建由静态三维传感器网络和移动机器人组成的分布式动态三维传感网络，深入研究分布式人体骨架关节点精确估计、分布式多目标数据关联、分布式人体行为意图识别和机器人任务协作，实现对人体行为更全面的感知，以便机器人为人提供更优的智能化服务。

项目负责人在研期间紧密围绕资助项目计划书的研究内容和时间安排开展相关工作，主要研究了人体姿态骨架关节表示及其提取方法、分布式信息一致性滤波、基于分布式RGBD视觉传感网络的人体骨架关节信息多视角融合、人体骨架关节运动估计、分布式行为识别、分布式多人体目标数据关联、机器人协同观测等内容。在研期间，共发表SCI/EI论文17篇，申请或授权国家发明专利13项。提出了基于紧密级联沙漏网络的人体骨架关节提取方法，可以在保证精度前提下，较大幅度降低网络参数。提出了分布式动态混合一致性滤波，比分布式信息一致性加权滤波有更快的收敛率。提出了基于分布式信息一致性滤波和动态混合一致性滤波的多视角人体骨架关节信息融合机制，可显著解决遮挡问题，提高姿态估计精度。提出了基于交互多模型的人体骨架关节跟踪方法，可利用多个运动模型对关节点的随即运动进行估计。提出了融合深度视觉表象特征和空间多视角轨迹的多目标数据关联方法，实验验证比前沿算法有较优的性能。提出了基于深度学习的场景全分辨率深度预测，可用于三维关节点重构。提出了基于动态目标状态估计的机器人智能避障方法，可有效应对人机共存环境中的潜在碰撞危险。提出了基于语义信息动态目标去除的视觉SLAM方法，可改善机器人定位和地图构建精度。以上研究成果对促进人机自然交互和协作，保障该过程中的安全性有重要参考价值和科学意义。