移动增强现实中基于视觉—惯性传感器的混合跟踪方法研究

With fast development and deployment of smartphones, mobile augmented reality (MAR) on smartphones has attracted increasing interests from academia and industry. Pose tracking is one of the most critical tasks in an MAR system. However, conventional methods which rely on only visual features or inertial sensors are either too computationally expensive on smartphones, or not sufficiently accurate and robust for a satisfactory user experience. This proposal focuses on developing a novel hybrid tracking system and address key challenges in the system, including: lightweight online feature selection for robust feature tracking, multimodel sensor data fusion for inertial tracking, adaptive Kalman filtering with abrupt error verification for vision-inertial hybrid tracking. The research conducted in this proposal will provide robust and efficient pose tracking techniques which can run efficiently on mobile phones. Meanwhile, it will significantly speedup the development of MAR theories and facilitate wide deployment of MAR apps.

随着智能手机的飞速发展和普及，移动增强现实应用受到学术界和工业界的广泛关注。姿态跟踪作为移动增强现实中的核心技术成为了迫切需要。然而，传统的移动增强现实跟踪技术通常基于单一的视觉方法或者传感器方法，很难同时满足跟踪精度、鲁棒性和实时性的需求。本课题致力于研究新的融合视觉与惯性传感器的混合跟踪模型以实现智能手机上精确、鲁棒、实时的跟踪。围绕混合跟踪模型中三个具体难点开展深入研究，具体包括： 轻量级在线的特征选择算法；多源传感器融合跟踪方法；基于视觉-传感器数据融合跟踪方法及自适应突变误差校验。本课题将有力推动移动增强现实的理论和应用的发展，为提供一种移动环境下全新的人机交互方式提供核心算法与技术。

背景：随着智能手机的飞速发展和普及，移动增强现实应用受到学术界和工业界的广泛关注。姿态跟踪及稠密3D建图作为移动增强现实中的核心技术成为了迫切需要。然而，传统的移动增强现实跟踪技术通常基于单一的视觉方法或者传感器方法，很难同时满足跟踪精度、鲁棒性和实时性的需求。同时，传统的视觉SLAM技术很难实现稠密的建图，无法支持虚拟和真实目标间的交互。..研究内容：本课题致力于研究新的融合视觉与惯性传感器的混合跟踪模型以实现智能手机上精确、鲁棒、实时的跟踪以及稠密的3D建图。重点研究基于单目视觉—惯性传感器数据融合跟踪方法，和结合稀疏/半稠密地图与深度卷积神经网络的单目稠密建图方法。本课题以医学影像增强现实和无人机增强现实应用为驱动，对提出的研究方法进行验证。..重要结果和重要数据：1）针对单目视觉—惯性传感器融合跟踪，本项目提出利用惯性传感器粗略估计相机运动，并基于此对图像进行自动尺寸缩放以大大减低视觉计算的复杂度。针对视觉帧间跟踪方法的累计误差通过基于模型的特征跟踪方法进行定期矫正。最终基于视觉和基于惯导的相机位姿估计结果利用改进的卡尔曼滤波方式进行有效融合。本项目中提出的方法在公共数据集上实现12.4%-31.8%的精度提升以及5.9倍的速度提升。2）针对单目稠密建图，本项目通过将视觉SLAM预估的半稠密地图与深度学习方法预测的深度信息利用CNN网络进行有效融合，在公共数据集上实现明显优于同类方法的建图性能和相似的计算效率。此外，本项目提出结合视觉SLAM估计的位姿对样本进行在线选择，并设计逐层参数更新算法利用在线选择的样本对CNN深度估计模型进行在线更新，从而优化单目稠密建图的精度。所提出的方法结合到基于单目相机的无人机自主避障应用中，与传统单目深度估计和建图方法相比能实现更加稳定的避障性能（平均飞行时间及飞行距离较同类方法提升接近三倍）。..科学意义：本课题的研究结果对增强现实中相机位姿跟踪和稠密建图性能有明显提升，有效推进了为增强现实理论和应用的发展，为提供一种移动环境下全新的人机交互方式提供核心算法与技术。