基于深度学习的动态场景三维重建方法

The project aims at the structure and motion recovery of dynamic environments from uncalibrated image sequences. Three unsolved problems will be studied in this project. The first one is a framework of 3D reconstruction of dynamic scenes; the second is a reliable motion detection strategy based on deep belief networks; and the third is a robust 3D reconstruction algorithm. The main contributions are as follows. (i) The structure and motion of dynamic environments are recovered in trajectory space via matrix factorization; (ii) the deep belief networks are first introduced to classify the motion modes of the dynamic scenes; and (iii) a robust 3D reconstruction algorithm of dynamic scenes is proposed to handle outliers, large measurement errors, and missing data problems. The results of this project will fill a void in structure from motion of dynamic environments and provide a theoretical and practical guidance of other related problems.

本项目主要探索研究由未标定的动态场景图像序列恢复场景的动态三维结构及摄像机运动信息。重点研究三个尚未解决的难点问题：一是动态场景三维重建的算法框架；二是基于深信度网络对场景中的不同运动模态的可靠分类；三是动态场景的鲁棒性重建算法。主要创新性在于：(1) 在场景的三维轨迹空间构建动态场景的运动和结构恢复算法；(2) 首次引入深信度网络结构对场景中的不同运动模态进行可靠的分类；(3) 提出针对动态场景的鲁棒性重建算法来解决错误跟踪数据、大测量误差、以及数据丢失问题。本项目的研究成果可望填补针对动态场景三维重建的这些空白，并为动态场景的三维重建及其他相关研究提供理论和方法的指导。

根据项目计划书内容，重点研究了非刚体运动的三维重建、运动特征的可靠跟踪以及基于单幅图像的场景深度学习等三方面内容。取得的主要成果包括：（1）：一种增广矩阵表示的运动和结构分解方法；（2）：一种有效的在基础矩阵估计中的外点剔除方法；（3）：一种基于相关滤波器学习的视觉跟踪算法；（4）：一种基于子空间学习的视觉跟踪算法；（5）：一种焦距编码下的从单幅图像学习场景深度的方法。共在IJCV, IEEE TIP，IEEE T-Cybernetics 等刊物发表相关论文8篇， ECCV 等会议发表相关论文3篇。培养博士生2人，硕士生1人。