基于时空信息约束的多视觉多序列动态目标三维重建研究

多视觉多序列动态目标三维重建由于其广泛应用前景受到很多研究机构关注，已成为研究热点。在多视觉多序列动态目标重建中存在如下问题：1）多数方法不易得到外形细节和颜色纹理，影响了重建目标自然连续和逼真度；2）由于自遮挡等原因造成重建模型存在空洞，限制了模型的逼真性和可用性。 本课题拟利用多视觉目标序列图像提供的时空信息冗余和约束关系解决上述问题。提出在多视觉静态目标重建中，用目标图像的轮廓边约束进行匹配重建，保证目标的稠密云点，且同时包含目标颜色纹理信息；提出利用颜色定位和水平集优化策略重建平滑细致的高逼真模型，改善基于凸壳方法重建模型不精细问题；在多视觉多序列动态刚性目标重建中，提出通过二维运动估计目标三维运动，利用不同时刻目标的静态重建模型的时空信息冗余和约束关系重建刚性目标；在多视觉多序列动态非刚性目标重建空洞填充中，提出利用时空信息冗余和约束，结合三维运动参数的水平集进化空洞填充方法。

多视觉多序列动态目标三维重建由于其广泛应用前景受到很多研究机构关注，已成为研究热点。.在研究平台方面，课题组搭建了多摄像机同步视频采集系统，设计了多摄像机标定软件系统。在该实验环境下，进行了大量的实验，对课题的相关理论和方法进行了实验和验证，设计了多视图下的多种三维重建算法和软件，形成了面向多视觉环境下相关理论研究的科研平台。.在理论方面，课题组分别对静态目标重建、动态刚性目标和非刚性目标重建进行了研究。主要成果包括为：1）在静态重建方面，主要在提高目标重建精度和质量方面开展工作，提出了联合多种约束条件的体元重建方法、基于多重颜色相关性约束的目标三维外形等体素重建方法，提高了真实目标外形重建的精度；提出了基于体素类别属性、基于邻域体素颜色信息、基于改进的变分水平集的空洞填充方法等方法，提高了三维目标外形的平滑细致程度。2）在动态刚性目标重建方面，本课题重点在三维运动估计方面开展研究工作，提出了基于颜色一致性约束的刚性目标三维运动估计方法、提出了基于多视二维距离约束的刚性目标三维运动估计等方法，解决了多视环境下三维运动物体表面空间时间相关性问题。3）在动态非刚性重建方面，重点在利用时空相关性和水平集方法协同添补和填补空洞以及基于模型的三维动态目标重建方面进行了研究，提出了基于场景流运动估计的体素融合方法、基于变分水平集方法、基于预定义模型和体素模型拟合等动态非刚性目标三维外形重建方法，这些方法在动态非刚性目标三维外形重建的同时，较好地解决了深度不连续问题，得到更加完整的三维模型。.课题执行期间，共发表和录用相关论文18篇，其中EI检索11篇；申请并获得国家发明专利1项，软件著作权1项；培养博士研究生1名（已毕业），硕士研究生8名（毕业6名）。通过这一阶段的工作，完成了课题规定的研究内容，达到了预期目标。.课题结题阶段，课题组对研究中的问题和困难进行了总结，提出了下一步的研究重点：1）在理论方面，进一步深入研究非封闭曲面拟合填充问题，拟在利用多水平集方法来重构目标外形方面开展研究。2）TOF相机逐渐广泛使用，课题组也将在多视觉环境下如何合理融合使用TOF相机数据，如何提高三维重建效率和效果方面开展相关研究。