基于视觉场计算理论的复杂场景重建研究

本项研究针对当前计算机视觉、图形学和图像信号处理等学科领域的融合，提出"视觉场计算"概念，研究复杂场景（多对象、动态）在高维稀疏采样下的场景重建问题。通过压缩感知理论的引入，探索时间-空间-光照三维度所构成的视觉场在各子空间的图像匹配与融合特性，进而构建并完善"视觉场计算"的理论与框架，以提高场景重建的精度和鲁棒性。具体研究内容包括：针对视角维度的全局信息冗余和局部信息缺失特性，研究基于低秩矩阵及稀疏表示理论的多视图点云融合方法，提高三维重建的精度与鲁棒性；针对动态对象在时变光照下的信息欠定采样难题，研究光照-时间维度的变光照下的光流匹配技术；针对多运动对象场景所面临的时变多区域遮挡挑战，研究时间-视角维度的多对象三维表面运动跟踪方法；综合各低维子空间重建技术，设计面向复杂场景的高精度鲁棒视觉场重建方法。最后，项目将搭建视觉场计算资源主页，发布采集得到的视觉场数据，促进该领域研究的发展。

为研究复杂（多对象、动态）场景在高维稀疏采样下的重建问题，提高重建的精度和鲁棒性，本项目引入压缩感知理论，探索时间-视角-光照三维度所构成的视觉场在各子空间的图像匹配与融合问题，提出、构建并完善了“视觉场”的理论与框架。本课题在如下研究方向做出了贡献：.1. 提出涵盖并服务于场景采集与重建的视觉场（时间-视角-光照所构成的三维度图像空间）及视觉场计算（三维度图像空间内的匹配和融合）概念，建立了视觉、图形学及信号处理领域的统一理论框架，从中可理解包括光流、立体匹配、三维重建、光度立体等研究方向之间的联系。.2. 在视角维度，提出了一种基于多视角点云间的稀疏冗余特性进行点云融合的算法，在提高场景表水效率的同时提高了重建的精度。.3. 在视角-时间维度，提出了基于多台手持深度摄像机的无标记运动捕捉与三维重建方法，解决了真实场景、非固定相机情况下的无标记运动捕捉与表面重建问题。.4. 在视角-时间维度，提出了多对象复杂场景的无标记运动捕捉与三维重建方法，提高了运动估计及三维重建精确性，填补了国际上多动态对象的运动捕捉的空白。.5. 在视角-光照维度，提出了针对朗伯表面的和针对非朗伯表面的多视图多光照的三维重建方法，得到高质量静态三维模型。主要创新点在于，在朗伯表面情况下，不需要对光照环境作任何强制限制；在非朗伯表面下，提出了一种对非漫反射成份更有效估计的最优化方法。.6. 在时间-视角-光照维度，通过利用多视角多时刻光度特性，对其几何及反射特性信息进行高精度重建，实现了自由运动对象的真实感三维光照映射，突破了传统方法中必须在可控的变化光照下采集及采集周期性运动的限制。.本课题发表包括ACM Trans. Graphics、IEEE Trans. PAMI、IEEE Trans. VCG、IEEE Trans. SMC-B、 IEEE Journal STSP、Pattern Recognition等领域重要SCI期刊8篇，其中发表在TPAMI 2013的文章被评为TPAMI当期亮点文章；发表国际会议论文5篇，包括SIGGRAPH、CVPR、ECCV等领域顶级会议论文；获得国家发明专利授权8项，并获国家技术发明一等奖（排名第3）。