虚实混合环境中可视外壳实时建模与优化方法研究

真实对象的信息采集与三维重建是虚实混合环境构建中的关键问题，可视外壳方法相对于其他基于图像的建模方法而言，具有高效、灵活、稳定性好的特点。本研究针对可视外壳建模的效率改进与精度优化问题展开，提出了一种基于CUDA（图形硬件统一计算架构）的可视外壳重建算法，对算法每个步骤从指令级进行并行加速；提出保持拓扑一致性和边计算简化的准确MC（marching cubes，行进立方体）算法，提高体素模型的网格化效率；通过计算多层深度图同时利用颜色一致性约束来优化网格表面细节；提出了基于像素着色器的网格模型真实感纹理映射方法；从而实现具有较高精度的实时三维建模。本研究具有实时性（摄像机采集帧速的1倍实时）、准确性（凹面建模与残影体去除）、通用性（支持静态/动态/可变形物体，支持物体自遮挡）和可扩展性（多个物体，多个摄像机），可对真实物体进行实时三维重建，并可用于虚实交互、远程沉浸等多个领域。

本项目旨在研究虚实混合环境中可视外壳实时建模与优化方法，以提高目前三维重建的效率与精度，构建更加具有沉浸感、交互性和想象力的虚实混合环境。. 相对于其他基于图像的建模方法而言，可视外壳方法具有高效、灵活、稳定性好的特点，本项目针对可视外壳建模的效率改进与精度优化问题进行了深入的研究，提出了一种基于CUDA（图形硬件统一计算架构）的可视外壳重建算法，将体素相交判断和等值面抽取过程并行分解，利用CUDA的内核多线程机制加速建模；对获得的可视外壳体素模型，利用行进立方体算法（marching cubes，MC）进行网格化，提出了一种保持拓扑一致性和边计算简化的准确MC算法，减少内部体素参与运算的次数，提高了网格化效率；对得到的网格模型，通过计算多层深度图和颜色一致性约束来优化网格表面细节。. 研究了体素着色（voxel coloring）、空间雕刻（space carving）算法及立体匹配（stereo correspondence）算法，提取深度图，同时利用颜色一致性与可视外壳建模结果相比对，优化凹面细节处的建模效果。实现了基于Z-buffer的遮挡判断方法，利用pixel shader实现了最优图像平面的逐像素纹理映射，提高了重建模型的精度。针对深度图的提取，提出了一种基于MeanShift和视差估计的快速自适应窗口匹配算法，通过MeanShift算法对参考图像和目标图像进行彩色空间处理和颜色聚合，获得低动态范围的待匹配图像；再对两幅图像做视差估计，得到单一纹理区域的视差；最后通过相似度计算和匹配代价聚合完成自适应窗口快速匹配。实验表明，该方法效率高、匹配性能好，能够提取出准确的深度图。在此基础上，研发了该算法的GPU并行加速版本，实现了实时匹配建模，并详细分析了不同参数对于加速效果的影响。. 集成以上算法，利用多摄像机建立了虚实混合环境采集、建模与交互原型系统，并用于手功能康复训练中，达到了摄像机采集帧速的一倍实时，能够对静态、动态、可变形的单个或多个物体进行实时准确的三维重建，支持多种虚实交互应用。