基于单张低精度深度图的实时精确三维曲面重建

Projector Augmenting Reality System has now been widely used, but some important applications still need to use expensive electronic sensors. Such method of using electronic sensors has many weaknesses, and it cannot solve the problem of projecting image to the deforming object surface. The key to solve these two problems is reconstructing the object surface real-time and accurately. Surface reconstruction is one of the basic research topics of computer graphics, however, there is currently no method to real-time accurately reconstruct a three dimensional surface. This research is intended to provide a real-time accurate surface reconstruction algorithm based on single depth camera and several color cameras, and prepares researching three areas: Firstly, research the probability distribution of noise in depth data, and denoise the data by exploiting the redundancy information; Secondly, accelerate searching matching pixel and improve the accuracy of MVS algorithm by taking advantage of the coarse noisy depth values, and then eliminate the noise in the depth map and improve the precision of depth values; Thirdly, research low resolution depth map up-sampling algorithm; Lastly, research fast triangularization algorithm on point cloud.

投影增强现实系统目前已经得到了广泛的应用，但是一些重要的应用仍然需要使用昂贵的电子传感器。使用电子传感器的方法存在诸多缺陷，并且无法解决物体自身发生形变时的投影问题。解决这些问题的关键是实时、精确地重建物体表面形状。虽然曲面重建是计算机图形学的基础研究内容之一，但是目前没有方法能够实时精确地重建三维曲面。本项研究拟开发一个基于单个深度相机和几个彩色相机的实时精确的曲面重建算法来解决该问题，并预备开展三方面的研究：首先，研究深度数据的噪声概率分布，利用数据的冗余信息消除部分噪声；其次，研究利用粗糙的深度值提高MVS配对像素查找速度、提升配对的准确性，再结合MVS的结果去除深度图中的噪声、提高深度值的精度； 再次，研究低分辨率的深度图上采样到高分辨率；最后，研究点云的高速三角化问题。

曲面重建问题是计算机图形学的基础研究之一，在图形学的诸多研究和应用领域都需要实时重建高精度的曲面模型。虽然已经存在大量的获得真实物体的曲面模型的方法，但是做到实时、精确地三维重建仍然存在很大挑战，现有的方法只解决了部分问题。本项目使用廉价且易于获得的Kinect深度相机来解决这个问题。本项目首先研究了Kinect深度相机的各个特性。对Kinect深度相机的深度图的量化误差和随机误差进行的定量研究发现，Kinect深度相机的量化误差和随机误差都可以认为是一个关于深度的二次函数。当深度超出一定范围后，Kinect解析出的深度是非常不可靠的。利用这些特性，获得了准确的深度图后，可以利用深度图的简单明确的拓扑连接关系，非常直接地对其进行网格化，从而得网格模型。研究发现，三角面片的面法相蕴含了丰富的几何信息。为了更好地利用这个特点，本项目提出了基于SNN相似度度量的密度聚类算法的去噪算法，实验表明该算法很好地保持了模型的锋利边界和其它浅显的特征。本项研究提出了低分辨率深度相机和高分辨率彩色相机的自动化标定算法，提高了配准的准确性，避免了大量机械式的人工交互。该项研究成果已经得到了工业应用。为了从低分辨深度图获得关于场景的更高的分辨率深度图，本项目额外使用了高分辨率彩色相机。将配准后的深度图投影到彩色图上后，仅仅利用这些深度值，本项目研究设计一组表达能力丰富的过完备基来表达场景的深度图来重建得到了整个场景的深度深度图。最后，本项目研究结合使用彩图纹理和稀疏的深度值，对场景彩色图片进行分片，重建得到了质量更好的深度图。