高稀疏表征在三维重建中的应用研究

3D reconstruction is an important topic in computer graphics and computer vision. With the popularization of consumer depth cameras, 3D reconstruction of static and dynamic scenes has drawn much attention from academia and industry. However, limited by the low-cost strategy of the consumer depth cameras, the point cloud and image data captured by the consumer depth cameras often contain much noises and outliers, which hinders the quality and efficiency of 3D reconstruction. High sparsity representation is one of most effective way in noises removing and feature preserving in image and geometry processing. Benefiting from the good characteristics of L0 norm, high sparsity representation can improve the quality of consumer depth cameras based 3D reconstruction in three aspects: 1) high sparsity representation based real time point cloud denosing can remove noises and outliers effectively; 2) high sparsity representation based point cloud registration can reduce the effects of noisy pairs and incorrect matching, and thus minimize the cumulative errors in the reconstruction; 3) high sparsity representation based texture reconstruction can reduce the effects of surface highlights and image noises, and thus obtain high quality texture of the scenes. To the best of our knowledge, this project is first one to apply high sparsity representation in 3D reconstruction. Therefore, this project has important significance in both practice and research.

三维重建是计算机图形学和视觉中的重要研究课题。随着消费级深度相机的普及，场景的静态和动态三维重建得到科研单位和工业界的广泛关注。然而受制于消费级深度相机的低成本战略，消费级深度相机采集的点云和图像数据包含大量的噪声和异常，对三维重建的质量和效率有着较大影响。高稀疏表征是近年来，在图像处理和几何处理中最为有效的去噪声和保特征技术之一。得益于零范数的良好特性，高稀疏表征能改善基于消费级深度相机的三维重建质量，具体表现在三方面：1）基于高稀疏表征的实时点云去噪，可以有效去除点云中的噪声和异常；2）基于高稀疏表征的实时点云配准，可以有效剔除噪声点对和错误匹配影响，减缓重建过程中的错误累计；3）基于高稀疏表征的纹理重建，可以减少表面高光和图像噪声的影响，得到高质量的纹理。据我们所知，本项目是国内外第一个将高稀疏表征理论应用到三维重建中的课题。因此，从实用价值和研究价值两方面，本项目都有重要的意义。

针对消费级深度相机采集的点云、图像数据包含大量噪声和异常的问题，项目围绕着高稀疏表征理论在三维重建中的应用开展研究，并结合深度神经网络等最新理论和方法，研究任务包括噪声点云数据预处理方法、高质量纹理合成方法和三维人脸重建原型系统等，旨在提高基于消费级深度相机的三维重建质量和效率。在项目执行期内，各项研究任务均顺利完成。1）在噪声点云处理任务中，研究基于零范数优化的点云去噪方法、基于动态稀疏正则化的网格去噪方法等。该系列方法利用零范数的强去噪和强保特征的特性，并根据点云分布的规律在GPU上做了算法加速，实验表明比当时的SOTA能更好地、更快地去除点云噪声。2）在高质量纹理合成合成任务中，研究了人脸颜色纹理和几何细节协同补全方法、基于局部变形场的人脸纹理风格化方法。该系列方法在生成对抗网络框架下，利用了一范数损失函数和稀疏局部变形场等，可得到高完整度或个性化的纹理贴图。定量实验和用户调研均表明提出的方法在图像质量和多样性等方面优于当时的SOTA。3）在三维人脸重建原型系统研发任务中，研发了单视图精细化三维人头（含人脸和头发）重建系统、和多视图高保真三维人脸重建系统，实现了人脸和头发三维模型的智能生成，并在本领域的国际竞赛中取得了最好名次。基于以上研究工作，项目负责人以第一作者或通讯作者发表多篇学术论文，包括JCR1区论文1篇、JCR2区论文1篇、CCF-B类论文1篇、CCF-A类中文论文1篇。带领团队研发的三维人脸重建原型系统，获得ICCV2019 3D Face Alignment in the Wild Challenge: Dense Reconstruction From Video比赛冠军（排名第一），并纳入华为创新研发计划，为鸿蒙平台上的多媒体软件研发提供技术支持。综上，本项目产生的研究成果具备较好的学术价值和应用前景。