基于体素划分模型的多视图深度信息融合三维重建研究

3D printing technology has been wildly utilized in fields of industrial, aeronautics and astronautics, and biomedical engineering etc., the rapid production of 3D model is one of key technology to realize the automatic 3D printing. The computer vision technology can solve the problem of rapid reconstruction of 3D model, however, there are still some problems and limitations in the object occlusion, textureless and visible regions modelling. This project proposes multi-view stereo technology using cooperative optimization and depth information fusion method to reconstruction 3D model, which includes multi-camera layout and modelling, multi-view stereo matching, multi-view point fusion, and texture map. The cameras is calibrated by the group of multi-camera method, then the model of the multi-camera visible regions based on the ray tracing technique is built to analyze and investigate the common views. The global cooperative optimization method is proposed to handle multi-view stereo matching problem, which can solve occlusion of objects. Next, the 3D model of multi-view will be reconstructed by a model fusion method based on voxel dividing which can be effectively handle the texture missing area, merging the depth information of the image into a complete 3D model. This project is not only to solve the problems which exist in the current three-dimensional reconstruction, but also provides a method to recover interesting a scene or object by ordinary people who does not require specialized skills, therefore, it has very strong practicability and frontier.

3D打印技术在工业、航空航天、生物医学等多个领域已被广泛应用，三维模型的快速生成是实现自动化打印的关键技术之一。计算机视觉技术能够解决3D模型快速重建问题，但在处理物体遮挡、重复纹理及可视区域建模等仍存在一些问题和局限性。本项目采用多视图协同优化及深度信息融合技术来重建3D模型，主要研究内容有多摄像机布局与建模、多视图立体匹配、多视点融合优化及多视图纹理映射。利用基于分组的多摄像机标定方法进行标定并根据光线跟踪技术建立多摄像机可视区域模型，分析及探讨物体之间共同区域问题；基于多视图协同优化匹配算法解决多视图匹配问题，处理物体间遮挡关系；基于体素划分模型融合方法将多视图深度信息融合为完整的三维模型，该方法能有效处理纹理缺失区域。本项目不仅仅是为了解决当前三维重建所存在的问题，而且也提供一种能让普通人对感兴趣场景或物体并不需要专门特殊技能就能复制实物的方法，因而具备很强的实用性和前沿性。

3D打印技术是当前热门研究课题，其研究成果已被多个领域所应用，如工业、航空航天、生物医学等。3D建模是3D打印的根本，没有3D数据模型，在高端的3D打印机也“难为无米之炊”。而当前大部分3D打印的模型通过CAD系统（如Solidworks，Catia，UG等）设计获得。因此，需要设计者熟练掌握CAD软件系统技术才能设计出满足需求的3D模型。而本项目是直接利用计算机视觉技术来快速重建3D模型，然后再打印出实体模型。提供一种能让普通人对感兴趣场景或物体并不需要专门特殊技能就能复制实物的方法。主要利用了基于分组的多摄像机标定方法进行标定，通过粒子群算法优化获得更精确的摄像机参数。同时，根据光线跟踪技术建立多摄像机可视区域模型，分析及探讨物体之间共同区域问题，解决了3D物体放置范围；运用了基于多视图协同优化匹配算法解决多视图匹配问题，处理物体间遮挡关系；提出了基于体素划分模型融合方法将多视图深度信息融合为完整的三维模型，该方法能有效处理纹理缺失区域。该项目的设计实施研发，主要由本人负责项目的设计、具体执行和论文的撰写。项目执行期间，取得多项创新性成果，在学术刊物上发表了相关工作12篇学术论文，其中SCI收录3篇，另外2篇SCI正在审稿中，申请2项中国发明专利，并且1项中国发明专利已授权。同时，获得与课题有关的2项纵向和5项横向项目，项目经费达200余万。并在这期间指导学生科创项目授权实用新型专利6项。这些研究成果的取得，为通过二维图像到三维模型的建立的研究思路提供了一种新方法并提供了一定的理论依据。因而具备很强的实用性和前沿性。