多源数据驱动的虚拟现实三维场景快速构建

To meet the demands for the customized 3D modeling in important industry areas, including military and national defense, public security, design and manufacturing, culture and entertainment, and e-commerce, we propose a novel framework of fast data-driven 3D modeling for Virtual Reality from multi-sources. Within the framework, we focus on non-cooperative scenes, and conduct theoretical research on the multi-source data aggregation and content analysis in non-cooperation scenes, the fast data driven 3D modeling of non-cooperation scenes, and other related areas. Our theoretical innovation and achievements will be reflected in but not limited to the following areas: 1) multi-source data aggregation and content analysis in non-cooperation scenes; 2) semantics parsing of image and video for 3D modeling; 3) analysis of scenario material properties for 3D mapping; 4) fast 3D modeling of non-cooperative scenes based on multi-source data registration; 5) automatic 3D model analysis of non-cooperative scenes for intelligent combination; 6) data and semantics driven intelligent 3D modeling of non-cooperative scenes. This research would preliminarily establish a theoretical system of fast 3D modeling of non-cooperative scenes for Virtual Reality, with the feature in “data driven” and “intelligent modeling”. Besides, this research would develop the software and system prototype for the fast 3D modeling of non-cooperative scenes for Virtual Reality from multi-source data, and demonstrate some representative applications for national security, film and TV production, e-commerce and other industry areas. We expect the research achievement effectively meets the industrial demands and supports the business of our cooperators.

针对军事国防、公共安全、设计制造、文化娱乐、电子商务等重要行业领域对三维内容定制化构建的需求，立足国际前沿研究热点，围绕多源数据驱动的虚拟现实三维场景快速构建，以非合作场景为主要研究对象，重点开展非合作场景多源数据聚合与内容解析、数据驱动的非合作场景快速三维构建等基础理论研究，力争取得非合作场景的多源数据配准与聚合、支持三维构建的图像视频语义解析、支持三维映射的场景材质属性解析、基于多源数据配准的非合作场景快速三维重建、支持智能组合的非合作场景三维模型自动解析、数据及其语义驱动的非合作场景智能三维构建等方面的理论方法创新，初步形成面向非合作场景、具有“数据驱动、智能构建”特色的虚拟现实快速三维构建理论系统。在此基础上，研制多源数据驱动的虚拟现实三维场景快速构建软件工具及系统原型，开展面向国家安全、影视制作和电子商务等行业领域的典型应用示范，有效支撑需求单位相关业务。

虚拟现实三维场景在精确制导、数字孪生等国家安全和民用领域具有重要应用价值。本项目以非合作场景为主要研究对象，针对多源数据驱动的虚拟现实三维场景快速构建，在多源数据构建与分析、虚拟现实三维场景生成、原型系统研制与应用示范等方面取得进展。主要成果如下：(1) 构建了图像/视频、热红外、街景/航拍等大规模多源数据集；提出了基于模态检测和特征匹配的多源数据配准方法，平均配准误差小于3.5像素；提出了基于稀疏表示、模糊聚类、深度神经网络等的红外目标分割系列算法，在城市及荒野场景下典型目标的分割准确度达到95%；提出了三维CAD模型的零件级聚合解析与运动估计方法，准确率优于国际近似方法；提出了图像/视频/红外的语义/结构/材质解析方法，奠定了三维场景构建的数据基础。(2) 提出了基于航拍遥感图像的大场景半自动三维重建方法，并通过无人机评估有效提高大场景构建的效率和质量，大场景样例级自动三维重建达到准实时；提出了拓扑结构变化条件下动态对象的三维重建方法并首次实现复杂背景下动态物体的实时分割与三维重建；提出了基于深度学习的三维对象关联和三维场景联合嵌入的组合式生成方法，实现了从大场景到运动对象和难重建精细对象的全尺度高效重建。(3) 在以上工作的基础上，开发了基于地形数据的城市级三维场景参数化自动生成软件、三维场景重建及红外模型仿真软件，生成的红外三维场景与真实场景对比，真实度高于80%，可有效完成大范围复杂场景下的物理材质构建与分析；开展了无人飞行系统目标三维瞄准模板构建与保障、地面机场系统三维场景构建、典型建筑精细构建等应用示范，验证了项目关键技术的有效性。圆满完成项目研究计划和既定目标。发表高水平学术论文58篇，授权与受理发明专利22项，培养博硕士研究生42人，晋升高级职称1人。