基于教育文本和图像的三维虚拟学习场景生成方法研究

The generation of 3D virtual learning scene is the key issue of applying virtual reality technology in the field of education, which can meet the personalized needs of users. This project takes the input educational text and image which describe the learning scene as the research object, proposes a method of deep semantic analysis and scene structure reasoning for the data in the field of education. It will parse the entities and spatial layouts contained in text and image, and explore the entity mapping relationships among multi-modal data, so as to provide data support for building Spatial Knowledge Graph and designing spatial knowledge inference methods. A formal language description of 3D virtual learning scenes which named LSDF is designed to define the effective transformation and enhanced expression of texts and images from the original space to the 3D space. Based on building 3D library oriented education, an image-based 3D shape retrieval method and a 3D object generation method based on the Generative Adversarial Networks are proposed to realize the matching and generation of models required for constructing a virtual learning scene. The project will propose scene construction and rendering algorithms to establish a 3D virtual learning scene generation system driven by educational text and image data, which will also provide the decision-making basis for the accurate understanding of user intentions at a higher level. It strives to make breakthroughs in core technologies that build virtual learning scenes based on text and image.

三维虚拟学习场景的生成是虚拟现实技术在教育领域应用以及满足用户个性化需求的关键。本项目以学习场景描述文本、图像为研究对象，提出面向教育领域数据的深度语义分析与场景结构推理方法，解析文本和图像中的实体及空间布局，探索多模态数据间的实体映射关系和空间知识图谱构建方法，设计三维虚拟学习场景形式化语言描述，确定文本、图像信息到三维空间的有效转换和增强表达。构建面向教育领域的三维模型库，提出基于图像的三维模型检索方法及基于生成对抗网络的三维模型生成方法，实现虚拟学习场景构建所需模型的匹配与生成；提出三维虚拟学习场景生成与渲染算法，建立由教育文本和图像数据驱动的三维虚拟学习场景生成系统，为实现更高层次的用户意图准确理解提供决策依据。项目力争在基于教育文本和图像的三维虚拟学习场景生成领域取得突破性进展。

三维虚拟学习场景的生成是虚拟现实技术在教育领域应用以及满足用户个性化需求的关键。本项目以学习场景描述文本、图像为研究对象，在面向教育领域图像数据的语义分析与关联方面，设计了基于频度注意力学习的图像超分辨率算法、基于密度峰值的文本聚类算法以及基于子词分割的细粒度图像语义分析算法。在基于教育图像数据的物体识别与场景理解方面，提出了基于时序的实例级校准结构以及一种结合多几何特征的点卷积神经网络，通过解析文本和图像中的实体，进行实体映射和知识图谱的构建以及关系推理。在基于深度学习的模型检索与模型生成方面，设计了基于三元组网络的单图三维模型检索算法、基于条件生成对抗网络进行三维模型生成与重建算法、多视图表示的高分辨率彩色三维模型重建算法等。在三维虚拟学习场景与渲染方面，提出了一种由特征提取和上采样模块组成的网络框架、光场空间域卷积与角度域卷积以及一种低复杂度的光场图像质量评价模型。基于上述研究内容，实现基于文本和图像的三维虚拟学习场景生成原型系统，项目研究成果在虚拟仿真教学实验场景构建、科学可视化软件研发落地等方面获得了具体应用。