面向虚拟现实内容生成的视频合成技术研究

Comparison with the explosive growth of the virtual reality(VR) devices and the market, the lack of content has become a major factor restricting the development of virtual reality. The content of virtual reality is mainly obtained in the form of image or video, and provides the immersive perception and cognition with synthesized image or video. Therefore, image and video are the main battlefield of the research and application of VR technology. This project starts from the structure and semantics analysis of the video, by use of deep learning tools, focusing on the specific needs of VR applications, including real-time alignment and stitching of multi-view videos, real-time foreground extraction and background substitution of avatar videos, and efficient virtual objects embedding into the videos. The achievements of project can be directly used in the field of remote conference, video live broadcast, sports events and live concerts, video advertisement recommendation and generation. The applicant and his research team composed of about 10 graduated students, have put efforts on the preliminary research of the research content of the project for nearly 2 years , and achieved some initial results to clarify and verify the approaches. We expect to achieve expected innovation outcome in project period, and push it into practical applications.

在当前虚拟现实硬件设备爆发式增长和市场快速普及的情况下，内容匮乏则逐渐成为制约虚拟现实发展的一个主要因素。虚拟现实的内容主要以图像或视频的形式获取，并合成为所需的图像或视频提供沉浸式的感知和认知媒介。因此，图像和视频是虚拟现实技术研究和应用的主战场。本项目从分析视频的结构和语义分析出发，利用深度学习等工具，研究基于结构和语义分析的视频高效合成，针对虚拟现实应用的具体需求，重点聚焦在多角度拍摄的视频合成全景视频的对齐和实时拼接技术、视频前景人物和背景画面的实时分离和新背景替换技术，以及视频中虚拟物体的高效嵌入与融合技术。项目成果可应用于远程会议、视频直播、大型体育赛事和演唱会直播、视频广告推荐与生成等领域，具有较大的实用价值。申请人带领约10人科研团队已对该项目研究内容进行了近2年的技术预研，取得了初步成果，并明确了本项目的技术方案，有望在项目期内实现预期创新成果，并产生实际应用。

虚拟现实内容制作效率和质量是当前制约虚拟现实产业规模化发展的一个关键问题。而虚拟现实内容的两个主要载体形式即是全景视觉数据和三维几何模型。本项目面向虚拟现实内容生成，从视频结构和语义分析出发，围绕全景视频合成、人像分割与背景替换、虚拟物体嵌入等内容编辑合成的重要问题开展研究，同时也针对三维几何场景的快速合成与交互的问题开展了研究；在全景视频合成、人像分割、虚拟对象嵌入的尺寸/位置/类别估计、三维场景自动合成及高效交互合成、VR行走重定向方面取得了一系列创新成果，发表（或录用）论文24篇，其中包括ACM TOG、IEEE TVCG论文和ACM Siggraph、IEEE CVPR、IEEE VR、ISMAR会议论文10篇，申请发明专利11项，相关成果获得国家科技进步二等奖1项。