光照一致的立体视频编辑与合成技术研究

Stereoscopic video editing and synthesis is an important research topic in the field of stereoscopic display technology. Its technical challenges are mainly from illumination variability, geometric complexity and materials diversity. In order to improve illumination reality and user experience, this project focuses on illumination-consistent editing and synthesis of stereoscopic video. The research content of this project includes: (1) Taking into account the influence of different environment illumination of the scene, we propose a stereoscopic video editing and synthesis method based on stereoscopic intrinsic image decomposition and illumination fusion to improve realistic of illumination of the results. (2) Taking into consideration the influence of different geometric shapes in the scenarios, we study a stereoscopic video editing and synthesis method based on consistency of geometry and illumination to avoid geometry and illumination inconsistency in the outputs. (3) Considering that surface materials may affect illumination, we put forward a stereoscopic video editing and synthesis method based on material and illumination consistency. This project is of theoretical significance and bright prospect in many fields including military simulation, entertainment, tele-medicine and so on, and will promote application of stereoscopic display technology.

立体视频的编辑与合成是立体显示技术领域的重要课题，其当前的主要技术挑战来自于立体视频编辑与合成的光照多变性、几何复杂性和材质多样性。因此，本项目重点研究光照一致的立体视频编辑与合成技术，从而提高立体视频结果的光照真实感和用户沉浸感。项目研究内容包括：（1）针对场景中不同环境光照的影响，研究基于立体本征图像分解与光照融合的立体视频编辑与合成方法，提高处理结果的光照真实感；（2）针对场景中几何形状对光照的影响，研究基于几何与光照一致性的立体视频编辑和合成方法，消除处理结果中光照与几何的不一致；（3）针对场景中表面材质对光照的影响，研究基于材质与光照一致性的立体视频编辑和合成方法，实现处理结果中材质与光照的协调性。本项目研究在军事模拟、影视娱乐、远程医疗等领域具有重要的理论意义与应用前景，同时将促进立体显示技术的推广和应用。

立体视频的编辑与合成是视频图像处理领域的重要课题，该课题的主要技术难点来自于视频场景中的光照多变性，物体本身的几何复杂性和材质多样性。因此，本项目重点研究光照一致的立体视频编辑与合成技术，从而提高立体视频结果的光照真实感和用户沉浸感。在四年的项目实施期间，课题组围绕光照一致的立体视频编辑与合成技术展开了详细的研究。针对场景中不同的环境、物体几何形状和表面材质对光照的影响，提出了基于立体本征图像分解与光照融合的立体视频编辑与合成方法，消除了处理结果中光照与几何的不一致性，实现了处理结果中材质与光照的协调性，提高了结果的光照真实性。共发表和录用学术论文13篇（SCI收录6篇）；申请7项国家发明专利，其中授权3项；培养硕士生9名。项目主要研究内容与成果包括：（1）在视频光照估计方面，提出了基于宽度学习的多分类几何分解光照估计方法。（2）在视频分割方面，分别提出了基于八方向敏感滤波的视频分割方法和基于中心一致性敏感直方图的图像联合分割算法。（3）在视频优化方面，提出了一种基于多帧的视频去闪烁方法和一种基于时间连续性的视频去闪烁方法.(4)在视频风格化方面：分别提出了一种基于简化非局部密集连接的图像去雾网络和一种基于结构优化的并行铅笔风格化绘制方法。（5）在视频图像分类方面，提出了一种基于空间和多通道融合自注意力网络的视频场景分类方法。（6）在视频显著性检测方面，提出了一种基于分布式系统的视频显著性检测技术。（7）在应用研究方面，提出了一种基于图形注意残差网络的人体姿态估计方法和一种彩色图像客观质量评价方法。