增强现实中室外场景光照一致性研究

Augmented reality can overlay the computer-generated virtual objects onto the real scene. Illumination consistency plays an important role in making the whole scene seem to be seamless and achieving high realism of augmented reality system. Due to the geometric complexity and the illumination complexity of the outdoor scene, its illumination estimation is a challenge at present. In order to resolve the illumination estimation when three-dimensional model is unknown, the project studies the video images of the outdoor scene during fog and haze. We firstly analyze the light illumination model of the outdoor scene and construct the accurate model of sunlight, skylight and ground reflected light. Then the effect of fog and haze is introduced into the framework of the illumination estimation and the illumination model in the fog weather is constructed. In the third, we add constraint conditions according to the nature of the fog video image, establish the energy equation, solve illumination parameters, and exclude the impact of factors such as moving objects. A prototype system for the seamless synthesis of virtual and reality is developed finally. The research results of this project will provide a new theory and method for solving the illumination consistency of outdoor scenes, and provide a simple and efficient technique for various fields such as object recognition, video tracking and video segmentation.

增强现实技术将虚拟物体叠加到真实场景的视频图像中，而光照一致性是确保虚拟物体表面光照效果真实感、使虚实物体无缝融合的关键技术。由于室外场景的几何复杂性和光照复杂性，其光照估计是当前未解决的难点和热点问题。本项目以此为切入点，在场景三维模型未知的情况下，围绕雾霾天气情况下室外场景视频图像的光照估计问题进行研究。分析研究室外场景光照估计所采用的模型，构建准确的太阳光、天空光及地面反射光模型；将真实场景中雾霾的影响引入到光照估计的框架中，研究雾霾对视频图像质量的影响，构建雾天的室外场景光照明模型；根据雾天视频图像的本质特性增加约束条件，建立能量方程，求解光照参数，并剔除运动物体等因素的影响；实现一个包含这些关键技术的虚实融合原型系统。本项目的研究成果将为解决室外场景的光照一致性问题提供新思路、新理论和新方法，为光照估计在物体识别、视频跟踪、视频分割等领域的有效应用提供简单实用、稳定有效的新技术。

通过将虚拟物体和真实场景无缝融合，呈现给用户一个感官效果真实的新环境是增强现实技术的一个重要研究内容。光照一致性是确保虚拟物体表面光照效果的真实感、并使虚实物体无缝融合的关键技术。在场景三维几何信息未知的情况下，本项目围绕不同天气条件下室外场景视频图像的光照展开研究，提出新的解决策略，以实现增强现实场景中虚实物体的光照一致性的目标。项目研究工作主要进展体现在以下几个方面。. 1）项目针对不同天气情况下在同一太阳方位拍摄的室外场景图像，提出了一种利用色度一致性的光照参数估计算法。算法基于太阳光与天空光基图像分解理论，利用色度一致性这一约束条件，求解太阳光和天空光光照系数；并利用光照色度校正模型对基图像进行光照色度校正，从而优化得到更准确的光照参数。利用算法得到的基图像和光照系数可以准确重构原图像。. 2）在雾天情况下，雾对光线的散射使得室外场景的光照发生很大变化，太阳光和天空光的参数估计变得更为复杂。基于雾天情况下的大气散射模型，构建室外场景的雾天基图像模型，提出了雾天室外场景图像光照参数估计算法。在已知场景基图像的条件下，利用迭代散射系数方法，优化求解雾浓度与场景深度图像，然后通过对去雾图像进行分解，获得最佳的去雾图像以及正确的光照分解系数。算法能够得到较为精确的雾浓度与场深度图像，可以估计雾天图像场景的正确光照参数，从而实现虚实物体的融合。. 3）利用场景深度图像信息，提出利用时空测地线进行基于深度的视频分割方法以及基于深度图像的虚拟视点生成算法。. 4）以新提出的光照估计理论和算法作为其主要支撑技术，设计实现室外场景光照估计及虚实融合原型系统。.由于室外场景的几何复杂性和光照复杂性，其光照估计是当前尚未解决的难点和热点问题。同时，室外光照估计也是计算机视觉的重要研究内容之一，物体的分割与识别、视频跟踪、阴影检测等算法都不同程度地受到变化光照的影响。因此，在场景三维模型未知的条件下，如何根据室外场景的光照特点，从输入的视频图像估计光照条件对计算机视觉和计算机图形学具有十分重要的意义。