室外场景的实时光照估计研究

实时估计在线视频的光照环境是实现虚实融合光照一致性的关键，在景观评价、军事演习、游戏娱乐等领域有广泛的应用前景。现有的光照估计工作大多集中在室内场景。由于室外光照极易受时间和天气影响，室外场景的实时光照估计更为重要。已有的少量室外光照估计工作均局限于固定视点下的视频，并在估计的实时性、自动性、鲁棒性上遇到挑战，远不能满足应用需求。针对这些问题，本项目提出一套基于在线视频的室外光照实时估计方法。对固定视点的视频，重点研究单幅图像的光照图像分解及估计的自动初始化，避免大规模的场景预采样与数据存储；提出移动视点下在线视频的实时光照估计这一新问题，并重点研究：探索将光照作为约束条件优化选取可靠特征点，解决误匹配问题；突破特征点光照属性未知的限制，实现光照参数的高效求解；挖掘和利用光照时空一致性，并结合日光谱特点，解决光照估计的稳定性问题。在此基础上，开发实现光照一致性的原型系统，验证所提出的方法。

本项目围绕室外场景的实时光照估计中的关键问题展开研究。按照研究计划，我们首先对固定视点下的高效光照估计展开了深入的研究，提出了一系列不同条件和应用下的高效估计方法，包括：基于偏最小二乘室外场景实时光照估计方法、避免离线大规模预采样过程以及数据存储问题的光照估计方法、基于局部场景重建的在线室外视频光照估计方法、基于稀疏采样的室外场景重光照方法、基于单幅室外图像的虚实融合光照模拟方法等。随后，我们对移动视点下在线视频的实时光照估计进行了探索研究，首次提出了移动视点下的在线实时光照环境重建问题，并提出了一种新颖的在线室外光照环境重建方法，对解决制约虚实融合视觉真实感的关键问题具有重要意义。此外，由于在进行光照估计时经常需要对像素是否处于阴影的情况进行判断，因此我们对基于图像的阴影检测与去除等方面进行了一些探索研究，提出了一种结合边缘分析与全局约束的软影检测方法;根据室外光照特点，提出了一种室外图像的阴影检测与去除方法。上述研究为虚实融合的光照一致性和最终的无缝融合提供了理论与技术支持。同时，本项目的对室外光照的实时估计对图像视频处理和计算机视觉中的一些基础算法如物体识别、视频跟踪提供重要基础。在成果方面，本项目的研究取得了具有国际先进水平的研究成果：在计算机图形学领域著名刊物IEEE Transactions on Visualization and Computer Graphics、Computer Graphics Forum、Computer& Graphics、 The Visual Computer、Science China Information Sciences、计算机学报、软件学报等发表高质量的学术论文共十二篇，全部被SCI或EI检索。在项目实施过程中申请专利两项，搭建原型系统一套。