荧光场景谱的实时获取与建模重构

Spectral reflectance analysis of scene is an important research topic in physics-based vision. Generally, natural scenes contain both ordinary reflective material and fluorescent material. When a reflective surface is illuminated at a particular wavelength, it reflects back light of the same wavelength, while fluorescent surfaces first absorb incident light and then emit at longer wavelengths. Thus, separate modeling of all spectral properties of both reflective and fluorescent components is essential. In contrast to existing methods, which require two or more images under varying illuminations, we aim to achieve this modeling task by using a single hyperspectral image. In this proposal, we design a real-time hyperspectral image acquisition system, explore the physical properties to model the spectral of reflective-fluorescence scene, and achieve the real-time spectral acquisition and modeling of reflective-fluorescent scenes.

反射材质的光谱反射率分析是基于物理的视觉的重要研究问题之一。自然场景中除了一般的反射材质，还包含有荧光材质。荧光材质与一般的反射材质不同，其吸收较短波长的光，同时发出较长波长的光。因此，需要对场景中的荧光成分和反射成分分别建模。荧光谱的获取高度依赖于两张超光谱成像或多光照条件下的多次成像，目前尚未有实时荧光场景的谱获取与建模重构方法。本项目拟设计并搭建实时的超光谱采集系统，探索荧光场景谱的性质并有效建模，实现动态荧光场景谱的获取与建模重构。

自然场景中包含有许多荧光材质，荧光材质吸收较短波长的光发出较长波长的光，这一特性有助于物体目标的检测、分类、识别，被广泛应用于矿物探勘、食品安全、医疗卫生等领域。因此，研究荧光场景谱的实时获取与建模重构具有重要的科学意义和应用价值。本项目围绕光谱成像系统的设计与搭建、光谱图像计算解码重构、荧光材质谱重构等主要内容展开研究。（1）针对光谱成像系统设计问题，提出了基于空谱联合的编码模板优化方法、最优光照与最优相机感知曲线设计方法和基于双相机信息融合的光谱成像系统，解决了光谱系统的最优设计难题。（2）针对高光谱图像计算重构问题，研究提出了基于深度空间-光谱先验的光谱重建方法、基于彩色马赛克图像指导的光谱图像超分辨的方法、基于单张彩色图像的高光谱图像重构方法，这为高精度荧光谱数据的获取提供技术基础。（3）针对荧光材质谱实时重构问题，探索了单张光谱图像的荧光谱重构方法，研究提出了基于光源调制的光谱反射率和荧光分量分离方法、基于GPU的高光谱图像快速重构方法，为实现动态荧光场景的实时采集与谱重构提供了技术和系统支持。此外，在针对图像采集过程中存在较强噪声的问题，还提出了光谱图像噪声建模与降噪方法和基于端到端网络的暗光图像增强方法，为荧光场景谱的高质量获取奠定了良好的基础。. 项目执行期间，共发表/接收项目标注学术论文21篇，其中计算机学会A类期刊和会议论文10篇，并获得ICML2020杰出论文奖和PRCV2019最佳论文奖。课题负责人以第一发明人申请了国家发明专利7项，其中授权发明专利2项。培养11名研究生，其中博士研究生3人，硕士研究生8人，毕业硕士研究生5人。