基于宽带空谱联合调制的计算光谱成像研究

One of the fundamental challenges for multi-spectral imaging is to capture the high resolution 4D (spatial-spectral-temporal) signals via common 2D sensors. The compressive sensing and computational imaging theory tackle this problem by using under sampling and constrained reconstruction strategy. This project concentrates on the two major problems of computational spectral imaging which are sampling and reconstruction, respectively. Firstly, we propose a wide-band joint-modulation method in spatial-spectrum domain, which gains the traditional spatial domain modulator in high light use efficiency and flexibility. Secondly, we propose a self-learning strategy to optimize the sampling and reconstruction jointly via the training of an auto-encoder neural network. The training data is obtained from oversampling/full sampling of the scene. Lastly, we propose a joint data-model driven based reconstruction technique. The data driven model is the equivalent projection of the decoder of auto-encoder network which can be regarded as a global compact representation of the spectrum data. The data-driven model works cooperatively with the existing local models, like dictionary learning, Piece-wise autoregressive model, etc, to further improve the performances of the reconstruction.

多光谱成像技术的理想目标在于，以不牺牲任何维度分辨率为前提，利用二维传感器采集空间-时间-光谱的四维数据。压缩感知和计算成像技术的发展为实现空-时-谱联合高分辨成像提供了可能。本项目将针对计算光谱成像中的两大核心问题:混叠采样方式及优化重构算法展开研究。首先，针对现有计算光谱成像技术中的混叠调制的缺陷，提出宽带空间-光谱联合调制方法，在保证光通量的前提下尽可能的增加混叠观测的灵活性和随机性。其次，针对目前计算光谱成像系统中采样和重构模块独立设计的问题，提出自学习的采样重构联合优化方法，通过成像系统自身的全/过采样完成真实光谱数据，然后基于深度学习中的自编码器网络训练，联合优化混叠降采样及光谱重构。最后，针对现有光谱重构算法中全局先验模型的缺失，提出数据-模型双先验的光谱重构算法，利用自编码器的解码网络作为数据驱动的全局先验，结合现有的局部相关性建模方法，进一步提高光谱重构质量。

近年来发展起来的计算光谱方法，为实现空-时-谱联合高分辨光谱视频成像提供了机遇。本项目针对当前计算光谱成像技术中存在的光利用率低，编码方式固定等核心问题展开攻关，突破了三项关键技术，分别对应于计算光谱成像的成像机理、硬件搭建以及重构算法：.1）.在成像机理中，提出了基于DMD和LCTF的宽带空谱联合新调制，解决了传统计算光谱成像缺乏光谱维编码所引发的编码随机性，以及采用窄带调制所带来的光通量巨大损失和长曝光问题。此外，充分发挥DMD和LCTF的可编程特性该系统还可实现逐帧的变模板编码，可根据实际应用调节观测数，在单帧光谱视频成像和推扫式光谱相机之间灵活切换使用。.2）.在硬件系统上，提出了基于DMD的互补全通计算光谱成像系统，该系统以数字微透镜阵列同时实现双通道分光和空间编码，将之前由于空间编码的而被阻塞的光收集起来用于在线先验通道的提取，首次实现了全光利用率的采集系统。此外，该系统还解决了传统计算光谱成像中复杂的双通道对齐问题，分光与编码的统一使得该系统的双路都是对于一次相面的二次成像，从而可通过改变DMD模板完成自学习定标。 .3）.在重构算法上，提出了基于自适应去噪模块的特征图去噪模块、基于循环卷积结构的主干网络，以及基于残差活性的融合网络模块，不仅显著提升了计算光谱成像的重构性能，并且在网络结构设计上最小化了GPU运算架构中的数据调度与参数加载，首次实现了基于单卡的实时光谱重建，运算效能（TFLOPS/s）比传统网络提升5倍以上。.总之，本项目完成了从理论分析、关键技术攻关、工程方案设计与实现的研究，搭建了原理样机，验证评估了新方法的有效性及实用性，实现了实时计算光谱视频的编码采集和重构成像，圆满完成了项目研究内容，取得了预期研究成果。该项研究在军事侦查、动态目标反伪装、物理/化学反应过程监控等典型光谱应用场景有着巨大的应用前景。