面向车载多源异质信息的自适应增强融合协同图像重建方法

High definition image reconstruction method plays a crucial role to ensure road traffic safety under low visibility environment. Existing researchers always employ static and single task mathematical model without thinking the driving effect of visibility perception. So that they are unable to satisfy adaptation requirements under various weather environments. . To address existing deficiencies, this project researches adaptive enhance-fusion synergetic image reconstruction method based on vehicle multi-source heterogeneous image information. Firstly, we design a new image visibility detection method based on dark channel prior and semantic segmentation. Then, a dynamic and controllable neural module network is built to as enhance-fusion synergetic image reconstruction model and we design the control method to optimize the network structure. Moreover, we design a unified evaluation criterion about definition of heterogeneity image. Based on this evaluation criterion, a prior knowledge based optimal combination strategy of multiple vision sensors is proposed. Finally，visibility detection drives multiple vision sensor selection and optimization of neural module network structures synchronously. Therefore, proposed method is able to satisfy adaptation requirements under various weather environment.. This project outcomes will provide theoretical support to fast development of intelligent vehicle assistance driving system and guarantee of road traffic safety in low visibility environment.

面向车载设备的全天候前方视野清晰化方法，是保障低能见度环境下道路交通安全的关键。现有的图像清晰化研究多采用静态数学模型、预期效应单一、没有考虑能见度感知的驱动作用，无法满足天气环境多样对方法的自适应性需求。. 针对现有不足，本项目开展考虑以能见度感知驱动的多源异质图像自适应增强融合协同重建方法的研究。首先，设计基于暗通道与语义分割的异质图像能见度感知方法。其次，构建增强融合协同效应的动态可控性神经模块网络图像重建模型、设计其控制方法。然后，设计基于多目标模糊优化模型的异质图像统一性评价模型、并在此基础上建立基于先验知识的多视觉传感器优化组合策略。最后，整个系统在能见度感知结果驱动下，同时控制视觉传感器的选择与图像重建网络结构的优化，进而实现满足天气环境动态变化需求的自适应高清晰图像重建。. 本项目成果将为保障低能见度环境下的道路交通安全，加快智能车辆辅助驾驶系统的发展提供理论支撑。

“智能安全驾驶辅助系统”是智能交通、自动驾驶的热点研究领域。本项目面向“智能安全驾驶辅助系统”，针对恶劣天气下的清晰图像重建问题，展开了基于可见光-远红外多源异质图像的能见度感知、异质图像多效应重建、异质图像评价与先验知识库构建理论及应用研究。.首先，选择海康威视可见光-远红外双目摄像机收集制作实验数据集。然后，通过实景数据分析，确定低照明、低能见度两种行车危险环境作为异质图像重建条件。接着，根据异质图像在不同环境下特征分析，首次提出多种面向可见光-远红外异质图像能见度感知模型，显著提高能见度检测的准确性和鲁棒性，有效减少小样本条件下初始网络权重值对于能见度感知模型的影响。提出多模态特征融合的空气重量估计模型，对变化场景进行准确的空气质量预测。面向低照明环境，提出双通道生成网络的远红外-可见光图像模态转换模型，有效提高异质图像重建的准确性；面向浅雾环境，提出信息熵-色彩保真度联合优化模型，获取重建图像高对比度、高色彩饱和度的多效应重建结果。面向浓雾环境，首次提出融合-迁移协同网络的可见光－远红外多模态图像去浓雾模型，显著提高浓雾下图像重建的清晰度，并将基于自适应神经网络模块的图像重建方法成功应用于工业电阻层析成像ERT系统，显著提高不同流型下的气液两相流ERT重建图像的准确性。此外，基于上述理论成果进行应用性研究，开发低照明环境下地下车库视觉盲区安全检测系统，荣获2021中国研究生电子设计竞赛全国总决赛“一等奖”。.项目组共发表标注论文10篇（SCI、EI8篇），授权国家发明专利8项（转让1项1.4万元）、并与江苏金海星导航科技有限公司合作，签订“面向长江危化品水运安全船载AI设备研发”合同。初代船载AI检测设备在扬州、镇江等危化品船只、码头进行应用测试。长江航运公众号2022年4月对该产品进行了专题报道，取得了很好的社会效应，对于国内危化品水运安全数字化产品市场具有示范、推进作用。