复杂背景绝缘子串红外与可见光图像融合方法研究

As important equipment for power transmission and transformation, the working status of insulator strings guarantees the safe-running of power system grid. This project takes insulator strings’ infrared and visible images coming from electric power field as data source. It mainly researches on multimodal image fusion method of insulator string with complex background, and aims to provide a quantitative basis and guidance for its fault detection. Firstly, the existing insulator string location method based on binary shape feature is improved. Automatic location method of multi-objective and multi-directional insulator string with complex background is proposed. While both the accuracy and effectiveness of method is ensured. Secondly, a new feature detection method based on the Gaussian scale space theory is proposed, and a new feature descriptor insensitive with infrared and visible modality is structured. Then the automatic and effective registration of insulator strings’ infrared and visible image is achieved. Finally, in NSCT domain, a new fusion rule is designed by using guided filtering. The rule ensures that fusion result can highlight the insulator string minutiae. The performance of the proposed method is evaluated and compared by experimental and theoretical analysis. The achieved result of this preliminary research has showed the feasibility and effectiveness of the project. This project is adapted to the development requirements of image processing and industrial nondestructive multimodal detection, and has important research value and application prospect.

绝缘子串是输变电环节中极其重要且大量存在的部件，其良好状态保障着电网的安全运行。本项目以来源于现场的绝缘子串红外图像与可见光图像为数据源，研究具有复杂背景的绝缘子串多模图像融合方法，旨在为其故障检测提供量化依据与指导。首先，对已有基于二值形状特征的绝缘子串定位方法进行改进，提出适用于多目标、多方向的复杂背景绝缘子串的自动定位方法，同时保证其定位精度和有效性；然后提出基于高斯尺度空间理论的特征检测新方法，并构造对红外与可见光图像模态不敏感的描述子，实现绝缘子串红外与可见光图像的准确有效自动配准；最后在NSCT域内利用指导滤波设计新的融合规则，保证融合结果能突出绝缘子串细节特征。并通过实验和理论分析的手段评价和比较所提出方法的性能。本项目组已经取得的预研成果表明了本项目的可行性和有效性，适应了图像处理和工业无损多模检测的发展要求，具有重要的研究价值和应用前景。

绝缘子串是输变电环节中极其重要且大量存在的部件，其良好状态保障着电网的安全运行。本项目以来源于现场的绝缘子串红外图像与可见光图像为数据源，研究具有复杂背景的绝缘子串多模图像融合方法。依据研究目标，本项目完成了7个方面的研究工作：(a)构建了3个专业图像数据库；(b)设计并实现了一套变压器套管红外智能在线监测系统；(c)提出了一种Hough检测修复结合自动初始化轮廓C-V模型的航拍绝缘子协同分割方法，和一种基于Edge Boxes的绝缘子候选目标区域生成方法等预处理方法；(d)针对航拍图像中绝缘子具有多方向性、目标相连及互相遮挡、同时有多个目标等问题，提出一种基于主轴方向检测和形状特征点等距模型的多绝缘子定位方法，基于BRISK中层特征的多尺度滑动窗绝缘子定位方法，基于深度卷积特征图聚合的红外绝缘子图像定位方法，和实现一种基于Faster R-CNN的绝缘子图像定位方法；(e)为解决红外与可见光图像灰度差异大，难以提取一致性特征的问题，实现一种基于FAST与DAISY的多传感器图像匹配方法，和提出一种基于超列的绝缘子红外与可见光图像配准方法：(f)为解决绝缘子红外与可见光图像融合过程中存在伞盘边缘信息模糊，亮度低和对比度差等问题，提出一种基于NSCT和参数自适应选择指导滤波的绝缘子红外与可见光融合方法；(g)针对绝缘子表面缺陷的特性，充分利用了深度特征强大的泛化与表征能力，提出一种基于多区块深度特征的绝缘子表面缺陷分类方法。项目组完成了预期的研究内容，达到了预期的研究目标，并取得了丰富的研究成果；本项目的顺利实施适应了输变电设备巡检、计算视觉、人工智能的发展要求。