基于Gabor卷积网络的多隐层高斯过程烟雾特征建模研究

Gabor transform and Bayessian theory have achieved very amazing performance in face recognition, hand-written programs, and so on. These methods often require only a small number of training samples but achieve very good generalization performance. Hence, we mainly explore Gabor convolutional networks and supervised local patterns, and focus on the intrinsic low-dimensional representation of smoke in high dimensional image space by analyzing Bayessian and manifold learning theory. We learn the optimal projection for local difference vectors and then encode the projected local difference vectors in a similar way of LBP. Thus we propose supervised local binary patterns based on Gabor convolutional networks. To obtain the spatial distribution of patterns, we explore co-occurrence methods for patterns, and propose a new method for encoding co-occurrence of patterns to obtain high-order local features. Then, we study structure-preserving manifold transforms for high-order local features to extract intrinsic features. Finally, we use the intrinsic features to propose a suitable Gaussian process model with multiple hidden layers for smoke detection. This project will help solve key scientific problems of fire detection in large space and outdoors, and it simultaneously enriches the theories of fire detection and Bayessian modeling. So it is very important and significant in both theory and application.

Gabor变换、贝叶斯理论已在人脸识别、手写程序模拟等领域取得非常好的性能，且所需样本少、泛化性能好。为此，本项目重点研究Gabor卷积网络和有监督局部模式，并从贝叶斯推理和流形学习理论出发，探索烟雾在高维图像观察空间的潜在低维表达。采用学习方式获得最优的局部差分向量，提出一种基于Gabor卷积网络的有监督局部二元模式。为了获得模式空间分布信息，拟研究局部二元模式共现特征以及共现编码方案，从而提取邻域像素值的局部高阶变化特征。然后，研究局部结构保持流形变换方法，提取局部高阶特征的低维不变性表达。最后，研究这些低维局部特征的多隐层高斯过程建模方法，得到最终的烟雾特征。通过本项目的研究，拟解决大空间和室外图像火灾探测中的关键科学问题，同时丰富火灾探测理论和贝叶斯特征建模理论，具有非常重要的理论研究和应用价值。

火灾是自然灾害中发生概率最高的灾害之一，对人们生命和财产安全构成重大威胁。传统火灾探测器采用光电、离子等技术，探测精度虽然非常高，但存在探测距离短、需要接触燃烧产物等缺点，因此不适合高大空间、存在强气流和粉尘等场所。针对这种情况，本项目研究基于视觉的烟雾识别、检测与分割方法，用于解决上述场合的火灾监控难题。采用加权平均法生成聚合Gabor核，将聚合Gabor核和原图像进行卷积，生成聚合Gabor特征图，从而提出一种结合聚合Gabor核和局部二值模式(LBP)的烟雾识别方法。利用3D采样窗在图像尺度空间中密集地滑动采样，获得多尺度的3D局部差分，设计通道内和通道间编码方案，提出一种基于3D差分的局部二值模式。根据差分像素值的正态分布特点，提出一种基于置信水平的局部三值模式(LTP)。利用图卷积神经网络(GCN)和常微分方程(ODE)等，提取烟雾结构化与非结构化特征，提出一种获得烟雾动态信息的连续图卷积视频烟雾检测模型。在解码阶段，设计了三个特征提取分支，分别为空间细节分支、语义补充分支和上下文信息分支，提出了一种基于多层次特征融合的语义分割算法。为了解决估计烟雾浓度难题，通过堆叠几个编码解码结构，提出一种波浪形的神经网络结构(W-Net)，首次应用于烟雾的浓度视觉估计。为了解决烟雾半透明、云彩干扰等问题，提出一种采用双分类辅助的烟雾语义分割门控循环网络。为了区分烟雾和类烟雾目标，提出一种双分类辅助的烟雾分割策略。在分割模块，项目组设计了一种注意力卷积GRU模块(Att-ConvGRU)，用于学习长距离上下文特征依赖关系。为了感知小的或不显著烟雾目标，项目组设计了一种多尺度上下文对比度增强的局部特征结构(MCCL)，以及一种密集金字塔池化模块(DPPM)，可以极大地提升我们网络的表征能力。本项目提出的系列算法在理论上推动了视觉烟雾识别、检测和分割的发展，极大了丰富了火灾探测理论，具有重要的研究意义。此外，在烟雾虚拟库和真实烟雾上，取得了非常好的测试结果。