整合自上而下和自下而上处理机制的场景解析

This work proposed an image parsing model for scene understanding, which combines top-down and bottom-up processing. Motivated by the human vision system, we bring top-down feedback processing into the hierarchical conditional random fields model, which has some characters: the context relation of feature representation is bidirectional, that is, it combines top-down feedback and bottom-down feedforword together; it can extract relationship of features in large scope and multiple layers, the comprehensive relationship is proposed to improve the performance of scene parsing. To obtain the high computational efficiency, we proposed two ways: (1) we reduce the calculation of feature extracting by feature sharing, which has the successive character in hierarchical models; (2) to focus the computational resources into the task related processes, we eliminate the task irrelated information under the top-down guidance. Scene understanding in this work can bridge the gap between low-level visual features and high-level semantic concepts, which is highly simulative to computer vision and psychophysics. It performs partial function of human vision system, thus it can provide some guidance for psychophysics research.

针对自然场景图像理解问题，本课题提出一种整合自上而下和自下而上处理机制的场景图像解析模型。借鉴人类视觉认知原理，将自上而下的反馈机制引入分层的条件随机场模型中，通过建立双向（自上而下和自下而上）的特征表征即特征上下文关系模型，实现了自上而下反馈和和自下而上前馈处理机制的整合，并通过提取大范围、多层次的特征关系，建立了更加丰富的特征关系模型，从而获得更有效、更可靠的场景解析性能。为了建立相应的快速算法，通过两种措施提高模型的计算效率：（1）通过特征共享，并利用分层结构中共享的继承特点，减少特征计算量；（2）通过自上而下的指导，去除任务无关信息，将计算资源集中到任务相关的处理上。本课题通过对场景的语义理解缩短了图像低层视觉特征和高层语义特征之间的“语义鸿沟”距离，对计算机视觉和认知科学的研究都具有一定的促进作用，实现了人类视觉的某些感知功能，同时为认知科学的研究提供了一定的指导。

本项目围绕自然场景图像理解领域前沿发展动态，着重研究场景图像的语义分割问题，以及场景中重要目标的检测识别算法进行了深入研究，包括：.（1）随着全卷积网络（FCN）的提出，目前基于深度网络的场景图像标注的算法框架已经基本形成。以FCN为基本框架，提出同时考虑类内和类间的问题的语义分割方法，提取出具有判别力的特征，提高语义分割性能。.（2）针对自然场景图像分类，提出一种新的图像表征方法GOC（梯度方向一致性），以及基于空间多尺度GOC直方图的图像表征方法，在场景分类中取得了很好的效果。.（3）针对显著性模型没有考虑感知组织的问题，根据感官提升理论和格式塔组织规则，提出一种目标显著性建模方法，在格式塔线索上传播目标显著性。针对有效地融合多种视觉线索的问题，提出了一种基于交叉扩散过程的显著物体检测方法，考虑不同线索间的影响，从而解决单个线索带来的噪声问题，提高算法性能。.（4）针对实际应用中大量的图像标注样本是非常困难的难题，研究基于系数表达的半监督学习方法，通过建立更好的、可以描述数据间关系的图模型，实现同时利用标注信息和未标注信息来辅助图像分类，提高分类性能。.（5）场景文字信息对场景理解有重要作用，为此，研究场景中的文字检测方法。提出利用上下文信息提高文字检测的准确性，采用一种分层表达的结构用于文字检测，包括底层的纹理特征、中层图像块特征以及上下文信息；提出了一种基于置信度图和上下文信息的自然场景文字检测方法，通过整合候选的表观特征以及它们之间的连接关系建立一个置信度图模型，使得目标从背景中凸显出来。.（6）在自然场景解析中，除文字外其他目标也有非常重要的作用，研究基于中层语义部件的目标检测方法。提出基于中层语义部件的广义Hough变换方法；提出一种基于多组件和中层语义部件的混合模型的自然场景目标检测方法；提出了一种基于中层部件检测器的目标检测方法。