基于上下文抑制的颜色信息层次化编解码研究

Color is an important cue for human visual perception. Color encoding and decoding play an important role in neuroscience and computer vision. Aiming at the scientific issues in the neural responses of color signals in visual cortex, we establish a hierarchical color encoding and decoding model with the contextual suppression so as to provide a new computational structure and research method for vision applications, taking color transmission and processing as the main stream, opponent color, hierarchical transmission, and surrounding suppression theories as neurophysiology basis, and chromatic context and spatio-chromatic context as cores. We build the basic structure of hierarchical color encoding and decoding to mimic the response behaviors with increasingly complex and invariant color stimuli and form the consistence between the ideal color perceptual system and computational model. We build a chromatic context decoding mechanism with the color-adapted constraint to form the consistence between color contrast and computational model. To make color assimilation consistent with our computational mode, we build a spatio-chromatic decoding mechanism with the multiscale-adapted constraint. In order to improve the performance of semantic segmentation and object recognition in natural scenes, we propose mid-level overcomplete feature learning and its representation of high-level color names. This project will make an important theory and practical significance with boosting the color vision theory and promoting the vision applications of color information.

颜色是人类视觉感知的重要信息，其编解码在神经科学和计算机视觉中有重要地位。针对颜色信号在大脑视皮层神经元中响应的关键科学问题，以颜色信息的传输与处理为主线，以颜色对立理论、层次传输理论和周围抑制理论为神经生理学基础，以颜色上下文和空色上下文为核心，形成基于上下文抑制的颜色信息层次化编解码系统，为拓展视觉应用提供一套新的计算结构和研究方法。构建颜色信息层次化编解码的基本结构，模拟颜色刺激复杂性与不变性递增的响应行为，形成理想颜色感知系统与计算模型的一致性；构建基于颜色调制的颜色上下文解码约束机制，形成颜色对比度与计算模型的一致性；构建基于多尺度调制的空色上下文解码约束机制，形成颜色同化与计算模型的一致性；构建中层过完备颜色特征学习及其到高层颜色语义名称之间的转换，提升自然场景语义分割和目标识别的执行效果。本项目研究对推动颜色视觉理论的发展、促进颜色信息的视觉应用具有重要的理论与现实意义。

受颜色信号在大脑视皮层神经元中响应规律的启发，本课题以颜色信息的传输与处理为主线，以颜色对立理论、层次传输理论和周围抑制理论为生物基础，对颜色编码与解码方法进行了相关研究，为拓展颜色信息的视觉应用提供了新的计算结构和研究方法。主要研究工作包括以下三个方面：.（1）颜色认知。深入分析颜色神经元的对立选择性，给出表示颜色区域和颜色边缘的两种颜色编码方式。进一步，考虑神经元之间的抑制关联，提出一种新的上下文抑制的颜色编码方法。该方法模拟了周围邻域具有相似偏好属性的神经元对偏好神经元的影响，增强了偏好神经元的响应，抑制了调谐到其他属性的神经元响应，并且保持了神经元响应的增益不变性，为图像的颜色属性提供了稳定表达。深入分析颜色信息处理的层次性，将人类感知颜色的过程看作是从颜色值映射到颜色语义类别的层次化编解码过程，构建一种新的结合局部结构信息的全卷积神经网络，实现像素级的颜色名称注释，并通过调整卷积层参数大大降低了网络复杂性。.（2）颜色感知。深入研究彩色图像成像理论及颜色恒常性的计算理论，将颜色恒常性计算转化为亮度估计问题，分别从像素统计分析和模型学习两个角度建立亮度估计模型，将场景校正到标准光源下。从统计的角度出发，分析图像梯度与色域中像素的对应关系，从色域中选取明暗像素，研究图像梯度与场景亮度的关系，利用主成分分析方法分析图像中的较大梯度像素和较小梯度像素，得到较大梯度值像素更有利于亮度估计的结论。从学习的角度出发，借鉴实例学习理论，通过特征相似的邻近已知实例光源估计待测光源，能够有效处理亮度差异极大的场景；此外，利用对数色度直方图作为亮度一致性特征，降低了图像纹理和颜色对亮度估计的影响，提高复杂场景的亮度估计精度。.（3）颜色应用。挖掘颜色信息在计算机视觉系统中的应用价值。针对视觉显著性检测任务，利用光场相机获取的全聚焦图像，提取颜色对比度信息，并辅以深度信息，实现光场数据环境下的显著性检测；考虑颜色上下文信息的影响，提出一种新的多尺度颜色显著性计算方法，达到了与当前显著性检测方法相匹配的性能。针对目标跟踪任务，在兴趣点匹配的框架下，利用颜色表面对立特征构建兴趣点检测器，实现前后帧的目标运动估计；在检测学习的框架下，利用单实例表达仅需少量数据的优点以及负例挖掘的有效性，将实例学习拓展到视频序列的目标跟踪中，采用颜色名称向量描述运动目标外观，更为准确区分目标与相似背景。