近规律纹理高级感知特征的研究及应用

Texture provides useful cues of material properties of objects and their identity. Research in texture recognition often concentrates on the problem of material recognition in uncluttered conditions by extracting the local low-level features such as edges, points or bars. The methods formulated and developed under this background cannot be directly and effectively used in semantic texture retrieval, real-world material segmentation and other tasks, where high-level perceptual features such as the periodicity, regularity, directionality and complexity of the texture are necessary. We propose to investigate the computational methods for high-level structural features including texton and their spatial arrangement, texture direction and texton density etc. We will not only verify their usefulness on different texture recognition applications, but also apply them to detect real traffic congestion by considering the vehicle queues as nearly regular texture, and detect outdoor directional vegetation. This project has great significance in promoting mutually the theory research and real applications of texture recognition, and providing new ideas for texture analysis and recognition.

纹理为物体的材料特性及种类识别提供非常重要的信息。目前纹理识别研究主要依托于无混杂情况的物体表面材料的实例分类，通过提取边缘、点或条状等局部低级特征来表征纹理。这种方式越来越不能满足一些实际应用对纹理识别方法的需求，例如纹理语义检索等基于可描述感知特征的纹理分类等。这就必须考虑纹理周期性、规律性，方向性及结构复杂程度等高级感知特征在描述纹理方面的作用。本项目针对规律或近规律纹理研究其高级感知特征的表征和计算，包括对纹理基元形状及空间排布、纹理方向性、基元密度及占空比进行量化定义和检测，并验证其在不同纹理识别应用上的有效性，而且针对实际交通拥堵中车辆队列形成的近规律纹理或户外植被形成的方向性纹理的快速有效检测以达到预警或问题分析。本项目在探索纹理识别理论分析与实际应用相互促进、展开纹理分析识别研究新局面具有重要意义。

在国家自然科学基金青年基金的支持下，本项目主要开展了基础性研究。我们调研了目前认知神经科学领域关于人眼对高级特征感知尤其是形状感知机理的研究现状，以及探索了从机器学习角度对该问题的解决方案。我们也是创新性的利用了目前流行的深度卷积神经网络比较有效的解决了该问题。我们创建了一个全新的大规模的规律纹理图片数据库，用来训练卷积神经网络。实验显示相比传统的机器学习方法，深度卷积神经网络具有更强的模型表征能力和识别精确度。尽管遇到了种种困惑，但通过我们深度思考和全面调研，对这个问题还是理清了思路，取得了一定的研究成果，发表了两篇JCR Q3区的英文期刊，并且申请了一个中文专利。我们在通用意义上的规律纹理的探索，可以有效的迁移到一些实际应用问题上，比如交通拥堵形成的进规律性的车辆纹理，监控视频中的人群进规律纹理分析，对解决这些重要的实际应用问题提出了新的思路。另外，我们还发现一个重要的结论，目前卷积神经网络的构架不能够表征长距离的特征。这激发我们考虑利用近规律纹理对深度卷积神经网络的可解释性进行探索，包括receptive field size、模型可视化、模型对抽象结构表征的研究等。总之，该项目为我们团队后面的学术科研奠定了基础，开阔了思路，对个人的学术生涯和团队的发展有着举足轻重的作用。我将继续带领我们的课题组在深度学习的理解，形状提取，纹理分析等方面持续进行攻关，做出扎实、出色的工作。