基于视觉感知的中国书画图像语义自动分类研究

自动分析中国书画图像的语义类别对于数字化书画博物馆的构建起到非常重要的作用。课题的研究目标是基于视觉感知理论，实现中国书画图像的语义自动分类。主要研究内容包括：(1) 研究如何建立一种符合人眼视觉感知，且适用于中国书画图像语义分类的颜色分层描述模型；(2) 研究以视知觉理论的注意力机制计算模型为基础，融合高层领域知识，实现中国书画图像中印章的自动检测和提取算法，为进一步实现印章中的印文识别提供必要的基础；(3) 研究如何将文本分析领域的词包模型(Bag-of-words)用于中国书画图像的中层语义表示，并结合印文信息构建高层语义本体描述，实现语义级的中国书画图像的自动分类。项目特色是：(1) 以中国书画图像为研究对象，分类算法综合考虑了印章、题跋等语义信息；(2)算法能实现书画图像的内容分类和画家分类，使分类结果更加贴近用户感知。项目研究成果既具有较高的理论价值又具有广阔的应用前景。

近年来随着中国画图像数字化的迅猛发展，有关中国画图像数字博物馆或数字图书馆的建立以及管理出现越来越迫切的需求，尤其是对中国画图像的处理技术成为了亟待解决问题中的关键，对中国画图像的低层特征提取、数据压缩、中国画图像语义自动标注、检索以及自动分类等的研究越来越广泛。困难之处: 一是由于“语义鸿沟”的存在，在国画图像分类领域单纯利用低层全局视觉特征很难达到良好的分类效果；二是与自然场景图像不同，国画图像的特点是“以形写神”，其语义信息更加抽象和丰富，因此自然图像中常用的低层视觉特征描述子在中国画图像上的应用受到一定的限制。本课题主要研究面向感知的中国画图像语义分类算法，主要创新点和实验效果如下: .　　　(1)．在中国画图像语义显著区域提取上，提出了一种基于低秩矩阵分解理论的图像显著区域提取算法。在目前MIT和Bruce两个眼动数据库以及MSRA数据库上给出所提出算法的实验结果：算法在低熵图像中性能较好, 提出算法明显优于其他方法, 提出的算法与人类视觉注意过程更一致。 .　　　(2)．在基于语义类别的中国画图像分类方面，提出了一种基于语义视觉词包模型的中国画图像语义分类算法。实验表明，在算法的总体性能方面，本算法在三类中国画图像语义分类的性能达到74.4%。.　　　(3)．在基于结构化信息的中国画图像分类方面，提出了一种多任务联合稀疏表示的中国画图像分类算法。通过在大量的中国画图像集上的实验表明，所提出的结构分析算法能有效地对画图像进行结构分解，而基于多任务联合稀疏表示的分类策略性能也优于基于全局的分类方法。. 本课题较系统地研究一类非自然场景图像的自动分类问题，除提出以上分类算法外,还提出了中国书画印章、书和画图像的自动提取等算法,并获国家发明专利, 建立了5000幅中国画图像、 2000幅中国书法图像数据库,并开发一套中国书画管理信息系统，这些成果较系统地形成了该类图像自动分类的理论和方法。