基于语义认知和视觉显著性模型的绘画艺术图像分类方法研究

Painting is an important part in human civilization. The classification of the unique aesthetic style characteristic of painting is seemed as one of most promising ways in multidisciplinary research field of computer science and art. Distinguished from natural image, the classification of painting image is more challenging because the paintings are not only artificial works but also have their own aesthetic style. In this proposal, we intend to perceive the aesthetic style from the perspective of objective image semantic and subjective visual perception. Firstly, we investigate the description of low-level semantic feature of aesthetic style of painting image by fusing of art characteristics and semantic cognition, and constuct the low-level semantic feature database for evaluation. Secondly, we propose a novel method to portray the aesthetic of painting image based on high-level semantic feature and high-level semantic rule, and further establish the interactive integration mechanism for high-level semantic feature and high-level semantic rule. Finally, deriving from the mechanism of human perception, we utilize visual saliency to accomplish the perception of aesthetic style in painting image. We expect this research can provide a new road for computer aided analysis to art research, and contribute the development of comic and animation, cinema and game related industry. .

绘画是人类文明的一个重要组成部分，针对绘画图像所特有的艺术风格特点来研究绘画艺术图像的分类，是计算机与艺术交叉研究领域热点之一。区别于一般的自然图像，绘画图像都是人工作品，具有自身的艺术风格等特有属性，绘画艺术图像的分类更具有挑战性。针对上述问题，本项目拟从客观图像语义及主观视觉感知两个角度，三个方面展开：首先研究融合艺术特点与语义认知的绘画图像艺术风格低层语义特征表达方法，建立低层语义特征库；其次，探索基于高层语义特征以及语义规则的绘画图像的艺术风格描述方法，建立高层语义特征与高层语义规则之间的交互融合机制，用以描述绘画图像的艺术风格；再者，尝试利用人类大脑的固有能力，即视觉显著性来实现不同艺术风格的绘画图像认知。本项目预期为艺术研究提供一种计算机辅助分析绘画作品的潜在新途径，并最终推动动漫、影视、游戏等产业的发展。

随着数字化技术的发展和广泛应用，越来越多的绘画作品逐渐实现了数字化，使得大规模的绘画艺术分析成为可能。近年来将计算机与艺术相结合，借助于计算机来实现对大规模数字绘画图像的艺术风格认知与分类，成为计算机图像处理与人工智能领域的一个重要研究方向。.本项目以绘画图像自身特点分析作为分析基础，结合计算机视觉及机器学习理论，研究绘画图像的分类，实现基于艺术风格的绘画图像分类。首先，考虑到绘画图像中的局部特征与全局特征之间存在着一定的语义关系，图像的局部特征与全局特征相互融合能够更好的地表达图像的信息，在采用稀疏编码建立词汇本后，训练过程中则对词汇本进行反复的地在线学习以期能够达到更好的训练目的，最终实现分类；其次，针对绘画图像特征之间的空间关系，对图像的局部特征结合词汇导向的空间金字塔匹配核构建特征金字塔树，作为绘画图像的描述符，选取合适的分类器实现绘画图像的分类；再次，我们采用卷积神经网络研究绘画图像的图像特征与其对应的语义关系的学习，挖掘绘画图像的多种特征之间的语义联系，实现绘画图像艺术风格的分类；最后，在软件平台方面，我们开发了中国绘画图像数据库，收集了千余幅中国古代绘画图像并进行了标注。项目组共发表论文8篇，其中SCI收录3篇，EI收录1篇，一级期刊1篇，核心/国内会议论文3篇；创建数据库1个，培养硕士生3名。.基于本项目的研究成果，可以在动漫、影视、文物保护等多个领域进行应用，充分发挥艺术与计算机智能分析相结合的价值；而在工程实践领域，该项目的研究为艺术研究者们提供了一种计算机辅助分析绘画作品的新途径，进而推动艺术研究的发展。