GPU加速的视频抽象化和卡通化

抽象化艺术和卡通化效果已被广泛应用于电影、电视、游戏、网络、广告、科普示图、博客、以及医学成像等诸多领域。中国拥有世界最大的动漫产业消费市场以及在线聊天群体，通过抽象化艺术方式传递可视信息，往往能够更加吸引人们的注意力，增进信息交流。本项目试图利用可编程图形硬件的高度并行性，把视频或现有的三维动画实时转换成具有抽象化艺术风格的非真实感效果，并进一步对运动进行卡通化滤波，实现视频的卡通化。这方面的研究不仅具有重要的理论意义，而且还具有广泛的应用价值。本项目旨在研究视频抽象化和卡通化中的若干关键技术，具体包括流线感抽象化、基于形状简化的抽象化、基于视觉感知的非均匀抽象化、运动卡通化、以及基于GPU的加速等。项目最终将实现一个完全自动的实时视频抽象化系统和一个非实时的视频卡通化原型系统，并应用于影视特效制作、在线视频聊天等。

经过三年的实施，我们围绕GPU加速的图像和视频抽象化展开研究，在理论和应用上均取得了重要进展，已经按预期完成了研究计划。项目组共发表学术论文16篇，其中在国际重要学术刊物《IEEE Computer Graphics and Applications》、《IEEE Transactions on Visualization and Computer Graphics》、《Computer Graphics Forum》、《Multimedia Tools and Applications》、《The Visual Computer》、《Computer Animation and Virtual Worlds》、《Graphical Models》、《Computer Aided Design》、《Advanced Science Letters》上发表论文15篇，在《计算机辅助设计与图形学学报》上发表论文1篇。其中SCI收录15篇，EI收录15篇。获得3项授权国家发明专利，培养博士生1名。取得的主要成果有：(1). 提出了一种基于视觉注意力的实时的图像和视频抽象化方法。该方法的每一个步骤都可以在家用电脑的GPU中并行处理，有效地解决了现有的实时视频抽象化方法存在的均匀抽象化的问题。(2). 提出了一种基于GPU的图像和视频的方向抽象化方法。该方法从图像中抽取出重要的结构信息并构造一个连贯的特征流场，然后沿着特征流场方向做一个各项异性的高斯卷积，解决了边缘风格化问题。(3). 提出了一种基于GPU和数学函数的marbling抽象化图案实时生成方法。该方法将marbling工艺中常用的滴管、刷子、尖笔、梳子等操作抽象成对应的数学公式，并且支持输出矢量的marbling的图案。(4). 提出了一种基于GPU的图像写意Marbling抽象化方法。该方法首先从输入图像中构造出一个光滑连贯的特征流场，然后利用该特征流场作为Navier-Stokes流体方程的力场，从而驱动图像发生变形。(5). 提出了一种伪形态滤波的实时绘画抽象化方法，能够同时将形状内部平坦区域以及形状边界进行风格化并呈现出类似笔触边界的效果，具有简单、并行、易于实现、高效、全自动等优点。(6). 提出了一种GPU加速的照片图像的实时水墨化抽象化方法，比目前其它基于图像的水墨画算法快大约200~1000倍。