基于视频语义理解的艺术风格化研究

本项目研究基于视频内容理解的视频风格化艺术生成框架。该框架包括两个主要部分：(1) 视频内容的语义理解，包含视频分割、物体抽取、跟踪匹配；(2) 语义驱动的视频风格化，包括构建风格多样的渲染笔触库，根据物体的语义类型对笔触进行自动选择、摆放，以及根据帧间稠密匹配关系在时域上传播渲染笔触，达到不同艺术效果的风格化视频。本项目紧密结合信息科学(计算机视觉、图形学和虚拟现实技术)与绘画艺术。本项目重点研究一个高效鲁棒的匹配与跟踪算法，其在关键帧之间通过自适应选择稠密的混合图像特征，实现快速分层的图结构匹配；以及研究一个在序列帧之间通过一个区域竞争的视频分割算法，实现像素级别的精确对应关系，并由此指导笔触的稳定和一致地传播。本项目的可行性已经在前期的工作中得到了充分的验证。

本项目围绕视频风格化技术，重点研究结合视频语义理解技术的非真实感绘制算法，致力于开发能够将普通图像、视频渲染成不同艺术风格的软件系统。 本项目按照预定计划开展研究，在研究的主要问题取得了预期的效果，包括视频物体的识别技术研究、自适应视频跟踪算法研究、贝叶斯框架下分层图匹配算法研究、颜色风格变换技术研究等，同时完成了肖像画渲染系统、抽象风格化渲染系统、基于内容分析的视频风格化系统、基于运动分层的视频风格化系统等多套系统的搭建与调试，并将其拓展到高性能计算平台，达到了视频风格化系统的实用性要求。项目组还在已有笔刷库的基础上，建立了一个较为完备的多笔刷数据库，从而极大地丰富了风格化渲染的结果。通过三年的深入研究分析与技术攻关，发表或录用9篇SCI检索期刊论文（并包括IEEE Trans PAMI, IEEE Trans CSVT, Pattern Recognition等知名期刊）、9篇会议论文，申请国内专利4项(已经获得授权2项)。其中油画视频风格化技术获得了由著名国际会议ACM NPAR 2010会议颁发的优秀论文奖(项目负责人林倞博士为论文第一作者)。此外，项目组主要成员还参与了3次国际学术交流会议，并且报告发言。人才培养方面，培养了博士研究生1名，硕士研究生6名。相关工作还获得广东省科技计划项目立项(项目编号：2011B040300029)。