图像与视频矢量化关键技术研究

Vector graphics have many advantages: they are resolution independent, compact representation, and allow high-level manipulation. Based on their power in the aspects of image quality, storage, retrieval and transmission, vector graphics are widely used in a variety of areas, such as digital games, artistic design, computer-aided design, non-photorealistic rendering and key-frame animation. However, pixel-based images are likely to remain as the dominant format for raw data acquired by imaging devices. Therefore, it is important to investigate how to convert the pixel-based image and video to vector graphics in a convenient and efficient way because of its theoretical value and potential applications. This project aims at investigating the key techniques in image and video vectorization. The research contents include multi-layer vector image representation, parametric patch–based image vectorization algorithm and multiresolution vector image output. In addition, by combining the techniques of dynamic image segmentation, video image object extraction and object tracking, this project will also extends the image vectorization approach to the temporally-coherent video sequences. The project will finally develop an efficient prototype system for image and video vectorization with multi-layer object manipulation and multiresolution vector image output. It will be used in the field of non-photorealistic rendering, image and video compression and key-frame animation.

矢量图形具有与分辨率无关、数据结构紧凑、易于编辑等众多优点。基于其在图像质量、存储、检索和传输等方面表现出来的优势，矢量图形被广泛应用于数字游戏、广告艺术设计、计算机辅助设计、非真实感绘制和关键帧动画等领域。然而，基于像素表示的图像仍然是目前主流的视觉表达方式。因此，如何方便、有效地将像素图像与视频转换成矢量图形具有重要的理论意义和应用价值。本项目旨在研究图像与视频矢量化的关键技术，具体包括多层次矢量化图形表示结构、基于参数曲线和曲面的图像矢量化算法、多分辨率矢量图形输出等技术。同时，充分考虑视频数据的时空相关性，结合动态分割图、视频对象提取与跟踪等技术将图像矢量化方法扩展到视频序列。项目最终研发出一个有效的、适合多层次对象编辑的、支持多分辨率输出的图像及视频矢量化原型系统，以广泛应用于非真实感绘制、图像视频压缩、关键帧动画制作等实践中。

本项目围绕图像与视频矢量化关键技术进行了深入的研究，研究内容主要包括以下四个方面的内容：. 1）在自动生成矢量图方面，提出了一个基于扩散曲线表示结构的图像矢量化的全自动框架；同时结合彩色图像和深度图像优化矢量化的边缘结构。. 2）在矢量场生成与设计方面，提出了一个三维空间的矢量场生成方法，其用一系列的数学解析表达式可以完成在三维空间中进行体矢量纹理的设计工作；同时提出了一个三维模型的纹理矢量化映射方法，用于高清细节的三维模型纹理贴图；改进了数学解析表达的矢量场生成算法使其满足散度为零、不可压缩、保体积等特点，并将其用于生成创意和有艺术感的三维模型。. 3）在矢量图形编辑方面，为了提高基于扩散曲线表示的矢量图的可编辑性，提出了基于三角网格区域相连的编辑方法；为了满足和增强矢量化图形在对象层面的可编辑性，将多层次对象提取与图像矢量化技术结合，提出了一个基于深度信息的扩散曲线图像分割和提取算法。. 4）在视频运动物体提取和跟踪方面，提出一种改进的ViBe算法用于前景物体的提取；提出一种基于压缩感知的运动物体跟踪算法。. 项目组就上述科研成果发表了学术论文11篇，均以标注本项目资助编号，包括IEEE Computer Graphics and Applications、Computer-Aided Design、The Visual Computer等国际权威学术期刊。申请国家发明专利5项，其中已授权2项。参加学术会议5次，其中做学术报告2次，培养硕士研究生多名。. 本项目的研究成果在数字游戏、虚拟现实、动漫产业、艺术化设计、动画、视频压缩等领域都有着广阔的应用前景.