基于交互分析的图像与视频快速编辑扩散技术研究

Visual media editing such as image editing and video editing is a key means to enhance the media quality and realize presentation goals while edit propagation is its kernel component. Most of the mainstream editing techniques formulate the problem using optimization methods. They are usually ussuitable to process media such as high videos and resolution images due to the drawbacks such as low computational efficiency and high space occupancy.Furthermore, the ineractive styles are almost casually specified in these methods and have little relationship with editing intents.To achieve the goal of improving the effiency of edit propagation and maintaining the quality results at the same time, this proposal launches an investigation on the following topics: (1) Define rules for designing interactive styles by systematically analyzing the relationship between interactive styles and editing intents; Concretely, we should study a pattern which only interactively specifies regions to be changed but automatically computes regions remaining unchanged; (2) Introduce a similarity criterion based on bounded biharmonic functions so that the edit propagation can not only satisfy basic properties such as interpolation and smoothness but also impact on multiple similar regions while maintaining natural transition across boundary areas between unsimilar regions; (3) Propose some novel fast edit propagation approaches which had better bear closed-form solutions and support parallel acceleration.

可视媒体编辑是提升媒体质量、实现呈现目标的重要手段，而编辑扩散是交互式可视媒体编辑的一个核心问题。目前主流的编辑技术都是用最优化方法来对扩散问题进行建模，计算效率低、占用内存空间大，不适用于处理视频这样大数据量的媒体；此外，交互方式设定比较随意，缺乏与编辑意图的关联.为达到提高编辑扩散效率同时不降低编辑的质量的目的，本课题将以图像和视频为对象研究三个方面的内容：(1) 系统地研究用户交互方式与编辑意图间的关联，提出一些交互设计准则；具体地，将考察只勾画出待改变的前景区域的像素样本，而自动计算不变区域的编辑策略；(2)拟定义一种有界双调和函数的相似性度量准则，使得扩散过程中每种编辑模式除了满足插值、光顺等基本要求外，并只作用于一个或多个相似的局部区域，且能保证不同编辑模式之间的边缘区域自然光滑过渡；(3)提出一些基于高维空间插值技术的快速编辑扩散方法，最好有闭形式的解以便并行加速计算.

可视媒体编辑是提升媒体质量、实现呈现目标的重要手段。项目围绕着对编辑图像在细节、边缘、内容等要求所展开的主要研究内容和成果包括：(1)基于重采样的颜色编辑扩散。为降低输入条件，提出一种基于重采样的颜色编辑扩散技术。对图像做超像素分割将每个超像素作为重采样样本。基于重采样样本与输入样本的相似性及相邻相似样本服从相同编辑模式的思想将输入样本的编辑扩散到重采样样本，然后将重采样样本的颜色编辑遵循相似颜色编辑后仍相似的原则扩散到整幅图像。该方法能有效简化用户交互，将稀疏画笔的扩散转化为颜色信息相对丰富的超像素样本的扩散。(2) L0梯度保持的颜色转换。由于不同主色调通常按照不同的方式映射，颜色转换后具有不同主色调的相邻区域边缘梯度将发生变化。针对该问题提出了一种L0梯度保持的优化模型，其允许大的梯度改变以保证小的梯度不变化进而保持图像中的物体细节。该方法能保持图像细节及边缘结构，即使不同主色调编辑差异比较大。(3) 自相似性最大化的单图像超分辨率重建技术。基于自相似性最大化提出一种挖掘自相似的图像内容以获取高质量的超分辨率输出的优化模型；其采用高斯混合模型求解每个低分辨率图像片对应的最大相似度的高分辨率图像片。基于这些高分辨率图像片，利用全局优化加局部优化的方法直接求解高分辨率图像。实验表明该方法在细节恢复和边缘保持方面的有效性。(4) 多任务高斯过程回归的图像超分辨率技术。针对现有方法生成的超分辨率图像细节不够真实，结果依赖经验参数值的问题，提出一种多任务高斯过程回归的图像超分辨率技术。对输入的低分辨率图像,根据其低通滤波版本和上采样版本提取的patch对建立高斯过程回归函数。利用自然图像不同分辨率间的自相似性知识，将获取的回归关系迁移到输入的低分辨率图像和待求的高分辨率图像。对模型中涉及的参数，提供一种自动求解方法。(5) 一种证件照自动抠图技术。基于证件照的内容，提出一种证件照自动抠图技术。首先采用皮肤检测、K-Means聚类及Grabcut分割技术自动生成trimap,然后采用laplacian算子建立相邻像素之间alpha的约束关系以改进传统的贝叶斯抠图技术。该方法生成的alpha更光滑、更自然。基于该算法，实现的证件照自动抠图系统具有较高的准确度和较快的速度。