基于时空关联的自适应视频克隆与修补技术研究

Video cloning and inpainting is one of the important research topics within the field of video editing. When users add or remove a video object in the target environment, the lack of harmonization and coherence might cause the degradation of the resulting video. Therefore, we study the adaptive video cloning and inpainting methods based on the temporal-spatial correlation, which mainly include four aspacts as follows: (1) To avoid the inharmonical compositing and improve the clnoing results, we design an image cloning method adaptive to the target environment. (2) To reduce the flickering artifacts between video frames and strengthen the quality of video cloning, we design a video cloning method based on 3D mean-value coordinates. (3) To produce the smooth and natural results, we design the video inpainting method based on the Thin plate spline deformation, which can trace the changes of object scale and combine the temporal-spatial correlation. (4) Based on the above, we also develope a software system of video editing and reusing. In summary, our study is of important theoretical significance and application prospects in the fields of video editing, animation production，digital entertainment and conservation of cultural relics.

视频克隆与修补是视频编辑领域内的重要研究课题，本项目针对目标环境中增加或移除视频对象时不协调、不连贯等关键问题，研究基于时空关联的自适应视频对象克隆与修补技术，主要内容包括：（1）针对传统均值坐标克隆中存在的克隆结果与目标环境不协调问题，研究自适应目标环境的图像克隆方法，进一步提升图像克隆效果；（2）将三维均值坐标引入到自适应视频克隆中，研究基于三维均值坐标的视频克隆方法，有效避免帧间跳变，显著提升视频克隆质量；（3）研究基于薄板样条变形的自适应视频修补方法，在解决待修补对象尺度变化的同时，结合利用视频帧间的时空关联，生成自然真实的视频修补结果；（4）在上述视频克隆与修补方法的基础上，研发图像视频编辑与重用软件系统。本项目研究在影视特效、动画制作、数字娱乐、文物保护等领域具有重要的理论意义与应用前景。

图像视频的编辑处理，作为数字内容产业的重要支撑技术之一，日益成为关注和研究的重点，在影视特效、动画制作、数字娱乐、文物保护等领域具有重要的理论意义与应用前景。在四年的项目实施期间，课题组围绕图像视频的克隆与修复技术展开了详细的研究，解决了在目标视频中增加或移除视频对象时不协调、不连贯等关键问题，实现时空关联条件下视频对象的自适应合成与修补，从而达到数字媒体资源的高效重用，为数字内容的创作提供技术支持。共发表和录用学术论文18篇（SCI收录12篇）；申请7项国家发明专利，其中授权3项；获得教育部高等学校科学研究优秀成果奖技术发明奖二等奖（排名第3）；培养硕士生10名。项目主要研究内容与成果包括：（1）在显著性模型方面，分别提出了基于移动视觉焦点的目标分割模型，Gabor纹理线索的图像显著性模型和RoL-BoW图像内容表示模型。（2）在图像分割与克隆方面，分别提出了基于JSEG图像纹理分割方法和图像彩色注释自动检测与删除方法，基于联通区域的多视点优化合成方法和显著性目标移动的自动抠图方法。（3）在视频分割与合成方面，分别提出了自适应超像素优化的视频时间一致性方法和基于八方向敏感优化的光照不变视频合成方法。（4）在视频修补方面，分别提出了基于光照一致和梯度一致性优化的视频修补方法和结构保持的尺度优化修补方法。（5）在图像标注与检索方面，分别提出了基于内容表示的多层分词的图像标注模型和基于显著性扩展的图像检索方法。（6）在应用研究方面，提出了基于计算机视觉的工业产品表面缺陷的检测方法等。