基于图建模和图嵌入框架的视频指纹研究

本项目以基于内容的视频指纹为主要研究内容，结合当前的研究现状与发展趋势，采用图建模和图嵌入框架进行研究。利用视频时空特性，建立视频图模型，以图顶点度和二叉树理论选取视频代表帧、分散帧；结合马尔科夫随机场、能量优化以及图割理论进行视频帧主要内容的提取，实现视频数据的第一级约简；根据视频内容认证的要求，通过对图嵌入框架的研究，提出针对视频数据特点的维数约简算法，实现视频数据的第二级约简；进而，利用峭度理论，结合低维空间映射点的统计特性和几何特性构造视频指纹。本项目在保证视频指纹鲁棒性和区分性的基础上，对视频高维空间的图建模、图嵌入框架下的视频维数约简、基于统计特性和几何特性的视频指纹的生成和匹配等关键问题展开研究，将图论应用于视频分析中，结合图嵌入框架对视频数据进行双重约简，获取基于内容的视频指纹。对基于内容的互联网视频认证和管理技术的发展具有重要的推动作用和研究意义。

本项目以视频拷贝检测、盗版监控和内容过滤为主要应用背景，研究基于图建模和图嵌入框架的视频指纹技术，本项目的主要研究成果包括：（1）提出了基于视频图建模的关键帧提取方法。该部分研究把视频抽象为高维空间的无向权重图，提出利用图邻接矩阵和贪心搜索算法的关键帧提取方法，同时，为克服传统关键帧提取方法中镜头分割易受参数和噪声影响的局限性，提出了基于图二叉树的关键帧提取方法。这些方法为基于关键帧的视频检索、内容分析等技术提供了技术支持，同时也为本项目下一步视频指纹的生成打下了基础；（2）提出基于视频帧前景和背景分割的视频指纹方案。该方案利用图割、最大流-最小割理论实现视频前景内容和背景内容的分割。最后对于前景内容进行处理构造视频指纹。该方案从用户的角度，即利用人关注内容进行视频特征提取，为视频拷贝检测的研究提供了另外一种思路；（3）研究了基于图嵌入框架的视频指纹生成方法，该部分研究首先利用图嵌入框架下传统的流形学习算法对视频特征降维，在低维空间提取视频指纹，然后利用优化算法，提出一般图嵌入框架下的视频指纹生成方法。该部分研究把高维视频特征转化为低维视频指纹，降低了视频检索的复杂度，提高了检索效率；（4）提出基于视频层析成像的视频指纹方法。该方法结合视频时空特性把高维视频数据投影到二维图像上，计算视频层析图像的累积量并构造视频指纹。另外，项目还对视频指纹的匹配方法进行了研究，提出了基于分层匹配的策略。本项目以图模型和图嵌入框架为基本理论依据，从关键帧提取，内容分割，视频指纹生成，指纹匹配等几个角度入手，深入的研究了基于视频指纹的视频内容管理技术的各主要方面，为互联网视频的检索和拷贝检测提供了理论依据和技术支持。