基于H.264/AVC压缩域的视频内容相似性分析

Video similarity analysis is to measure the similarity between two videos based on video content. It plays an important role in the research area such as video search, video management, video analysis and video surveillance etc. Video similarity measurement needs to extract the proper features. But the majority existing methods extract the features in pixel domain, and the computing and storage will need more resources. Even for the research works in compressed domain, the methods are usually for the MPEG compressed video. However, the H.264/AVC standard is broadly adopted in most of the videos storage and transmission applications. Due to many new technologies are introduced by H.264 coding standard, the existing methods in compressed domain can not be directly applied to the new coding standard. This study is focused on the similarity measurement of two video clips based on the H.264/AVC compressed domain. On the basis of mining the useful information from the compressed domain, the effective feature representations for video contents are established and similarity measurement algorithms are designed. The study is carried on from two aspects, one is based on the set of key frames and the other is based on the feature change in the data flow.

视频相似性分析指根据内容度量两个视频之间的相似度，在视频搜索、视频管理、视频分析、视频监控等有着重要的应用价值。度量视频之间的相似度，需要先提取合适的特征，但是现有特征提取方法多是在像素域进行，特征的计算和存储都需要较多资源，即便针对压缩视频的研究也多是针对MPEG标准进行。然而日益普及的H.264标准有着不同于MPEG1,2的新技术，因此已有压缩域方法不能直接应用于新编码标准。本研究旨在针对H.264/AVC压缩视频，挖掘压缩码流中的有用信息，从基于关键帧集和基于流间特征变化两个角度研究视频的特征表示及特征空间上的视频间相似性的度量方法。

随着网络通信技术与多媒体技术的飞速发展，数字视频数量快速增加，针对视频的快速编码及分析处理的应用需求不断加大。H.264/AVC视频压缩编码标准是目前业界采用的主流编码标准，针对该标准，本项目分别就其编码端的快速编码方法及其解码端的视频特征提取方法进行了研究。.本项目完成的具体研究内容包括：在视频快速编码方面，研究了H.264/AVC的帧内预测及帧间预测的快速模式选择方法，并应用到MPEG-2到H.264/AVC的快速转码中，也研究了H.264/AVC扩展标准中的多视点视频的快速帧间编码，这些模式选择算法可为编码宏块选取少量编码模式，在保持编码性能的前提下节省编码计算量。在压缩域视频特征提取及匹配检索方面，分别研究了基于帧内纹理特征和基于帧间运动特征的视频签名提取方法，通过计算签名特征矢量之间的距离达到了度量视频间相似性的目的，也研究了对不同H.264/AVC编码参数得到的同源视频的检测方法，这些压缩域处理方法提高了视频特征提取及匹配的效率。最后，在视频内容理解方面，研究了用语句描述视频内容的方法，可为视频提取高层次的语义特征，提高检索效率。.在本项目的资助下，课题组培养了硕士研究生3人，发表论文6篇（其中SCI论文2篇），在审国际期刊论文2篇，申请发明专利2项。