基于图像摘要的视频编码与检索研究

Higher coding performance and retrieval-friendly features are required in future video applications, and then this project focuses on video coding and retrieval based on image epitome. Firstly, following the research of intra coding and refresh with video epitomic priors, K-L transformation is constructed for intra coding with image epitome, with the purpose of covering the prediction error distribution after intra prediction better, from the perspective of the whole of the combination of transformation and prediction, while the coding gain of 0.3dB is expected. Secondly, we formulate the inter-frame prediction via virtual reference frame, which is constructed by fusing multple reference frames through video epitomic analysis, changing the current reference management strategy, and this work will solve the contradiction between the number of reference frames and the covering video content, and can improve the coding efficiency by 0.5dB comparing with video codec with two reference frames, and have the same coding performance with video codec with multiple reference frames. At last, the key frame for video retrieval can be extracted based on given video epitomic priors for prediction in the bitstream, taking advantage of coving more content for image epitome. The retrieval features are also evaluated for the novel key-frame extraction method in this work. Comparing with the video retrieval system with conventional key-frame extraction method, an improvement on precision and recall by 10% is expected.

针对未来视频应用对编码效率和检索友好性的需求，本项目研究基于图像摘要的视频编码与检索。首先，在基于图像摘要先验知识的帧内编码与刷新的研究基础上，进一步优化基于图像摘要帧内预测的编码方式，从预测和变换的整体出发，构建与图像摘要帧内预测残差分布相适应的K-L变换，预期能够进一步提高帧内编码的编码效率0.3dB以上；第二，使用图像摘要生成方式重新构建多帧预测中的参考帧管理策略，形成基于图像摘要的虚拟帧帧间预测技术，减少参考帧缓存开销，解决参考帧数量和所覆盖图像内容范围之间的矛盾，与具有两个参考帧的编码方法相比，预期提升编码效率0.5dB以上，并与多帧预测编码性能相当；最后，研究基于图像摘要的关键帧提取及其在视频检索中的应用，利用在码流中已经存在的图像摘要先验知识，提取视频镜头的关键帧，确定与之适应的最佳检索特征，与传统的基于关键帧的像素域视频检索方法相比，预期提升查准率和查全率10%以上。

在项目执行期间，项目团队严格执行研究计划的各项任务安排，分别研究了面向图像摘要帧内预测的KLT变换、基于图像摘要的虚拟帧帧间预测、基于图像摘要的压缩域像素域混合视频检索等三项主要研究内容。在研究过程中，项目团队通过实验发现项目申请书中的一些路线、方法存在一些问题或者不足之处，并根据研究结果灵活调整了研究策略和相应的技术路线，并取得了较好的研究结果，本项目的研究内容主要包括：在面向图像摘要帧内预测的KLT变换基础之上，推导得出视频编码中整数正弦变换的所有变换核，得到一组比HEVC(High Efficiency Video Coding)标准中所采用的整数正弦变换更优的变换核，相对于HEVC，编码增益达到0.3dB；研究了基于纹理合成和视觉显著度的视频编码方法,与H.264/AVC编码方法相比，在相同主观质量的情况下，能够降低码率5%到20%；根据公安刑侦实战的需要,开发了商用的基于SIFT特征和颜色特征的“以图搜图”图像检索系统和视频侦查作战系统，并在全国数十家地市公安局部署使用，有力地提升了民警的办案能力，产生了良好的经济效益和社会效益。在项目资助期间，项目团队在国内外重要的学术期刊和会议上发表高质量的学术论文6篇；申报专利4项，取得专利授权3项；申报软件著作权2项；基于本项目相关技术的“博微视频侦查系统V1.0”通过同行专家鉴定，被安徽省科技厅授予省级科技成果；主持制定企业生产标准1项；