基于语义分析和视觉关注的视频自适应研究

网络视频资源的日益膨胀、多媒体终端的推陈出新以及移动视频业务的不断拓展，使人们对于视频自适应的深入研究与推广应用提出了迫切需求，特别是从视频内容理解的角度来提高视频内容适配的智能性变得十分必要。本项目旨在研究基于视频语义分析和视觉关注的视频自适应技术。将结合视频的语义分析与视觉关注来实现视频内容的高层理解，以此建立可服务于视频自适应的视频内容时空重要性分布模型；对视频内容进行多层次语义分析，形成以目标、场景、概念、事件为主体的多粒度语义描述框架；借鉴人类认知机理，综合利用视频中的情感特征及其相关的时空上下文特征和信息冗余特征，以实现对视频内容的认知理解。为了最大化的保持原始视频的语义丰富性和情节完整性，分别从两方面来进行视频内容自适应研究：强调重要内容的可分辨性和比例不变性，实现视频画面的自适应调整；强调视频内容的连续性和流畅性，实现视频长度的自适应伸缩。

从视频的语义分析和视觉关注出发，我们围绕视频画面自适应、长度自适应、视频摘要等几个方面展开深入研究，克服了一些难点问题，取得了较好的成果。传统的视频自适应的工作主要依靠视频的底层特征来进行视频的自适应，而缺乏对视频的语义理解和结构化分析，此外，当前的自适应方法往往忽略了画面内容和运动信息的相关性。在视频画面自适应方面，我们提出了一种结合上下文关系与时空连贯性的三维网格自适应算法，基于网格图模型视频的时空自适应方法，基于网格的裁切--扭曲联合图像自适应算法；在视频长度自适应方面提出了基于时空动态采样的视频叙事图和基于概率图匹配的全景视频长度自适应。共发表论文21篇，其中国际期刊7篇，包括图像处理会刊和多媒体会刊等；发表高水平国际会议论文14篇，申请国际专利1项，并针对IOS和Andriod平台搭建了视频和图像自适应浏览的演示系统。项目组成员积极开展国际学术交流，有4人次参加国际学术会议。总体来看，我们按照预定计划研究了各项主要研究内容，研究成果达到了预期指标，实现了预期目标。