基于多模型联合学习的视频摘要方法研究

Video summary is an important technique in video analysis, which represents the main video content by selecting several key frames. Although dramatic progress has been made in the past years, there are still many problems remaining unsolved. First, the research for video feature representation is insufficient. Second, it is difficult to model several properties that need to be satisfied by video summary. To address these two problems, this project aims to do research on high-dimensional feature representation, video summary property modeling (including importance, representativeness, diverseness and storyness) and the multi-model joint learning mechanism. We will make our best to achieve aforementioned goals, and provide technical support and theoretical foundation for video summary in intelligent video analysis. The research about related problems can promote the development of computer vision, machine learning and artificial intelligence. Meanwhile, the research achievements can also apply to mess video data storage and retrieval fields, it is of important significance for both academic community and industrial community.

视频摘要，即通过提取视频中的一组关键帧表征视频主要内容的技术，是视频分析研究的核心内容之一，虽然国内外研究机构在此方面取得了较大进展，但仍有许多问题亟待解决。首先，对视频数据特征表达的研究尚不完善。其次，对视频摘要所需要满足的性质难以度量。针对上述问题，本项目拟从高维空间中视频数据特征表达机制，视频摘要的重要性、代表性、差异性和情节性的度量模型，以及多模型联合学习机制等方面进行系统研究。力求在复杂视频分析中的数据表征学习、摘要特性度量、模型联合学习上取得创新性成果，为智能视频分析中的视频摘要提供技术支撑和理论依据。对相关问题的研究，不仅可以推动计算机视觉、机器学习、人工智能等领域的发展，同时也可实际应用于海量视频数据的存储与检索等领域，对学术界和工业界都有着极其重要的意义。

视频摘要，即通过提取视频中的一组关键帧表征视频主要内容的技术，是视频分析研究的核心内容之一，国内外研究机构在此方面取得了较大进展。在项目执行过程中，我们将研究内容凝练为影像数据预处理与特征表达、数据聚类分析、场景理解与视频摘要综合模型等三大方面。在影像数据预处理与特征表达方面，我们发现了正激励噪声，并提出了一种局部自适应判别分析框架，一种有效利用稀疏模糊隶属度的无监督特征选择方法等；在数据聚类方面，典型的研究成果包括：提出了一种基于自适应图自动编码器的数据聚类方法，提出了一种基于无相关岭回归的聚类方法，提出了一种基于自适应邻居和自编码器的深度聚类方法等。在场景理解与视频摘要综合模型方面，我们提出了一种基于注意力交通场景空间分割网络的交通场景理解方法和一种基于元学习的任务驱动视频摘要方法。