弱监督信息下的互联网视频语义分析机制研究

With the development of mobile Internet technology, massive video data appear on the Internet, and their semantic annotations are often missing or contain noise. Therefore, annotations of Internet video are considered to be weakly supervised information compared with the rich semantic contents. In order to fully represent the semantic content, the traditional video analysis methods quantify videos as high dimension vector, which causes not only the loss of space-time information, but also the "Over-fitting" problem under the constraint of weakly supervised information. In this project, we target to develop a framework of Internet video semantic analysis under weakly supervised information, which mainly includes: 1. To introduce the complementary information between training samples and the relevant information of unknown semantic samples into semi-supervised learning; 2. In order to utilize the correlation between multiple media data, to study the cross-media learning method based on heterogeneous features, and strengthen its video analysis performance through the introduction of unknown semantic samples; 3. To conduct high-order expansion to the existing semantic analysis methods based on the high-order data decomposition, and explore the deep feature learning framework that can reflect the space-time information by combining the tensor representation and deep learning theory. We will develop the semantic analysis system for Internet video through the joint modeling and optimization analysis of the relevant algorithms, and achieve breakthrough in solving the key issues, such as the limited training samples, the lack of semantic clues, and the loss of space-time information.

移动互联技术的发展使得视频数据在互联网上海量出现，其语义标注往往缺失或包含噪声。因此相对于丰富的语义内容，互联网视频的标注被认为是弱监督信息。传统视频分析方法为了完整地表示语义内容将视频量化为高维向量，不但造成时空信息的丢失，而且在弱监督信息约束下，将会导致“过拟合”问题。本课题拟建立弱监督信息下的互联网视频语义分析框架，主要包括：1. 将训练样本之间的互补信息以及未知语义样本的相关信息引入半监督学习；2. 结合多种媒体数据之间的相关性，研究基于异构特征的跨媒体学习方法，并通过引入未知语义样本强化其视频分析性能；3. 以高阶数据分解为理论依据，对现有语义分析方法进行高阶扩展，同时结合张量表达和深度学习理论，探索能反映时空信息的深度特征学习框架。通过对相关算法的联合建模以及优化分析，研发面向互联网视频的语义分析系统，力争在解决训练样本不足、语义线索缺乏、时空信息丢失等关键问题上实现突破。

视频数据在互联网上海量出现，其语义标注被认为是弱监督信息。传统基于向量的视频分析方法不但造成时空信息的丢失，而且在弱监督信息约束下，将会降低语义分析性能。课题组针对上述问题，主要做了如下研究：.1.提出了具有秩优化功能的半监督高阶数据分析算法，具有直接处理高阶数据并进行秩优化的优点，此外由于加入了半监督学习，使得该模型与已有的张量学习方法和深度学习方法相比，在小训练样本的数据分析问题上取得了明显的突破。该项工作已在SCI-1区TOP期刊上发表。.2.提出了直接处理高阶数据的逻辑回归模型，可以直接利用2阶数据训练得到两组模型向量。学习模型向量的过程中不需要对2阶数据进行向量化，因此避免了时空信息的丢失。此外，在模型中加入了L2,1范数构造正则化项，可以优化模型的秩，以便去除2阶特征数据中的冗余和噪声信息。该项工作已在CCF-B类SCI期刊上发表。.3.针对第2项中提出的2阶逻辑回归模型进行了扩展，形成了可以直接处理3阶及更高阶数据的逻辑回归模型。该模型可以直接对视频进行语义分析，该项工作已在SCI期刊上发表。.4.构建了基于空间学习和跨媒体学习的视频分析框架，既可以利用基于异构特征的无标签数据(未知语义样本)，也可以利用基于同构特征的有标签其他媒体数据(跨媒体数据)，通过构造联合结构性稀疏正则化因子，使得最终的视频表达更加清晰。该项工作已在SCI期刊上发表。.5.提出了一个有效多尺度深度特征学习的框架。为了充分地从特征张量中获取更多正向的深度特征信息，设计了一个可移植的深度特征后处理模块。将整体的有效多尺度框架和改进的深度特征后处理模块整合到一个统一的分析框架中，提取了更加深度的、更有判别力的特征。该项工作已在SCI期刊上发表。.6.在不确定理论的公理系统下，主要研究了带跳跃的不确定微分方程的pth矩指数稳定性，该项工作为框架相关算法稳定性分析奠定了理论研究基础。该项工作已在SCI期刊上发表。