多源异质数据的复杂事件分析

Complex events are consisted of multiple simplex events which happen consequently or concurrently and have semantic multimedia information units. Theory and techniques that can effectively analyze complex events play a fundamental role in the research on multimedia information retrieval and surveillance. The main challenges in complex even analysis are in three folds: unified representation of heterogeneous audio and video data, large intra-class variation of multi-source data from different clients and spatio-temporal modeling of simplex events in complex events. This project will conduct research to handle the above challenges in the following three aspects: 1) unified representation of heterogeneous data based on intrinsic space learning including multiple kernel-distance subspace super vector representation and locality-preserving discriminative sparse coding. 2) large intra-class variation removal based on space mapping including supervised subspace mapping and multi-source canonical correlation analysis. 3) Context based spatio-temporal modeling of complex events including parametric state-duration HMM and spatio-temporal information graph matrix modeling. The results and breakthrough from the projects will lay important l foundations for multimedia retrieval, management and surveillance both theoretically and practically.

复杂事件（Complex Event）是由多个在时间上相继或并发出现的简单事件所组成的，具有一定语义的多媒体信息分析单元。有效的复杂事件分析的理论和技术是进行多媒体检索与监控等研究的重要基础。对复杂事件的分析面临着如下的挑战：音频与视频等异质数据的统一表示问题、不同用户的同质多源数据的类内大差异问题、复杂事件内简单事件的时序关系解析和建模问题。本项目将针对上述挑战展开研究，其内容如下：1）基于本征空间学习的异质化数据的统一表征，包括多核函数的距离子空间超向量表示和局部保持的判别稀疏编码超向量表示；2）基于空间映射解决类内大差异去除问题，包括有监督子空间映射和多源数据典型相关性分析映射；3）基于上下文关系分析的事件时空建模，包括状态持续时间的HMM建模和时间-空间的信息图矩阵建模。本项目的研究和突破将为新形势下多媒体信息检索、管理和监控等领域的研究奠定重要的理论和实践基础。

本课题从异质数据的表示问题、异质数据多通道融合、时序建模问题等方面展开相关研究。其中异质数据的表示问题包括基于VLAD框架的特征表示、CNN深度特征表示问题、多层卷积ISA模型的特征表示；异质数据多通道融合问题包括基于概率典型相关分析的特征融合、基于核融合方法、核校准等；时序-空间建模问题包括基于LDS+CNN的时序-空间建模、基于HMM的时序-空间建模、CNN+LSTM/GRU的时序-空间建模方法，除此之外，还提出了余弦激励函数的紧致网络。.通过课题前期研究，找到异质信号融合的新思路，并通过前期基础实验，验证了提出方法的适用范围以及其有效性。本项目研究，对互联网多媒体数据日益增加的异质数据的分析，以及利用多源异质数据提高对场景、复杂事件分析，提供必要支撑。本项目的前期研究，也将为新形势下多媒体信息检索、管理和监控等领域的研究奠定重要的理论和实践基础。