基于隐式分解的时间序列结构模型的推理与预测研究

Structure model has been recently received much attention in the high dimensional data modeling and inference, and it is becoming a new research topic in artificial intelligence, computer vision and machine learning. To deal with the high dimensional time series inference and prediction using structure model, the key challenge lies in decomposing the high dimensional complicated structure model into multiple simple solvable ones. To this end, our proposal targets at highlighting the potential solutions and the fundamental research on structural time series inference and prediction. Three prominent contributions can be noticed: (1) the max marginal-based implicit method for the time serials context modeling, (2) the dual decomposition-based mutual inference method for the structure model, (3) topological evolution and dynamic deformation modeling. The three aspects complement mutually, and address the decomposition, inference and updating process of the structure model, respectively. With our proposal, a high efficient online analysis and prediction platform for high dimensional time serials can be constructed. The resulted platform is essential for dynamic structure analysis and data discovery, furthermore, it will facilitate other applications over related research fields.

结构模型在高维数据的建模与推理中的广泛应用，同时也逐渐成为人工智能、计算机视觉与机器学习等研究领域的研究热点。为了应对时间序列上高维数据的推理与预测所面临的多重挑战，时间序列上结构模型与相关方法具有重大研究价值，而其中的关键点在于如何将高维复杂结构模型分解为多个简单模型分别求解。本项目着眼于时间序列上结构模型的推理与预测的基础性研究，主要贡献是形成一套完善的、针对高维时间序列数据的分析框架，具体研究内容包括以下三个研究点：(1)基于最大边缘值的时间序列隐式上下文关联方法；(2) 基于解耦分解的结构体混合推理方法以及(3) 动态结构体的拓扑演化与形变模型。这三个连贯一体的研究点分别对结构模型进行分解、推理和更新，互为耦合并相互支撑。本项目以输出一套高效的在线时间序列高维数据的分析预测平台，为动态结构分析与知识发现提供理论基础，并促进时间序列结构模型在多个相关学科领域中的应用。

为了应对高维空间中数据建模分析与推理预测所面临的多重挑战，本课题研究工作近四年来聚焦于低维流型的结构性模型相关理论方法，在以下几个方面已经取得了显著进展：..1）结构性的超图拓扑网络与相关方法。传统图结构中所有边的度数都是强制性的2，但超图结构中可以使用其无限度数的超边来编码高阶数据相关性（除成对连接之外）。所提出的基于超图结构的神经网络框架（hypergraph neural networks framework）能表达有效地表达复杂数据的相关性，并且结合新设计的超边缘卷积运算，能更好地利用高阶数据相关性进行表示学习。在多个应用场景中，超图神经网络框架对多模态数据的分析与预测取得了比现有算法好的性能表现。..2）弱监督学习中的结构性约束方法。常见深度学习模型都需要标记完整的数据集训练，而成本低且数量多的弱标签数据难以得到应用。通过加入结构性的约束可有效解决弱监督学习中存在的噪音干扰，迭代地训练得到性能优良的网络模型和优化弱标签数据。..3）结构相关性与数据语义标题生成。对于非结构化数据的结构化标题生成，可实现数据的内容聚合与语义检索。本项目所提出的结构化语义推理模型模拟数据间的相关性，而结构化的编码器-推断器-解码器方法在标题生成中显式地集成了词法和句法多样性，在MSCOCO基准数据集上优于现有方法。..4）高维神经网络的结构分析与裁剪。为了有效利用卷积神经网络中的结构化信息，本项目提出了一种有效的结构化裁剪方法，以端到端的方式裁剪网络冗余结构部分（包括卷积算子，网络分支和网络块），无需反复迭代裁剪和重新训练。与以前的强依赖于标签的修剪方法不同，所提方法采用无标签生成对抗学习（Generative Adversarial Learning）生成稀疏软掩码可将特定结构的输出降低到零，从而获得更高的加速比和更低的错误率。