高精度稳定的黑盒变分推理关键问题研究

The central step of Bayesian modeling is approximating inference. Variational inference (VI) is one of the most commonly used approximating inference algorithms, which converges faster and is easy-to-parallelize. However, VI is model-dependent and expert-dependent, making it less applicable to real-world applications. Thus, researchers have paid more attention to the general black-box VI method, which does not rely on the model structure and expert experience, aiming at making VI more applicable and stronger in computation. Unfortunately, the existing black-box VI methods suffer from three issues of large variances of Monte Claro gradients in optimization, lack of modeling over variable dependency, and strong constraint on the variational objective. These result in inaccurate and unstable estimations, and make the black-box VI methods unavailable in real-world applications. To alleviate these issues, this project aims at improve the accuracy and stability of black-box VI methods by the following researches: using numerical approximations to reduce variances of Monte Claro gradients; using copula functions and hierarchical models to model variable dependency; generalize the variational objective using multi-objective optimization and nonparametric.methods. Finally, this project proposes an general, accurate and stable black-box VI methodology. The research findings of this project provide simple and effective inference algorithm for Bayesian models in applications.

应用贝叶斯推理的核心是模型近似推理。最常用的近似推理算法之一是变分方法，它具有收敛速度快和易并行化等优点，但模型依赖和专家依赖使其缺乏通用性，极大限制了其应用。因此，国内外学者越来越关注独立于模型结构和专家经验的通用黑盒变分推理，以扩展变分方法的使用范围和提高求解能力。但已有黑盒变分推理尚存在优化过程的蒙特卡洛梯度方差过大、缺乏对变量相关性的建模、变分目标函数限定过强等问题，导致计算精度和稳定性都远远不够理想，严重影响黑盒变分推理应用效果。围绕上述问题，本项目以提高黑盒变分推理计算精度和稳定性为目标，拟开展如下研究：使用数值近似等约减蒙特卡洛梯度方差；基于copula函数和变分先验分布建模变量相关性；基于多目标优化和非参数方法扩展变分目标函数。最终提出通用性良好、高精度、稳定的黑盒变分推理算法。本项目研究成果可为实际任务中的贝叶斯模型提供简便可行的通用推理方法。

黑盒变分推理是贝叶斯方法最常用的核心近似推理算法之一，因其独立于模型结构、通用性更强而受到国内外学者越来越高的关注。但现有工作存在许多不足：优化过程的蒙特卡洛梯度方差过大；缺乏对变量相关性的建模；变分目标函数限定性过强。这些导致了计算精度和稳定性都远远不够理想，严重影响其应用效果。针对上述问题，本项目以提高黑盒变分推理计算精度和稳定性为目标，提出了一系列通用性良好、高精度、稳定的黑盒变分推理算法，完成了研究目标。在此基础上，增加了黑盒变分推理算法的应用研究。具体研究及取得的成果如下：1. 通过减小黑盒变分算法中蒙特卡洛梯度的方差来减小计算偏差，从重要性采样的方差约减、重构再参数化方法两个方面来减小蒙特卡洛梯度的方差：提出了自适应重要性采样的黑盒变分推理算法、黑盒期望传播算法；带有非线性神经主题的生成模型GMNNT、分层协助神经主题模型LANTM等。 2. 建模黑盒变分过程中的变量相关性以减小假设偏差：利用copula函数建模变分分布相关性，结合基于平均场分解分布的采样方法，提出快速copula变分推理算法FCVI；结合变分流形和Wasserstein Barycenter建模变量间相关性，提出带有变分流形正则化的狄利克雷多元混合模型LapDMM、利用Wasserstein Barycenter正则化进行变量相关性约束的弱监督文本分类算法WTC-WBR等。3. 通过扩展黑盒变分推理的变分目标函数，以Wasserstein距离代替KL散度，进一步减小假设偏差：提出了基于copula函数的快速近似连续分布OT距离的方法Cop-OT；基于联合分布的共轭公式的快速近似连续分布OT距离的方法Map-OT；利用Wasserstein Barycenter近似变分分布的端到端连续分布近似方法VWB-CMR等。4. 围绕弱监督学习和情感分析开展应用研究：提出了基于平衡的深度表示分布的半监督文本分类方法S2TC-BDD、基于启发式mix-up的PU学习方法P3Mix、利用辅助矩阵和流形约束缓解多输出回归噪声的RMoR-AION等。以上研究拓宽了黑盒变分推理算法的适用范围，为实际任务中的贝叶斯模型提供简便可行的通用推理方法，对深化贝叶斯方法的理论研究，促进贝叶斯方法有效解决实际问题等方面具有很重要的意义。