非参数贝叶斯建模、计算及在类属数据分析中的应用

信息科学牵涉的数据往往是不完整或不精确的，而非参数贝叶斯统计学非常适合用来处理不确定性数据，因此，它能够为信息科学提供有效的建模工具和计算方法，并将成为统计学习的主流研究方向。本项目将主要研究高斯过程、威沙特过程和狄利克雷过程等三种非参数贝叶斯建模方法及其推理算法和在类属数据分析中的应用。重点研究如下内容：研究完全贝叶斯的广义核模型，从而克服高斯过程严重依赖于方差函数以及计算的高代价等问题；研究威沙特过程在再生核函数统计建模中的理论和算法设计问题；研究狄利克雷过程混合体、相关狄利克雷过程的有效建模途径和高效计算算法；研究高斯过程、威沙特过程和狄利克雷过程的组合模型及其计算方法；研究本项目提出的非参数贝叶斯方法在类属数据分析中的应用，并研发相应的软件原型系统。

我们的工作首次将矩阵元分布理论引入到相关性狄利克雷过程领域中，提出了一个矩阵元狄利克雷过程混合模型, 且将该模型应用于多元回归问题以及因子分析中。项目提出了一种新构造相关狄利克雷过程的方法, 即利用条件自回归的思想来表示一组随机分布之间的相关性，项目给出具体的模型以及用于模型推断的MCMC算法，并应用到多元回归问题上。项目提出了一个完全贝叶斯广义核模型。这个工作从再生核希尔伯特空间上的一个无穷维基展开理论出发，导出了我们称之为的“Silverman g-prior”. 项目同时针对当前机器学习的一个热点方向---贝叶斯稀疏学习---做了一些研究。主要进展在于稀疏建模的非凸松弛方法,考虑了Levy 过程应用。此外，对面向大数据的机器学习的随机算法做了一些深入研究。研究成果有5篇论文发表在国际顶级期刊JMLR (Journal of Machine Learning Research)上。