非参数贝叶斯框架下的因子混合分析器的理论与应用研究

With the development of acquisition and storage techologies, high-dimensional observed data and high-dimensional feature vectors spring up. Though these high-dimensional data can provide more information than before, they inevitably pose serious challenges to existing processing tools and approaches. The factor mixture analyzer (FMA) is a representative tool which has been recently proposed to perform data processing and dimension reduction simultaneously. However, the model and the related parameter estimation algorithm of the FMA are based on the maximal likelihood criterion, having limitations in the model structure and parameters. Therefore, in this proposal, first, we will research the FMA from the persepective of Bayesian nonparametrics, which contains the establishment of two new models (BFMA, BtFMA) and the derivations of the related inference algorithms. After finishing the theoretical research, we will combine the BFMA/BtFMA to the hidden Markov models and apply the corresponding approaches to speaker diarization, which is one of the most important problems in the domain of speech signal processing. From the research of this proposal, the proposed BFMA and BtFMA will automatically determine appropriate structure and posteriors of parameters. They will provide new tools to processing high-dimensional data precisely and flexibly. The results from the application will help to further enhance the performance of speaker diarization systems, and provide new approaches when solving other problems in the information science.

随着采集和存储技术的发展，高维观测数据、高维特征矢量不断涌现，在提供更多信息的同时也不可避免地对处理工具和方法提出了严峻的挑战。因子混合分析器是近期提出的在完成数据处理任务的同时实现数据降维的典型工具，然而现有的基于最大似然准则的因子混合分析器无论在模型结构还是参数上都存在着局限性。为此，本项目首先将在非参数贝叶斯框架下对因子混合分析器进行理论研究，主要包括模型的建立和与模型相关的学习算法的推导。在理论研究完成后，拟将得到的非参数贝叶斯因子混合分析器嵌入隐马尔可夫模型中，并将其应用于当前语音信号处理中的热点问题- - 说话人分割聚类。本项目的理论研究提出的非参数贝叶斯因子混合分析器可望根据数据自动确定合适的模型结构和参数分布，从而更精确更灵活地处理高维数据；其应用研究成果有助于进一步提高说话人分割聚类系统的性能，并且为解决信息科学中其它相关的应用问题提供了新的思路和方法。

本项目针对实际问题中经常出现的高维数据，从理论和应用两个方向去研究其建模和处理方法，包括：基于非参数贝叶斯框架下的因子混合分析器的理论研究及应用；基于分布式因子混合分析器的理论研究及应用；基于变分加权混合模型的理论及应用；基于隐马尔可夫-因子混合分析模型的说话人分割技术的研究与应用等。本项目的研究成果部分完善和填补了国内外在基于因子分析和混合模型的高维数据建模与处理方面的空缺，是一个创新性和应用性都较强的课题，其研究成果不仅可以应用于本研究中所设计的语音，图像等领域中的高维数据，而且对信息科学领域的其他问题的解决也具有参考和借鉴价值。. 三年来本项目着重就如下几个方面开展了深入细致的研究工作：（1）建立了贝叶斯因子混合分析器，推导了其学习算法，并将其应用于高维数据的聚类；（2）建立了分布式因子混合分析器的理论框架，并给出其对应的分布式参数估计算法，将其应用于解决无监督学习问题和有监督学习问题；（3）对传统混合模型进行扩展，建立了变分扩展混合模型，并将其应用于图像分割和说话人识别这两个信号处理领域的经典问题；（4）建立了隐马尔可夫-因子混合分析器，并且用其实现了多个说话人同时存在时的说话人分割问题。 . 通过本课题的研究，达到了下列目标：（1）在高维数据聚类中，可以由贝叶斯因子混合分析模型自动学习出最优的类别数，解决了实际问题中模型的复杂度未知所带来的匹配问题；（2）分布式因子混合分析模型在一定程度上解决了数据量较大，节点处理能力有限的网络环境下，模型的参数估计问题，使得节点可以根据协作共享信息，共同完成所需目标和任务；（3）和传统混合模型相比，变分扩展混合模型的灵活性大大增加，获得了很好的性能；（4）充分利用了隐马尔可夫模型和因子混合分析器各自的优势，具有较为精确地分割效果。. 通过本课题的研究，发表了十余篇研究论文，其中被SCI，EI收录11篇，申请并受理了6项发明专利，其中已授权1项发明专利,1篇论文获得CCITSA最佳论文奖。利用该项目培养博士研究生2名、硕士研究生4名。参加国际交流4次，国内交流十余次。