双线性因子分析及其拓展研究

As special cases of linear latent variable models, factor analysis is one of the popular dimension reduction tools for 1-D(vector-type) data, and has been widely used in statistics, pattern recognition, machine learning, etc. However, when used on 2-D(matrix-type) data such as images, factor analysis often suffers from the so-called curse of dimensionality due to the subsequently large number of model parameters. To overcome this problem and the drawbacks suffered by some related methods on 2-D data, based on the available research works of PI and Co-PIs, this project will originally develop a novel probabilistic model called bilinear factor analysis for 2-D data,and then develop some promising extensions of the proposed model. Model fitting via practical and efficient maximum likelihood algorithms will be developed; model selection issues will be examined. Model extensions such as adaptive extensions, mixture extensions, robust extensions, mean-restricted estensions and variational Bayesian treatment of the proposed models will be considered. Applications such as unsupervised feature extraction, statistical classification, clustering, missing data imputation, etc. will be investigated.

作为特别的线性隐藏变量模型，因子分析模型和概率主成分分析(PCA)是针 对一维(向量型)数据的流行线性降维工具，广泛应用于统计学、模式识别、机器学习、数据 挖掘等诸多领域。然而，当应用于二维(矩阵型)数据如图像时，因子分析通常会遭遇所谓的 维数灾难，因为此时需要大量的模型参数来说明模型。 为克服这一问题以及现有二维数据处理方法的不足，在课题申请人现有工作基础上，本项目将为二维数据原创性开发一个新的概率模型叫做双线性因子分析，在提出的模型基础上开展一些有应用前景的拓展性研究。模型拟合方面将开发实用和有效的最大似然估计算法；考察模型选择问题等。模型拓展方面将考虑自适应拓展、混合拓展、稳健拓展，约束均值的拓展，变分贝叶斯学习等；应用方面将考虑非监督特征提取、统计分类、聚类、缺失值填充等。

本项目针对二维数据（每个数据点为一个矩阵）的概率维数约简问题开展研究，完成了原定研究计划，主要取得了如下多项研究成果和阶段性成果。（1）针对二维数据开发了一个新的概率模型称为双线性因子分析，提出了三种极大似然估计算法来拟合该模型；（2）在模型的自适应拓展方面，针对因子分析模型开发一种全新的自适应学习算法，该算法新颖性在于将参数估计和模型选择集成到一个算法中；（3）在模型的混合拓展方面，开发了一个新的概率模型称为混合双线性概率主成分分析；针对不同类型的混合模型族，提出了两种新的混合模型选择准则；（4）在模型的稳健拓展方面，采用矩阵变元t分布，提出了一个新的稳健双线性因子分析模型；（5）在判别分析拓展方面，提出一种新的针对二维数据的两阶段正则化判别分析方法，实证研究结果表明，提出的方法比传统的正则化线性判别分析以及一些相关方法具有更为优异的分类表现。..项目组在国内外机器学习领域、统计学领域著名期刊发表论文8篇，其中SCI收录论文6篇，EI收录论文2篇，包括1篇《IEEE Transactions on Neural Networks and Learning Systems》，1篇《IEEE Transactions on Cybernetics》，3篇统计学领域期刊《Computational Statistics & Data Analysis》，1篇《Journal of Applied Statistics》，另有多篇论文处于撰写、修改过程中；获得云南省哲学社科优秀成果奖三等奖1项；培养硕士生共计14名。按预期目标完成了研究任务。