面向特征提取的主流形理论与算法研究

本课题面向非线性特征提取这一前沿课题，着重考察基于主流形的特征提取器的鲁棒性问题，提出鲁棒主流形的概念。鲁棒主流形具有光滑的切空间，避免了谱嵌入方法对流形结构的估计稳定性差的问题；并通过在最小化量化误差过程中保持样本之间的关系在特征集合中不变，保证特征提取器的鲁棒性，克服了传统主流形方法特征提取器鲁棒性差的问题。本课题首先建立鲁棒主流形的理论模型，研究其理论性质；其次研究鲁棒主流形的学习模型的构造，学习速率等问题，并研究模型参数的优化算法；然后，本课题通过稀疏化鲁棒主流形来控制其小样本时的推广性；最后，本课题将面向可视化、图像流形参数估计、面向鉴别的特征提取等任务，在高维小样本、高噪声、高曲率数据上验证该理论与算法的有效性。本课题的目的是通过对鲁棒主流形理论与算法的研究，建立具有鲁棒性的有效非线性特征提取器。

本项目以传统主要流形学习算法存在的切空间不连续、推广性能差为背景，以提出新的流形模型以及学习算法基本研究思路，重点在三个方向进行了研究：1）新型的主流形建模；2）基于深层神经网络的流形建模；3）传统谱嵌入流形学习方法的发展。在主流形建模方面，我们提出了支撑映射流形的数学模型，并验证了该模型可以通过下降算法进行优化，是主流形学习的一个新的理论成果。在基于深层神经网络的流形建模方面，我们首先面向非监督特征提取任务，提出了融合浅层学习机器先验信息的深层学习模型；在所提出的框架下，借助LLE等浅层模型学习到的先验知识的指引，深层学习模型取得了远好于传统深层置信网络的效果，表明本项研究可以起到弥合浅层和深层学习之间鸿沟的作用，具有较大的价值和意义；其次，我们面向监督鉴别特征提取任务，提出了深层Fisher映射的概念；深层Fisher映射使用重构误差作为正则项，避免了深层学习机制强大的逼近能力导致的过学习；与其他研究相比，我们在小样本问题，以及充分优化模型的基础上研究深层Fisher模型的表现，对于深层学习的研究具有独特的价值。在传统谱嵌入流形学习方面，本项目在该领域进行了若干有益的探索，包括稀疏正则化，特征空间构建，以及样本关系建模方面；这些探索极大地丰富了流形学习的外延。通过以上研究，本项目取得了一系列理论成果 。部分研究成果已经发表，其中在IEEE Transactions 上发表论文4篇。其他重要理论成果正在积极整理发表过程中。