判别性正则化技术及其在半监督学习中的拓展研究

正则化技术是模式识别领域中提高分类器推广性能的主要技术之一，其借助于正则化项的形式，将问题的先验知识引入至分类器设计之中，使得分类器光滑稳定，从而有效地改进了分类性能。但是由于传统正则化技术来源于多元函数拟合问题，因此现有正则化项的构造更强调分类器数据独立的光滑性惩罚，而忽视了判别信息的充分利用，限制了推广性能的进一步提高。本项目旨在提出一种新颖的判别性正则化设计理念，为改进正则化技术提供开拓性的新思路。其具有以下特点：1)更充分地融合分类问题的数据信息和先验知识；2)有效地解决常见正则化分类器设计算法中存在的主要问题，进一步提高分类器的推广性能；3)可应用于增量学习中，以处理大规模的分类（包括动态环境等）问题；4)可进一步拓展到半监督学习领域。研究内容涉及：1)新方法的理论分析与实验验证；2)判别性正则化技术应用领域的推广；3)判别性正则化框架的构建等。

正则化技术是机器学习与模式识别领域的核心研究内容之一，其借助于正则化项的形式，将问题的先验知识引入至分类器的设计之中，保证了分类器具有好的泛化性能。本项目围绕正则化技术开展了一系列深入与广泛的研究。在深度上，从着重于数据判别信息和结构信息的判别性正则化半监督分类器模型出发，逐步发展出综合利用数据多层次先验信息为正则化的一般型分类器设计框架，该框架不仅统一刻画了现有众多有力的正则化（包括大间隔）分类器，而且从中设计出的多种正则化分类器具有良好的泛化性能。受此框架引导，我们分别在单视图数据和特征层面、多视图数据和特征层面的先验信息利用上开展了一系列研究，其中：1）在单视图数据层面的成果有：提出了基于成对约束的半监督判别性正则化分类器、基于成对约束和无标号数据的判别性不定核分类器、不定核分类器的判别性正则化框架、结构正则化支持向量机、同时保持数据整体和局部结构的支持向量机、结构嵌入AUC支持向量机、利用数据结构信息提升基于ECOC的多类支持向量机、去相关性的基于ECOC多类学习框架、基于正交性的多类分类编码校正等；2）在单视图数据特征层面的成果有：发展了融合特征判别性的正则化支持向量机、基于局部性正则化推广误差界的特征选择算法、融合非目标类数据信息的线性判别分析等；3）在多视图数据层面的成果有：提出了多视图判别性正则化分类器、基于跨视图约束的半监督判别性正则化分类器等；4）在多视图数据特征层面的成果有：发展了半监督半配对多视图数据的降维框架、基于判别信息的大相关性分析等。