基于稀疏表示分类准则的领域适应特征学习方法研究

As an emerging machine learning method, domain adaptation learning has been widely applied in computer vision and pattern recognition areas. Recently, employing dictionary learning for domain adaptation has becoming a hot topic. However, most of existing domain adaptive dictionary learning methods do not consider the internal relationship between feature learning and classifier, and it is difficult for them to capture discriminative information from complex data effectively by using single feature representation. In addition, the shallow architectures using in these methods limit the generalization and expressive ability of these methods. Focusing on the problem where the training data and testing data have different distribution, this project aims to study domain adaptive feature learning methods based on the classification rule of sparse representation: (1) establishing the internal relationship between feature learning and sparse representation classifier, and studying bilevel optimization model based optimal domain adaptation discriminative projection learning method for improving the adaptability of sparse codes. (2) overcoming the sensitivity of feature selection, and studying multiple kernel framework based adaptive learning method and improving the recognition ability of feature representation. (3) solving the problem that shallow architecture cannot adequately describe data distribution, and studying discriminative hierarchical domain adaptation and feature learning method to construct deep feature which has strong discrimination. Meanwhile, achieving the minimization the data distribution between training and testing data. The achievements of this project will enrich domain adaptation learning theory, and provide technical support for the application of domain adaptation learning to practical problems.

作为一种新兴的机器学习方法，领域适应学习在计算机视觉中得到了广泛应用，其中基于字典学习的方法已成为领域适应学习的一个研究热点。然而现有领域适应字典学习方法大部分都未考虑特征学习与分类器之间的内在联系，而且所采用的单特征表示很难有效抽取复杂数据中的鉴别信息，其浅层结构进一步限制了方法的泛化和表达能力。本项目面向数据的异致分布，深入开展基于稀疏表示分类准则的领域适应特征学习方法研究：（1）建立特征学习与稀疏分类器的内在关联，研究基于两级优化模型的最佳领域适应投影学习方法，提升稀疏编码的适应能力；（2）克服算法对特征选择的敏感性，研究基于多核的领域适应学习方法，增强特征表示的鉴别能力；（3）解决浅层结构对数据分布刻画不充分的问题，研究鉴别分层领域适应与特征学习方法，构建鉴别力强的深层特征，实现源域与目标域数据分布的差异最小化。本项目成果可以丰富领域适应学习理论，为其成功应用提供技术支撑。

传统的机器学习假定训练域与测试域独立同分布，将由训练数据集得到的模型直接应用于测试集。但在实际应用中，这种假设并不一定成立，若训练域与测试域分布存在差异，则传统机器学习的性能将会大大降低，故领域适应学习得以提出，其目标是在领域间建立桥梁，提高测试域预测性能，并广泛应用于解决现实世界中的分类、回归、概率密度估计等机器学习问题。本研究以稀疏编码理论为基础，通过引入两级优化模型、多核学习技术以及多层次结构对领域适应学习方法展开研究并建立相应的具有稳定鲁棒性的领域适应字典学习与特征提取方法。研究内容如下：.(1)提出基于多核稀疏表示的领域适应鉴别投影与字典学习方法，克服了单特征表示模型对特征选择的敏感性，增强了特征表示模型的鉴别能力。实验结果证明了多特征学习技术具有更强力的学习与适应能力，现在已经成为处理多源非线性问题最为有利的工具之一；.(2)提出基于两级优化模型的最优鉴别特征与字典学习方法，建立编码系数与鉴别投影和字典之间的关系，解决传统模型未考虑特征学习与分类器之间内在联系的缺陷，获取类内相似性高、类间鉴别性强的特征表示。此外，论文为解决稀疏编码中的欠定问题提供了一种新的思路，并且可以扩展到其它基于字典学习的应用领域；.(3)提出鉴别分层领域适应与特征学习框架。充分利用数据间的类内与类间鉴别信息，将分层特征学习与鉴别领域适应学习方法相融合，获取更抽象更具鉴别力的深层特征表达，实现源域与目标域数据分布差异的最小化，解决浅层结构对数据刻画不充分的问题；.(4)提出了基于协同表示的领域适应分类框架。利用协同表示技术联合学习不同域之间的数据投影与通用字典，满足了现有方法不能达到实时应用的需求。此外，对所提方法进行非线性扩展，提出了基于核技术的跨视域协同表示分类器并应用于行人重识别领域。.研究成果可以丰富领域适应学习理论，为其提供坚实的理论基础以及相关算法保障，未来将会产生重大的经济和社会效益。.