面向数据表示的深度稀疏保持学习

Data representation (or features) generally has a decisive impact on the final performance of patter recognition algorithms. Traditional data representation, such as kernel trick and manifold learning, usually depends on locality assumption which plays an important role in many practical problems, but faces a series of challenges including the curse of dimensionality. In the recent years, the non-local feature learning techniques achieve empirical success on many high-dimensional data by encoding or preserving the sparse structure among data,and thus cause wide concern of researchers at home and abroad. However, sparsity principle alone is insufficient to represent the data with complex structure (e.g., natural images). In this project, we plan to make a deep study of sparsity preserving feature learning, including 1) developing generalized sparsity preserving projections algorithm encoding local and non-local information simultaneously based on multi-task learning framework, which is expected to be useful for discussing the differences and relations between the locality and sparsity principles; 2) designing deep sparsity preserving learning algorithm to improve the capability of sparsity preserving strategy for representing features of the data with complex structures; 3) attempting to exploring the statistical basis of the proposed algorithm above, to provide more theoretical results for sparsity principle and deep hierarchical learning structure (both of which are closely related to the working mechanism of human brain).

数据表示（或特征）通常对模式识别算法的最终性能产生决定性的影响。传统的数据表示方法（如核技巧、流形学习等）一般依赖于局部性假设，尽管其在大量实际问题中发挥着重要作用，但往往面临维数灾难等一系列挑战。近年来，以编码或保持数据稀疏结构为目标的非局部特征学习技术在很多高维数据集上获得了经验性的成功，引起国内外研究者的关注。然而，单纯的稀疏性原则尚不足以表示具有复杂结构的数据（如自然图像），为此，本项目拟拓展传统的稀疏保持学习技术，并进行如下深入研究：1）基于多任务学习框架构建同时编码局部与非局部信息的广义稀疏性保持投影算法（已初步完成），并借此探讨局部性与稀疏性的本质区别和内在联系；2）设计深度稀疏保持学习算法，提高稀疏保持策略对复杂结构数据的特征表示能力；3）尝试探索上述特征学习算法的统计基础，为稀疏性原则和深度的分层学习结构（两者被认为与人脑的工作机理联系密切）提供更多可能的理论依据。

数据表示对模式识别或机器学习任务起着至关重要的作用。特别是近年来再度兴起的多层神经网络方法，其性能很大程度上取决于能否从大规模数据中获得好的数据(或特征)表示。. 因此本项目的主要研究内容是，面向具体学习任务探索不同的数据表示方法，并验证所提方法的有效性。内容涵盖建模、算法设计与实现以及实验对比研究等。.针对上述研究内容，我们获得如下三方面的结果：. (1) 非局部图像增加。非局部均值(NLM)滤波是一种典型的利用数据(这里指图像块)空间非局部关系的图像增强算法。不同于传统的非局部关系计算(基于欧氏距离)，提出了一个两步学习框架，将非局部关系以及后续的加权滤波刻画为对应的优化问题。该框架可自然地导出一系列非局部型图像增强算法，比如非局部中值滤波，大大拓展了传统NLM的适用范围。另外，针对NLM仅适于处理单一噪声的局限，提出了多核诱导的非局部滤波算法，在去除混合噪声问题中取得了良好的效果。. (2) 特征结构的表示与利用。该部分针对具体应用场景(年龄估计与多标号学习)，提出了几个利用数据内在结构的学习算法。针对年龄估计，提出了一种新的度量学习算法，通过利用年龄的有序性，获得较好的性能；进而，综合利用年龄的有序性和数据的局部一致性，获得了更高的估计精度。针对多标记学习，提出了一种新的标号关系学习算法，既考虑不同标号个性化的特征又利用了标号的共享特征，获得了良好的分类性能。. (3) 特征抽取与面向fMRI数据的脑网络特征学习。首先，提出了一种基于图的半监督特征提取方法，通过引入逐对监督约束信息以及图的自适应更新获得了更好的特征表示；其次，设计了一种监督的典型相关分析算法，并将其应用于多模数据的表示与融合；最后，以正则化的形式融入模块化先验，提出了一种新的功能脑网络估计方法，将原始fMRI数据以网络形式表示，并成功应用于神经功能失调的辨识。. 以上成果来自发表(或接受待发表)的9篇SCI论文(其中JCR一区2篇，二区3篇，其余4篇)。