基于深度学习的异构数据低维非线性表示

Due to the development of sensing and multimedia technologies, the scale and dimensions of heterogeneous data are growing quickly, which makes it extremely difficult to discovery structures and patterns of heterogeneous data directly. One effective way to solve this problem is to find low dimensional representation of the data (dimensionality reduction). Traditional dimensionality reduction technology cannot effectively deal with the heterogeneous data, and it can only discover some ‘shallow’ structures. Deep learning is a new dimensionality reduction method for getting low dimensional, highly nonlinear representation. However, it is still not flexible enough for heterogeneous data, and cannot be used to determine the intrisic dimension of the data, and needed to further improve computational efficiency. This project aims at constructing a model for low dimensional heterogeneous nonlinear representation by introducing a sparse regularized function based on “ minimum number of impulses”. The project would deal with task-based dimensional reduction problems, and design low dimensional highly nonlinear heterogeneous representation method with low computaional complexity. The obtained results will expand and deepen the applications of dimensionality reduction methods.

异构数据的规模和维数随着感知技术和多媒体技术的发展正在快速地增长，其属性的互异性和维数的超高性使得直接利用数据去发现结构和模式困难重重，解决这一问题的有效途径便是数据的低维表示（即维数约减）。传统的维数约减方法不能有效地用于异构数据的维数约化，且其发现的结构也只是一些“浅表”结构。深度学习方法是一种新型的维数约减方法，它以多层网的方式给出了由多层非线性函数经叠加、复合而得到的低维高阶非线性表示。但当这一方法用于异构数据维数约减时，其模型仍不够灵活，数据的本征维数也难以确定，算法的效率仍需进一步提高。本项目在模型上引入低维异构非线性表示，算法上提出基于“最小脉冲响应次数”的稀疏化代价函数，研究基于“最小脉冲响应次数”的数据低维表示及维数确定，研究求解与任务有关的数据维数约减问题，设计高维异构数据的低维异构高度非线性表示的高效深度学习方法。所获结果有望扩展和深化维数约减方法的应用。

本项目主要研究复杂异构数据低维高度非线性表示的深度学习方法，设计高效的基于多层结构的学习算法，并探讨所获方法在地理、遥感以及医学等领域数据降维和可视化方面的应用。所取得的主要成果集中在下述几个方面：深度学习算法的研究，特征选择、提取与降维，以及相关方法在遥感图像处理和人脸、手写体识别等方面的应用。..在深度学习算法的研究方面，基于“最小脉冲响应次数”的稀疏代价函数，提出了一种新的稀疏RBM模型LogSumRBM，提高了RBM的数据表示能力；提出了一种对变换具有不变性的分类RBM算法，达到了较高的分类精度；建立了基于率失真理论的深度信念网模型，极大地减少了编码中的信息率、提取了更抽象的特征，并学到了更具判别能力的表示；提出了一种堆栈的无监督的极端学习机算法，能更高效地提取出更有意义的特征；探讨了利用受限波尔兹曼机RBM来辅助构建集成分类器的方法，得出了一些有指导性的结论；提出了基于等能量跳转的并行回火算法，克服了目前常用的并行回火算法在使用不合适的辅助分布时会引起极低的状态交换率的缺陷。..在特征选择、提取与降维技术的研究方面，提出了一种基于奇异值分解的降维方法，新方法简单且有效；利用boosting算法的思想，基于遗传算法，提出了一种新的构建变量选择集成的方法，达到了更高的变量选择精度；在并行遗传算法PGA算法的基础上，提出了一种新的算法RandGA，能更好地检测出真正重要的自变量。..在相关方法在遥感图像处理的应用方面，基于引导滤波，我们提出了两种新颖的全色锐化方法以减少多光谱和全色图像的冗余细节信息，有效改进了全景锐化效果；基于多光谱图像融合的自适应的强度、色度和饱和度方法(AHIS)，提出了一种改进的IAIHS算法，可以更充分地利用每一个多光谱图像的空间信息，并保证融合后所得图像的光谱质量；将压缩感知理论用于高光谱图像的端元提取，增强了光谱解混效果。在人脸识别的研究方面，利用低秩分解方法，提出了一种新的表示人脸的模型框架，可学到更具判别能力的表示。..本项目的研究截至目前共发表相关期刊论文19篇，其中SCI检索15篇。