基于多层视觉记忆模型的学习方法研究

On the basis of cognition science about memory, this project presents a new multi-level memory coupled model which includes working memory, short-term memory and long-term memory, as well as series of new learning approaches based on it. In this model, working memory processes information obtained from outside and short-term memory to acquire knowledge, and sends information to short-term memory. Short-term memory obtains and temporary stores information from working-memory and long-term memory, and send information back to them as well. Long-term memory obtains information from short-term memory that can be stored for long period. The approaches based on this model can be applied to unsupervised, supervised and weak supervised learning, and is suitable for multi-class, incremental and nonlinear separable learning problems. The presented method has theoretical background and foundation of cognition science, as well as good practicability, which is a helpful exploration and attempt in using relative theories and achievements of cognition science and neural dynamics to solve practical application issues.

本项目基于视觉认知中关于视觉记忆的最新研究成果, 建立一种新的包括工作记忆, 短期记忆和长期记忆在内的多层记忆模式相互耦合的模型, 并依此建立一系列新的学习方法. 在该模型中, 工作记忆可以通过处理外部和短期记忆中的信息获取知识,并可将信息输入短期记忆; 短期记忆可从工作记忆和长期记忆中获取并临时存储信息, 也可将存储的信息根据需要传输到工作记忆和长期记忆; 长期记忆从短期记忆中获取的信息,并可对于这些知识的长效记忆. 基于该模型的学习方法可以适用于无监督, 监督和半监督学习, 并适用于多类, 增量和非线性学习问题. 本项目给出的方法既具有认知科学方面的理论背景和依据，又具有较好的实用性, 是利用认知科和神经动力学相关理论和成果解决现实应用问题方面的有益探索和尝试.

本项目的主要研究目标是建立起由工作记忆、短期记忆和长期记忆组成的多层记忆模型（Neural Model with Hierarchical Levels，简称NMHL），并基于这一模型应用于机器学习问题给出实用可行的方法。为了提高模型计算效率和有效性，项目组提出了一种新的基于熵的度量学习和特征选择方法。同时，课题组还对模型的数学性质进行了研究。项目以理论和方法研究为主，取得的主要成果如下：.1、项目组首次建立了一种新的具有层次结构的神经模型NMHL。该模型能够较为准确地描述认知过程中的神经活动和记忆原理，模型结构简洁清晰，具有很好的可解释性。.2、在NMHL模型基础上，给出了关于NMHL模型静态解的存在性和稳定性的一些重要结论，并对动力神经场在不同阈值函数条件下的动力学性质进行了研究。.3、通过对认知现象中记忆模式的形成过程进行研究，项目组给出了基于NMHL模型的监督学习方法。数值实验表明，该方法在小样本等问题上具有很好的性能。.4、通过对认知中无监督学习现象的研究，项目组给出了基于NMHL模型的无监督学习方法。数值实验表明，该算法能够对高维数据集进行有效聚类。.5、为了提高NMHL模型的计算效率和分类准确性，项目组通过对数据在各个特征维度上的分布特点进行研究，给出了新的基于熵的特征加权算法（EFWA），基于其给出了新的度量学习方法和特征选择方法。实验表明，EFWA可以有效提高NMHL模型在图像分类问题中的分类效果和计算效率。.6、项目组还在与NMHL模型相关的图论领域取得了一些理论成果。.以上部分成果已在线发表在神经网络领域最具影响力学术期刊Neural Computation上和图像领域重要学术期刊Multimedia Tools and Applications，获得审稿人的高度评价，部分成果已投稿神经网络和机器学习领域最具影响力学术期刊IEEE Transaction on Neural Networks and Learning Systems，获得审稿人正面评价，认为方法具有独特的创新性，目前已经根据审稿意见完成第二次修改。目前仍有部分成果正在整理，准备投稿。项目组共发表与项目相关论文7篇，圆满完成了申请书和计划书中所提研究目标。