基于吸引子理论的深度神经网络记忆机制

The importance role of the memory mechanism in artificial neural networks has been keenly awarded of, about which researchers from Google DeepMind have released many innovative works recently. However, existed studies in the field of artificial neural networks still need to be improved and summarized in a more systemic way. According to the latest research achievement in neuroscience, memory existing in biological neural networks works as attractors of dynamic system. This leads a significant way to study the memory mechanism in artificial neural networks. This project raises a study of the memory mechanism in deep neural networks based on attractors theory and, guided by the study of attractors, deeply investigate the memory mechanism in artificial neural networks from the perspective of dynamic system. The addressed issues in this project are as follows: 1) The memory principles in deep neural networks; 2) The impact of memory on the performance of deep neural networks. The project mainly focuses on four aspects: 1) The memory model of deep neural networks; 2) The description of the memory model in attractors style; 3) The relationship between the memory and the networks performance; 4) The relationship between states of networks and the memory. Based on the attractors theory, this project is hoped to seek an approach to establish a systemic mechanism of deep neural networks and develop new learning algorithms, thus providing further guidelines to applications of deep neural networks.

记忆机制在人工神经网络中的重要作用已被深刻认识到，最近Google DeepMind研究人员在这方面发表了不少重要创新性工作。然而，已有的对人工神经网络记忆机制的研究尚比较零散、缺乏系统性。神经科学的最新研究成果指出，记忆在生物神经网络中是以动力系统吸引子的方式存在的。这为研究人工神经网络的记忆机制指明了一条重要途径。本项目提出基于吸引子理论的深度神经网络记忆机制研究，以吸引子作为引领，从动力系统的角度系统深入研究人工深度神经网络的记忆机制。本项目拟解决的关键科学问题有：1.深度神经网络的记忆原理；2.记忆对深度神经网络性能的影响。主要研究内容包括：1.深度神经网络的记忆模型；2.记忆模型的吸引子刻画；3.记忆与网络性能的关系；4.网络状态与记忆的关系。这项研究有望在动力系统吸引子理论的基石上，探索出一条系统建立深度神经网络记忆机制的途径，并产生新的学习算法，进一步指导深度神经网络应用。

记忆是一种能力，是指大脑随着时间演化存储和提取信息的能力。记忆产生于大脑神经网络，与神经元的活动和连接方式都密切相关。神经科学的最新研究成果指出，生物神经网络以动力学系统吸引子的形式存储记忆。本项目从大脑记忆机制的计算原理出发，借鉴动力系统吸引子的相关成果和研究，展开了包括如下三个方面的研究：①在深度神经网络的记忆原理方面：提出可选振荡器神经元，建立了一系列神经元的必要和充分条件，使其成为线性阈值复发的神经元网络中可选择的振荡器神经元。构建了面向目标追踪中模型的记忆更新机制，提出了记忆池中样本的筛选模型，进一步地提出了样本筛选注意机制模型的样本记忆池更新算法网络更新算法。构建与生物视觉系统更类似的自顶向下的记忆引导，通过逐步搜索目标可能出现的位置，来改变视网膜关注区域，从而找到目标②在记忆对深度神经网络性能的影响方面：在有监督的基础上提出了一种自我监督的学习方法，以解决标记数据不足的问题。提出了一种特征记忆存储器来解决现有深度回复神经网络中简单堆叠回复层所带来的梯度消亡问题，并在此基础上提出了新的堆叠模式。③在深度神经网络的记忆机制与智能医学方面：提出了一个多示例中的基于记忆选择的特征融合机制，并针对性应用到甲状腺超声检查。提出一种基于深度学习的特征筛选机制。提出多种不同的池化结构并嵌入现有卷积神经网络，将图像分成多个区域,选择其中有高概率特征作为整个图像内容的代表。提出了一种新的通过利用编码在不同特征中的互补信息，以迭代的方式获取关联记忆，逐步增强多层集成特征和不同层次的三维特征增强网络来精确分割胰腺。共计发表第一标注学术论文16篇，其他标注论文20篇，其中IEEE Trans.期刊论文11篇。申请国家发明专利 10 项。