神经网络中的连接机制研究

Neural Networks (NNs) consist of neural units and the connections between the neural units. Connection is not only the basis of the neural network structure, but also the storage of the knowledge learned by neural network. Hence, suitable connection mechanism is an important component of NNs. Though some good connection mechanisms were proposed in the literature, the systematic research on connection mechanism is seldom. This project intends to systematically carry out research on the neural network connection mechanism from the perspectives of the connection within the neural unit, the connection between the neural units and the connection between the network layers. The main contributions of this project include : (1) proposing the lateral connection mechanism within the neural unit to break the limitation of the existing neural unit in the connection of neurons and information flows; (2) extending the shared connection mechanism between neural units to build the network models with dynamics depth and improve network stability; (3) studying the time-delay connection mechanism between network layers and building a new selection mechanism for multiple time-delays. The proposed network models will be applied to medical data analysis. The research of this project has important scientific significance and application value for further promoting the development of neural networks.

神经网络由神经计算单元相互连接而成。一方面，连接是神经网络结构的基本组成元素。另一方面，连接存储了神经网络所学习到的知识。因此，好的连接机制是神经网络十分重要的组成部分。虽然已有研究者提出一些性能优秀的连接机制，但是系统地研究神经网络连接机制的工作尚不多见。本项目拟从计算单元内的连接、计算单元之间的连接和网络层之间的连接三个层面系统地开展神经网络连接机制的研究，拓展相关连接机制，提高网络性能。本项目的主要研究内容包括:（1）研究计算单元中的侧向连接机制，突破现有计算单元在神经元连接和信息传递方面的限制；（2）研究计算单元间的共享连接机制，构建动态深度网络，提高网络稳定性；（3）研究网络层之间的时滞连接机制，建立多重时滞信息的选择机制。相关网络拟应用于医学数据分析。本项目的研究对进一步推动神经网络发展具有重要的科学意义和应用价值。

优良的连接机制一直是神经网络研究的重要内容之一。本项目致力于系统性的研究神经网络的连接机制，提出新型神经网络模型，提高其解决现实人工智能问题的能力。本项目的主要研究内容与进展包括如下四个方面。（1）在计算单元方面，研究了神经元之间的乘法连接机制，提出了一种基于上下文门控机制的神经网络模型，提高了其在生存分析中的性能；研究了神经柱中神经元侧向连接机制，通过侧向抑制作用得到神经柱稳定的表达输出。（2）在网络层方面，研究了局部连接机制和共享连接机制，提出了局部回复神经网络模型，解决了网络记忆冲突与梯度问题，提高了其对复杂长序列的学习能力以及深度网络训练效率；研究了3D卷积的连接机制，提出了混合2D卷积的串联和并联机制，构建了高效的网络模型。该模型可以显著降低模型参数和计算量，同时可以显著提高网络在3D数据分割的性能。（3）在网络方面（网络层之间），重点研究了时滞连接机制，包括相同分辨率的高层语义特征和低层细节特征之间的时滞连接，以及相邻模块之间不同分辨率特征的时滞连接。项目提出的神经网络模型在图像分割和剂量预测任务上都达到先进水平。（4）在应用方面，项目将神经网络模型应用于真实医学数据分析，特别是基于神经网络的冠心病辅助诊断方法与风险预测模型在华西医院真实临床数据上取得优异效果。相关方法嵌入在智能医学示范性系统中，可望进一步进行临床应用。