深度学习的分数阶微分方程建模与快速算法研究

The difficulty of the deep neural network (DNN) in information propagation, which includes feature diminishing and gradient vanishing/exploding, is currently the most critical problem in deep learning, and heavily impedes the effective training of deep neural network..Build upon the optimal control theory and the fractional order differential equation, this project offers a theoretically solid and computationally efficient network modelling and optimization method to deal with the information propagation difficulty of the DNN. The main contents include the construction of DNNs with long term memory based on the fractional order differential equation; The design of efficient and effective optimization algorithms based on the maximum principle of the optimal control and stable numerical computation methods. The innovation of this project lies in developing a new framework for network modelling via fractional order differential equation and developing advanced network training algorithms on the strength of optimal control theory，these two aspects are well integrated to smooth the information propagation in current DNN. This project is the first to study the deep learning method via fractional order differential equations, it moves one step forward towards bridging the gap between deep learning and optimal control and will provide a solid theoretical basis and advanced numerical method for further studies of the design and optimization of DNN.

深度神经网络的信息传递障碍，包括：正向传播时的信息丢失、反向传播时的梯度消失/爆炸，是目前深度学习方法研究诸多难题中最关键的问题，掣肘着深层网络的有效训练。.本项目从最优控制理论出发，基于分数阶微分方程对深度神经网络及其优化算法进行建模，通过网络结构和优化算法两方面来解决信息传递障碍问题。主要研究内容有：基于分数阶微分方程及差分方法建立具有长期记忆模式的神经网络模型；基于最优控制的庞特里亚金极大值原理及微分方程数值方法设计更加高效的参数优化算法。项目的创新之处是首次通过分数阶微分方程对深度神经网络进行建模，同时基于数值计算的方法设计神经网络的优化算法。在解决信息传递障碍问题的同时为深度学习的进一步研究提供了新的思路，为深度学习理论研究和最优控制理论研究搭建了很好地桥梁。项目的完成将解决目前深层网络难以训练的问题，大大促进深度学习方法的进一步发展，使深度学习理论研究实现新的突破。

根据最优控制理论，本项目利用分数阶最优控制对深度神经网络及其优化算法进行建模 ，通过网络结构和优化算法两方面来解决信息传递障碍问题。项目主要研究以下两个方面内容:基于分数阶微分方程及差分方法建立具有长期记忆模式的神经网络模型;基于最优控制的庞特里亚金极大值原理及微分方程数值方法设计更加高效的参数优化算法。基于上述两个方面的内容，项目首次提出了分数阶微分方程对应的深层神经网络，该方法将图像去噪任务的性能提升0.1dB。为了更好地刻画损失反向传播，提出对偶非自治系统，有效避免了深度学习中损失函数反向传播过冲中梯度消失问题。本项目在解决信息传递障碍问题的同时为深度学习的进一步研究提供了新的思路，为深度学习理论研究和最优控制理论研究搭建了很好地桥梁。项目有效的解决了目前深层网络难以训练的问题，大大促进深度学习方法的进一步发展，使深度学习理论研究实现新的突破。