增长的卷积神经网络模型中的若干关键问题研究

Deep learning can explore inherent patterns and hierarchical representations in one dataset, and improve the robustness of feature extraction with objects in complex environments. The convolutional neural network, which is one of important models to achieve deep learning, has been widely applied in machine learning field. In this project, to solve the uncertainty problem of the size of convolutional neural network which deals with real-time, dynamic, and continuous data, we will propose the theoretical framework of a growing convolutional neural network (GCNN) model, and study several key problems in this framework. The detailed research contents are as follows: (1) To solve the overfitting problem of the GCNN, we will study several optimization methods of the GCNN structure, and explore the influence of correlation between hidden activation units on the network overfitting; (2) To construct a scale-invariant GCNN model, we will explore the working principle and mechanism of the structure growing of the GCNN for its scale-invariance attribute; (3) To solve the problem of training and test efficiency, we will study a sparse GCNN model; (4) To solve the problems of “data-hungry” and across-task recognition, we will propose a transfer learning algorithm of the GCNN. The research findings will be beneficial to expand the scope of applications of the convolutional neural network to the tasks with processing complex data in the current development situation of information technology.

深度学习能挖掘数据的内在规律和表示层次，提升特征抽取对目标及其环境的鲁棒性。卷积神经网络作为深度学习的重要模型之一，已经在机器学习领域得到广泛的应用。本项目针对处理实时、动态、连续的数据时，卷积神经网络规模难以确定的问题，提出一种增长的卷积神经网络（Growing Convolutional Neural Network, GCNN）模型框架及理论体系，并解决其中若干关键问题。具体如下：（1）研究GCNN网络结构优化方法，挖掘隐层激活单元间的相关性对网络过拟合的影响关系，解决GCNN网络的过拟合问题；（2）构建多尺度GCNN网络模型，挖掘GCNN的结构增长尺度不变性的规律与机理；（3）提出稀疏化的GCNN网络模型，解决其训练和测试效率问题；（4）提出GCNN的迁移学习算法，解决其“数据饥渴”和跨任务识别问题。研究成果将有助于拓展卷积神经网络在当前信息技术领域复杂数据处理中的应用。

深度学习能挖掘数据的内在规律和表示层次，提升特征抽取对目标及其环境的鲁棒性。卷积神经网络作为深度学习的重要模型之一，已经在机器学习领域得到广泛的应用。本项目（1）研究卷积网络结构优化和多任务学习，提出一种用于图像超分辨率重建任务的协作对抗网络，提出基于级联的自上而下注意力机制模型并应用到视觉问答中，提出基于多通道共同注意网络的视觉问答模型，提出面向行人再识别的多分支深度模型，提出基于联合损失深度模型的行人再识别模型。（2）构建多尺度卷积神经网络模型。构建基于参数共享的Skip-Connection多尺度特征重建网络结构，提出基于参数共享的多尺度超分重建的目标检测方法。（3）针对网络训练和测试效率问题，设计了一种新颖的旁路连接注意组，提出了中等量级的旁路连接注意力网络，具有更强大的表征能力，却使用了更少的参数，从而简化了网络的结构，提高了网络训练和测试效率。（4）基于卷积神经网络的多示例学习。提出了一种基于超像素技术的多示例学习的新方法，在各种多示例学习基准数据集上实现了很好的性能。提出一种光滑交叉检验多示例学习方法。使用Softmax模型来建立示例和包之间的关系，使得示例的标签和包的标签可以在一个统一的框架下优化，在很多测试集中取得了显著成绩。项目共发表论文26篇，申报国家发明专利3项。本项目的研究成果将有助于拓展卷积神经网络在复杂数据处理中的应用。