卷积神经网络中的最优化设计理论研究及应用

Deep learning is the most attraction research direction in the artificial intelligence area in this decade and the convolution neural network is the most common model used in the deep learning. Hence, the convolution neural network becomes the hot research area in the artificial intelligence. However, the existing convolution neural network is not optimally designed. Therefore, its learning ability is significantly limited. The convolution neural network consists of the convolution layer, the rectified layer and the pooling layer. This project proposes the optimal designs of these three layers from a theoretical viewpoint. (1) The design of the filter bank in the convolution layer is formulated as an infinite constrained optimization problem and this infinite number of constraints is guaranteed to be satisfied via the dual parameterization approach. (2) The design of the nonlinear activation function of the rectifier layer is formulated as a nonconvex optimization problem and the filled function method is employed for finding its globally optimal solution. (3) In the pooling layer, the design of the representative value of certain outputs of the rectifier layer is formulated as a Lq norm optimization problem. Here, both the value of q and the corresponding Lq norm value are found by the nonsmooth boundary technique. By performing these optimizations, the learning ability of the convolution neural network is improved. The developed theories will be applied to the multimedia big data processing. It does not only facilitate the development of the optimization theory, but also effectively solves the challenging problems in the artificial intelligence. Hence, this project is very important from the convolution neural network, the optimization theory and the application viewpoints.

深度学习是近年来人工智能领域最令人瞩目的研究方向，而卷积神经网络是深度学习最常用的模型之一，成为了该领域的研究热点。但现有的卷积神经网络没有经过最优化设计，学习能力受到很大的限制。卷积神经网络主要由卷积层、特征映射层和池化层组成，本项目将对这三层从理论上进行最优化设计：1)将卷积层卷积滤波器组的最优化设计转化为具有无限个约束条件的优化问题，通过对偶参数方法来保证这无限个约束条件得到满足；2)将特征映射层非线性激活函数的最优化设计转化为一个非凸优化问题，通过修正填充函数方法来寻找全局解；3)将池化层计算一定数量的特征映射层输出的代表值转化为最优q范数值设计问题，通过非光滑边界的技术来推导快速算法。从而改进卷积神经网络的学习能力，并将其应用到多媒体大数据处理中，这不但促进优化理论的发展，更有效地解决人工智能上的问题。故该项目从卷积神经网络模型与优化理论层面，以及应用层面来看，都是非常有意义的。

一、.项目背景.1. 最优化理论研究.卷积神经网络的训练算法是通过定义一些最优化问题，使得卷积神经网络的输出和真实值的误差为最小。当定义误差时，二范、一范和无穷范是最常用的。.2. 最优卷积层设计.卷积层是一个线性系统，可以通过一个矩阵来定义卷积层，所以最优设计卷积层就是最优设计这个矩阵。在传统的神经网络里面，涉及线性投射的系统包括线性判别分析和感知器。.3. 最优特征映射层设计.特征映射层是一个非线性系统，通过一些非线性函数，把数据向量从一个集变换到另一个集里面，使得在变换集里面相同类别的变换数据向量集中在一处，不同类别的变换数据向量在不同处。传统的方法包括K均值聚类。.4. 最优池化层设计.池化层是把数据向量的维度减少。传统的做法是通过主成分分析来降维。..二、.主要研究内容、重要结果、关键数据及其科学意义.1. 最优化理论研究.本项目找出基于一范的目标函数值和基于无穷范的约束函数值的上界值的关系，对许多最优化信号处理问题中约束函数值的上界值的选取作出重要性的指导。.2. 最优卷积层设计.本项目提出通过权值把投射后数据值的类内间距和投射后数据值的类外间距以减法来定义一个目标函数，由于不影响投射后数据值的类内间距和类外间距，所以能改善许多分类问题的结果。此外，本项目提出基于多段域激活函数感知器的训练算法，能改善许多非线性可分的数据向量的分类结果。.3. 最优特征映射层设计.在K均值聚类中，基于一范和无穷范来定义分配数据向量方法里面的距离和计算代表向量方法里面的距离，本项目发现决策区域是一些非凸集，所以可以改善许多非凸分布计算数据的分类结果。.4. 最优池化层设计.本项目推导出半正定矩阵的所有特征值分解的表示方式及找出任意一个半正定矩阵的所有互相正交的特征向量，对研究许多涉及半正定矩阵的工程问题作出重要的科学支撑。此外，本项目提出通过球座标来进行主成分分析，对研究许多非线性降维的问题作出重要的科学支撑。