基于云模型EDA参数优化和无监督输出分类器的栈式自编码器研究

The stacked auto-encoder (SAE) is widely used as a deep neural network. The application performance depends on the training effect of the deep neural network and online learning ability. Convex optimization method based pre-training is easy to fall into local minimal. Therefore, finding a better training method to enhance the unsupervised and online learning ability is significant for the training and application of SAE. Estimation of distributed algorithm (EDA) is a heuristic algorithm which has great potential for solving non-convex problem. This project is based on the previous studies of EDA. Cloud model theory is integrated into the EDA algorithm, and we will discover the method of tuning the characteristics of the population by entropy and hyper entropy to enhance the optimization capability of the algorithm. The sparse coding theory is used to construct the compound energy function and combining the dropout, maxout and other methods in order to enhance the sparsity of the hidden layer output to further improve the efficiency of the algorithm. The new data amplification technology is adopted to optimize the distribution characteristics of the input data and enhance the generalization performance of the network. The adaptive resonance theory network is adopted as the output classifier to enhance the ability of the unsupervised and online learning of the whole SAE. The SAE will be used to ping pong robot for intelligence promotion. This project will provide a new idea for the deep neural network optimization based on heuristic algorithm, and lay a foundation for the application of deep neural network in ping pang robot.

栈式自编码器作为一种深度网络，得到广泛应用，其应用性能取决于网络的训练效果与在线学习能力。基于凸优化的网络训练方法易陷入局部极值，因此寻找更好的训练方法增强算法的无监督与在线学习能力对网络训练与应用具有重要意义。分布式估计算法（EDA）作为一种启发式算法，对求解非凸问题具有较大潜力。本课题基于EDA前期研究基础，将云模型融入其中，优化网络参数，探索通过熵、超熵等参数调控种群特性的方法，以增强算法的优化性能；运用稀疏编码等理论构造复合能量函数，结合dropout、maxout等方法增强隐含层输出的稀疏性，进一步提高算法效率；结合新型数据扩增技术，优化输入的分布特性，增强网络泛化性能；采用自适应共振网络作为输出分类器，增强网络整体无监督与在线学习能力；并将算法应用于乒乓球机器人中，以提高机器人的智能性。本项目将为基于启发式算法的深度网络优化提供新思路，为深度网络在乒乓球机器人中的应用奠定基础。

近10年来，深度神经网络在计算机视觉、自然语言等领域取得了巨大成功。栈式自编码器作为一种深度网络，得到了广泛应用。而网络性能的关键是网络参数的训练情况，因此寻找更加理想的网络参数搜索方法具有重要意义。当前深度神经网络的训练主要依赖梯度下降算法，基于梯度的深度神经网络训练方法必然面临梯度消失、爆炸等问题，导致网络训练不理想。分布式估计算法（EDA）作为一种启发式算法，具有较强的全局优化能力，融合EDA的全局优化能力与梯度优化算法局部搜索能力，构建基于EDA的栈式自编码器预训练与基于梯度下降的微调模型，从而利用梯度下降算法的优点克服了EDA的局部搜索能力弱的缺点。运用图像镜像、旋转、平移、模糊、加入高斯噪声等方式，实现样本数据集的扩增。为增强神经网络的继续学习能力，运用无监督网络模型ART作为深度神经网络的输出层，从而使得网络能够自适应进行分类调整，以改进模型的自适应能力。并对基于深度卷积网络的环境感知与理解研究进行了探索。运用多能量函数，构造基于多任务训练方式机器人目标检测与可行路径分割模型，实现了基于视觉的机器人环境感知与控制。本项目的研究构造了一种基于启发式算法的神经网络参数搜索方法，克服了基于梯度的网络训练方法的缺点，有益于最优神经网络参数的搜索。