基于自适应演化计算的大规模特征选择研究

Feature selection is an important data pre-processing technique for solving the "curse of dimensionality" of classification methods. Feature selection can simplify classification model, improve classification accuracy, reduce training time, etc. through selecting the most related features from input datasets. However, big data is a serious challenge to feature selection methods. This research mainly focuses on the problems and methods of large-scale feature selection, self-learning classification system based on evolutionary feature selection, and the application of evolutionary feature selection in intrusion detection system. The main work of the research can be described as follows: 1) Propose a self-adaptive particle swarm optimization algorithm for large-scale single objective feature selection problems. 2) Propose a self-adaptive evolutionary algorithm for large-scale multi-objective feature selection problems. 3) Propose a self-learning classification system based on optimal features and artificial neural network' topology and parameters, and propose another self-learning classification system based on optimal features and evolutionary classification method. This research work can provide efficient methods for large-scale feature selection problems, and can expand the research scope of feature selection. Furthermore, its research results can be applied to many scientific and engineering fields.

特征选择是解决分类器“维度灾难”问题的一种重要数据预处理技术。通过对分类器输入数据集合进行特征选择，可以简化分类模型、提高分类精度、减少训练时间等。然而，大数据的出现对现有特征选择方法构成了严重挑战。本课题拟从大规模特征选择问题及方法、基于演化特征选择的自学习分类系统、演化特征选择在入侵检测系统中的应用三个层面进行研究。具体而言:1)研究求解大规模单目标特征选择问题的自适应粒子群算法；2)研究求解大规模多目标特征选择问题的自适应演化算法；3)研究特征集合、神经网络拓扑结构及参数同时优化的自学习分类系统;研究特征集合和演化分类器参数同时优化的自学习分类系统；4)研究多目标演化特征选择及自学习分类系统在数据类别不平衡和分类代价敏感的入侵检测系统中的应用。该研究课题可为大规模特征选择问题提供有效方法，可拓展特征选择的研究范围，其研究成果可应用于众多科学研究和实际工程领域。

最近十几年中，机器学习方法得到了较好的研究和应用。机器学习方法的输入通常具有多维特征，而机器学习方法的训练时间随着特征维度的增加迅速增长，不断增加的特征维度将造成“维度灾难”现象。而实际上，机器学习方法所依赖的输入数据集合中通常存在着大量不相关的和冗余的特征。这些不相关的和冗余的特征不仅会增加训练时间，而且会降低机器学习方法的性能。特征选择的目的是在原始特征集合中选取使机器学习方法性能达到最佳的最小特征子集。特征选择通过去除不相关的和冗余的特征可以减少数据维度、简化机器学习方法模型、增强学习系统的可理解性、提高预测精度、减少训练时间。. 课题主要围绕特征选择问题及方法，从“基于自适应粒子群算法的大规模单目标特征选择”、“大规模多目标自适应演化特征选择”、“基于演化特征选择的自学习分类系统”三个方面展开了研究。具体而言，主要针对“面向单目标特征选择的演化算法”、“面向多目标特征选择的演化算法”、“基于特征选择的演化分类”、“基于演化特征选择的演化人工神经网络”、“演化深层神经网络”，“代理模型辅助的演化深层神经网络”等内容进行了研究。通过研究发现，作为数据预处理技术，特征选择无论是对浅层学习还是深层学习都十分重要。演化计算技术在机器学习方法设计优化中（包括输入优化，模型优化，模型架构优化、参数优化，损失函数优化）占据十分重要的地位。代理辅助的演化学习在未来研究中将扮演十分重要的角色。. 在基金支持下，项目顺利开展，最终取得了略高于规划的研究成果。共发表SCI论文25篇；发表会议论文2篇；申请发明专利5项；申请软件著作权6项。