弱监督的大规模网络异常检测方法研究

With the great numbers of network application and society’s highly dependence on the network, network security is facing unprecedented pressure and challenges. Based on comprehensive and accurate annotation of node behaviors, anomaly detection can help suppress network attacks from the source nodes, i.e., abnormal nodes. This project researches weakly supervised anomaly detection for large-scale networks, targeting to tackle the problems of inadequate anomaly labels, inaccurate normal labels and zero samples of nodes from zero-day attacks. The project plans to obtain the following results: (1) propose a normal behaviors' feature modeling method, distinguishing the abnormal and normal nodes by the modeled feature distribution; (2) propose a self-training data cleaning method, correcting inaccurate historical labels; (3) propose an anomaly detection method for nodes from new attacks without any samples in training sets, detecting nodes who launch zero-day attacks, which further improves the performance of anomaly detection. The research results will provide important theoretical and technical support for large-scale networks to achieve efficient and accurate anomaly detection results.

随着网络应用的日益增多和社会对网络依赖程度的增强，网络的安全性面临着前所未有的压力和挑战。异常检测通过对网络流量的分析，检测出其中的攻击行为及发起者（即异常节点），为从源头上抑制攻击行为提供依据。对节点行为进行全面、准确的标注是实现异常检测的前提和基础，针对目前存在的异常标签不充足、正常标签不准确、新型攻击零样本等问题，本项目研究弱监督的大规模网络异常检测方法，计划通过本项目的研究：（1）针对异常标签不充足的问题，提出正常行为特征建模方法，通过特征分布将正常和异常节点区分开来；（2）针对正常标签不准确的问题，提出自训练的数据清洗方法，修正不准确的历史标签；（3）针对新型攻击零样本的问题，提出零样本的新型异常节点检测方法，确保能够识别发动零日攻击的异常节点，进一步提高异常检测效果。计划通过本项目的研究，给出高效、准确的异常行为及异常节点检测方法，为提升真实网络环境安全能力提供基础理论和保障。

传统的基于规则的防控手段难以抵抗不断演进的网络攻击手段。网络异常检测方法能够拟合复杂数据、对抗复杂攻击，进而取得更好的安全防护效果，目前在学术界和工业界都受到了广泛关注。为了提供更准确、全面、高效的网络异常检测，本项目研究弱监督的大规模网络异常检测方法，重点针对网络异常检测目前存在的异常标签不充足、正常标签不准确、新型攻击零样本等问题，展开了以下四个方面的工作：（1）针对异常标签不充足问题，提出了边缘和核心网络协同的分布式异常检测方法，在边缘网络进行分布式的局部优化，并将学习到的模型参数传递给核心网络进行全局模型的更新，有效提高了模型的准确性和实时性；（2）针对正常标签不准确问题，提出了结合特征和拓扑特性的自训练数据清洗方法，利用相流量特征相似度和不同异常行为在时间上的关联性，发现并更新不准确标签，基于更新后的数据集训练出的异常检测模型F1提升高达27%；（3）针对新型攻击零样本问题，提出了网络通用大模型建模方法，训练出通用且有区分度的表征结果，使得各类攻击流量（包括零日攻击）在表征环节即与正常流量存在较大区分度，基于建模结果的多种流量分析任务F1提升高达2倍；（4）针对私有协议流量特征难提取问题，提出了基于共享学习的私有协议逆向分析方法，通过并行式可扩展的关键字段提取和消息聚类，避免了子任务件的错误传递导致的协议语法推断结果不可用，逆向分析语法推断F1提升高达1倍。基于项目研究成果，在KDD、INFOCOM、DCC、EMNLP、COLING、IEEE/ACM Transactions on Networking、IEEE Transactions on Communications、IEEE transactions on Knowledge and Data Engineering、Infomation Sciences等学术顶会/顶刊中发表论文18篇，申请国家发明专利4项，其中授权2项。培养博士研究生3名，已毕业1名；培养硕士研究生8名，已毕业3名。研发了网络流量异常检测平台，在实时性、准确性等指标上已通过第三方测试，且已在华东民航空管、武汉大学、东南大学等10余个节点部署实施，得到了应用单位的高度评价。