面向网络数据流的未知应用协议规范推断技术研究

Many application protocols on the Internet are proprietary and have no publicly released specifications. According to the Internet2 NetFlow weekly reports on backbone traffic, more than 40% of Internet traffic belongs to unidentified application protocols. Therefore, it is critical for network security solutions to understand the specifications of these unknown application protocols. Moreover, protocol specifications have a wide variety of current and future networking and security services such as semantics aware Intrusion Detection and Prevention Systems (IDSes/IPSes), network measurement, application-aware load balancing, and content-aware caching and routing etc...The objective of this project is to develop schemes for automatically inferring the protocol specification of unknown applications from network traces. The proposed project is interdisciplinary in nature as it draws upon theories and techniques from natural language processing, machine learning, and bioinformatics literature. The project is purely based on raw network packet traces and does not require protocol executable code. Therefore, it is easily portable across different network settings, and it has great academic value and practical significance.

互联网中的许多应用协议是私有协议，并且它们没有公开可得到的协议文档规范。根据Internet2组织对北美骨干互联网流量的周报显示，超过40%的网络流量属于未定义的应用协议。因此，深入理解这些未知应用协议的规范信息对于网络安全至关重要。此外，协议规范研究与各种各样的当前和未来的网络和安全服务有关，例如，入侵检测系统和防范系统构建、网络测量、面向应用的缓存和路由机制、面向应用感知的负载均衡和隧道检测等。..本项目的目标是以网络数据流作为研究客体，开发用于自动分析未知应用程序协议规范的推断技术。本项目是典型的综合多学科的研究方法；研究方法汇聚了自然语言处理中的语言模型、以及模式识别领域中的统计机器学习理论、生物信息学等多方面的研究成果。本项目所述方法只针对网络数据流进行分析，不需要对应用程序的二进制可执行代码进行逆向分析。因此，便于快速部署与推广，具有较高的学术价值和实用意义。

协议流量分析是各种网络和安全应用（如入侵检测和预防系统，网络管理系统和协议规范解析器）的基本问题，应用协议的规范推断是其最基本、最重要的组成部分。本项目的目标是以网络数据流作为研究客体，开发用于自动分析未知应用程序协议规范的推断技术。其有三个研究内容点，分别是 (1). 基于半监督学习的未知应用协议识别技术研究； (2). 基于马尔科夫随机场的细粒度协议格式推断研究； (3). 基于多数据流关联的协议状态自动机推断研究。通过对来自于骨干互联网的协议流量进行验证分析，本课题所提出的方法在现实中具有强鲁棒性和高准确率。本项目的方法已成功部分转化为实际应用，在保障国家网络安全方面发挥了良好的社会效益。