基于多核处理器的高性能深度数据包检测技术研究

深度数据包检测(DPI)技术面临高性能挑战，要求满足线速数据包处理的性能、可伸缩性和灵活性等需求。基于FPGA和ASIC等专用硬件的DPI技术虽然可实现高吞吐量的数据包处理，但是存在编程设计复杂、灵活性差和升级成本高等缺点。多核处理器技术具有强大丰富的并行计算能力和灵活低成本的可扩展性，为高性能DPI设计与实现带来新的有效途径，但是也带来DPI的并行处理和存储模式等挑战。针对多核多线程和多Cache等特点，本项目将研究基于多核处理器的高性能DPI技术，在灵活可扩展性基础上提升多核处理器平台上的DPI性能和可伸缩性，实现100Gbps线速数据包处理。本项目重点研究多粒度的数据包并行处理架构、Cache友好的并行特征匹配算法、基于多核多线程的并行哈希表和布鲁姆过滤器，以及高性能DPI系统原型实现与评估。本项目的研究成果将为NIDS/NIPS、流量识别、基于内容的路由器等提供灵活高效数据包处理。

深度数据包检测（DPI）技术在综合性能、可伸缩性和灵活性等方面面临日益严峻的挑战。传统的基于专用硬件的方案虽然能获得很高的吞吐率，但存在灵活性差、升级成本高等缺陷。相比之下，多核处理器具有强大丰富的并行计算能力和灵活低成本的可扩展性等优点，为DPI技术带来新的机遇和挑战。本项目针对多核处理器的多核多线程和多级缓存等特点，研究基于多核处理器的高性能DPI技术。围绕包头检测、包内容检测和流识别等问题，重点研究点缓存友好的并行匹配结构和算法、基于多核处理器的异构并行包处理架构以及移动应用场景下流分析和恶意流识别等技术。.为提升缓存利用率，本项目首先研究存储高效的并行匹配结构和算法。对于包头检测，基于规则拆分提出了一种存储高效的并行查找模型减少了超过90%的片上存储。而对于包内容检测，先后提出了一种智能有限状态自动机和一种基于多步长索引表的自动机结构来实现时空高效的正则表达式匹配。此外，对于包检测算法中常用到的布鲁姆过滤器，提出了一种高精度的多分割计数布鲁姆过滤器和一种基于分层结构的高精度布鲁姆过滤器，在有效降低假阳性的同时还实现了处理性能的提升。基于上述结构和算法的深入研究，本项目进一步探索基于多核处理器的异构并行架构。以多核CPU为主处理器，负责衔接包输入输出模块、进行数据包调度和逻辑控制。同时协同一些专用或通用设备来负责核心匹配处理的并行加速。针对三态可寻址存储器（TCAM）提出了两种高效的正则表达式匹配算法，在大幅降低能耗的同时还实现了吞吐率的提升；针对现场可编程门阵列（FPGA）提出了一种存储高效且平衡的双向流水线结构，仅用很少的流水级就能实现理想的平衡度，且还能获得综合性能的全面提升；针对图形处理单元（GPU）提出了一种高效可扩展的查找引擎架构，不仅能实现数百Gbps的吞吐率，系统稳定性也获得了大幅提升。此外，本项目还将研究工作延伸到了移动应用场景。首先设计并实现了一个基于自动执行的Android应用网络流量生成器，并在此基础上提出了一个基于网络流量开销的应用推荐技术。通过对所采集的Android应用网络流量进行深入分析，提出了一种基于聚类算法的僵尸网络识别技术和二次打包应用的高效识别技术。.本项目的研究成果将为未来基于异构并行平台的网络入侵检测系统、移动应用流量监控系统和以内容为核心的路由交换设备提供坚实的技术支撑。