敌手环境中安全机器学习关键技术研究

统计机器学习因能有效发现经验数据中的隐藏模式，已应用于众多真实世界问题，从而使相关应用系统具备自适应特点。但是在存在恶意对手的敌手环境中（如入侵检测、垃圾邮件过滤等），机器学习的引入也会给相关应用系统带来新的脆弱性。恶意对手可以利用机器学习依赖样本的特性进行攻击，从而导致其分类性能下降，包括：恶意对手探索学习器的分类边界，从而发送学习器会误分类的样本；或恶意对手污染训练样本，使学习器分类正确率下降。面对这一威胁,本项目研究当存在恶意对手的情况下，增强机器学习安全性的若干关键技术，主要研究内容包括：①攻击威胁模型和机器学习安全性分析框架；②探索型和使役型攻击的检测技术；③离线情况下的攻击容忍学习算法；④在线情况下的攻击容忍学习算法。本项目关于安全机器学习的理论分析和算法实现，可推动机器学习安全性的理论认识，并有助于解决机器学习在敌手环境下的应用障碍，在恶意行为检测等应用领域展现重要前景。

统计机器学习因能有效发现经验数据中的隐藏模式，已应用于众多真实世界问题，从而使相关应用系统具备自适应特点。但是在存在恶意对手的敌手环境中（如入侵检测、垃圾邮件过滤、恶意代码检测等），机器学习的引入也会给相关应用系统带来新的脆弱性。恶意对手可以利用机器学习依赖样本的特性进行攻击，从而导致其分类性能下降，包括：恶意对手探索学习器的分类边界，从而发送学习器会误分类的样本；或恶意对手污染训练样本，使学习器分类正确率下降。面对这一威胁,本项目研究当存在恶意对手的情况下，增强机器学习安全性的若干关键技术，主要研究内容包括：①敌手环境中攻击威胁模型；②敌手环境中机器学习安全性分析框架；③攻击容忍学习算法。本项目的主要研究成果和结论包括：① 根据信息安全问题的实际情况，并考虑半监督学习和主动学习的场景，引入未标注样本的污染问题，明确了敌手环境中的攻击威胁模型，并提出针对未标注样本污染的几种典型攻击，使针对机器学习的攻击谱系更加完整；② 基于提出的敌手环境攻击威胁模型，并结合博弈论，扩展了机器学习安全性定量分析框架；③ 在前述研究的基础上，提出一系列攻击容忍学习算法，包括：基于主动学习的攻击容忍学习算法、基于自适应多核学习的攻击容忍算法、缺失多核学习的攻击容忍算法和面向删除型污染攻击的容忍算法；④ 在研究和测试过程中，完成了一套敌手环境中基于深度、混合机器学习技术和NetFPGA板卡的入侵防御系统，集成了提出的各种针对机器学习的攻击算法和攻击容忍算法。本项目关于安全机器学习的理论分析、算法研究以及系统开发，将机器学习安全性的理论认识扩展到半监督、监督、主动学习三种范式上，拓宽了对机器学习安全性的理论认识，并有助于解决机器学习在敌手环境下的应用障碍，在恶意行为检测等应用领域展现重要前景。