基于语义和视觉差异的网络异常检测

Ideological and economical conflicts in cyberspace have triggered a lot of web attacks by variety of malicious organizations from terrorism, hacktivism or cybercrime. Both academia and industries have tried to apply machine learning technologies to detect intrusion or anomaly, but until now, few successful applications have been seen in the real world detection systems. In this research, we convert the problem of security detection into an issue of visual image or natural language processing, then we can leverage the achievement of deep learning, which have been successfully applied in image and natural language processing. By this method, we don't rely on domain knowledge of security or manually extracted signatures to detect some kinds of network anomaly and attacks...Based on this idea, we will borrow the research result from deep learning in image or text classification, to study the anomaly detection model based on visual and semantic difference. We also study how to define and calculate the network semantics of a network by integrating threat intelligence from multiple sources. We will apply the common model and method to detect web defacement, promotional infection, fraud or phishing attacks and distributed denial of service attacks. With the long term collaborative research with Baidu and 360 Inc., we will conduct our study and experiment with the data and test environment in the real networks. We also plan to deploy our research result in Tsinghua and Fudan Campus networks to test our model and method and assure the feasibility and practicability of our research.

网络空间中意识形态、经济、文化等领域的冲突引发了恐怖主义、黑客行为主义、网络犯罪集团等组织的大量的网络攻击行为，学术界和工业界多年来试图用机器学习的方法检测这些攻击和异常，目前取得没有实用的研究成果。本项目利用深度学习在视觉或图像、自然语言处理领域取得的成果，把安全异常检测问题转换成视觉图像和自然语言理解领域中的问题，可以在不依赖安全领域知识和人工抽取特征的条件下检测网页的异常和某些攻击。..围绕该思路，本项目重点研究基于视觉和语义差异的异常检测模型、基于开源威胁情报的网络语义属性的计算方法，并将这些检测模型和方法应用在网页涂改攻击检测、推广感染攻击检测、欺诈网页检测、分布式拒绝服务攻击检测等方向。团队基于百度、360等互联网企业长期的合作开展研究，并在清华和复旦大学校园网进行部署和测试，保证检测方法的可行性和实用性。

网络攻击和犯罪行为的检测是学术和工业界长期关注的困难问题。机器学习虽在许多其他领域取得了惊人的突破，但由于严重依赖领域专家知识，在实际的网络攻击行为检测中少有成功应用。本项目把网络攻击检测转换成视觉图像和自然语言理解领域中的分类问题，在不依赖安全领域知识的条件下检测特定的网络恶意行为。..围绕网络恶意行为的异常检测，本项目按照计划开展了以下几方面的研究：（1）基于视觉和语义的差异的恶意行为检测模型，（2）基于多威胁情报源的网络语义属性和语义距离计算方法；（3）常见网络攻击行为的检测在网络诈骗、地下产业检测、挖矿等场景中的应用。.项目取得了丰硕的研究成果，并在学术和工业界形成了广泛的影响力。团队成员在网络安全顶级的国际学术会议和期刊上发表37篇论文，其中CCF A类23篇，在国内网络安全学者和研究团队中名列前茅，并获得了USENIX Security、CCS等多个国际顶会的最佳论文奖。研究成果清华大学校园网、百度公司、360和奇安信的产品中成功部署和应用。研究成果被ZDNET、The Register、APNIC、ACM TechNews等多家技术媒体和研究机构多次报道，被欧盟网络犯罪办公室等国际网络安全机构引用，并得到中国网信办、公安部、国家反诈中心和北京市发改委的肯定和表扬。.项目实施推进了我国大批安全人才培养。项目负责人入选国家万人领军计划、长江特聘教授，并培养了60多名青年研究人才。另外，通过组织三年的大数据安全竞赛数据（DataCon）,吸引了全国上万人次参与，并开放共享了恶意域名、恶意代码等20多个公开数据集，用于支持我国研究团队高水平研究和人才培养。..本课题所提出的检测模型和检测算法对于人工智能在恶意行为检测中的应用提供了范例，研究结果和公开数据集对于提高网络安全管理、打击网络犯罪、安全人才培养发挥了重要作用。.