面向众包恶意炒作的早期检测技术研究

Crowd sourcing astroturfing is very harmful to the society and has negative effects to the normal order of the network, which need the research and management. However, the research on this, is still in the very beginning stages both at home and abroad. This field needs effective theory and related research towards the detection of the paid posters. This project aims to propose a detection framework for Crowd Sourcing astroturfing by combining natural language processing and statistical machine learning. The research content of our project includes: establishing the action description and feature generation algorithm for Crowd Sourcing astroturfing, which transforms the detection problem to computational pattern classification model; researching algorithms of short message's similarity and correlation computation, for assisting the machine understanding post's meaning and providing an important evidence for the detection of Crowd Sourcing astroturfing; constructing metric learning models and detection models with grouping information of Crowd Sourcing, to solve the learning problem on large-scale multi-model distribution samples. The construction of Crowd sourcing detection platform is aimed to verify the proposed feature description, metric learning model and solve the detection problem fundamentally.

众包恶意炒作行为危害社会、影响正常的网络秩序，需要研究和治理。然而目前国内外对于基于众包的恶意炒作行为的研究尚处于起步阶段，还没有提出有效的针对众包恶意炒作行为的检测方法。本项目以众包恶意炒作行为的早期检测技术为研究目标，通过结合自然语言理解及统计机器学习的研究成果，提出针对网络水军发帖的自动检测框架，为研究解决众包恶意炒作行为的早期检测提供解决方法和途径。研究内容包括：建立众包恶意炒作行为的多特征描述和生成方法，从而将众包恶意炒作行为的检测问题转化成一个模式分类的可计算问题；研究基于深层语义的短文本相似度相关度计算方法，是机器能从语义层面理解帖子内容并检测恶意炒作行为的重要基础；建立融合众包运作信息的测度学习模型和检测方法，以解决大样本多模态分布学习的难题。通过建立众包舆情的早期检测平台对本项目提出的特征描述、测度学习模型进行实践验证，探索解决众包恶意炒作行为的早期检测方法。

本项目围绕着众包炒作舆情分析检测问题，构建大规模分布式舆情分析平台，实现千亿级短文本存储和秒级查询等操作，实现热点发现、主题预警、专题分析、溯源分析、扩散分析等多种功能，同时，从网络文本语义分析的角度开展一系列创新性的研究工作，主要包括：1，针对网络文本长度短而出现的语义稀疏问题，研究基于话题模型的语义特征扩展方法，用于网络短文本的分类聚类和索引编码，进一步针对浅层模型的不足，提出基于词向量和深层网络的短文本分类聚类索引编码方法，成果发表在IJCAI、ACL、NAACL、ICONIP、NeuroComputing、NeuroNetwork等会议期刊； 2，按照深度语义分析需要，研究基于马尔科夫网络和深度网络的知识三元组补全和推理方法，工作发表在CIKM；3，研究基于隐马尔科夫模型的用户行为预测，研究基于深度网络的短文本倾向性分析方法，研究基于转移熵和社交网结构的用户群体情感演化模型，成果发表在WWW、WI、PAKDD、ISI、SMP等。总地来说，课题组在本项目的资助下搭建了网络舆情分析平台，并构建了用于深层语义推理分析的网络舆情知识体系和通识知识库，搜集积累了多种网络文本数据集，同时，积极跟踪技术发展方向，探索新处理方法，完成10余篇国内外会议和期刊论文，提交2项专利申请，协助培养多名研究生，课题组也获得一定的影响和关注。