面向社交大数据的热点事件预测

Social network is the reflection of the real-world. The prediction of popular events in social big data is meaningful for discovering the crowd and studying users' activities. Furthermore, the cyber security can be guaranteed by inhibiting the spread of rumors, and intelligent decisions can be made by monitoring emergencies. Existing studies predict popular events by analyzing user generated contents to retrieve the key words about the events. However, the social big data has characteristics such as real-time, variety, and velocity. Thus, it is difficult to predict popular events only by means of content analysis. Moreover, existing methods cannot identify the crowd who focuses on the events. This shows that existing methods lack the personalization. In fact, user generated contents are connected by social interactions, and the crowd behavior has sustainability. This project incorporates the cognitions of human and the collective intelligence formed by social interactions, and uses the cognitive physics methods to process the unstructured data. Furthermore, the popular events are predicted by studying how the evolutions of popular events are strongly related with the collective intelligence, while are weakly related with the semantics of the events. The research achievements can be used to other domains of artificial intelligence, such as the robot and the intelligent driving.

社交网络是现实世界的映射。在社交大数据中预测热点事件，对发现用户群体、研究群体的活动规律，进而，抑制网络谣言传播从而维护信息安全，监控突发事件从而做出智能决策等方面具有重要意义。已有的研究主要分析文本内容，提取热点事件相关的关键词，统计关键词的频率预测热点事件。然而，社交大数据具有实时性、多样性及高动态性等特征，只处理内容预测热点事件相对比较困难。并且，已有的方法无法判断关注热点事件的用户群体，也就无法预测小众范围内的热点事件，个性化不明显。实际上，用户产生的内容通过社会交互相互关联，并且群体行为具有持续性。本课题融入人的认知以及由社会交互形成的群体智能，使用认知物理学的方法处理非结构化数据，研究热点事件的发展与群体智能强相关，与具体事件的语义弱相关的规律，以达到热点事件预测的目的。相关研究成果可以为人工智能的其它领域，比如机器人、智能驾驶的研究提供思路。

社交网络是现实世界的映射，大量的用户活动产生了社交大数据。热点事件预测对研究人类行为规律、交互特征等具有重要的意义。已有的针对热点事件的研究侧重于使用自然语言处理的方法，然而，自然语言处理的方法面临着自然语言多义性、模糊性等挑战。本课题根据社交大数据中热点事件的特征分析，从用户的行为研究出发，提出一种新的热点事件检测和预测的研究思路。首先，根据用户之间的交互，构建交互图。并且，应用复杂网络中的社区检测方法，挖掘参与热点事件中的用户群体；其次，提取用户群体中的讨论热点事件；最后，借助链接预测技术，对热点事件的发展趋势进行预测。本课题的主要工作如下：（1）在社交大数据获取和分析平台上，收集了新浪微博数据大约200G，DBLP、Reddit等公开数据集大约50G，并且搭建了Spark大数据分析平台；（2）在热点事件检测上，针对社区检测过程中的时间复杂度过高的问题，提出了一种新的增量式的社区检测方法，可以有效地提升大数据处理的效率，并且，保证结果的准确性；进一步地，提出一种具有衰减特性的事件检测方法，提升热点事件检测的效率；（3）在热点事件预测上，将社交大数据建模为数据流，并且融入用户节点属性，提出一种新的基于交互图的链接预测方法，对热点事件的发展趋势进行预测；（4）热点事件中充满不确定性，本课题对不确定性人工智能中的模型在热点事件中的应用作了进一步的扩展；（5）开发了热点事件检测和预测的原型系统，展示本课题的结果。本课题的研究可以在大数据处理方向进行推广应用，同时，本课题中的科学问题对研究人工智能中的认知、交互等方向具有重要的作用。