大规模网络半监督广义社区发现研究

Online social networks generate massive and complex data every day. Exploring latent structures of these network data is useful for decision makers to provide strong basis. Traditional community detection approaches just focus on community structure with dense internal connections and sparse external ones, which are invalid when there is no community or there are other structures in a network. Approaches of latent structure exploring based on stochastic block model are able to explore a wide variety of network structures, which defines class according to link patterns between a node and a class (noted as 'general community'). Recently, researchers design a few approaches for general community detection on networks, but their accuracy and efficiency need to be studied densely. Our project will make use of technologies of big data based on stochastic optimization, semi-supervised clustering, probabilistic graphical models, etc to improve the performance of general community detection on massive networks. We will concentrate on the following studies: 1)probabilistic models of general community detection based on stochastic optimization algorithm for massive networks and their parameter estimating algorithms; 2) generative models for semi-supervised general community detection and their parameter estimating algorithms; 3)probabilistic models for semi-supervised general community detection and their parameter estimating algorithms on massive networks.

在线社交网络每天产生庞大、繁杂的网络数据，挖掘和分析其潜在结构可为决策者提供强有力的决策依据。传统的社区结构发现方法仅能发现网络中的社区结构（社区内节点链接紧密、社区间节点链接稀疏），在网络中没有社区或存在其它类型结构时失效。基于随机块模型的方法可挖掘网络潜在的多种类型结构，其根据节点与它类链接模式定义类（称作“广义社区”）。近几年研究者提出了一些网络广义社区发现方法，其准确率和效率都有待深入研究。本项目拟结合基于随机最优化理论的大数据处理算法、半监督聚类、概率图模型理论框架等技术，提高大规模网络的广义社区发现性能。主要研究内容包括：1）基于随机最优化算法的大规模网络广义社区发现概率模型及参数估计方法；2）基于生成模型的半监督广义社区发现模型及参数估计方法；3）大规模网络的半监督广义社区发现概率模型和参数估计方法。

随着数字化技术和网络化技术的不断普及深入，数百万用户在线娱乐、在线工作和在线社交，所产生的海量数据流使得进行前所未有的大规模社会网络分析成为可能。网络产生的数据可建模为图结构，节点表示对象，边表示对象间的关系。其具有结构复杂、规模庞大、数据类型五花八门、链接噪音杂乱无章、网络瞬息万变等特点，如何有效地将网络节点聚类、识别网络潜在交互规律概括图成为社会网络分析的研究重点，该任务是其它社会计算的基础。.本项目主要研究大规模半监督网络广义社区发现方法，采用逐层递进的方式实现。首先研究大规模网络广义社区发现、半监督广义社区发现模型和方法，然后研究大规模网络半监督广义社区发现模型和方法。主要研究成果包括：1）提出了一种基于混合模型的网络广义社区发现在线算法onlineVEM，一种基于逆模拟退火的网络广义社区发现方法；2）提出了一个基于迭代框架的主动半监督kmeans聚类，提出了一个基于逆模拟退火的主动半监督高斯混合模型聚类，提出了一个主动半监督广义社区发现模型及算法；3）提出了一个基于混合模型的大规模主动半监督广义社区发现在线算法。该项目提出的大规模广义社区发现方法可用在用户画像、舆情监测任务中。