面向网络舆情分析的非确定性数据管理方法研究

With the development of pubilic opinion application, the uncertain data for public opinion analysis is growing rapidly and has exceeded PetaBytes. However, the current data management method for certain data could not meet the requirements of public opinion analysis due to its uncomplete functions and low efficiency. Thus, the traditional method could not analyze accurately. This project takes the requirement of public opinion into full consideration and takes full advantage of cloud computing and cloud storage in order to study the uncertain data management methods and basic theories for public opinion analysis. We focus on the uncertain data model and integration, the distributed uncertain data storage method and dynamic index mechanism, parallel query algorithm and object cache scheme for uncertain data. This project aims to not only solve the bottleneck problem of uncertain data management in public opinion analysis but also provide the method to build large scale public opinion data center. Meanwhile, this project would represent a useful effort for the problem of the uncertain data management in other fileds.

随着网络舆情应用深入到国计民生的各个领域，舆情分析所涉及到的非确定性数据呈爆炸性增长，已超过PB级。然而，目前的确定性数据管理方法满足无法舆情分析的需求，如分析功能不全、分析效率低下，从而无法准确地判断、分析和预测舆情动态。本项目结合舆情分析需求，充分利用云计算和云存储技术，全方位地研究面向舆情分析的大规模非确定性数据管理基础理论和方法，重点研究非确定性数据模型和数据集成方法、非确定性数据分布式存储策略和动态索引机制、非确定性数据并行查询处理算法与机制、非确定性数据对象缓存机制四个关键部分。项目研究成果不仅能解决舆情分析中遇到的非确定性数据管理瓶颈问题，还对构建大规模网络舆情数据中心有重要的方法论意义，同时对其它学科中出现的非确定性数据问题具有一定的借鉴意义。

本项目以非确定性数据管理为主要目标，围绕多元异构数据模型、存储架构和并发控制机制展开研究，系统化梳理并建立了适合算法模型和原型系统，突破了大规模数据管理中分布式事务的关键技术难题；同时以舆情作为主要应用点，完成了系统开发，并以实际系统验证了研究方法的有效性。实验表明，本项目的研究方法比当前主要算法性能要高出100%以上。同时，我们实现的图数据库原型系统，可以对海量图数据进行高效的分布式存储、管理和查询。