不确定性关系数据的溯源方法研究

Uncertainty occurs during the process of data collecting, transmitting and converting, however, since many scientific applications and large-scale data managements usually require processing and integrating a large number of data from different sources, uncertainty in the data makes the credibility of these integrated results to be questioned. Supporting provenance on uncertain data to query data sources and processing steps can help users understand the credibility of the results. The aim of this project is to achieve provenance management on uncertain relational data, which focus to establish provenance model for the uncertain relational data and investigate provenance representation, acquisition, storage, retrieval and visualization on uncertain relational data. Considering uncertainty both at the attribute level and at tuple level, we adopt multi-granularity representation of the provenance to improve its flexibility. We propose the tuple-level provenance compression and storage method, and explore the table-level provenance storage and method to convert provenance from table-level to tuple-level. We also investigate credibility computation based on the provenance and tuple dependence, and try to apply some sorts of optimal technology to reduce the computational complexity. Finally, we design provenance visualization solution and build the visualization platform of provenance management.

数据在采集、传输、转换的过程中都会导致不确定性数据的产生。然而，许多科学应用和大规模数据管理通常需要集成和处理大量的不同来源的数据，数据的不确定性使得这些集成结果的可信度受到质疑。支持不确定性数据的溯源，提供对数据来源及处理步骤有效方便的查询支持可以帮助用户理解结果的可信度。本项目以实现不确定性关系数据的溯源管理为目标，着眼于建立不确定性关系数据的溯源模型，研究不确定性溯源信息的表达、获取、存储、查询和可视化。考虑数据的属性级和元组级不确定性，采用溯源信息的多粒度表达方法，提高其表达的灵活性；提出元组级溯源信息的压缩存储方法，并探索表级溯源信息存储以及转换为元组级溯源信息的高效方法；研究基于溯源信息及元组依赖性的结果可信度计算方法，并探索各种优化方法降低计算的复杂度；最终设计溯源信息可视化方案并构建溯源信息管理的可视化平台。

本项目以带有溯源信息的不确定数据管理为目标，从建模、存储、查询、概率计算和可视化几个方面入手，研究支持多粒度的不确定性关系数据的溯源建模与表达；不确定性关系溯源信息的获取和存储方法；基于溯源信息及元组依赖性的高效的可信度计算方法；研究溯源信息可视化技术并构建不确定性关系数据的溯源信息系统。针对以上研究内容，本项目提出属性表达式，并利用属性表达式构建溯源表达式，设计基于对象代理模型的带有溯源信息的不确定性数据存储模型，并提出不确定数据概率值评估方法和结果元组概率值计算方法，从不确定元组相互独立和相互依赖两个方面考虑如何进行结果概率值计算，并进一步研究基于属性值约简的概率值计算方法和不确定数据的top-k查询方法。最终设计溯源信息可视化方案并构建溯源信息管理系统。项目期间，在国内外重要期刊和会议上发表了6篇论文、申请了1个软件著作权。