基于相关性的大数据分类理论与方法研究

This proposal focuses on big data decision problems by considering fusion of basiccharacters of big data decision problems by big data as starting point.With assumption of existence of correlativity among big data, this proposal aims to reveal correlation hiding in big data in terms of the population of the whole data set.The fundamental mathematical model of big data classification is set up by developing some notions such as correlative measure, correlative operator，correlative decision system and correlative learning. Based on this model, notion of consistance of correlative learning and a new forecasting model with correlative operator are proposed, while an optimization model to capture the optimal correlative operator is set up and different methods are developed for different type of data. Furthermore, several algorithms for big data classification are put forward to address the huge volume of big data and tested with some experiments. The effectiveness of the theory and methods in this proposal will be demostrated by performing experiments. Results in this paper will contribute to setting up fundamental framework for big data classification in terms of correlativity and effective analysis of big data decision.

在大数据决策问题的背景之下，本项目以融合大数据决策问题的基本特点为出发点，以大数据中存在相关性为基本假设前提，以基于全部数据挖掘大数据中隐含的相关关系为基本目标，通过引入相关测度、相关算子、相关决策系统和相关学习等基本概念建立大数据分类的基本数学模型，在此基础之上提出相关学习一致性的概念和利用相关算子进行预测的新模式，建立求解最优相关算子的优化模型并针对不同类型的数据设计各自的求解算法，针对大数据的容量特点开发各种大数据分类的算法并进行实验验证，研究这些算法的并行式和增量式的实现方式，并利用实验分析与比较来验证所提出的理论与方法的有效性.本项目的完成将会建立基于相关性的大数据分类基本理论框架并实现对大数据决策问题更有效的分析.

摘要.本项目的主要任务是基于数据间的相关性来研究大数据分析的理论与方法，经过项目组成员的共同努力顺利完成了研究任务，主要包括以下四个方面的内容：.1）提出了相关决策系统的基本概念，定义了相关规则并给出了其相关度的计算公式，该计算公式是传统数据挖掘关联规则置信度和支持度的有机结合；在此基础上给出了挖掘相关规则的具体算法，并具体应用到推荐系统中构造了适用于商品推荐系统单个商品推荐和多个商品推荐的两大基本算法。.2）针对大数据集的动态性研究了各种情况下不同类型数据集的特征选择的增量计算的理论与方法。主要包括基于经典粗糙集理论研究了离散数据集特征选择的增量计算、基于模糊粗糙集理论研究了数值型数据集特征选择的增量计算以及基于覆盖粗糙集理论研究了混合型数据集特征选择的增量计算。.3）针对大数据集的稀疏性和不一致性分别采用非负矩阵分解算法和粗糙集理论来讨论其维数约简问题,相应地建立了非负矩阵分解新算法和粗糙集预测算法的泛化误差界。针对区间值数据利用直觉模糊集在序直觉模糊信息系统中,提出了带参数的广义优势关系及其属性约简并给出了在决策问题中的具体应用方法。.4）利用核函数给出了计算数据间相关性的具体方法，在此基础上把核对齐理论推广到多标记问题进而研究了多标记分类问题核函数选择的具体算法以及特征选择的新算法；定义了模糊核函数并给出了模糊核对齐算法，在此基础上给出了多模态数据特征选择的新算法，实验结果表明这些算法具有很好的性能。. 基于以上的研究内容，本项目共发表及录用了十篇第一标记的研究论文，其中七篇为中科院JCR分区一区论文（包括三篇TOP 期刊论文），项目主持人作为第一完成人2017年获得了河北省自然科学奖三等奖，作为第三完成人获得了2018年吴文俊人工智能奖自然科学一等奖，培养毕业了博士两名，硕士四名。