粗糙回归模型与算法研究

Regression analysis has a wide range of applications in both fields of natural science and social science. Traditional regression methods pay less attention to the requirements of multi-granularity modeling with heterogenous and multivariable data. This project proposes a rough regression modeling method, which is a nonparametric regression strategy for heterogenous and multivariable data based on granulation and approximation. .Multi granularity regression models and algorithms are investigated using neighborhood rough set and fuzzy rough set theories. Neighborhood rough regression model is built based on granulations of the regression variables and the input variables of a sample set, and granulations is achieved according to defining various neighborhoods with different scales in decision space and feature space. Based on the fuzzy rough models, decision variables are extended to fuzzy ones and fuzzy granulation information is used to approximate fuzzy decision. In addition, this project also devote to build rubost rough regression model to deal with noise sensitive problems by means of improving the definition of lower and upper approximation, and develop fast, robust and understandable regression analysis algorithms to process complex data. Finally, the proposed methods are applied to wind power short-term prediction..This project makes a systematic study on rough set based regression modeling methods, which greatly expands the application fields of rough set, and also provides a new framework for multi-granularity analysis with heterogenous data.

回归分析在自然科学领域和社会领域有着广泛的应用，传统的回归方法较少关注混合多变量数据多粒度建模的要求。本项目提出粗糙回归建模方法，即基于粒化思想和近似逼近的混合数据非参数回归建模策略。.利用邻域粗糙集和模糊粗糙集理论，研究多粒度回归模型与算法：通过定义不同尺度的决策邻域和特征空间邻域，实现对样本回归变量与输入变量的粒化，建立邻域粗糙回归模型与算法；基于模糊粗糙模型，将回归量视为模糊决策变量，构建由模糊粒度信息来近似模糊决策类的回归模型与算法；针对模型噪声敏感问题，通过改进上下近似构造鲁棒的粗糙回归模型，开发快速、鲁棒、适用于复杂数据易理解的回归分析算法，并将提出的方法应用于风力发电中的短期电功率预报。.本项目提出系统地研究基于粗糙集的回归建模方法，拓展了粗糙集的应用范围，也为混合数据的多粒度分析提供了新的框架。

粗糙集理论是处理不确定性和模糊性有效方法，被广泛地用于数据挖掘的分类和归回问题中。首先基于前期的工作积累，以粗糙集回归问题为主要目标，研究了风电预测的粗糙模糊回归模型，拓展了粗糙集的应用范围，也为混合数据的多粒度分析提供了新的框架,发表了数篇高水平论文；然后继续围绕以粗糙集理论模型为基础的几个方面进行了研究，如数据缺失的分类回归问题、粗糙集属性约简、粗糙集区间信息系统、粗糙集期望信息系统；进而紧跟当前机器学习的热点问题，对深度学习、稀疏学习等问题展开探索；以上方面均取得了一定的成果，发表期刊和高水平会议论文十数篇。.主要成果如下：(1)定义了带期望的区间值决策系统，提出了一种基于期望值与区间值距离的优势关系。基于该优势关系，定义了粗糙集模型。同时针对带期望的区间值决策系统，提出了一种基于辨识矩阵和辨识函数的约简方法。（2）提出了一种基于容差 - 相似关系的不完备区间值信息系统的θ-粗糙模型。此外，我们还构建了精度，粗糙度和逼近精度来评估不完备区间值信息系统的不确定性。最后，我们通过案例研究对本文提出的方法进行了检验和测试。结果表明，该方法为具有缺失值的区间值信息提供了合理的策略。（3）将可辨识矩阵嵌入到集成学习中，提出了一种基于可辨识矩阵的集成学习算法DMEL，其中属性约简和学习融合在一起。为了保证算法的一般性，本文主要通过k-means类和k-means可辨识矩阵的定义处理连续数值情况。实际数据集的实验结果证明了该方法的有效性。(4）结合基于LSR的损失函数，流形正则项和标签一致性正则项，提出了一种半监督特征选择框架（SFSRM）。(5)利用核密度估计来学习未标记实例的软标签。对于类别分离性较小的数据，提出了一个核纯度的概念来指示每个标记实例对每个类别的贡献，这可以减少一些标记实例在预测未标记实例的软标签时的负面影响。此外，我们扩展了核密度估计熵和互信息的定义，以有效地处理部分标记的连续数据。