稀疏表达下的非负矩阵分解在入侵检测中的研究

Non-negative factorization could extract feature from massive data, find out hidden variables from explicit variables, decrease data dimensions. It is fit for processing large-scale data. However, general factorizing algorithms include two aspects of question: It is hardly to avoid converging to local optimization; Iteration number of single measure standard increased exponentially with the growth of the data. This project adopts a multi-divergence method of joint measure. Firstly we must prove the existence of the global optimal solution of NMF based on multi-divergence, then introduce sparse constraint—Restricted Isometry Property(RIP),and utilize the method to concisely sample network data, detect intrusion behavior in further. In the project, it is key that analyzing feature of intrusion data and establish mapping model between nonlinear signal of network and non-negative matrix. Secondly, we need to prove feasibility that non-negative factorization serve as error measure standard, derive multiplicative iterative rules of Non-negative factorization based on multi-divergence. Finally, we look for transform basis and projection matrix holding for RIP, explore that multiplicative iterative rules take on detection capability and self-learning ability to intrusion signal.

非负矩阵分解能够从大规模数据中提取关键特征，从显式变量中找出隐藏变量，将高维数据降维，适合处理大规模数据。目前这些分解算法大都存在两方面问题：一是不能避免收敛于局部最优；二是单一度量标准迭代次数随数据量的增长呈指数上升，增加了收敛时间。本项目拟采用多散度联合度量的方法从理论上证明非负矩阵分解的全局最优解的存在，求解多散度的分解的迭代规则，降低分解过程收敛时间。同时引入稀疏化约束条件-等距约束性，对数据进行压缩采样，并应用于入侵信号的检测。本项目首先分析入侵数据的特点，建立网络非线性信号与非负矩阵的映射模型，其次证明多散度在非负矩阵分解中作为误差度量标准的可行性，推导出基于多散度非负矩阵分解的乘性迭代规则，寻找满足RIP条件的变换基和投影矩阵，建立基于稀疏约束下多散度非负矩阵分解的乘性迭代规则对入侵信号的检测模型。

大规模数据处理必然带来处理机时间和空间的增加，而维度约减一直是数据挖掘、机器学习等领域研究的一个重要方向。非负矩阵分解能够从大规模数据中提取关键特征， 从显式变量中找出隐藏变量，将高维数据降维，适合处理大规模数据。本项目从对网络数据的结构分析出发，研究利用非负矩阵分解提取网络访问行为的特征，从而对网络中的异常访问进行检测。项目小组研究发现误差度量标准决定了基矩阵和系数矩阵对原矩阵的信息表示能力，且影响对入侵行为的检测的精度。我们引入了Hellinger 距离、Pearson 距离、χ2散度 、Bregman散度、Alpha散度以及Itakura-Saito散度作为分解过程中的误差度量标准，并给出这些度量标准的转换条件，建立多散度联合度量的非负矩阵分解方法。完成了基于该方法的网络入侵检测流程构建，并完成系统设计。针对矩阵分解中稀疏约束问题，通过构建参数设计字典，建立分解过程中的稀疏基，从而确保矩阵分解收敛于全局最优。. 本项目还提出一种采用遗传规划方法来求解基于Alpha散度的非负矩阵分解全局最优解，并将其用于网络数据的异常检测。采用了乘性迭代方式逐步逼近待分解的数据矩阵的Alpha散度最小值。非负矩阵分解的乘性迭代方法对于入侵检测有着较高的精度，然而存在学习过程较慢的问题。引入遗传算法能减少Alpha散度作为度量标准时分解收敛的时间，从而加快检测速度。. 本项目在Lasso问题的变量线性回归求解的基础上，提出了一种基于Lasso的异常检测方法。我们把异常检测过程，转化为线性回归模型。利用Lasso的参数估计具有稳定的回归系数，同时可以压缩模型参数，缩小参数数量特点，实现异常检测的稳定、快速、简洁的模型建立和准确的检测能力。实验表明在选择恰当阈值的约束条件下，该方法具有较高检测精度和快速的收敛能力。