机器学习核方法模型选择与组合的核矩阵近似分析方法

如何避免欠拟合与过拟合，提高泛化性，是机器学习核方法理论研究和实际应用的重要问题，也是核方法模型选择与组合的基本问题。现有核方法研究没有给出机器学习本质意义的且计算高效的模型选择与组合方法，往往采用在核模型构造后利用测试数据或验证数据来优化模型参数的实验方法。本项目研究核方法模型选择与组合的核矩阵近似分析方法。首先，显式地构造稠密且计算高效的再生核希尔伯特空间(RKHS)和核矩阵空间，在此基础上细化积分算子谱与核矩阵谱的对应关系，给出从样本结构和算子-矩阵谱关系反演核矩阵的方法，分析核方法稳定性与核模型泛化性的关系。然后，推导并分析核矩阵近似误差与核方法稳定性的关系，进而定制出核方法模型选择与组合的评价准则。最后，设计核矩阵和评价准则高效的计算算法。该项目探索核矩阵近似计算与核方法泛化性之间的关系，发展核方法的核矩阵近似计算理论，并给出适用于大规模样本的核方法学习方法和评价方法。

如何避免欠拟合与过拟合，提高泛化性，是机器学习核方法理论研究和实际应用的重要问题，也是核方法模型选择与组合的基本问题。现有核方法研究没有给出机器学习本质意义的且计算高效的模型选择与组合方法，往往采用在核模型构造后利用测试数据或验证数据来优化模型参数的实验方法。本项目研究核方法模型选择与组合的核矩阵近似分析方法。主要工作包括：(1) 显式构造稠密且计算高效的假设空间。提出随机循环特征映射空间、随机循环矩阵空间、框架核再生核希尔伯特空间(RKHS)和近似高斯RKHS，具有高效的计算效率和一致的理论解释。(2) 奠基核方法模型选择与组合基本理论。提出涉及核矩阵、算子、稳定性的谱稳定性学习理论；提出核方法模型选择近似理论，定义近似一致性的概念，证明近似与精确准则的强近似一致性，并证明Nystrom方法、改进的Nystrom方法和多层循环矩阵近似方法的近似一致性；提出基于正则化路径的支持向量机模型组合的三步法，利用支持向量机正则化路径分段线性性质构建初始模型集，应用广义平均交叉验证方法和修剪策略获得候选模型集，在测试或预测阶段，应用最小近邻法确定输入敏感的最终组合模型集，实现贝叶斯组合预测。(3) 设计核方法模型选择与组合的高效算法。基于核矩阵近似算法和正则化路径算法，提出线性时间复杂性支持向量机近似模型选择算法，并基于多层循环矩阵近似和Nystrom近似，提出对数线性时间复杂性的最小二乘支持向量机的近似模型选择方法，并提出了大规模支持向量机多参数同时调节方法，在同一优化过程中实现模型选择和学习器训练；基于Bouligand影响函数，给出交叉逼近理论，提出一种高效的交叉验证近似方法。