再生核巴拿赫空间中的核函数方法

Kernel methods in reproducing kernel Hilbert spaces have a solid mathematical foundation and hence are widely applied to statistical learning, data mining and scattered data approximation etc. In the past decade, there has been emerging interest in constructing reproducing kernel Banach spaces (RKBSs). RKBSs are able to induce sparsity norms, and thus are ideal function spaces for sparse learning algorithms. It is worth mentioning that definitions and reproducing kernels of existing RKBSs in the literature are dependent on specific constructions. Our project aims at providing a generic definition of RKBSs, proposing a unified framework of constructing RKBSs that covers all existing RKBSs via a pair of nonsymmetric feature maps and the continuous bilinear form, and developing representer theorems. We shall investigate Sobolev spaces and regularization algorithms on the spaces, and universal approximation theorems in the space of continuous functions in the setting of RKBSs. In order to handle the sparse multi-task learning, we will construct vector-valued RKBSs with the l1 norm and then develop support vector machines on those spaces. The project will promote the development of kernel-based machine learning.

再生核希尔伯特空间中的机器学习核函数方法具有坚实的数学理论基础，因而广泛应用于统计学习、数据挖掘和散乱数据逼近等。近十年来，再生核巴拿赫空间的构造日益受到关注。再生核巴拿赫空间能诱导稀疏范数，因此为稀疏表示学习算法提供了理想的背景函数空间。值得一提的是已知文献中再生核巴拿赫空间的定义和再生核函数依赖于具体构造。本项目将给出再生核巴拿赫空间统一的本质性定义，用一对非对称特征映射和连续双线性形式涵盖当前所有再生核巴拿赫空间的构造，从而建立再生核巴拿赫空间的统一构造框架及其上的表示定理。我们将在再生核巴拿赫空间理论中研究索伯列夫巴拿赫空间及其上的正则化算法和连续函数巴拿赫空间中的通用逼近定理。针对稀疏多任务学习的需求，我们将构造具有表示定理的l1范数的向量值再生核巴拿赫空间，研究其上的支持向量机算法。本项目结果将推动机器学习核函数方法的发展。

本项目致力于发展再生核巴拿赫空间中的核函数方法理论、分析、算法和应用，为稀疏学习和多任务学习奠定坚实的数学理论基础。主要研究内容包括建立再生核巴拿赫空间的本质性定义和统一构造框架；研究索伯列夫再生核巴拿赫空间和连续函数再生核巴拿赫空间；构造l1范数的向量值再生核巴拿赫空间。项目取得的主要成果有：论证了再生核巴拿赫空间是一个点值泛函连续的巴拿赫函数空间这个本质性定义；通过一对特征映射和连续双线性形式建立了再生核巴拿赫空间的统一构造框架；讨论了连续函数再生核巴拿赫空间的再生核函数；建立了具有表示定理的1范数向量值再生核巴拿赫空间及其学习理论；研究了1范数标量值再生核巴拿赫空间及其正则化算法；提出了单位圆周上复哈代再生核希尔伯特空间信号的自适应分解算法；分析了带0-1损失项的支持向量机最优性理论；提出了lp(0<p<1)范数邻近算子的二分法计算方法。项目已发表或已接收论文4篇，投稿在审论文2篇。项目较好地完成了预期研究目标。