高维数据框架内的非参与半参分位数回归模型的研究

Compared to least square regression, quantile regression produces a more complete description of the conditional response distribution and is more robust to heavy-tailed random errors. This proposal describes some new estimation and inference methods for sparse additive nonparametric or semiparameitrc quantile regression models, which are more parsimonious than classical additive models. The main focus is on the case where each univariate component function lies in a reproducing kernel Hilbert space. We will study this issue from the following points: first, we provide a method for estimating the unknown function based on kernels combined with functional-type convex regularization. This allows us to develop an efficient numerical algorithms for these sparse quantile models; second, working within a high-dimensional framework that allows both the dimension and sparsity parameter to increase with n, we establish oracle inequalities for the excess risk of the resulting prediction rule, showing the optimality of our method; third, we propose an efficient selection of the regularization parameters and show that it satis?es the requirements for achieving the above optimal rates . Finally, we discuss the model identification problem and generalized additive nonparametric models , as well as illustrate the performance of our algorithms by some simulation studies and practical applications.

与最小二乘回归相比，分位数回归能够更加详细地描述条件分布的特征， 并且当存在厚尾随机误差时，分位数回归表现比较稳健。本项目拟在研究基于稀疏型的可加非参或半参分位数回归模型的估计与推断问题，该模型比一般的可加模型更加"节俭"。在所研究的框架内，假设每个可加成分函数都属于再生核希尔伯特空间。我们将从以下几个方面展开研究：首先，提出基于泛函型凸正则化项的估计学习算法，并且设计出有效的数值计算方法；其次，考虑在高维数据下的理论问题：即允许维数与稀疏参数都随样本量而增大时，建立相应的oracle不等式以揭示最终预测规则的过剩风险，且证明我们估计的收敛阶在经典框架内是最佳的；然后，提出一个简单的正则化参数选择方法并证明该方法也能够达到最佳收敛结果；最后，我们讨论模型可识别问题以及推广到广义可加非参模型，同时也通过一些仿真实验与实际数据来表明我们算法的有效性。

随着科技的发展和采集数据能力的提高，许多领域人们很容易获取高维，海量或者具有某种复杂结构的数据。传统统计或机器学习方法已不适合解决高维数据问题。目前，高维数据的稀疏建模是统计学和机器学习领域最热的研究问题之一，而本项目在高维可加分位数模型估计与理论分析方面做出了显著的成果，具体表现一下几个方面。一：.在无穷维空间内，提出了新的基于混合范数正则化响的分位数估计方法，并且提出了有效解决该高维方法的数值算法，在仿真实验与真实数据得到了良好的表现；二：我们开发了新的经验过程的不等式，该类不等式在高维非参数模型是非常有用，我们也借此给出了高维可加分位数模型的最佳收敛阶，理论结果也揭示了分位数模型与均值模型的不同之处，以及分位数模型的稳定性等特点。本项目的研究既有方法方面的创新，又有理论方面的深刻结果，是高维统计与机器学习高维专题的丰富与发展，得到了国内外专家或同行的高度认可。主要科研成果已经被一些国际杂志发表或接受待发表，还有一些相关研究论文在国际顶级杂志二审中。