缺失数据下半参数回归模型的稳健估计及变量选择方法研究

As a common phenomenon in real life, missing data has become important contents of the statistical research. Based on feature screening and penalized regularization methods, this project studies the robust estimation and variable selection methods of semiparametric regression models with nonignorable missing response. Specifically, three questions are considered in this project. (i) For ultrahigh dimensional data with nonignorable missing response, by constructing new marginal utility, new model free feature screening methods are proposed for dimension reduction, and theoretical properties of the proposed methods are studied. (ii) By shrinking the second derivative of the unknown functions, the linear components in additive models with nonignorable missing response are identified, feasible algorithms are devised, selection methods of smoothness parameters and tuning parameters are discussed, and asymptotic properties of new methods are proved. (iii) Based on the research contents of the second part, robust estimation and variable selection methods for partially linear additive models with nonignorable missing response are considered, and the goal of statistical modeling is achieved.

缺失数据作为现实生活中常见的现象，已成为了统计学的重要研究内容。本项目基于特征筛选及惩罚正则化方法，研究响应变量不可忽视缺失的半参数模型的稳健估计及变量选择方法。主要包含三方面的研究内容：(1)针对响应变量不可忽视缺失的超高维数据，通过构造新的界限效用，提出与模型无关的稳健特征筛选方法，对数据进行降维处理，并研究提出方法的理论性质；(2)基于第(1)部分得到的协变量子集，考虑响应变量缺失的可加模型，通过压缩未知函数的二阶导数，提出新的稳健成分识别方法，设计可行算法，讨论光滑参数与惩罚参数的选取，并证明其理论性质；(3)在第(2)部分研究内容的基础上，进一步通过惩罚正则化方法，研究响应变量不可忽视缺失的部分线性可加模型的稳健估计及变量选择问题，达到统计建模的目的。

半参数模型比参数模型灵活性更强，又能避免非参数模型的维数灾难问题。因此，半参数模型近年来受到了统计学者们的广泛关注。缺失数据作为现实生活中的常见现象，已成为统计领域的重要研究内容。再有，高维数据的降维方法，也是统计领域的热点研究内容。项目组根据研究计划，开展了一系列研究，具体情况如下：1.针对缺失数据下的半参数模型，项目组提出了稳健的加权迭代估计算法，证明了参数估计及非参数估计具有渐近正态性，并通过随机模拟和实证分析比较了新方法与已有方法在不同误差分布下的表现，结果表明新方法具有稳健性；2.结合复合分位数回归、最小乘积相对误差损失函数、局部多项式光滑、样条光滑及罚项正则化方法，研究了一系列半参数模型的估计、变量选择及模型识别方法，证明了新方法的理论性质，最后通过随机试验与实例说明了新方法的表现；3.通过定义广义相关系数，并对数据进行正态变换，提出了超高维数据稳健特征提取方法，证明了筛选方法的理论性质，随机模拟及实证分析表明新方法在不同的模型及误差分布下都具有良好的表现；4.将罚项正则化及稳健建模方法应用到经济及金融数据分析中，并对分析结果给出了合理的解释。