超高维异质数据下的一类双稳健特征扫描方法

Big data brings new chance to develop high dimensional statistics. On the one hand, classical statistical methods would suffer many issues on computational complexity, estimation accuracy and stability of algorithms when the number of predictors is extremely large than sample size. On the other hand, high dimensional empirical data set may contain a lot of heterogeneous information (outliers, heteroscedasticity, heavy-tailed distribution, etc), which is retained not only in response variable, but also in predictors. This leads to many feature screening approaches not robust in handling the data sets with heterogeneous predictors. Therefore, this proposal aims to propose a doubly robust feature screening method for such data sets. Firstly, a marginal feature screening method based on double quantile correlation coefficient will be studied. The definition of double quantile correlation and its sample estimate will be given. Then we will apply it to variable screening. The key of this part is to prove the sure screening property. Secondly, taking into account conditional variables and the association between covariates, a conditional feature screening method via double quantile partial correlation coefficient will be investigated, which is an extension of the previous method. In this part, the proof of screening consistency will be the emphasis. Finally, the advantages of newly proposed approaches will be verified through extensive simulations and two real data sets.

大数据给高维统计学的研究提供了全新的发展机遇。一方面，当特征变量个数远远大于样本量时，传统的统计分析方法在计算复杂度、估计精度、算法的稳定性上遭受诸多限制，另一方面，高维复杂数据本身可能包含更多的异质信息(异常值、异方差、重尾分布等)，不仅表现在响应变量，而且还可能体现在协变量中，导致许多边际特征扫描方法在处理异质协变量数据时缺乏稳健性。因此，本项目将研究响应变量与协变量均含异质信息的双稳健的特征扫描方法。首先，研究双分位数相关系数的边际特征扫描方法，给出双分位数相关系数的定义和样本估计，然后利用其进行特征扫描，重点将证明边际特征扫描方法的相合性。其次，将上述边际扫描方法进行拓展，在考虑条件变量的影响以及协变量之间的相互作用下，研究双分位数偏相关系数的条件特征扫描方法，并重点研究其扫描相合性。最后，本项目将通过数值模拟和两组实际数据分析来验证新提出的特征扫描方法的有效性。

本项目研究了一类双稳健的超高维特征扫描方法，主要研究了两个问题：(a) 一类边际的双稳健的特征扫描方法 和(b)一类稳健的条件特征扫描方法。一方面，针对研究内容(a), 我们首先给出了双分位数相关系数的定义(DQC)，基于样本数据，构造了DQC的一个合理的估计，证明了该估计量的渐近正态性，并基于“带入法”给出了渐近方差的一个相合估计；其次，我们利用DQC作为感兴趣的且与响应变量可能相关的重要性的度量，将其用作边际扫描的效用函数，提出了基于DQC边际确定独立性扫描方法(DQC-SIS)，在一些温和的技术条件下，我们证明了DQC-SIS具有确定特征扫描性质；然后，我们讨论了扫描参数的选取和控制错误发现率(FDR)的方法; 最后，数值结果显示了与 SIS等方法进行比较, 本项目新提出的DQC-SIS 方法对异质数据更具稳健性。另一方面，针对研究内容(b), 我们首先定义了双分位数偏相关系数(DQPC)的概念，给出了一个合理的样本估计，并证明了该估计量具有相合性和渐近正态性；其次，我们基于DQPC提出了一种条件特征扫描方法, 即DQPC-SIS, 我们证明了DQPC-SIS方法的效用函数具有扫描相合性；另外，我们还给出了一种条件变量的选取方法和实施DQPC-SIS的一种算法以及如何控制DQPC-SIS的FDR的方法, 最后，我们从数值模拟和实际数据分析的角度验证了新提出的DQPC-SIS方法比存在的SIS和QPC-SIS方法更具有稳健性。