基于惩罚似然和经验似然方法的高维数据假设检验问题研究

Among the high-dimensional data analysis, hypothesis testing for high-dimensional data becomes a hot topic. The existing researches on this issue mainly focus on significant testing for regression coefficients, one/two-sample test of high-dimensional means or covariance matrix, and so on. Yet for the hypothesis testing for high-dimensional data, there are still some basic theoretical issues, which require further study. This project aims to propose a new paradigm that synthesizes and broadens the theories and methodologies of hypotheses testing for high dimensional data based on the penalization and (empirical) likelihood methods. We focus mainly on the following three topics: 1) Theory and method for significant testing of partial covariates using the penalization and likelihood ratio methods; 2) In the parametric likelihood framework, establishing theory and method for significant testing of the whole covariates with sparse restriction; 3) In the non-parametric empirical likelihood framework, establishing theory and method for significant testing of the whole covariates with sparse restriction. Using the idea of partial penalization and sure independent screening, we propose new test statistics for each case, and prove the corresponding asymptotic distributions under the null and the local alternative hypotheses. We also develop the efficient algorithm for these proposed methods, which facilitates theirs application in the statistical analysis of financial or genetic data. The results of this research have both theoretical and practical importance, i.e. this project not only will develop the new (empirical) likelihood ratio test methods for high-dimensional sparse data, but also will provide new methods and theoretical support for analyzing the high-dimensional data encountered in areas such as biomedicine, financial economics and so on.

高维数据分析中，高维假设检验是当今统计研究的热点。已有的许多研究集中在高维回归参数显著性检验、单（两）样本均值或协方差矩阵检验等。然而，高维数据检验领域仍存在一些基础理论问题值得进一步研究。本项目致力通过惩罚和（经验）似然方法系统构建并深化高维数据假设检验理论。将着重开展：1) 基于惩罚似然方法的部分变量显著检验理论与方法；2) 似然情形下，带稀疏限制的全局变量显著检验理论与方法；3) 经验似然情形下，带稀疏限制的全局变量显著检验理论与方法。基于部分惩罚和扫描思想，分别构造新的检验统计量，探讨统计量在原假设和局部备择假设下的渐近性质。在理论研究过程中，提出简便高效的计算方法，并应用到金融、基因数据的统计分析。本项研究将在高维稀疏假设下发展新的高维（经验）似然比检验方法，具有重要的理论意义；项目的研究成果将为处理生物医学及金融经济学等领域中的高维数据分析提供有力的方法保证，具有较高的应用价值

随着科学技术的快速发展，高维数据随处可见，比如基因、金融、文本数据等。这些数据中，变量维数随样本量变大甚至远远超过样本量，并具有稀疏特征，这给传统的统计理论和方法带来很大的挑战。因此如何在有限样本、数据维数高且稀疏情形下建模并对感兴趣变量进行显著性检验是统计学研究中的热点。因此，本项目致力通过惩罚和(经验)似然方法系统构建并深化高维数据假设检验理论，着重开展了1）基于惩罚似然方法的部分变量显著检验理论与方法；2）似然和非参数经验似然情形下，带稀疏限制的全局变量显著检验理论与方法。针对两类稀疏假设检验问题，基于部分惩罚和扫描思想，构造了新的检验统计量，探讨统计量在原假设和局部备择假设下的渐近性质，并提出简便高效的计算方法。此外，在大数据时代，除超高维和稀疏性挑战外，数据形态呈现多源性。它们可能是普通的数值型数据，也可能是各种类型的复杂数据，例如，某种表达整体比例结构数据(成分数据)，甚至是以很高频率采集的几乎连续的数据(函数数据)，或者同时包含多种数据类型等等。基于以上考虑，借鉴高维惩罚、扫描思想和非参数技术，我们对项目的研究方向进行了两方面的拓展：3）在超高维数据的变量选择与非参数统计建模方面，提出了基于Gram-Schmidt变换的复杂数据变量扫描方法；部分线性单指标模型的贝叶斯分位数回归及变量选择；基于非参数特征增强方法的高维数据分类方法；4）在高维复杂数据分析方面，研究了多元成分数据的SIR降维方法、稀疏凸聚类、增量算法和线性混合效应模型；函数空间自回归模型的稳健估计和空间偏最小二乘回归模型；多特征纵向复杂数据的线性混合效应模型和多特征复杂数据协变量的空间自回归建模方法。最后，本项目还以碳排放计量建模、污水处理中的能耗分析、网络安全行为攻击行为识别等实际问题作为实证研究，为政府决策提供了重要的参考依据。本项目按原计划进行，在上述各方面及相关领域都有较深入的研究，共计发表21篇学术成果，丰富了高维稀疏数据统计推断的基础理论与分析技术，具有重要的应用价值。