高维数据的非参数经验贝叶斯方法

The purpose of this project is to develop the nonparametric empirical Bayes methods for high-dimensional data. Nonparametric empirical Bayes (Robbins, 1956) assumes essentially no knowledge about the unknown parameters but still aims to attain the performance of the optimal Bayes estimator based on the knowledge of the empirical distribution of the unknowns. Nonparametric empirical Bayes methods are suitable for a sequence of independent statistical decision problems of the same form. Efron (2003) pointed out that "current scientific trends favor a greatly increased role for empirical Bayes methods" due to the prevalence of large, high-dimensional data and rapid rise of computing power. There are three main parts of this project: (1) nonparametric empirical Bayes methods for high-dimensional signal detection; (2) nonparametric empirical Bayes methods for adaptive nonparametric regression; (3) improving kernel empirical Bayes estimation of normal means. The first part is most challenge. It involves deriving the asymptotic distribution of likelihood ration test statistic based on nonparametric maximum likelihood estimator. Preliminary simulation shows that this likelihood ration test is very sensitive to the alternative hypothesis that not all the signals are zero. We expect to solve one part each year.

本项目旨在发展高维数据中的非参数经验贝叶斯方法。高维数据的统计分析是现在国际统计学界的热点。非参数经验贝叶斯假定先验分布完全未知，仍然试图逼近最优贝叶斯估计。非参数经验贝叶斯适用于具有相同统计结构的高维未知参数的统计推断问题。美国科学院院士Bradley Efron指出"由于现代数据采集技术和计算机计算能力的快速提高，当今的科学潮流有利于增强非参数经验贝叶斯所起的角色。"本项目主要包括三个子项目：（1）高维信号探测的非参数经验贝叶斯方法，（2）自适应非参数回归中的非参数经验贝叶斯方法，（3）改进以核函数方法构造的经验贝叶斯估计。其中第一个子项目是重点，用非参数极大似然经验贝叶斯方法构造的似然比检验对于高维正态信号不全部为零这一备择假设具有高度的灵敏性,为此需要研究该似然比检验量的理论渐进分布。这个问题同时也具有高度的基础研究价值。预期在三年的研究期限内每年解决一个子问题并发表研究论文。

本研究发展了高维数据中的非参数经验贝叶斯方法，将六十年前的经典理论运用于现代高维数据的统计推断，后者是现在统计学界的研究热点。Herbert Robbins于1956年提出非参数经验贝叶斯方法。自提出后，非参数经验贝叶斯曾受到高度的评价。Jerzy Neyman将该方法和混合估计并称为统计学上的两大突破。与一般的贝叶斯和假定参数形式先验分布的经验贝叶斯不同，非参数经验贝叶斯假定先验分布完全未知，仍然试图逼近最优贝叶斯估计。非参数经验贝叶斯适用于具有相同统计结构的高维未知参数的统计推断问题。但是由于技术的原因，非参数经验贝叶斯的研究并不充分。Bradley Efron把原因归结为“缺少有很多相同结构未知参数的应用问题”，并指出“由于现代数据采集技术和计算机计算能力的快速提高，当今的科学潮流有利于增强非参数经验贝叶斯所起的角色”。..本研究完成了项目计划书中提出的三个子问题：（1）高维信号探测的非参数经验贝叶斯方法，（2）自适应非参数回归中的非参数经验贝叶斯方法，（3）改进以核函数方法构造的经验贝叶斯估计。本研究还额外完成两项研究：（1）高维稀疏正态均值估计，（2）高维Logistic回归中的变量选择。在国际统计期刊上发表研究论文5篇。..本研究在基础理论方面具有很高的价值。特别是完成的第一个子问题高维信号探测的非参数经验贝叶斯方法，其中的检验量虽然很早就为人所知，但其理论性质是长期未知的。本研究通过一个大偏差不等式，证明了在原假设下检验量显著性水平的阶数不超过(\log n)^2. 另一方面，当备择假设下的正态混合密度与标准正态密度的Hellinger距离大于(\log n)/\sqrt{n}时，GLRT以渐进概率1拒绝原假设。利用上述两方面的结果，对于二元混合正态检验，GLRT达到Neyman-Pearson似然比检验的最优探测边界。这个工作将统计发展史上的早期理论与最新的多重检验联系起来，是非参数经验贝叶斯在统计检验理论方面的一项突破，美国科学院院士Lawrence Brown对这个工作很欣赏。