复杂数据中的变点、异常点检测及在线监控

With modern data collection and storage capability greatly improved, modern statistical data, is becoming much richer and more complex than the traditional data in the form or structure than the traditional data. This is clearly reflected in the field of statistical quality control: some simple and low-dimensional quality indicators are replaced by certain high-dimensional and functional data. The goal of this research project is based on certain fusion of the new statistical methods and data background, using modern science and technology resources to more effectively deal withcomplex data process monitoring and diagnosis. The research will focus on the following aspects: (1) Robust testing procedure in high-dimensional and functional data and its application in the field of SPC; (2) Robust single (multiple) change-point detection in complex data; (3) high-dimensional outlier identification; (4)aunified framework for online monitoring and diagnosis in a data-rich environment. We will carry out a comprehensive theoretical analysis, put forward practical and effective statistical methods and theories to explain the related issues. We can expect that some research results could attain the international level given the strength and experience of the research team.

随着现代化的数据收集与存储手段的极大提高，现代统计数据，不论在形式上还是在结构上均比传统的数据更加丰富，也更复杂。这明显的反应在统计质量控制领域，简单的、低维的质量指标观测被高维的、函数型的数据所取代。本项目的研究目标是将新的统计方法和问题相结合，提出新的理论方法来更有效地处理复杂数据的过程监控和诊断。研究内容将集中在如下几方面：（1）高维数据、函数型数据的稳健统计检验以及其在SPC领域的应用；（2）复杂数据中（单）多变点的稳健探查方法及其理论；（3）高维数据中异常点筛选理论和方法；（4）复杂数据的统一在线监控与诊断架构。我们将对上述问题进行全面的理论分析，对相关的统计问题提出实际可行且有效的统计方法和理论解释。我们预期本项目将得到一些国际高水平的研究成果。

背景及科学意义.随着现代化的数据收集与存储手段的极大提高，现代统计数据，不论在形式上还是在结构上均比传统的数据更加丰富，也更复杂。这明显的反应在统计质量控制领域，简单的、低维的质量指标观测被高维的、函数型的数据所取代。本项目的研究目标是将新的统计方法和问题相结合，提出新的理论方法来更有效地处理复杂数据的过程监控和诊断。..主要研究内容.（1）高维数据、函数型数据的稳健统计检验以及其在SPC领域的应用；.（2）复杂数据中（单）多变点的稳健探查方法及其理论；.（3）高维数据中异常点筛选理论和方法；.（4）复杂数据的统一在线监控与诊断架构。..重要结果.（1）当维数比样本量高时，提出了一种复合T2检验；研究了曲线比较问题，但假设是曲线条数趋于无穷而每条曲线的观测点却有限的情形；考虑了在多条数据流下，在数据流存在一定相关性下，大规模模型检查的问题。.（2）研究了多项分布概率在未知时刻发生未知变化的变点检测问题；采用了Anderson-Darling拟合优度检验或Cramer-von Mises检验，并结合EWMA构造控制图用于同时监控过程的均值和方差。.（3）研究了高维非参数模型下的异常点检验问题，包括了普通的回归模型为特殊情况，但难度却大大增加了；研究了高维非参数模型下的变量筛选问题，我们感兴趣的是如果传统方法应用在数据受了异常点污染下效果的变化；提出了高维多个异常点检验的方法。.（4）在大数据框架下，研究了参数回归模型的拟合检验；提出了一种基于似然比检验的二阶段多项式曲线控制图；在广义似然比的框架下，我们构造了EWMA控制图。..关键数据.在本项目执行期间（2014-2017年），在本项目的资助下，本项目组成员共正式发表论文31篇（另接收待发表论文9篇），其中39篇为SCI杂志，1篇为国内核心杂志。SCI杂志中包括统计方面的国际顶尖杂志the Annals of Statistics上2篇、Journal of the American Statistical Association上1篇、工业统计方面的国际顶尖杂志Technometrics 上5篇，质量科学方面的顶尖杂志 Journal of Quality Technology上 2篇。完成博士论文9篇，硕士论文12篇，专业硕士论文16篇。