基于非独立同分布样本的统计学习理论研究与应用

The classical results of statistical learning theory are almost built under the assumption that samples are independently drawn from an identical distribution. However, this assumption is not always valid in practice, for example, estimation of information channel,prediction of time serials and functional data analysis.There have been many learning models developed for the non-i.i.d. learning problems, but the relevant theoretical analysis is still in the beginning stages. In this project, we will extend the classical results of the statistical learning theory to the scenario of non-i.i.d. samples. Since the non-i.i.d. scenario contains a wide variety of cases, it is impossible to find a unified form to cover all the cases. Instead,one feasible scheme is to find some representative processes,e.g., near-epoch dependence, L1-mixingale, Markov processes and Gaussian processes, which cover several useful cases in the scenario of non-i.i.d. samples, and then we study the theoretical properties of the learning process for each representative stochastic process individually. For each learning process, we will obtain the corresponding deviation inequalities, symmetrization inequalities and generalization bounds. We then analyze the consistence and the rate of convergence of the learning process. Next, we will study the complexity measures of the function classes evaluated at the real domain and the time interval and analyze the learnability of the existing learning models for the non-i.i.d. scenario. Based on the theoretical findings, we will induce the general characteristics of the non-i.i.d. learning processes and then improve the existing non-i.i.d. models.

经典的统计学习理论结果大多是基于样本独立同分布假设的，然而此假设在很多实际问题中无法满足，例如：信道估计、时间序列预测和泛函数据分析等。尽管已有诸多非独立同分布学习模型被应用到实际问题中，但是对这类学习模型的理论分析还相对薄弱。本项目拟将经典的统计学理论结果推广到非独立同分布学习问题中去。考虑到非独立同分布学习过程的复杂性，我们将研究几种基于代表性随机过程的学习过程，其中包括：near-epoch dependence、L1-mixingale、Markov过程和高斯过程等。对于每一种学习过程，我们将得到适用于该学习过程的偏差不等式和对称不等式并求得泛化界，进而分析此学习过程的一致性和收敛率。我们还将研究由时间泛函构成的函数类复杂度的性质以及非独立同分布学习模型的可学习性等。并以得到的理论结果为基础，我们将归纳出非独立同分布学习问题的共性并对已有的算法模型进行改进。

经典的统计学习理论结果主要是建立在样本独立同分布假设之上的，然而独立同分布假设在很多实际问题中是无法被满足的，例如:信道估计、时间序列预测和泛函数据分析等。尽管许多已经有很多模型被用于解决非独立同分布问题，但是其相应的理论分析还处于亟待解决的阶段。在本项目的资助之下，我们对基于非独立同分布样本的机器学习算法的泛化性进行了研究，给出了具有广泛意义的非独立同分布样本学习问题的泛化界。此外，我们还对多任务学习和临近风险最小化原则的泛化性进行了研究。在应用方面，我们结合RNN模型对时间序列进行分析，对盾构机的关键运行数据进行了准确的实时预测。随机矩阵理论是目前新的研究热点，其已经被广泛的应用于机器学习、量子计算等领域。但是现有的随机矩阵结果大多是与矩阵的维数相关的，因此这些结果并不适用于高维或是无穷维矩阵情形。在本项目的资助之下，我们还给出了与矩阵维数无关的的随机矩阵集中不等式，这是对先有随机矩阵结果的重要补充。此外我们还对随机矩阵理论在优化问题上的应用进行了研究，并给出了新的Bennett不等式的近似形式。