复杂统计数据的参数和半参数模型选择及在金融大数据中的应用

Base on the achievement of the last project about the research on model selection and restricted linear models，this project is concerned about the model selection for complex statistical data based on parametric and semi-parametric methods and their applications in the financial big data analysis in finance. (i) Study the convergence property and the stability of the penalty regularization. The necessary conditions for choosing the true model will be updated and improved for parametric models. Performances of different model selection methods will be examined and compared in the same data. (ii) Focus on the bias problem of the estimation accuracy of the penalized regularization. The new method is studied, which is a multi-step method with re-estimation to reduce the deviation. (iii) Robust estimation and model selection for the semi-parametric and generalized semi-parametric models and their asymptotic performances will be studied. (iv)Applications of the various model selection methods in the financial big data analysis will be investigated.

本项目在上一个面上项目模型选择和有约束线性模型研究的基础上，进一步研究基于参数和半参数方法的复杂统计数据模型选择及其在金融大数据分析中的应用。第一，研究罚项正则化方法的收敛性和稳定性，以及参数模型下选择正确模型所需的必要条件的更新和改进；分析在相同数据环境下不同统计方法的优劣并给出模拟与实证对比；第二，改进罚项正则化方法的估计精度问题，提出新的模型选择方法，通过重估计的方式改进估计精度；第三，研究半参数模型以及广义半参数模型框架下的稳健估计以及模型选择问题,结合参数罚项正则化方法的罚项特征，研究半参数模型下新的模型选择方法并进行大样本研究；第四，研究各类模型选择方法在金融大数据分析中的应用。

根据项目的研究内容，四年来，我们围绕四个方面开展研究工作，首先结合资产配置和指数跟踪长期致力于非负参数的模型选择研究。这是上一个国家自然科学基金面上项目研究工作的延续，提出了在低维和超高维环境下对系数都有非负约束的非负层次LASSO，它可以重叠地在组内和组间两级同时选择，即双层选择。在理论分析中，我们证明了在一定的正则性条件下，当协变量个数随样本量发散时，非负层次LASSO在群体选择中具有Oracle性质。. 其次是变量选择的各种拓展研究，比如模型的半参数拓展，最小一乘拓展，对抗噪声的稳健估计问题，惩罚项的分组效应，自适应的“反向”惩罚方法，高维甚至超高维的变量选择问题等。并且上一个项目提到的在刘估计的变量选择研究中没有获得理想的突破在本项目结束前顺利突破，获得理想的结果。提出了一种自适应的“反向”惩罚方法，重点在于消除压缩偏差和突出分组效应。结合L_1罚函数和Minimax凹罚函数，提出了两种相关效应平滑调整方法和广义相关效应平滑调整方法。. 第三研究两步估计高维高斯图模型的方法，第一步为筛选步，其中精度矩阵的许多元素被识别为零，因此可从进一步考虑中移除。在第二步中，通过关注精度矩阵的剩余项，并对精度矩阵的非零项进行选择和估计。由于筛选步骤有效地降低了参数空间的维数，因此可以潜在地提高估计精度矩阵的估计精度。. 第四是人工智能与大数据研究，主要致力于支持向量分类与支持向量回归问题，把现有的方法都有所拓展和深化。通过复合惩罚提出了一种弹性网络支持向量机（ENSVM）。与双正则支持向量机不同，我们对超平面的松弛变量施加惩罚，而不是对超平面的法向量施加惩罚，证明了ENSVM的定义比标准SVM和DrSVM更合理。ENSVM有更稳定的高维性质，仿真结果有力地支持了这些优点。