大宗农产品价格内涵属性之效应分解研究--基于自变量扰动循环的数据挖掘集成技术

The price forming mechanisms of bulk agricultural commodities are the key and puzzled issues of economic research in the worldwide, since the prices affected by numerous factors coming from nature, trading market, financial market and policy system, etc. We would draw support from ensemble methods in data mining to explore new analytical methods and approaches on the price forming mechanisms of agricultural products. The main contents in the project would be including: 1) Employing the methods of bibliometrics of the co-citation map of literatures and LDA topic model to classify a vast factors of agricultural prices into the commodity, financial and policy triple properties. 2) Applying time series econometric models as EMD and ISA to display characteristic of agricultural product price fluctuation and the effect of intrinsic properties with Multi-level perspective.3) Establishing the price forming mechanisms of bulk agricultural commodities by kinds of data mining algorithm and ensemble methods with regularization and error measurement target. 4) Developing the factor decomposition method basing on Shapley decomposition and Friedman addition model, improving the performance of data mining’s ensemble technology by the cycle modeling driven by independent variable perturbations, decomposing the variable’s contribution on the price variation into the main, interactive and marginal effects. This project would establish a new analytical framework which is able to explain the dynamic environment, and provide scientific support on the arrangement of agricultural production, international trade, market management, policy making in advance.

大宗农产品价格受到自然界、国际贸易、金融活动及政策引导等多系统影响，其形成机制一直是国内外经济研究的重点和难点。本项目将借助数据挖掘及其集成技术，对农产品价格形成问题探索新的研究方法和新的分析途径。项目内容包括：1)采用文献共引图谱及LDA主题模型等文献计量方法，系统整理并分析农产品价格影响因素的指标体系及模型方法；2)基于EMD、ISA等时间序列计量模型，多层次多角度展示农产品价格波动特征及内涵属性作用机理。3)基于正则化及误差测量技术建立数据挖掘多种算法及集成的价格形成模型。4）基于Shapley分解及Friedman加法模型开发因素分解技术，通过自变量扰动循环改进数据挖掘集成技术，分解出农产品价格内涵属性的主效应、交互效应及边际效应等特征。本项目目的是建立具有解释动态环境变化的价格形成分析框架,从而为农业生产、国际贸易、价格管理及政策制定等方面的提前布局提供科学依据。

项目已根据申报中的工作安排，按时完成了项目中所有的计划工作，已完成正式出版的论文十篇，其中七篇为国内ssci检索权威期刊，二篇为国内核心期刊。另外，获取中金所举办的第一届金融期货市场发展学术研讨会征文比赛二等奖；指导学生参与并获得了全国高校量化投资策略设计大赛全国八强；指导多位学生参加中国大学生数学建模竞赛获取多项全国及省级奖项，指导多名学生参加美国大学生数学建模竞赛获取多项奖项。.项目组在项目总体框架之下，通过数据分析的方法对农产品价格形成机制进行研究。回顾了农产品价格形成的系列理论，结合当今世界经济发展的新特点；以大宗农产品为研究对象；系统梳理农产品价格的影响因素体系，采用时间序列计量经济学描述大宗农产品价格波动的特征及内涵属性作用机理，通过数据挖掘及集成方法搭建价格形成模型，基于模型结果进行因素效应分解，根据变量重要性筛选及效应分解结果对预测模型中进行建模并集成，最后根据自变量扰动原理，进行集成模型的黑箱解释，计算出变量重要性、偏相关、交互作用、边际效应等特征。具体包括：1）系统整理并分析农产品价格影响因素的指标体系及模型方法；2）基于经典价格模型、EMD、ARCH类模型等时间序列计量模型，多层次多角度展示农产品价格波动特征及内涵属性作用机理；3）基于正则化及误差测量技术建立数据挖掘多种算法及集成的价格形成模型。4）基于Shapley分解及Friedman加法模型开发因素分解技术，通过自变量扰动循环改进数据挖掘集成技术，分解出农产品价格内涵属性的主效应、交互效应及边际效应等特征。本项目构建了具有解释动态环境变化的价格形成分析框架,量化衡量大宗农产品价格变化内在驱动的全局或局部原因，迅速地捕获市场信息，有效地控制价格风险，从而为农业生产、国际贸易、价格管理及政策制定等方面的提前布局提供科学依据。.总之，从已有研究成果及社会服务的状况来看，本项目按时按质地完成了项目内容。