一种“统计+结构”机器学习理论与方法研究

With the arrival of the era of big data, the need for semantic understanding of vast amounts of heterogeneous data has become increasingly prominent, machine learning has become the key technology of semantic understanding and knowledge acquisition. Existing statistical machine learning approaches emphasize the Law of Excluded Middle and break the law of causality, while the symbolic machine learning emphasizes the causality and breaks the Law of Excluded Middle. To explore an idea of compromised, forming a new machine learning theory, is the hot spot in the current machine learning research field. This project aims to propose a kind of semantic probabilistic graphical models, we will do research in "Statistics + Structure" based machine learning field, knowledge representation theory and models, key technologies, typical examples for verification etc. First, study the "Statistics + Structure" based knowledge representation theory, and propose a kind of semantics probabilistic graphical model based on semantic triples，as the theoretical basis of complex problem representation and solution. Secondly, study the following key technologies for model generation and reasoning: knowledge representation and knowledge cluster refining，structure learning based Deep Learning, adaptive learning of model parameters, accurate and approximate inference etc. Finally, combined with the JingDong E-commerce trading record and and logistics and distribution data processing task, verify the proposed theories and key technologies. Through these researches above, to explore the meeting point of traditional Statistical Machine Learning and Symbolic Machine Learning, has great significance to satisfy the needs of big data Machine Learning Theory and application developments.

随着大数据时代到来，人们对海量异构数据语义理解的需求日益凸显，机器学习已成为语义理解和知识获取的关键。现有统计机器学习强调排中律而破缺因果律，而符号机器学习强调因果律而破缺排中律，探索一种折衷的理念，形成一套新的机器学习理论，成为当前机器学习研究的热点。本项目旨在提出一种语义概率图模型，从知识表示理论与模型、关键技术、实例验证三方面开展"统计+结构"机器学习研究。首先，研究"统计+结构"知识表示理论，提出基于语义三元组与语义概率图模型，为复杂问题表示与求解提供理论与模型基础；其次，研究语义概率图上知识表示与知识簇提炼、深度学习的结构发现、模型参数自适应学习、精确与近似推理关键技术，实现模型的生成与推理；最后，结合承担的京东商城网络交易和物流配送大型网络数据处理任务,验证提出的理论与关键技术。通过上述研究，探索传统的统计机器学习与符号机器学习的契合点，对大数据机器学习理论和应用具有重要意义。

现有统计机器学习强调排中律而破缺因果律，符号机器学习强调因果律而破缺排中律，一种统计+结构的机器学习理论与方法旨综合利用符号机器学习的语义、关系表示能力与统计机器学习的数值表示、推理能力，帮助机器学习理论步入一个崭新阶段。.项目主要研究内容和难点体现在：“统计+结构”知识表示理论，提出基于语义三元组与语义概率图模型，为复杂问题表示与求解提供理论与模型基础；语义概率图上知识表示、模型结构和参数自适应学习、推理关键技术，实现模型的生成与推理；最后，对物流、健康、警务安防、气象服务等多个领域进行典型实例验证。.项目主要成果体现在：.在基础理论研究方面，提出了“结构+统计”知识表示理论，构建了概率图知识表示与样本结构模型。提出了加权多任务稀疏表示模型，提出在线耦合线性优化算法，降低表示复杂度；提出了非参贝叶斯加权无限关系模型，提高表示能力；从统计角度证明了统计叠加模型与结构弱可学习理论的等价性，奠定了结构模型和统计模型的互补机制的基础。.在关键技术方面，突破了语义概率图的表示、学习、推理预测等关键技术。在表示方面：通过挖掘语义概率图的时序约束、结构约束和节点协同作用，完善知识及其表示。在学习方面：通过因果关系挖掘确定语义概率图模型的结构，通过统计偏置纠正确定语义概率图模型的参数，实现“结构+统计”的机器学习范式。在推理预测方面：通过联合树和信念传播实现精确推理，通过MCMC实现近似推理，提升大规模数据处理能力。.在典型验证性应用方面，在统计+结构的机器学习理论指导下，项目的相关算法在医疗健康大数据、警务大数据、气象大数据以及快件综合服务等众多领域实现了落地和应用，在各个领域取得了长足的进步和社会影响。.此外，项目组在本领域重要的国际期刊和会议上发表(含已录用)论文31篇，其中SCI论文21篇, 培养博士研究生10名，申请了多项国家专利和软件著作权。超额完成任务计划书中规定的考核指标。