面向"知识"与"数据"共同驱动的机器学习模型参数可辨识性研究

This program will study parameter identifiability of the machine learning model which integrates the "Knowledge-driven" submodel and the "Data-driven" submodel, namely the KD model. The model aims at merging two types of reasoning inference: "Deduction" and "Induction" in learning machines. Parameter identifiability, which refers to the uniqueness of the parameters determined from input and output data, is of fundamental importance to the KD model. Specific efforts will be made on the parameters in the "Knowledge-driven" sub-model, because their identifiability is a prerequisite of good estimations and interpretability to the model. We will focus on theoretical derivations of identifiability theorems for nonlinear multi-input and multi-output systems. For reducing the number of unidentifiable parameters, the strategies of re-design of nonlinear approximators and re-parameterization methods will be investigated. The discrepancy between the theoretical and numerical parameter identifiability will be another theme in the study. For verifying the theoretical fundamentals, we will conduct case studies on both regression problems and plant growth modeling. The related toolbox will be developed in a format of open-source software.

本课题拟采用的机器学习模型将包括"机理关系(或知识驱动)"子模型与"非线性逼近器(或数据驱动)"子模型两部分。该类模型的目标是将"演绎"与"归纳"两种不同推理体系(或子模型)结合起来，随之而来的是多子模型耦合后的参数可辨识性问题。参数可辨识性是关于模型参数能否被惟一确定的性质，也是模型参数能否获得正确估计的前提条件，是提高模型透明度和可解释性的重要内容之一。本课题重点研究该类机器学习模型的参数可辨识性的理论方法基础。其中拟解决的关键问题包括：推导任意非线性多输入多输出系统的参数可辨识性定理，发展不可辨识参数的自动判别，降低不可辨识物理参数个数的非线性逼近器选择方法与重新参数化方法，探讨参数学习模型中理论可辨识性和数值可辨识性的差异原理与条件等内容。我们将以非线性回归与植物生长建模问题为研究背景，同时发展解决相关问题的开放源码软件。

本课题针对机器学习模型中包括"机理关系(或知识驱动)"子模型与"非线性逼近器(或数据驱动)"子模型两部分，由于"演绎"与"归纳"两种不同推理体系(或子模型)结合起来带来的多子模型耦合后的参数可辨识性问题开展研究。参数可辨识性是关于模型参数能否被惟一确定的性质，也是模型参数能否获得正确估计的前提条件，是提高模型透明度和可解释性的重要内容之一。本课题重点研究了该类机器学习模型的参数可辨识性的理论方法基础。其中包括：推导多输入多输出系统的参数可辨识性定理，开展非线性回归与排序问题，以及基于"机理关系"子模型与"非线性逼近器"子模型的植物生长建模问题为实例应用研究，并以无监督学习中非线性排序回归建模问题为研究背景，发布了开放源码软件。