基于贝叶斯神经网络的PDE参数反演

Partial differential equations (PDE) are widely used in describing science and engineering problems, while parameter identification plays an important role in parametric PDEs. Due to the lack of analytical form of the forward model and the nonlinear map between parameter and observation, it requires large numbers of forward model simulations when identifying the unknowns, which leads big challenge to computations. In order to overcome the difficulty, we will use the Bayesian neural network（NN）to study model reduction method for parametric PDEs and Bayesian inference method for parameters in this project. For the model reduction method, things included are: (1) we will use the low-fidelity technique to simplify the architecture of the NN, and then build the multi-fidelity NN surrogate model; (2) we will use the Bayesian NN to quantify the uncertainty resulted from solving nonlinear PDEs by the model reduction method, for a more stable surrogate model; (3)we will combine the ensemble-based method and model order reduction methods to develop model reduction approaches for solving PDEs with multiple outputs. For the Bayesian inference method, we will construct the optimal map between the prior and posterior distribution of the unknowns under the framework of Bayesian inference with NN. We use the proposed approaches to improve the efficiency of parameter identification, which have significant importance for application areas such as oil exploration and atmospheric forecast.

许多科学与工程问题通常通过偏微分方程（PDE）来描述，参数识别在含参数PDE研究中扮演着很重要的角色。由于PDE缺乏解析解且参数与测量数据之间为非线性关系，我们需要模拟大量的PDE来识别未知参数，这给计算带来了挑战。为了克服以上困难，本项目拟用贝叶斯神经网络（NN）研究带参PDE的模型约化及参数的贝叶斯推断方法。模型约化的主要内容包括：（1）利用低保真度模型简化NN隐含层结构，建立多保真度NN代理模型；（2）借助贝叶斯神经网络，量化模型约化方法对PDE求解带来的不确定性，构建更稳定的代理模型；（3）结合集合方法的思想与模型降阶方法，发展多组输出变量PDE的模型约化方法。贝叶斯推断方法的内容为：在贝叶斯框架下，利用神经网络构造参数先验和后验分布之间的最优映射，从分布的角度解决参数识别问题。我们提出这些方法来提高参数识别的效率，对石油勘探、大气预测等众多实际应用领域具有重要意义。

许多科学与工程问题通常通过偏微分方程（PDE）来描述，参数识别在含参数PDE研究中扮演着很重要的角色。由于PDE缺乏解析解且参数与测量数据之间为非线性关系，我们需要模拟大量的PDE来识别未知参数，这给计算带来了挑战。为了克服以上困难，本项目拟用贝叶斯神经网络（NN）研究带参PDE的模型约化及参数的贝叶斯推断方法。首先，我们结合集合方法的思想与多尺度模型降阶方法，发展了多组输出变量PDE的模型约化方法，并将其应用于非线性PDE的求解以及高维随机场的识别中，在提高计算效率的同时保证了精度。其次，在应用贝叶斯方法估计NN参数过程中，发现未知参数的后验分布具有多模态的特点，我们提出了一种基于预处理Langevin方程的复制转移方法，构造了两条不同温度参数的马尔科夫链，克服了样本陷入局部最优点的问题。另外，在随机场的稀疏识别问题当中，我们拟用多尺度框架下的伴随方法来加快目标函数梯度信息的计算，同时更新类似Hessian矩阵的预处理矩阵，达到加快样本收敛速率的目的。我们提出这些方法来提高参数识别的效率，对石油勘探、机器学习等众多实际应用领域具有重要意义。