有一定物理基础的神经网络及其泛化技术研究

过学习与泛化能力差是神经网络研究的焦点和难点问题，充分利用复杂研究对象中部分物理过程的已知动力学性，建立有一定物理基础的神经网络模型是揭示研究对象内在机理的客观要求，也是改善神经网络泛化性能的必然途径。申请项目以土壤墒情预测问题为背景，采用数值模拟与室内试验、野外田间试验相结合的研究方法，借鉴通用学习网络的建模技术，建立有一定物理基础的神经网络，诠释隐元输出与网络参数的物理含义，探讨动力学特性对神经网络泛化误差、训练误差、样本数与网络规模的影响机理，提出动力学特性约束条件下的监督学习算法、正则化项构造方法以及样本采集技术，研究利用根系吸水过程、降雨入渗过程中的动力学特性来缓解墒情预测神经网络训练中存在的过学习问题。它的研究将实现神经网络由黑箱子模型向有一定物理意义模型的转变，为从本质上改善网络泛化性能提供新的有效途径。

神经网络因其对任意非线性函数或泛函的良好逼近能力使其得到了极其广泛的应用，但同时也因其纯粹采用数据驱动的监督学习算法使其成为 “黑箱子”模型。实际上，对于研究问题的结构特征、统计特征和动力学特性等内在机理并非一无所知，但是如何利用这些内在机理或者是物理机制改善网络的泛化能力，这方面的研究基本属于空白。.（1）项目全面评述了基于领域知识的神经网络模型开发与应用研究现状，开展了土壤剖面含水率的室内试验和野外田间的测定试验，首次建立了基于土壤动力学特性和放射性核素迁移扩散动力学特性的机理神经网络模型与求解算法的研究，分析了动力学特性对神经网络泛化误差、训练误差、样本数与网络规模的影响机理。.（2）以土壤墒情过程预测为例为例，构建基于Richards方程的土壤墒情预测神经网络模型，对土壤剖面10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm处的含水率同时进行预测，结果表明：先验神经网络模型预测结果的相关系数都达到了0.98以上、相对误差都在0.1‰以内、确定性系数都到达了0.95以上，具有更高的预测精度，并且能够更加符合实际模型的变化规律和趋向，使得违背客观规律的数据明显减少。以土壤深度10cm和90cm处含水率的预测为例，研究了Richards方程的改善能力与网络结构、学习精度和约束强弱之间的关系，结果表明：Richards方程改善神经网络模型预测效果的能力随着学习精度的提高而逐渐变小；随着隐含层节点数的增加，Richards方程的改善能力大致表现出先变大后变小的趋势，在局部范围内有一定的波动现象；随着约束条件不断增强，Richards方程的改善能力逐渐提高。.（3）以放射性核素迁移扩散预测为例，建立了一种以放射性流出物在受纳水体中的迁移扩散组分输运方程为基础的新型神经网络模型，该模型耦合组分输运方程和神经网络模型，采用主从种群粒子群算法寻求满足组分输运方程的神经网络权值与阈值。以湖北咸宁大畈核电站受纳水体富水水库为研究对象，对事故工况下长半衰期核素迁移扩散进行模拟预测，研究结果表明有一定物理基础的神经网络模型是一种有效、可行的预测方法，预测结果与机理模型的模拟输出拟合度较好，新模型较传统的黑箱神经网络模型以及基于单调型先验知识神经网络模型具有更强的泛化性能改善能力。