基于似然估计的梯度优化在变量带误差模型辨识中的收敛性分析

Errors-In-Variables(EIV) model is a kind of mathematical model widely used in engineering practice. The identification of model parameters and related problems have been explored intensively by system identification community. One frequently used method is maximum likelihood estimation because of its consistency, asymptotic efficiency and sufficiency. The approach firstly transforms an identification problem into optimization. Then the estimate parameters can be obtained through the optimization of the likelihood function or equivalent cost function by for example gradient-related algorithm. However, gradient-related algorithm is possibly trapped by the local minimum. To avoid such situation, the project is carried out in twofold including examining the global convergence of cost functions under the maximum likelihood and also designing an optimization algorithm that guarantees the global convergence. .

变量带误差模型作为一种在工程实际应用广泛的数学模型，其性能参数的辨识及相关问题近年来作为系统辨识界的研究热点之一。常用于该模型参数辨识的一种方法是极大似然估计法。该方法先将辨识问题转化为优化问题，再通过梯度下降等优化算法与系统性能紧密相关的似然函数或者成本函数（似然函数的变形）来获取估计值。其结果具有一致性、渐进有效性和充分性。但梯度下降算法容易陷入成本函数的局部极小“陷阱”。为避免这种情况，本项目从两方面开展工作,其中包括研究似然估计下变量带误差模型成本函数的全局收敛性和设计能保证全局收敛的优化方法。在理论研究方面，项目基于成本函数的梯度向量进行因式展开并分析在何种条件下矩阵方程常不为零；或者利用非线性优化领域中一些线性代数规则来推导全局收敛性条件。在算法设计方面，研究结合“直接搜索”法与梯度下降算法的优势，设计适合EIV模型的全局收敛组合算法，并通过蒙特卡罗仿真实验对算法的收敛速度、结果精度和鲁棒性等性能指标进行测试和验证。..

变量带误差模型作为一种在工程实际应用广泛的数学模型，其性能参数的辨识及相关问题近年来作为系统辨识界的研究热点之一。常用于该模型参数辨识的一种方法是极大似然估计法。该方法先将辨识问题转化为优化问题，再通过梯度下降等优化算法与系统性能紧密相关的似然函数或者成本函数（似然函数的变形）来获取估计值。其结果具有一致性、渐进有效性和充分性。但梯度下降算法容易陷入成本函数的局部极小“陷阱”。为避免这种情况，本项目从四方面进行研究工作：1）研究表明优化函数在下降欧几里德参数误差范数区不存在局部极小点。根据该区域满足的一般条件，推导出变量带误差模型的似然函数参数误差范数区所满足的特定条件。尽管该特定条件难以在整个参数空间得到满足，但某些一阶系统模型的似然函数包含若干个参数误差范数区，在这些范数区内进行独立的梯度下降优化能够保证搜索结果至少一次的全局收敛；2）假设变量带误差模型的输入信号为周期性信号，可以从总周期信号中选取M1和M2个周期，其中M1不等于M2。基于M1和M2个周期输入和输出信号取平均，再通过建立一种类工具变量法可以求得具有一致性的系统参数估计。当总数据量N增加时，该估计以根号N的倒数的速度逼近真实参数。因此在实际应用中通过该类工具变量法进行对梯度下降法进行初始化，在数据量足够大的条件下，初始值和真实值会足够接近，即位于同一参数误差范数区内，此时梯度下降法不会产生局部收敛。这种类工具变量法可用于受到周期激励的闭环变量带误差模型参数辨识中；3）在某一种特殊的输入输出噪音同源的线性模型参数估计中（此类模型在资源（如声源、矿产）地位等领域有广泛的应用），根据噪音方差的估计值模仿上述类工具变量法设计两种模型参数辨识的方法，这两种方法中的计算维度只和未知参数的维度有关，而与数据量无关，这一点能够避免估计过程中矩阵维数随着数据量增加产生的病态阵问题，因此使得算法具有一定的优势；4）设计一套二阶段的全局优化算法，其中模拟退火/遗传算法等直接搜索算法为第一阶段，梯度下降为第二阶段，通过这一优化算法能使得脑电波的分类正确率得到提高。