递推局部多项式回归估计及其应用

In existing various approaches to identification and control of nonlinear systems, the nonparametric method plays an important role, because it depends not much on a priori information of the system and is capable to cope with randomness, time-varying, and nonlinearity. Local polynomial regression is one of the most important tools in nonparametric statistics. Thus, the research on recursive local polynomial regression and its applications in identification and adaptive control of nonlinear systems is of great significance. ..However, almost the previous works are based on nonrecursive algorithms and strong conditions are required for various statistical results. The recursive algorithms have its unique advantages compared with the nonrecursive ones. Recursive local polynomial regression estimation and it applications are considered in the project. First, the recursive formulae and the persistent excitation condition for convergence of the nonparametric estimates are to be derived, and then convergence of the estimates is to be proved. Then, its applications to identification of the nonlinear ARX (NARX) system, affine NARX system and the nonlinear autoregressive conditional heteroskedasticity model are to be investigated. The errors-in-variables cases are also to be considered. Convergence of the estimates is to be proved. Finally, its application to adaptive control of nonlinear systems is to examined, starting from the affine NARX system with the gain of the control actions known...Research on local polynomial regression estimation from the perspective of recursive algorithm and its applications in identification and adaptive control of nonlinear systems is hardly considered in the previous works. Due to its advantages compared with other classical kernel regression estimators, there exist many profound issues worthy of our considering.

非参数方法不依赖于模型的较多先验信息，且可以对付随机性、时变性和非线性，在系统辨识与控制的各种方法中起着重要的作用。局部多项式方法是非参数统计中最重要的工具之一。研究递推局部多项式方法及其在非线性系统辨识与自适应控制中的应用，有重要的意义。.目前对该方法的研究大都是基于离线算法，且其统计性质的获得需要很强的条件。相对而言递推算法有着独特的优势。我们研究递推的局部多项式回归估计，探讨算法收敛的持续激励条件，并证明收敛性。进而将之应用于非线性ARX(NARX)系统、仿射NARX和非线性自回归条件异方差模型的辨识，同时考虑量测带误差的情形，并证明算法的收敛性。最后，从控制项增益已知的仿射NARX系统着手，研究其在自适应控制中的应用。.从递推算法的角度研究局部多项式回归估计并将之应用于非线性系统辨识与控制，是以往工作中几乎没有考虑过的。由于它相比经典核回归估计的优势，有许多深刻的问题值得去研究。

局部估计是非参数方法中的重要思想之一。当新的数据来临之时，递推算法能适时地修正估计值，因而研究递推局部估计在辨识、优化与控制中有重要的意义。本项目围绕“局部多项式回归估计”开展研究工作，主要问题是关于递推核估计、递推局部线性回归估计及一般的递推局部多项式回归估计的理论与应用研究。在递推局部多项式回归估计的理论研究，以及其在非线性ARX系统、仿射非线性系统和半参数多通道Wiener系统的辨识，随机优化和分布式优化等应用研究方面取得了一些成果。.在理论研究方面，对多元非线性回归问题，推导出局部线性回归估计的递推算法，给出了回归函数及其导函数的非参数估计，并在一定的条件下证明了算法的强一致性。对一般非线性回归问题，推导出局部多项式回归估计的递推算法，在一定条件下得到了估计的渐近偏差和方差，并证明了强一致性。.在应用研究方面，我们将递推局部线性回归估计应用于非线性条件异方差模型的回归函数估计和非线性ARX系统辨识中；对仿射非线性系统，在适当的条件下建立了系统的几何遍历性和混合性，给出了非线性函数的递推非参数估计；对线性子系统为ARX的半参数多通道Wiener系统，不仅给出了各通道线性子系统参数和加权系数的递推估计，还给出了非线性函数的递推估计。所有算法以概率1收敛到被估的值。.此外，我们发展了另一类局部估计，即通过期望指标与核函数的卷积导出目标函数的梯度（及高阶导数）的统计估计，并将之应用于随机优化和分布式优化。基于目标函数的高斯核平滑，给出了随机优化问题的随机逼近型递推算法，其中函数值的量测噪声是可加的，并在较弱的条件下证明算法的强一致性，不需事先假设估计的有界性；研究了时变连通网络中的多智能体分布式非光滑凸优化问题，提出了一种分布式投影随机化无导数方法，在每一步迭代利用随机化梯度逼近而不是次梯度，证明了平均趋同性并且每个个体的估计以概率1收敛到同一个平稳点；还研究了二次可选服务的M/G/1系统的渐近稳定性，作为特例，从而得到了经典M/G/1系统在遍历条件下的渐近稳定性。