动态规划粘性解方法及其在最优控制问题中的应用

最优控制问题是现代控制理论的核心问题之一，寻找最优反馈控制，是控制理论梦寐以求的目的。除去一般线性系统的LQ或LQG问题及其少量个别例子外，对一般非线性系统，特别是无穷维系统，最优控制问题的最优反馈律的解析求解是不可能的。所以数值求解是唯一可能且有实践意义的途径。目前的数值求解最优控制主要是基于Pontryagin极大值原理的打靶法。该方法有两个主要问题，一是要猜测初值，二是求出的控制是开环的。粘性解概念的引入使得借助于动态规划方法找到最优反馈控制变得可能：值函数是HJB方程的唯一的粘性解。本课题主要研究基于动态规划粘性解理论数值求解最优反馈控制的动态规划粘性解方法，该方法对于有效求解最优控制问题，在理论和应用上具有非常重要的意义。本项目将特别关注分布参数系统，提出一般的算法并证明算法的收敛性。

寻找最优反馈控制，是控制理论梦寐以求的目的。除去一般线性系统的 LQ 或 LQG 问题及其少量个别例子外，对一般非线性系统，特别是无穷维系统，最优控制问题的最优反馈律的解析求解是不可能的。所以数值求解是唯一可能且有实践意义的途径。传统的方法局限性较大，可用性不强。本课题利用动态规划方法的粘性解理论，采用数值求解 HJB 方程构造最优反馈控制的方法，用计算方向导数代替数值求解 HJB 方程的梯度计算，给出了一个全新的无维数灾难的数值求解最优反馈控制的一般算法，并给出了严格的收敛性理论证明。算法简单易行，适应性强，为求解最优反馈控制的研究建立了重要的理论基础，同时也给具体的工程实践提供了一种高效的求解方法，在理论和应用上具有非常重要的意义，使动态规划在最优反馈控制的研究中发挥出它应有的作用。进而，采用该算法，我们对一些工业自动化及生物医学领域里有实际意义的集中和分布参数系统的最优控制问题进行了研究，得出了一系列有意义的重要结果。