基于迭代神经动态规划的非线性系统控制研究及在微电网中的应用

For most nonlinear systems, they are difficult to establish mathematical models and usually store a large amount of data information in the running process. Under this situation, combining with newly emerging technologies of artificial intelligence, big data and neural networks, this project aims to study the approximation optimal control theory and application based on iterative adaptive dynamic programming. In theory, based on the ideal of data-driven control, a new iterative neural dynamic programming method is proposed, where the convergence of cost function and control strategy, the stability of the derived approximation optimal controller and its implementation are studied. The optimal tracking control of affine nonlinear systems, the robust control of uncertain affine nonlinear systems, and the decentralized control of interconnected affine nonlinear system are further investigated based on the method of iterative adaptive dynamic programming. In the application, the project considers the frequency control of micro grid based on iterative adaptive dynamic programming to effectively solve the effect of load change, parameter varying, and distributed generation. This project will promote the further development of adaptive dynamic programming and smart grid, which is with important theoretical significance and application value.

本项目结合人工智能、大数据、神经网络等新兴技术，对非线性系统难以建立精确的数学模型、包含大量数据信息等情况，研究基于迭代神经动态规划的非线性系统近似最优控制理论和应用。在理论方面，充分考虑基于数据的思想，提出迭代神经动态规划方法，研究迭代过程中代价函数和控制策略的收敛性、产生的近似最优控制器的稳定性及算法的实现等。进而，基于迭代神经动态规划方法，深入研究仿射非线性系统的最优跟踪控制、不确定仿射非线性系统的鲁棒控制和互联仿射非线性系统的分散控制问题，深化自适应动态规划方法在复杂系统最优控制领域的研究成果。在应用方面，本项目基于迭代自适应动态规划方法，考虑微电网频率控制问题，有效解决负荷波动、电网参数变化、分布式电源接入等因素带来的频率振荡问题。本项目的研究工作将推动自适应动态规划理论、智能电网技术的进一步发展，具有重要的理论意义和应用价值。

人工智能、神经网络、大数据等技术的兴起，使基于数据的智能控制理论和方法逐渐成为复杂系统控制的一类重要方法。本项目基于强化学习算法结构，采用神经网络近似实现，研究了非线性系统无模型自适应动态规划方法、不确定系统自适应动态规划方法、互联非线性系统自适应动态规划方法和微分博弈系统的自适应动态规划方法。通过对上述四类系统自适应动态规划方法深入的探索，在问题描述、初始容许控制、经验回复机制、代价函数、控制约束、事件驱动机制等方面进行创新，获得了基于数据无模型有限域迭代自适应动态规划方法，匹配和非匹配不确定的非线性系统自适应鲁棒控制方法，含匹配和非匹配互联项的非线性系统自适应分散控制方法和微分博弈系统自适应动态规划方法。理论成果在含模型不确定、电动汽车集群、新能源并网的微电网频率控制中进行应用，考虑了多个微电网应用场景，取得了良好的频率调节效果。相关成果已发表论文25篇，获得江苏省教育厅研究类一等奖等科研奖励，对推动自适应动态规划理论、基于数据的控制理论、最优控制理论的进一步深入发展具有重要的科学意义。