基于近似动态规划附加学习结构的电力系统控制在线自趋优理论与方法

Online self-optimum-approaching control technology is one of the basic and core technologies for realizing smart power systems. Three key issues greatly challenge the development of the online self-optimization control of power systems: online self-optimization, online self-adaptation, and online self-coordination. Based on the Approximate Dynamic Programming (ADP) theory, this project proposes to design a supplementary dynamic optimization architecture with the capability of online learning for pre-designed controllers, without changing the original controllers. The proposed dynamic optimization architecture naturally provides the original controllers with a designable optimization objective function as well as a framework of self-optimum-approaching. By use of the critic-action networks, controllers will be endowed with online self-optimization capability associated with the objective function and the performance of the controllers will be improved gradually and constantly. In the meantime, the prior knowledge of the original controllers can be well retained. This project intends to focus on the fundamental theory and methodologies of the proposed online self-optimum-approaching architecture. The theoretic problems include convergence, stability, and coordination of learning and dynamic optimization, while the methodological problems include network architecture design, network initialization algorithms, and optimal learning algorithms. Based on the theoretical research, the applications to power system control design on both the device level and system level will be investigated, so that some bottlenecks of power system control can be broken through. By this project, it is expected to establish an online self-optimum-approaching framework for power system control, including the fundamental theories, design methodologies and efficient algorithms.

电力系统在线自趋优控制技术是智能电力系统的基础，它的实现需要解决在线自优化、自适应、自协调三大问题。近似动态规划（ADP）理论以Bellman动态最优原理为理论基础，通过估计余留代价函数逐步逼近动态最优解，能有效克服直接应用动态最优原理所面临的维数灾问题。本项目提出下述电力系统控制在线自趋优实现思路：基于ADP在原控制器上附加具有在线学习能力的动态优化结构，为原控制器提供可设计的目标函数和自趋优机制；引入评价-执行网络，赋予控制器在线学习能力；充分利用原控制器的先验知识，保证控制器性能在原控制器基础上持续改进。项目拟深入研究这一结构的收敛性、稳定性、协调性等理论，提出网络结构的优化方法、参数初始化算法和高效学习算法等系统化设计方法，并应用于电力系统设备级和系统级控制，解决一系列电力系统控制热点和难点问题，最终形成基于ADP附加学习结构的电力系统控制在线自趋优的基本理论、实现框架和设计方法。

本项目基于近似动态规划（ADP）理论，探索电力系统的在线自趋优控制设计理论与方法，解决复杂电力系统控制中面临的在线自优化、自适应、自协调三大挑战。 项目提出在系统已有控制器上附加具有在线学习能力的近似动态优化结构，为原控制器提供可设计的目标函数和自趋优机制；引入评价-执行网络，赋予控制器在线强化学习能力；充分利用原控制器的先验知识，保证控制器性能在原控制器基础上持续改进。. 项目基本实现了预期成果，具体包括：. （1）在理论层面，解决了近似动态规划应用于工程实际时面临的两项关键理论问题：策略迭代ADP 算法在存在逼近误差情况下的收敛性分析，以及具有参数线性结构和直观物理意义的控制策略逼近方法；提出了基于原-对偶及势博弈分解的协调优化理论，为多ADP在线自协调提供了合适的框架。. （2）在方法层面，针对不同应用场景提出了三类ADP在线附加学习的基本结构，以实现ADP与传统电力系统控制器的融合，同时给出了其高效的在线学习算法，并分析稳定性、单调性、收敛性；进而结合分布式控制提出了多学习控制器的自协调控制设计框架与方法。. （3）在应用层面，将所提电力系统控制理论与方法应用于电力系统智能控制，较好地解决了大规模可再生能源接入后的有功、无功控制问题，验证了所提理论与方法的有效性，显示了未来在电力系统中的巨大应用前景。. 本项目提出了基于近似动态规划在线附加学习结构的电力系统控制基础理论、实现框架、结构设计和高效算法，并用于解决一系列电力系统控制的热点和难点问题，为传统电力系统控制器实现在线性能优化和在线应对不确定性提供了一个行之有效的解决方案。