基于模糊定性强化学习的复杂不确定系统的模糊协调控制机理研究

本项目研究复杂不确定大系统模糊定性强化学习算法和模糊协调控制问题。拟建立适用于复杂不确定系统的模糊协调控制机理模型，系统地解决复杂控制系统研究中的难点问题。主要研究内容包括：（1）研究模糊定性强化学习算法的动作选择策略、Q 值更新方法、多Agent 间的竞争与合作对学习效果的影响以及平衡探索和利用的关系，为解决强化学习的准确性、快速性和收敛性问题提供一种新的解决途径；（2）采用T-S 模糊模型方法近似表述复杂不确定系统，着重研究各部分的模糊协调、协作和竞争关系及控制策略问题，为复杂系统中协调控制问题的解决提供新方法，建立模糊协调控制模型；（3）将研究的控制模型应用于配电网安全预警分析，为我国配电网安全预警分析提供新的理论依据。上述方面的研究成果将为复杂不确定大系统的控制理论发展提供新的思路，是目前计算机科学、控制理论和信息技术等交叉学科的紧迫前沿课题，具有重要理论和应用价值。

在自然界和人类社会中，事物都是以系统形式存在的。任何事物都可以看成是一个系统，或是一个大系统的从属子系统。近年来，越来越多的复杂不确定控制系统呈现出高度复杂性和内在分布性，且多处于动态开放环境中的特性。传统的基于精确模型的控制方法难以实现对此类系统的控制。现代计算机技术、通信技术的高速发展为系统的模型化、优化控制和决策提供了强有力的技术支持。为此，以智能协调控制机理实现对复杂不确定系统的控制，已成为当今控制领域和计算机领域的研究热点。.本项目系统研究了复杂不确定系统的智能协调控制问题。建立了适用于复杂不确定系统的智能协调控制机理模型和算法。以配电网安全分析等复杂不确定系统为例，应用所研究的智能协调控制算法，为复杂不确定系统的协调控制提供新的理论依据和准则。主要研究内容包括：（1）在量子计算和动态合同网协议的基础上，研究多Agent强化学习算法的动作选择策略、Q值更新方法、多Agent间的竞争与合作对学习效果的影响，为强化学习的准确性、快速性和收敛性问题提供一种新的解决途径；（2）分析总结配电网脆弱性预警指标，提出基于电压稳定和基于母线间脆弱信息协调的配电网脆弱性风险评估方法。并将研究的控制模型应用于所建立的配电网分层控制结构中，以提高配电网的安全性和可靠性，为我国配电网脆弱性分析和安全运行提供新的理论依据；（3）着重研究智能协调控制算法中的协调、协作和竞争关系，提出多种基于信息协调的蚁群算法，并将其应用于配电网重构、机组检修模型优化等复杂不确定系统中，为复杂系统的协调控制问题提供新方法、新思路；（4）开发了一套具有自主知识产权的重要城市电力应急指挥系统，辅助配电网运行人员做出运行决策，进一步提高我国配电系统防御的整体技术水平，为配电网安全运行提供软件支持。