快速、可信的大规模连续空间序列决策过程理论与算法研究

"Large-scale continuous space sequence decision" is a universal feature of the AI system in the real world. How to make a large scale continuous spatial decision making system to make fast and credible decisions, and thus can be applied to a wide range of realistic application scenarios, is the research difficulty and hot spot. Therefore, this project takes large-scale continuous spatial sequence decision-making process as the research object, aiming at proposing a fast and credible decision-making method, starting from three aspects: basic theory, key technology and instance validation. First, we explore the causal relationship between the performance of large-scale continuous space sequence decision making and the essential characteristics of the system model, and study the fast and reliable representation model of the internal mechanism of large-scale continuous space sequence decision process. Secondly, based on the hierarchical behavior reduction, we study the fast feasible sequential decision algorithm for large modular continuous action space. Cluster based on uncertain state and the belief MDP model is used to study the algorithm of large-scale continuous observation of spatial trusted sequence decision separately. Finally, the AI decision prototype system of complex operational environment is developed to verify the proposed theory and key technologies. Through the above research, we explore the theory and key technology of fast and reliable large-scale continuous space sequence decision making process, and promote the application of advanced technology of artificial intelligence in real world intelligent scene.

“大规模连续空间序列决策”是现实世界人工智能系统的普遍特征。如何使大规模连续空间序列决策系统做出快速、可信的决策，从而能够适用于广泛的现实应用场景，是研究的难点和热点。故本项目以大规模连续空间序列决策过程为研究对象，旨在提出快速、可信的决策方法，从基础理论、关键技术和实例验证三方面展开研究。首先，探索揭示大规模连续空间序列决策问题表现与系统模型本质特征之间的因果关系，研究快速、可信的大规模连续空间序列决策过程内在机理表示模型；其次，基于层次行为约简，研究大规模连续动作空间的快速可行序列决策算法，以及基于不确定状态聚类和信念MDP模型，研究大规模连续观察空间可信序列决策算法；最后，开发复杂作战环境AI决策原型系统，验证提出的理论和关键技术。通过上述研究，探索快速、可信的大规模连续空间序列决策过程的理论和关键技术，促进人工智能先进技术应用于现实世界智能决策场景中。

本项目面向决策技术的广泛现实应用场景需求，围绕快速、可信的大规模连续空间序列决策问题，重点开展大规模连续空间序列决策过程机理模型构建、快速可信的大规模连续空间序列决策关键技术研究和典型应用实例验证工作。. 在大规模连续空间序列决策机理模型方面，项目组提出了多层次对抗空间表征与态势认知模型，形成了从对抗空间到态势空间、到策略空间、再到协同控制空间的完整决策知识表征体系；在大规模连续空间序列决策过程的快速可行决策方面，项目组基于层次行为抽象方案进行决策行为约简，提出了基于先验知识的部分可观测环境序列决策框架，通过识别、挖掘和评估态势演化过程中的关键决策点，提升智能体对态势信息的快速甄别、选择和有效利用能力；在大规模连续空间序列决策过程的可信决策方面，项目组基于不确定状态聚类和信念MDP问题转化的POMDP方法展开研究，形成了从策略生成到策略膨胀、到策略压缩、再到均衡策略求解的完整可信决策解决方案；以战术级陆战兵棋推演为验证环境，完成了陆战分队级和群队级场景的搭建，集成了空间表示、态势推理、决策生成和行动控制等模块，实现了复杂作战场景下的关键技术验证。. 项目组在Machine Intelligence Research、自动化学报、指挥与控制学报、系统仿真学报、ICCCS、ISCSIC等期刊和会议已发表8篇论文；获得发明专利授权7项；登记软件著作权1项；项目成果决策AI获得2020“砺智杯”人机对抗挑战赛第一名，于2021年获得了“庙算杯”人机对抗测试赛四强AI称号，入选“庙算人机对抗平台”基准AI，并支撑了该平台多个品牌赛事技术评估评测；基于本项目关键技术完成的“复杂对抗场景下临机应变智能关键技术及应用”项目获得了2022“率先杯”未来技术创新大赛提名奖，并入选优质项目库。另外，项目团队开源开放部分项目研究成果，包括AI智能体、数据集、算法，并组建管理技术论坛，截至2022年12月，开源AI和数据成果资源下载数量已达到2600余次，技术分享视频播放量已达到1.7万次，在智能博弈领域形成了较好的影响力。