多单元制造系统维修和生产的分布式联合优化

Multi-component production systems widely exist in practice. Therefore, the maintenance optimization of multi-component production systems attracts widely attention of industry and researchers. However, the state space and action space of multi-component production systems are often intractably large, which makes the methods used to processing single-component system not applicable. To address this issue, this project is going to jointly optimize the maintenance and production in a multi-component production system under a multi-agent structure. Firstly, this project will investigate the decentralized maintenance optimization of a series-parallel system considering the opportunistic maintenance between subsystems. Secondly, intermediate buffers between subsystems will be further introduced into maintenance optimization. After that, reinforcement learning will be adopted to deal with the situation where the parameters are unknown. Finally, the joint scheduling of production and maintenance in a multi-product production system will be studied. The outcome of this research will provide a useful reference for the further application of maintenance theory to production systems.

多单元制造系统普遍存在于实际生产中，如何提高其生产效率和降低维修成本已引起工业界和学术界的广泛重视。但是，多单元制造系统有系统状态空间和维修行为空间过大的特点。这使得目前很多在单单元制造系统中广泛使用的维修优化方法无法用于处理多单元制造系统。本项目拟提出一种采用多主体（Agent）结构的多单元制造系统维修和生产分布式联合优化方法，以解决多单元制造系统状态空间和行为空间过大的问题。首先，本项目将研究考虑子系统间机会维修的串并联制造系统分布式维修优化方法。然后，进一步研究考虑生产控制和缓冲库存的串并联制造系统的维修优化。在此基础上，采用强化学习方法解决系统参数未知情况下的生产和维修优化问题。最后，研究在多品种并联生产系统中维修和生产的联合调度。本研究的成果将给维修理论在多单元制造系统中进一步使用提供有用参考。

本项目围绕多单元制造系统维修和生产的分布式联合优化进行研究，经过四年努力，按计划完成了申请书中所提的四项研究内容：（1）考虑子系统间机会维修的串并联制造系统分布式维修优化，（2）考虑生产控制和缓冲库存的串并联制造系统的维修优化，（3）基于强化学习的制造系统生产和维修的联合优化，（4）在多品种并联制造系统中维修和生产的联合调度。此外，本项目针对退化指标和失效之间的不确定关系，额外研究了基于比例风险模型的维修优化。在多部件制造系统维修优化中，不同部件间存在着相关性，而现有文献对这些相关性研究不充分。针对此问题，本项目证明了基于门限的视情维修策略在带缓冲库存的复杂系统维修中的最优性。展示了通过设置多个门限值可以考虑不同部件间相关性和维修对生产的影响。研究了不同数量的门限对维修成本和生产收益的影响。最后发现需要在相关性考虑范围和寻优空间大小方面寻找平衡点。提出了和仿真结合的高效启发式算法，用于求解复杂系统维修优化问题。能做到仿真运算量在不同策略上的合理分配。同时，本项目还发现强化学习是进行多单元制造系统维修优化的有效工具。围绕强化学习，本研究完成了多智能体可分解马尔科夫决策模型（Factored Markov decision process （FMDP））在复杂系统维修优化中的应用。探讨了基函数选择的重要性，并提出了高效的训练方法。研究和比较了常见的多智能体强化学习算法在系统维修优化中的应用效果。发现了不同算法的优缺点和适用范围。初步探索了近来兴起的深度强化学习在维修优化及相关领域的应用。发现了深度强化学习在解决维修优化问题时的难点。同时也使用深度强化学习解决了维修优化及维修备件领域的研究问题。最后，本项目以风电行业的实际应用为背景，研究了生产系统的维修调度问题。完成了考虑多个风电场的全质保周期检修调度研究和考虑多种维修任务的风电场短期维修调度研究。