基于策略梯度学习的自优化模糊控制研究

Fuzzy control is a widely applied technique for solving control problems of complex non-linear systems, as it's capable of converting human expert's knowledge efficeintly to fuzzy control rules. However, how to optimize the large amount of parameters of fuzzy control rules becomes one of the key issues to wide utilization of fuzzy control.Since policy gradient based reinforceemnt learning algorithms are capable of self-optimizing their behaviours or action policies based on achieved knowledge or experiences through interactions with the external environment,this research aims to combine recursive least squares based policy gradient algorithms with fuzzy control,and propose a novel self-optimizing fuzzy control algorithm which can efficeintly self-optimizes its controll parameters under semi-supervised learning environement. This research maily focus on the three espects: applying kernel function techniques to achieve self-construction of the value function approximation in order to improve existed polciy gradient reinforcement algorithms; inducting the least squares estimation of policy gradient of the selft-optimizing fuzzy control algorithm; completing the convergency proof of the novel algorithm and testifying the learning efficiency of the algorithm through experiments.

模糊控制被广泛应用于解决复杂非线性系统的控制问题，其能够有效的将人类专家的经验转化为模糊控制逻辑，从而可以不依赖精确的系统模型达到较好的系统控制效果。但是如何优化模糊控制规则所附带的大量控制参数是解决其广泛应用的一个关键问题。由于基于策略梯度的强化学习算法能够在半监督环境下根据已获知的经验有效的进行其行为或策略优化，因此本研究针对模糊控制算法参数量大以及其产生控制输出的特定形式，采用基于最小二乘迭代的策略梯度学习算法，与模糊控制相结合，构建具有在半监督学习环境下能够快速有效自优化模糊控制规则的新算法。本研究拟使用基于核函数进行值函数近似器自动构造，以改进已有的策略梯度学习算法；根据模糊控制输出与其控制参数的函数关系推导相应的策略梯度的最小二乘估计公式；并证明其新算法的收敛性以及有效性质。

模糊控制能够有效的将人类专家的经验转化为模糊控制逻辑，从而可以不依赖精确的系统模型达到较好的系统控制效果。如何优化模糊控制规则所附带的大量控制参数是解决其广泛应用的一个关键问题。随机优化算法是求解此类多参数优化问题的有效工具。随机优化算法并不试图搜索所有的参数组合以求解优化问题的最优参数，因为其对应计算时间过长以至于无法有效求解问题。随机优化算法是基于特定的随机策略实现对参数空间的有效搜索，从而在相对较短的时间内求得优化问题的最优或者次优解。对此课题组重点研究了目前较新的单目标和多目标随机优化算法，比如差分进化算法(DE)、细菌觅食算法(BFA)、灰狼算法(GWO)、天牛群算法(BSO)、以及阴阳对算法(YYPO)包括阴阳对多目标优化算法(F-YYPO)。在此基础之上，对上述的算法进行改进，以提高其的搜索速度和搜索精度，并研究了上述算法包括改进算法在无线网络节点优化覆盖问题，正则极限学习机参数优化等问题上的应用。具体研究内容上，先后提出了基于全邻域搜索的自适应差分进化算法NSSDE；基于改进参数控制策略的新单目标阴阳对算法IYYPO；基于多组合搜索策略和改进参数控制策略的多目标阴阳对算法F-ACYYPO；提出了基于改进灰狼优化的网络节点最优覆盖算法；基于改进花朵授粉算法的节点优化覆盖算法；基于改进差分进化算法下的网络节点部署优化策略以及基于混沌觅食算法的点部署优化算法；基于天牛群优化与改进正则化极限学习机的网络入侵检测方法。其中单目标优化IYYPO算法和多目标优化F-ACYYPO算法都不依赖种群进行搜索，而是进行两点搜索，所以是轻量级的高效随机搜索算法。本课题研究成果为一般的单目标以及多目标多参数优化问题求解提供了易于实现、计算量小、并且高效的搜索算法，对于此类问题求解具有一定的参考价值。后期将在取得成果基础上进行相关应用推广。在本课题资助下，研究团队共发表(包括录用)学术研究论文7篇，其中SCI检索论文1篇，EI期刊检索论文3篇，核心期刊论文3篇,并获取专利一项。