大规模参数估计的约束无导数优化信赖域方法

In big data era, parameter estimation problem with large scale and high precision more popular than before. Derivative free optimization methods have a profound theoretical significance and application value to estimate the parameters for mass data processing algorithm. Thus designing a class of large scale high precision derivative free optimization parameter estimation method becomes the focus of academic attention. In this issue, we mainly consider following points: 1. Design a class of constrained optimization derivative free methods based on the traditional trust region framework, establish the complete convergence analysis theory and stability numerical behavior. 2. We further propose an improved algorithm which is more suitable for large scale optimizations by improving the model function interpolation system in trust region subproblem. 3. Establish a stable, effective and superior derivative free parameter estimation model which provide numerical basis for the large scale constrained optimization derivative free trust region methods

大数据时代使规模大、精度高的参数估计问题受到广泛关注. 无导数优化方法对数据处理算法中的参数估计有着深刻的理论意义和广泛的应用价值. 因此设计大规模、高精度、理论完备、性能优越的无导数优化参数估计算法成为学术界关注的焦点. 本课题主要工作有：1. 基于传统的信赖域框架, 提出适用于约束优化问题的无导数技术信赖域方法, 给出完备的收敛性分析以及稳定的数值结果; 2. 通过对信赖域子问题模型函数插值过程的优化, 进一步提出适合大规模优化问题的改进算法. 3. 求解大规模参数估计问题, 确保算法稳定、有效, 结果优越, 为大规模约束优化问题的无导数优化信赖域方法提供数值依据.

约束优化问题广泛存在于科学和工程应用领域, 许多约束优化问题的目标函数是从庞大的数据中获得的, 其导函数信息可能不完全或不可用. 在此情况下进行优化, 选取无导数优化方法是一种有效的手段. .本项目主要研究求解约束优化问题的无导数优化信赖域方法的理论支撑和高效算法, 主要获得以下成果: .1. 提出一类求解不等式约束非线性优化问题的基于内点回溯技术的仿射无导数信赖域方法, 分析算法的全局收敛性和局部收敛性, 数值结果表明算法具有可行性和稳定性. .2. 设计出求解边界约束优化问题的非单调过滤无导数信赖域方法, 利用非单调过滤技术放宽对搜索方向的限制, 减少迭代次数, 降低算法的复杂度, 给出了算法的弱收敛性. 与基于梯度的拟牛顿算法和共轭梯度法相比, 该算法更节省计算时间. .3. 构建了大规模优化实例, 从多目标优化、模糊神经网络、网络路由机制以及最优控制问题等多角度研究不同算法性能, 为无导数优化算法的研究提供实验数据, 拓宽无导数优化算法的应用范围, 为无导数优化算法的应用前景寻求新的方向. .在本项目资助下完成学术论文7篇.