非线性共轭梯度法的进一步研究

Nonlinear conjugate gradient methods comprise a class of unconstrained optimization algorithms for the low memory requirements and good convergence properties. This project will focus on the applications of nonlinear conjugate gradient methods in solving LP regularization problem. LP regularization problem has wide range of applications in signal process, finance, etc. This project will pay attention to the algorithms for solving L1 and L1/2 regularization problems. To the L1 regularization problem, we will establish the equivalent problem and design the corresponding algorithms base on some suitable nonlinear conjugate gradients. Or design some numerical algorithms by using the generalized gradient of the objective functions. The L1/2 regularization problem takes a representative role in LP regularization problems. The objective functions is not not Lipschitz continuous and the generalized gradient in the sense of Clarke does not exist. Based on some conjugate gradient methods, this project will design some numerical algorithms for solving L1/2 regularization problem itself or the equivalent constrained optimization problem. We will also do some practical applications of these numerical algorithms. Moreover, we will develop some numerical algorithms for solving large-scale nonlinear systems of equations base on some new nonlinear conjugate gradients methods.

非线性共轭梯度法因其较小的存储量、效好的收敛性而成为一族重要的无约束优化算法. 本项目拟主要研究非线性共轭梯度法在求解LP正则化问题中的应用. LP正则化问题在信号处理、金融等领域应用广泛. 本项目拟重点研究求解L1和L1/2正则化问题的数值算法. 对于L1正则化问题, 我们拟建立其等价问题, 并在合适的共轭梯度法的基础上设计相应算法. 或利用目标函数的广义梯度设计求解问题自身的数值算法. L1/2正则化问题是一个有代表性的LP正则化问题. 其目标函数非Lipschitz连续, 且不存在广导数. 本项目拟在共轭梯度法的基础上设计求解L1/2正则化问题自身或其等价的光滑约束问题的数值算法. 力求所设计的算法稳定、高效. 同时, 项目拟研究相关算法在求解实际问题中的应用. 此外，本项目还拟在一些新的非线性共轭梯度法和非单调搜索技术的基础上发展几类求解大规模非线方程组的数值算法.

非线性共轭梯度法因其存储量小、良好的收敛性而成为一族重要的无约束优化算法, 得到了充分的发展和应用. 本项目基于无记忆的BFGS算法、Dai-Kou算法和CG_DESCENT等著名的非线性共轭梯度法发展了充分下降的HS和PRP算法. 这两种算法产生的搜索方向与无记忆的BFGS算法近似. 我们分析了在合适的线搜索下算法的收敛性，并通过测试CUTEr函数库中的无约束优化问题检验了算法的有效性. 注意到前面这两种算法的结构的相似性，我们还发展了一族新的下降型非线性共轭梯度法. 这族算法综合了无记忆的BFGS算法、Dai-Kou算法和CG_DESCENT等算法的诸多优点，且只需用非常简单的技术即可建立算法在Armijo或Wolfe搜索下的全局收敛性. 算法数值实验表现优秀，应用前景良好. 此外，基于Li- Fukushima、Grippo- Lampariello-Lucidi 等非单调搜索技术，本项目发展了求解大规模非线性方程组的PRP和MLS非线性共轭梯度法. 这两种算法都不需要计算方程组的Jacobian 矩阵，因此适合求解大规模问题. 结合合适的非单调搜索方法，我们分析了算法的全局收敛性. 并通过大量的数值实验验证了算法的有效性.