具有约束的稀疏正则优化模型及其应用研究

Sparse optimization is a newly developed branch of the optimization field. It plays an important role in the sparse recovery problem of compressed sensing and medical image reconstruction and statistical learning, etc. Taking into account the practical problems, the solution of the system is often subject to certain prior constraints, as well as to overcome the difficulty of choosing the regularization parameter for the unconstrained sparse optimization problem. In this project we propose a general constrained sparse optimization model, in which includes many well-known sparse optimization problems. We plan to develop several new iterative algorithms based on gradient projection and sub-gradient projection method. We also accelerate the convergence rate of the iterative algorithm by carefully defining iterative parameters. The efficiency of the proposed models would be tested on several inverse problems arose in medical image reconstruction, in particular the incomplete angle CT image reconstruction problem. On the other hand, we establish a sum of multiple convex functions model, in which the error loss function satisfies continuity assumption. We prove the optimal conditions of the problem based on monotone operator and fixed point theory. The convergence property and convergence rate will be studied under classical conditions on the operator and parameters. We plan to apply the obtained results to solve fused Lasso problem and compare it with other existing methods.

稀疏优化是近些年来发展起来的优化领域的一个分支,它在以稀疏恢复问题为核心的压缩感知和医学图像重建以及统计学习等领域有重要的意义和应用价值。考虑到实际问题中，系统的解往往受到某些先验条件的约束，以及为克服无约束稀疏优化模型正则参数选取没有确定公式的不足，我们提出具有约束的稀疏正则优化模型，应用梯度投影和次梯度投影等方法，构造新的迭代算法，并通过合适的迭代参数选取方式，加快迭代算法的收敛速度；进而基于对不完全角度CT图像重建采样数据的建模分析，将所得结果应用于CT图像重建等具体实际问题。另一方面，我们建立多个凸函数相加的可分离凸优化模型，其中误差损失函数满足连续性假设，基于单调算子和不动点等方法，建立该优化问题的最优性条件和不动点方程，提出求解不动点的迭代算法格式，证明相应不动点算法的收敛性和收敛阶，并将所得结果应用于约束的Fused Lasso等模型，并与现有的其他方法进行比较。

信号和图像处理、医学图像重建、机器学习以及网络通信等中的许多问题都可以归结为求解两个及以上凸或非凸函数和的优化问题。由于这些问题的规模通常都很大，同时往往是不光滑的，无法直接使用传统的光滑优化方法，如何设计高效快速且有理论保证的优化算法是现实而又重要的问题。在考虑图像的先验信息包括自然灰度图像的像素值取值大小分布和图像的低秩先验等，基于MAP框架和正则化理论，本项目研究了几类变分优化模型求解迭代算法和算法的收敛性。取得结果包括：（1）基于不精确向前向后算子分裂算法和不精确三算子分裂算法，运用对偶和原始对偶方法思想，提出了几种具有内外迭代形式的算法求解三个凸函数和的优化问题，我们给出了新颖的证明方法,同时发现现有的Condat-Vu 算法, 原始对偶不动点(PDFP) 算法和原始对偶三算子(PD3O) 算法与所提算法的联系。通过对融合Lasso 问题, 约束全变分正则化问题和低秩全变分图像超分辨率重建问题的数值实验, 验证所提出的迭代算法的有效性和优越性。（2）对于复合凸优化问题，通过内积空间方法，将原优化问题转化为三个凸函数之和的优化问题，提出了几个一阶分裂算法求解该优化问题。作为应用，提出广义PICCS模型，通过应用于欠采样投影测量的CT重建问题，与其它的算法包括ADMM，SPDP 和Pre-SPDP 算法相比，所提出的迭代算法在信噪比与迭代次数方面比其它算法更鲁棒。特别，如果模型中的函数计算邻近算子简单，则不宜将该函数表示为其与单位算子的复合形式。（3）提出具有约束的全变分去噪模型和约束的二阶总广义变分去噪模型，分别从对偶和原始对偶角度，提出迭代算法，证明算法的收敛性，数值结果表明，约束模型的性能优于无约束模型。（4）我们从自适应参数、预方法、超松弛和惯性方法等角度，提出了几种加速迭代算法，基于泛函分析理论，证明所得算法的收敛性，并通过应用于稀疏信号恢复、图像去噪、图像填充和图像重建等问题，验证所提算法的优越性。