图像处理中若干非凸非光滑优化问题的快速算法研究

Image processing problems are widespread in many areas of the national economy, among which solving optimization models has always been a very important research topic. Non-convex modeling sometimes fits the background of the problem better and has better image effect. However, designing fast convergence algorithm is very challenging. This project intends to study the solving algorithms of some non-convex model in image processing, and trys to get distinctive theoretical results. This project mainly focuses on the following three issues: firstly, study the characteristics of local minimum points of l0 regularization model and their relationship with regularization parameters, explore proper search direction, then design fast convergent multimetric splitting algorithm with simple structure and analyze their convergence behavior; secondly, for the training process of convolutional neural network, study the minimization method of non-convex loss function with convex regularization term and analyze it's convergence, then a practical algorithm is designed by using the adaptive method of acceleration technique and learning rate; thirdly, for the dynamic parallel magnetic resonance imaging problem, explore a more realistic sparse model using the low rank property of data and non-convex regularization term, design a fast solving algorithm and analyze its convergence behavior.

图像处理问题广泛存在于国民经济的许多领域中，其中优化模型的求解一直是非常重要的研究课题。非凸建模有时候更符合问题的背景且有更好的图像效果。但设计快速收敛的算法非常具有挑战性。本项目主要对图像处理中非凸模型的算法进行研究，力图在研究上得到特色鲜明的的理论成果。本项目重点研究以下三个问题：一、研究l0正则化模型局部极小值点的特点及其与正则化参数的关系，探索适合该类优化问题的搜索方向，进而设计结构简单、快速收敛的变尺度分裂算法并分析收敛性行为；二、对于卷积神经网络的训练过程，研究带凸正则化项的非凸损失函数的极小化方法并对收敛性进行分析，且结合加速技巧和学习率的自适应方法设计实用的算法；三、对于动态并行磁共振成像问题，利用数据的低秩性和非凸正则化探索更现实的稀疏模型并设计快速的求解算法，最后分析算法的收敛性。

近些年来，非凸问题在信号和图像处理等问题中表现出了很好的实际效果。但是设计有效的、快速收敛的求解方法却非常困难。本项目主要研究信号和图像处理中几类常见的非凸问题的求解算法。对于l0稀疏正则化模型，将拟牛顿方法中的变尺度技巧合理的应用于外推步中，提出了一种变尺度外推算法，在某些假设条件下证明了迭代点列的全局收敛性、线性收敛率及超线性收敛率。进一步的，还将变尺度外推算法推广到了多块情形和更一般的l0稀疏正则化模型上。对于秩正则化极小化问题，我们首先分析了向前向后分裂算法的收敛性特点，根据这些特点合理的设计外推步并尽量减少奇异值分解的计算量，进而提出了两种外推算法并分析了迭代点列的全局收敛性。对于广泛应用于医疗的动态并行磁共振问题，利用采集数据的两种低秩性设计了秩函数约束模型，并利用交替极小化方法设计了一种自适应选取模型参数的方法，并且证明了迭代点列的全局收敛性。对于具有可分结构的线性约束极小化模型，通过交替方向乘子法和Douglas-Rachfod方法的等价性，我们发现增广拉格朗日函数在迭代点是单调递增的。对于无约束可微子问题，我们利用单步拟牛顿方法求解，步长的选取使得增广拉格朗日函数具有一定的递增性，从而设计了一种非精确交替方向乘子法。该算法的迭代点列的任一聚点都是最优解。我们将上述算法推广到了非凸情形，得到了一种求解非凸问题的非精确交替方向乘子法。当增广拉格朗日函数满足Kurdyka-Łojasiewicz性质时，算法的迭代点列具有全局收敛性。卷积神经网络训练过程中损失函数的极小化问题可以归结为极小化两个非凸函数的和。对于该非凸问题，提出了一种外推参数化的Douglas-Rachfod（DR）方法，并证明了其迭代点列的全局收敛性。提出的这些算法在相关数值实验中都表现的更快。