快速排序加权L1约束正则化方法及其在图像复原中的应用研究

Structure-sparsity has been extensively applied in a wide range of areas, such as statistics, machine learning, signal and image processing, computer vision, but most of structure-sparsity based regularization methods require prior knowledge of detailed structures. The Ordered Weighted L1 (OWL) regularization, recently proposed by us, is able to promote specific structures (including structure-sparsity) without predefined structures or groups, and has already been applied in signal processing and statistics. Based on the previous work, the aim of this project is to address the following two missions regarding the OWL constrained regularization and its applications: 1) In order to fast solve the OWL constrained regularization problem, propose a fast algorithm which is based on a fast OWL ball projection using the atomic norm of OWL; 2) Apply the proposed fast OWL constrained regularization in restoring binary images (such as bar codes, QR codes or text images) or images with multiple distinct pixel values (such as texture images or pattern images) from their degraded ones, by taking advantage of the fact that the OWL can promote two or multiple distinct values. The outcome of this project will improve the OWL regularization theory and method, advance existing methods of restoring the images with two or multiple distinct pixel values, and further encourage the applications of the OWL.

结构稀疏正则化方法已经广泛应用于统计、机器学习、信号和图像处理、计算机视觉等领域，但是其中绝大部分方法需要具体的结构稀疏先验知识。近年来提出(本项目申请人为提出者之一)的排序加权L1（Ordered Weighted L1，OWL）正则化方法则克服了这一局限性，即不需要任何结构先验，也能促进解具有某种结构特征（包括结构稀疏），其已经在信号处理和统计领域有重要应用。本项目基于前期工作，研究一种快速OWL约束正则化方法及其在图像复原中的应用：1）研究基于OWL原子范数模型的OWL球快速投影，并进一步提出快速OWL约束正则化算法；2）利用OWL能促进解的二值性和多值性，研究基于快速OWL约束正则化方法的二值图像（如条形码、二维码图像或文字图像）和多值图像（如纹理或模式图像）复原。研究成果能完善OWL正则化理论和方法，改善现有二值图像和多值图像复原方法，进一步促进OWL正则化方法的应用。

结构稀疏正则化方法已经广泛应用于统计、机器学习、信号和图像处理、计算机视觉等领域，但是其中绝大部分方法需要具体的结构稀疏先验知识。本人前期提出的排序加权L1（Ordered Weighted L1，OWL）正则化方法则克服了这一局限性，即不需要任何结构先验，也能促进解具有某种结构特征（包括结构稀疏），其已经在信号处理和统计领域有重要应用。本项目基于前期工作，考虑当前的军内任务需求和学术热点，做了如下工作：. 1. 首先基于OWL的原子范数模型，实现OWL球快速投影。使用交替方向乘子算法（ADMM）框架快速解决了OWL约束正则化问题。. 2. 研究了把相机阵列超分辨率成像问题转换为一个相机阵列去模糊和图像融合问题，而该问题能被ADMM算法有效解决，显著提高系统的超分辨效果。. 3. 研究了基于ADMM算法、纹理先验和低秩表达的视觉缺陷检测方法。试验结果表明，比起现有流行的检测方法，提出的方法在检测精度和计算效率上都有较大优势。. 4. 提出了一种基于谱聚类的稀疏量化方法来量化网络权重并同时紧凑化网络结构。不仅获得低比特量化网络，减少了内存和计算成本；同时从复杂的深度卷积网络中学习到了紧凑的结构，以便进行后续的通道裁剪，从而大大减少了参数量和计算消耗。. 5. 提出了一种网络权重张量通道的稀疏和共享框架，该框架将权重量化与排序加权 l_1 范数（OWL）相结合。特别地，与常规参数共享和量化方法不同，所提框架通过设置适当的超参数同时实现了参数稀疏性和通道稀疏性。. 6. 提出了一种新颖的策略来训练具有若干位低比特量化的权重和激活的网络。通过量化的低位权重和激活，将用移位操作代替昂贵的全精度操作，不仅减小了模型占据的内存，同时模型的计算消耗也将大幅下降。