变量部分稀疏正则化算法设计与研究

There are a lot of partially sparse regularization problems in practice.For example,in signal or data recovery,the large-scale data measured in the set which is composed of noised and partially destroyed data can be set as sparse variables. And the measured data can be recovered by the partially sparse regularization;In machine learning,the second order base variables are sparse when the quadratic curve fitting in the n basic factors under the condition of less interaction;In emergency management and other engineering problems, a large number of constraints may cause no feasible solution.However,if we allow a small amount of constraint violation,set the violation degree the new variables and add the sparse regularization to them,then good feasible solution may be obtained.At present,the sparse regularization problem has been a hot research topic, however there are not many academic research papers in this area.In this project,we will study the optimality conditions of partially sparse regularization,some kinds of approximation of 0 norm and their sparsity conditions.We also focus on designing simple and effective algorithms,theoretical analysis in convergence,stability and effectiveness, and testing in the simulation and applications.

信号数据恢复、机器学习及工程应用中大量存在着只有部分变量具有稀疏特征的问题，如测得的大规模数据中既有噪声，又有少量的损毁，而且未知损毁的部位；在多种基本因素作用但交互作用较少的情况下进行多元二次回归，那么系数变量中二次基对应的部分就是稀疏的；在应急管理等工程问题中，大量约束导致解不可行的情况下，如果允许少量约束违反，那么约束违反度就是稀疏的部分变量。如果能够有效求解这类问题，那么就能高效恢复带噪声并有损毁的数据，就能提高多元非线性回归的效率，就会产生可行的应急方案等等。稀疏问题是多年的热点问题，但对部分变量稀疏的问题研究并不多。本项目拟研究部分变量稀疏正则问题的最优性条件、研究它的近似及其等价性条件；研究新型的求解部分稀疏正则问题的方法，着眼于算法设计的简单、实用性，理论上进行收敛性、稳定性和实效性分析，并经过数值模拟的验证和仿真应用的检验。

对于全部变量稀疏正则化问题， 近多年来一直是人们关注的热点并有大量的研究成果，而关于部分变量稀疏正则的研究和可以应用的高效算法并不多。本项目首先研究了部分稀疏正则化问题解的唯一性条件，提出了比一般稀疏恢复问题的值空间属性稍强的部分值空间属性；提出了放宽最优k阈值(ROTPω)和放宽最优k阈值追踪(ROTPω)算法， 并建立了当ω≥2时，ROTω和ROTPω为保证算法性能的基于约束等距性质的必要条件；研究了稀疏块 Lasso 中广泛使用的一类非光滑凸优化问题的参数选择，并基于邻近梯度下降法提出了一种选择最佳参数的混合算法将其用于稀疏信号恢复问题；在研究部分稀疏正则化问题算法的设计上，提出了一种基于SPIDER的随机近似差分算法，并对于此类非光滑凸问题，同时提出了一种改进的非线性共轭梯度方法以及基于Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法的修正割线方程和新的改良的非单调线搜索技术，提出的新的按比例缩放的共轭梯度法；除此之外，本项目研究了稀疏模型在多示例学习（MIL）中的应用，基于MCP函数提出了一种有效的稀疏模型SyMIL，然后使用近端随机次梯度法（PSSG）对其进行求解；研究线性约束下的凸函数减凸函数（DC）优化问题的求解，提出了一种Bregman交替乘子方向法。在处理非光滑凸函数时，采用插值技术，并进一步证明了所提出的方法在一定条件下能够收敛到稳定点；研究了高阶张量数据下的优化问题，针对医学成像及自动控制中的多项式正定问题，基于高阶张量结构提出多项式正定性的判定方法，为进一步研究稀疏张量优化算法奠定了基础。