1范数正则支持向量机及其压缩机器学习框架

学习机的稀疏性对机器学习起着重要作用，一来可以实现特征选择和提取，从而降低对采样速率的要求，提高检验速度；二则可以避免过拟合，提高学习机的推广能力。1范数正则作为所有可以诱导稀疏性的p范数(0<p≤1)正则中唯一一种具有凸性的正则在稀疏机器学习和压缩感知中起着重要作用。本项目首先在1范数SVC的基础上，结合零陷损失函数技术，提出1范数SVR和1范数SVND；然后研究1范数SVMs的稀疏性上界，初步的研究结果显示1范数SVMs的稀疏性仅受精确支持向量的个数界定，具有明显优于标准SVMs的稀疏性；接着，根据1范数SVMs线性规划的特点，提出采用行列生成方法进行快速求解；近来压缩感知成为信号处理领域的一个研究热点，本项目进一步将这一概念推广到机器学习领域，提出基于1范数SVMs的压缩学习框架。最后根据1范数SVMs具有高度的稀疏性，检验速率快的特点，将1范数SVMs用于图像和视频序列中的目标检

本项目对L1-SVM方法进行了深入研究，并提出了基于L1-SVMs的压缩机器学习框架。具体的工作如下：首先提出L1-SVR和L1-SVND学习机，研究L1-norm SVM的稀疏性，从理论上界定其稀疏性界及其渐进界，并证明L1-SVM具有优于标准SVM的稀疏性；证明了大规模方阵不等式约束线性规划中列稀疏性的存在性；证明了行列稀疏约束规划与其简化规划，即行列稀疏约束扩展规划的等价性；迭代构造行列稀疏约束扩展规划并证明构造性定理；提出串行和并行行列生成算法以及行列生成算法中的工作集维护准则，并证明行列生成算法的有限步收敛特性；提出列生成Newton 方法和OMP方法用于快速求解L1-SVMs；提出基于L1-SVMs的压缩机器学习框架，研究基于Mercer核特征的稀疏采样技术；将L1-SVMs快速大规划算法以及压缩机器学习技术应用到在SAR图像、人脸图像和人体视频目标检测中。