面向大规模数据流的弱信息在线学习理论与方法研究

This project is devoted to the research of theory and methods of weak informed online learning for large-scale data streams. The purpose of the research is to design practical online learning methods which help to save a lot of manpower and resources needed to label and represent the streaming data. According to the different situations of limited information, it is proposed to study online learning from three aspects: limited label information, limited attribute information, and both label and attribute information limited. Specifically, the project mainly studies (1) label querying strategies that are based on the discrimination ability of features of instances and model updating strategies that take full advantage of the instance and label information obtained, which aims to propose label-efficient online learning methods; (2) gradient-based optimization or accelerated optimization methods that exploit smoothing approximation and gradient estimation techniques, which aims to propose attribute-efficient online classification methods for hinge loss; (3) methods based on the effective combination of label-efficient and attribute-efficient algorithms, which aims to propose both label-efficient and attribute-efficient online learning methods. This project provides new methods and ideas for online learning with limited information, whose research fruits are expected to provide theoretical and technical supports for online learning in large-scale data stream applications with limited information.

本项目致力于研究面向大规模数据流的弱信息在线学习理论与方法，研究目的是设计具有真正实用价值的在线学习方法，节省为标记和表示数据流所需的大量人力物力。根据信息受限的不同情况，拟从标记信息受限、属性信息受限、标记和属性信息均受限三个方面对在线学习展开研究。具体地，主要研究：(1)基于实例特征辨别能力的标记查询策略，充分利用已获得的实例和标记信息的模型优化更新策略，从而提出标记信息高效的在线学习方法；(2)利用光滑近似技术和梯度估计技术的基于梯度的优化或加速优化方法，提出面向铰链损失函数的属性信息高效的在线分类方法；(3)基于标记信息高效算法和属性信息高效算法有效结合的方法，提出新的属性和标记信息均高效的在线学习方法。本项目为弱信息在线学习问题提供新的研究方法和思路，其研究成果有望为在信息受限的大规模数据流应用中进行在线学习提供理论和技术支持。

在线学习方法是处理大规模数据流的有效工具。本项目主要利用在线凸优化技术设计出适用于大规模数据流的高效的在线学习和分类方法，缓解或解决现有方法在数据的标记信息受限时性能低下、处理多标签分类问题时时空复杂度高、做出在线多标签分类预测时取阈值困难等问题。取得的重要研究成果如下：（1）提出了基于预测间隔和特征辨别性采样的标记信息高效的在线主动分类方法，在决定是否查询某个实例的类标时，既利用实例的基于预测间隔的不确定信息，又利用其基于特征的辨别性信息，使得选择查询类标的实例更具有代表性，从而加速算法收敛，提升算法的预测性能。（2）提出了一族具有高效闭式更新，能做出及时的在线分类预测，且具有良好收敛保证的在线多标签分类算法，在每一轮的学习中，通过求解一个带约束的在线凸优化问题来更新多标签分类器，标签之间的相关性被显式地建模在优化问题的约束中，标签阈值函数是在线多标签分类器的重要组成部分也可以被在线更新。（3）提出了对评分模型和阈值模型进行联合优化的在线多标签分类方法，将评分模型和阈值模型作为在线多标签分类器的重要组成部分，纳入一个在线凸优化问题中进行学习，克服了现有的在线多标签分类方法不能很好地对标签阈值进行在线学习的缺陷。项目组的研究成果为在线学习在大规模的二分类、多分类和多标签分类任务上的应用提供了新的研究方法和思路。项目组已在国际高水平的刊物上，包括Machine Learning （CCF-B类，SCI），TNNLS（CCF-B类，SCI一区）, Pattern Recognition（CCF-B类，SCI一区）和国内著名期刊—软件学报上，发表或在线发表SCI/EI期刊论文4篇，在一般性的学术刊物或会议上发表论文3篇，已申请发明专利3项，培养硕士生4名，其中1名已顺利毕业，1名即将毕业，2名在读。