基于多任务的在线机器学习研究

Online learning methods are well-known for their good accuracy, high efficiency and easy to implement. They are suitable for problems whose data are generated in a sequential manner, or massive datasets that are too large to fit in memory. Multi-task learning jointly solves several related learning tasks by leveraging the commonality among them. Empirical findings have demonstrated the advantages of multitask learning over single task learning across a variety of application domains. Existing works on multi-task online learning lacks the ability to depict the task relationship thoroughly, and fails at solving the corresponding optimization problem efficiently when it comes to non-convex. What’s more, they cannot deal with problems besides classification, and are not suitable for distributed processing. This research aims to improve multi-task online learning from these aspects. By applying the non-convex optimization technique, it will accelerate the speed of online learning process. By incorporating the learning-to-rank approach, it will develop a new algorithm for ranking instances under the multi-task online learning scenario. Finally, this research will explore the distributed processing of multi-task online learning problems. This research will propose and implement a distributed multi-task online learning system, which will facilitate the successive study in future.

在线机器学习预测精度高、运行速度快、易于实现且节省计算资源，尤其适于处理海量及流式数据。多任务在线学习除上述优点外，还可利用任务之间的潜在联系进一步提高模型的预测能力，有着广泛的用途。现有多任务在线学习方法存在任务相关性描述不全面、非凸优化问题求解效率低、对分类以外的应用支持不足、分布式并行处理能力欠缺等问题。本项目因此将结合具体问题，改善在线学习模式下多任务相关性的表示方法；利用非凸函数优化法，给出对应问题的快速近似解；以此两点为基础，根据排序问题特点，提出多任务在线学习排序算法；最后结合实际应用，探索多任务在线学习的并行化处理及相应分布式系统架构。本项目旨在对多任务在线学习的预测精度、执行效率、应用范围、处理大数据的能力等做出一定的改进和提高。预期建立一个基于分布式架构的，支持大规模数据的，可处理分类、排序等多种问题的多任务在线学习系统，为进一步探索大数据多任务在线学习方法打下基础。

在线机器学习算法预测精度高、运行速度快、易于实现且节省计算资源，适用于处理海量及流式数据，在现实中有着广泛的用途。多任务在线机器学习除了上述优点外，还可以利用任务之间的潜在联系进一步提高模型的预测能力。本项目以提升多任务在线机器学习算法的效能为目的，从多任务相关性表示、优化问题建模及求解、分布式处理等方面对其进行了研究。本项目针对现有多任务在线学习算法存在任务相关性描述不全面这一问题，提出了对表示多任务间共性的全局模型不做预设，而在学习过程中渐进地发现多任务间的潜在共同特征的方法。针对多任务在线学习算法对分类之外的应用支持不足的问题，在序数回归（ordinal regression）模型的基础上设计了多任务在线排序算法。针对特定多任务在线学习算法的优化问题计算复杂度高，通过推导闭合形式的近似解、采用延迟梯度下降更新策略等方法提高了算法的执行效率。针对现有的多任务在线学习算法对分布式并行计算支持不足的问题，设计了分布式多任务在线学习的系统架构，提出了基于异步更新机制的分布式多任务在线学习算法，保证了在节点间通信延迟等不利条件下整体系统的鲁棒性。通过协同过滤、入侵检测、边缘计算、路由决策等应用实例，验证了所提出的模型和方法的有效性。本项目所得研究结果表明，对于多任务在线学习问题，通过合理设计任务间共性表征方式，以及用闭合形式的近似解替代原始优化问题，可以在与基本的单任务在线学习算法相似的计算时间复杂度下获得更高的预测精度；同时，通过采用分布式计算架构及异步更新等机制，可以用横向扩展（增加计算节点）的方式支撑大数据量的多任务在线学习问题，相关系统的鲁棒性、收敛性，以及预测结果的准确性等均有一定程度的保证。已基于本项目的研究成果发表SCI期刊论文2篇，EI会议论文2篇，申请发明专利3项。