面向大规模数据的机器学习算法研究

由于计算机和网络技术的飞速发展，机器学习面临高维海量数据的现实挑战，求解大规模机器学习优化问题是当前机器学习发展的关键性科学性问题之一。本项目将针对大规模机器学习任务，研究有效的随机学习算法和在线学习算法。具体包括：以结构优化的思想为基础，与众多的机器学习算法进一步相结合，得到新的大规模机器学习结构优化算法；用结构优化方法解决坐标优化的子问题，从而得到具有结构优化特点的 primal坐标优化算法；提出能够求解大规模非凸优化问题的坐标优化和在线优化方法，同时保证支持向量的稀疏性和学习问题本身的结构不变。

由于计算机和网络技术的飞速发展，机器学习面临高维海量数据的现实挑战，求解大规模机器学习优化问题是当前机器学习发展的关键性科学性问题之一。本项目针对大规模机器学习任务，研究有效的学习算法。以坐标优化为基础，提出一种对随机挑选的单变量子问题采用结构优化方法进行求解的研究思路，对于光滑和非光滑损失函数分别给出了相应的随机坐标下降方法。采用变分不等式的收敛来描述学习速度，提出基于变分不等式的ADMM随机学习算法。针对数据稀疏性问题数据稀疏性问题，提出基于语义相似性的快速哈希匹配方法。.考虑大数据环境下机器学习算法的应用，探索了面向自然语言处理任务的学习算法。针对词向量表示，基于多语言组合来训练词向量，不同语言的词嵌入能够获得相同或相似的语义信息，因此词向量基于多语种组合获得，由向量空间中多语言的词嵌入的中心来表示，能够捕获更多更可靠的语义信息；基于语言迁移训练词向量，基于特定的转换规则，语言迁移模型采用源语言词向量来表示目标语言词向量。针对情感分析，提出一个递归深度神经模型，通过词向量和依存结构树来表示句子，使用相同的构造函数计算树中的高层节点向量，从而准确的预测句子的情感标签。