大规模有向网络的拉普拉斯嵌入、聚类和半监督学习

Many real world problems could be modeled by large-scale networks, while a large number of real-life network models are usually directed (each link has a clear direction; connections are asymmetric, etc). For example, social networks, biological networks and semantic networks. One important network research area is machine learning: low-dimensional embedding, clustering and semi-supervised learning. But most of the existing machine researches are aimed at undirected networks or graphs. Thus it is important and timely to study machine learning problems on directed graphs, so as to capture the essence of directed links, and increase the accuracy of the problem description.

现实世界中很多需要解决的问题都可用大规模网络模型进行描述，这些网络模型通常都是有向的（链接是有方向的，不对称的），如社会网络、 生物网络，语义网等。 网络研究的一个重要方向是机器学习，如低维嵌入，聚类和半监督学习。 然而目前的机器学习研究大多是针对无向网络模型的，对有向网络模型的机器学习研究很少。如何对有向网络进行 低维嵌入，聚类和半监督学习可以提高问题描述的精度，从而更好地解决这些存在不对称信息交互的问题。本项目提出面向大规模有向网络的机器学习框架及快速算法，重点研究有向图的拉普拉斯平滑嵌入问题，进而研究有向图的半监督学习和聚类，并将所提出的有向网络机器学习方法应用于社会网络模型的分析。

此项目的主要研究内容是机器学习中的有向图的平滑拉普拉斯嵌入，低维嵌入，稀疏编码和图像识别中的应用。我们做了几项重要研究进展：. (a) 在有向图的平滑拉普拉斯嵌入课题方向，我们发现一种无向图的平滑嵌入等价于无向图的（标准的）拉普拉斯嵌入。而这种平滑嵌入可以很简单地推广到有向图上。因此，有向图的拉普拉斯嵌入得到圆满解决。. (b) 张量分解广泛应用于多指标高维度数据（列如图像数据库）表示，重建和学习。与主成分分析模型相比，张量模型保留了图像的二维特性，更真实。我们成功的将拉普拉斯嵌入引入到张量分解中。这些成果扩大了拉普拉斯嵌入的原因范围和理论基础。. (c) 我们发现和清楚地展示了 L1范式和L21范式鲁棒误差函数的鲁棒性的本质来源于异常数据（outlier)的正则化（regularization)。这给L1鲁棒误差函数奠定了一个坚实的理论基础。. (d) 我们显示和证明局部线性嵌入LLE具有天然的鲁棒性，并提出了LLE引导的PCA模型，推导出模型的封闭式的解。这扩大了局部线性嵌入的应用范围。. (e) 在稀疏编码领域，一般是需要用L1 或L21 约束来得到 稀疏解；但我们发现双随机（doubly stochastic) 约束也可以得到稀疏解， 并成功地应用到图像匹配问题。. (f) 在线教育系统中一个重要方向就是预测学生在未来考试中的表现(如分数)。我们提出了一种新的增强递归神经网络，在真实数据上的大量实验清楚地显示了在了我们的深度学习框架的有效性。.我们已发表14篇论文，其中，国际顶级会议 3 篇 (CCF A类)，国际知名期刊 SCI 一区 3篇, SCI 二区 5篇。.在人才培养方面，目前我们已培养硕士生8人，博士生4人.