基于图结构的数据表示和深度学习方法

Data presents graph structures in many artificial intelligence tasks, including image scene analysis, knowledge representation, natural language processing and proteomics. Graph-structured data not only represents information of distinct nodes, but also reflects their interactions that can be critical to high-level cognition. Most of traditional machine learning algorithms take vectors or matrices as inputs. To accommodate graph-structured data, they commonly require a preprocessing stage to transform graph-structured data into simpler vector representations. However, the information about the topological dependency of nodes may be lost during the preprocessing, which affects the final results unpredictably. In this project, we propose a series of representation models and deep learning approaches that directly deal with graph-structured data. The research will be conducted in the following three aspects. 1) Representation models for graph-structured data: we will build a representation model to accommodate both symbolic and distributed information of graph-structured data. 2) Deep learning algorithms based on graph-structured data: a number of deep neural networks taking graph-structured data as inputs, will be designed based on generalized deep information propagation. 3) Efficient processing approaches for large multi-scale graph-structured data: efficient processing approaches that is capable of extracting multi-scale information in a large graph efficiently. The developed models and approaches will be evaluated on cross-media and knowledge driven tasks, such as visual question answering, image captioning, and zero-shot learning.

图结构的数据出现在许多人工智能应用中，例如图像场景理解、知识表示、自然语言处理、计算化学等。该类型数据不仅表征了单个节点的信息，还反映了节点间的相互关系，而后者则往往是高层次智能认知所依赖的关键信息。大多数传统的机器学习算法以向量或矩阵为输入，为了适应图结构数据，这些算法大多需要首先通过预处理将图结构数据转换成到更简单的向量表示。然而在该预处理过程中，对象间的拓扑关联信息会丢失，并影响最终分析效果。在本项目中，面向图结构数据，我们提出：1）表示模型：能够同时兼容表达图结构数据中的确定性和模糊性信息。2）深度学习算法：基于推广的深度信息传播机制，设计一系列直接以图结构数据作为输入的深度神经网络。3）针对大规模多尺度图结构数据的高效处理方法：能够高效的从大规模图数据中提取多尺度信息。本项目所开发的算法将在一些跨媒体和知识驱动的人工智能任务上进行测试，包括视觉问答、图像字幕和零样本学习等。

图结构的数据不仅表征了单个节点的信息，还反映了节点间的相互关系，而后者则往往是高层次智能认知所依赖的关键信息。大多数传统的机器学习算法以向量或矩阵为输入，为了适应图结构数据，这些算法大多需要首先通过预处理将图结构数据转换成到更简单的向量表示。然而在该预处理过程中，对象间的拓扑关联信息会丢失，并影响最终分析效果。.. 本项目构建了一系列面向信息异质、关联复杂的图结构数据的表示、信息传播和深度学习模型与方法，包括：1）图结构数据表示模型：在微观（节点）和宏观（图）两个层次构建了兼容异质信息和复杂关联的图结构数据表示模型，为后续的信息传播与数据学习打下基础。2）信息传播机制及深度学习算法：构建异质信息传播、动态链接传播、双图交叉传播等多种信息传播机制，使之适用于更加复杂的图结构数据，在不增加计算时间和空间复杂度的条件下，提升深度学习算法的模型容量和信息抽取能力。3）大规模多尺度图结构数据学习模型：将面向信息异质和复杂关联图结构数据的表示、信息传播与深度学习算法与多层多头自注意力机制、对抗学习和强化学习进行结合，构造可应用于视觉推理、文本识别、关键点识别和图结构自动搜索任务的大规模多尺度图结构数据学习模型，并在多个公开测试基准上取得显著性能提升。.. 本项目所研究的图结构数据表征、学习和推理算法，能够更充分的表达复杂关联的图结构数据，并深入挖掘数据的内在关联与相互作用关系，从中提取更丰富的语义信息，并用于视觉感知和推理任务。为复杂图结构数据的处理、分析和学习贡献了有效的模型、工具和方法。.. 项目执行期内，基于本项目所研究的图结构数据模型，在CVPR 2020 TextVQA等4项公开人工智能评测中取得前三名。项目相关算法被主流计算机视觉算法库OpenMMLab和PaddlePaddle收录；相关成果在跨媒体广告文案生成、空间态势感知、无人机对地感知等领域得到应用。.