融合视觉特征的城市空间场景跨模态关联学习及其上下文语义模式发现

Oriented with diverse,multi-source,multi-scale,multi-granularity,multi-modal and multi-dimensional urban geographic big data,how to effectively make cross-modal association mining and semantic pattern discovery becomes the huge challenges of GIS theory and methods.Aiming at the semantic gap between the high and low level representation of urban spatial scenes and the modal gap among the multi-modal information objects,the project makes a formal description of the spatial structural feature of urban spatial scenes,the facade virtual feature of buildings in the panorama image and the social attribute feature of urban facilities using POI,builds multi-modal feature space,studies the multi-level adaptive association learning method of crossing multi-modal feature space,sets up global consistency thematic similarity metric model of urban spatial scenes,constructs urban geographic cultural associated graph and mines the urban senior abstract semantics,such as urban style,urban imagery and cityscape etc.The project belongs to the cross-over study of GIS and artificial intelligence,extending the existing semantic associated mining and pattern discovery,building absolutely new urban information associated mining pattern,and is expected to significantly increase the efficiency of the intelligent pattern mining in GIS.The study of the project will provide the models and methodological support for the great-leap-forward development of urban intelligent geographic cultural computing.

面向多样、多源、多尺度、多粒度、多模态、多维度的城市地理大数据，如何有效进行跨模态关联挖掘与语义模式发现成为GIS理论与方法面临的巨大挑战。针对城市空间场景高低层语义表达的“语义鸿沟”和多模态信息对象之间的“异构鸿沟”，本项目对城市空间场景的空间结构特征、全景图像中的建筑物立面视觉特征以及城市设施POI的社会属性特征等进行形式化描述，构建多模态特征空间；研究跨越不同模态特征空间的多层次自适应关联学习方法；建立全局一致性的城市空间场景语义主题相似性度量模型；构建城市地理文化视觉参考关联图与主题聚类模式，挖掘城市印象、风格、风貌等高级抽象语义。本项目属于GIS与人工智能的交叉研究，对现有语义关联挖掘与模式发现进行拓展和丰富，构建全新的城市空间信息关联挖掘模式，有望显著提高GIS智能模式挖掘的效能，其研究将为城市智能化地理文化计算的跨越式发展提供直接模型支持和方法支撑。

随着互联网技术、对地观测技术、传感器技术和移动计算技术的快速发展和迅速普及，积累了多样、多源、多尺度（粒度）、多模态、多维的含有大量丰富语义信息的城市地理大数据。而城市地理大数据挖掘分析领域对城市时空知识挖掘、城市空间的物理、社会结构理解等集中在空间模式分析上，侧重于城市群、城市、城市分区空间结构特性研究，对城市地理大数据中，尤其是城市街道全景图像和城市设施POI数据中的建筑物视觉与语义特征考虑不足，忽略了城市空间场景的全景图像中蕴含的“看不见”的空间邻域信息，缺乏将城市空间场景的空间结构特征与街道全景图像中建筑物的立面视觉特征、城市设施POI社会属性特征进行全方位语义关联分析的方法，导致现阶段利用城市地理大数据进行城市空间高级语义抽象与模式发现能力不足。本项目对城市空间场景的空间结构特征、全景图像中的建筑物立面视觉特征以及城市设施POI的社会属性特征等进行形式化描述，构建多模态特征空间；研究跨越不同模态特征空间的多层次自适应关联学习方法；建立全局一致性的城市空间场景语义主题相似性度量模型；构建城市地理文化视觉参考关联图与主题聚类模式，挖掘城市印象、风格、风貌等高级抽象语义。本项目属于GIS与人工智能的交叉研究，对现有语义关联挖掘与模式发现进行拓展和丰富，构建全新的城市空间信息关联挖掘模式，显著提高GIS智能模式挖掘的效能，其研究为城市智能化地理文化计算的跨越式发展提供直接模型支持和方法支撑，有助于进一步揭示人的空间认知在城市空间语义模式分析中的理论价值和科学意义，增强人对城市印象、风格、风貌等更高级语义的认知。