利用中层语义对视频场景进行地理位置标注与分割

In recent years, it becomes an emerging research topic that the geolocation obtained from the media content is provided to location-based services. Without the aid of geo tags, the computers automatically analyze video content and get geolocations by using the mid-level semantic meanings, which can help the non-geotag media content to identify geolocations and verify that the annotated geo-information is correct or not, as well as to visualize geographical data..The videos are regarded as the objects of study, and the information processing mechanism of human visual system are used for reference. The mapping between low-level visual features and mid-level semantic meanings will be built to generate the visual patterns that are representative, discriminative and limitedly invariant. They can effectively represent the mid-level semantic meanings. On the basis of the mid-level semantic meanings, the geolocations of videos will be labeled. The spatial information of videos will be used to build the spatial context model of the visual patterns in order to improve their distinctiveness and robustness. The temporal information of videos will be used to build the spatio-temporal context model to segment video scenes which are different from geolocations. To be extended to more applications, the geolocation labeling methods for single-location videos and multiple-location videos will also be included..Different from the traditional methods, there are no requirements for the equipment with additional hardware (e.g., GPS) and the post-data processing (e.g., user-contributed tags and comments). It will provide a new solution to geotagging technology and a new idea of multimedia semantical analysis.

近年来从媒体内容中获取地理位置信息，提供给基于位置服务的应用成为新热点。不借助地理标签，利用中层语义，计算机自动分析视频内容来获取地理位置信息，可以帮助无法借助地理标签的媒体内容识别其地理位置、验证已标注的地理位置是否准确、可视化地理数据等。.本项目以视频为研究对象，借鉴人视觉系统的信息处理机制，通过构建低层视觉特征的映射生成有代表性、区分性和有限不变性的视觉模式部件来有效表达中层语义，基于中层语义标注视频场景的地理位置。利用视频的空间关联信息，构建部件在空间上的关联模型以提高部件的区分性和鲁棒性；利用视频的时间关联信息，构建时空关联模型分割不同地理位置的视频场景。探索单地点视频和多地点视频两种类型的视频标注，以适用于更广泛的应用场景。.与传统方法不同，本项目对设备无额外的硬件（如GPS）或后期的数据处理（如人工注释）要求，为地理标注及媒体语义分析提供一个新途径。

近年来从媒体内容中获取地理位置信息，提供给基于位置服务的应用成为新热点。不借助地理标签，利用中层语义，计算机自动分析视频内容来获取地理位置信息，可以帮助无法借助地理标签的媒体内容识别其地理位置、验证已标注的地理位置是否准确、可视化地理数据等。. 本项目以视频为研究对象，借鉴人视觉系统的信息处理机制，通过构建低层视觉特征的映射生成有代表性、区分性和有限不变性的视觉模式部件来有效表达中层语义，基于中层语义标注视频场景的地理位置。利用视频的空间关联信息，构建部件在空间上的关联模型以提高部件的区分性和鲁棒性；利用视频的时间关联信息，构建时空关联模型分割不同地理位置的视频场景。探索单地点视频和多地点视频两种类型的视频标注，以适用于更广泛的应用场景。. 与传统方法不同，本项目对设备无额外的硬件（如GPS）或后期的数据处理（如人工注释）要求，为地理标注及媒体语义分析提供一个新途径。本项目的相关算法和理论已经在权威 SCI 期刊，计算机学会（CCF）评级的A，B，C类会议上公开发表研究成果，并申请了相关的专利和软件著作权。本项目资助发表的论文共计13篇，其中项目负责人以第一作者发表论文8 篇，通讯作者（硕士研究生一作）发表论文4篇，共计12篇（SCI 收录 4 篇， EI 收录 12篇）。其中项目负责人以第一作者/通讯作者在TOP期刊（中科院一区），计算机多媒体领域顶会（CCF A类）各发表论文1篇。在JCR 1 区期刊发表论文 4 篇，软件学报（权威期刊）发表论文 1 篇，CCF B 类会议发表论文 2 篇，CCF C类会议发表论文4篇。授权或申请知识产权共计5项，其中授权PCT专利 1 项，软件著作权1项。申请中国发明专利 3项。培养 7名硕士研究生，均已经顺利毕业，取得硕士学位。项目顺利实施，达到并超预期完成项目目标。