视觉语义的Web统计模型及理解深化

Considering the limited research and applications of Web knowledge, we propose Web-Oriented visual computing theory to direct exploration of the scientific problems in visual semantic computing research. This project starts with the origin of Web knowledge, and explores the distribution characteristics of Web visual media, trying to construct a theoretical framework for fundamental representation, independent space probability estimation and generic visual semantic computing, to reveal the creation, connection and propagation patterns of Web semantics. By exploring the distribution patterns in the feature space of visual media, and integrating such patterns with the context of semantic entities and related hypotheses of human cognition, we could gradually build the theoretical foundation of Web knowledge mining and also construct a more generic computational sematic model, and finally achieve the goal of Web knowledge extraction from Big Data. The research of this project would also make a series of technical breakthroughs such as Web-based semantic localization and co-segmentation, image re-ranking, image completion and super-resolution etc. The final achievement of this project will be a unified system of Web driven visual computing theories and techniques including Web-based visual knowledge mining, intelligent visual information analysis and processing etc., leading to deep understanding and wide applications for visual semantic computing of the Web.

针对目前对Web知识利用的局限性，建立一套基于Web知识的视觉计算学理论，指引探索和解决大数据背景下视觉语义计算中存在的科学问题。本项目将从Web知识的起源出发，对Web视觉媒体数据的统计分布特性展开探索，建立面向大规模统计分析的视觉媒体特征表达、独立空间概率密度估计和语义计算的基础理论框架，揭示Web媒体数据中视觉语义的形成、关联和传播原理，探索Web视觉媒体在语义特征空间的分布规律，将数据自身的分布特点、语义实体的上下文关系以及人类认知的相关启发式假设有机结合起来，逐步构建基于Web数据的视觉语义挖掘理论以及语义的广义计算模型，实现大数据背景下带有语义约束的Web视觉知识抓取，进而突破基于Web的视觉语义的定位和协同分割、图像补充及超分辨率、图像检索重排等关键技术，建立一套Web视觉语义挖掘及智能化视觉信息分析和处理的视觉计算学理论与技术体系，实现Web视觉语义计算的深化理解和应用。

本项目针对大规模Web视觉媒体数据的语义理解的重要需求，利用Web数据中的语义先验知识，建立了Web多模态视觉媒体数据的分布预测及深度解析理论与方法，实现了Web数据理解中的图像情感感知预测、图像语义检索、视频目标跟踪和动作识别等多种十分重要的任务，为解决传统视觉应用问题提供了大规模、自动化的解决方案。本项目有以下两个方面的贡献：1）在Web图片媒体数据的统计分布及深度感知方面，提出了基于迭代多任务超图学习和多任务共享稀疏回归的社交图像情感感知和分布预测方法、基于多任务学习和多模态图学习的Web数据分类及检索方法、基于卷积神经网络和特征金字塔的图像语义匹配方法。2）在Web视频媒体数据的语义理解及自动挖掘方面，提出了基于核相关滤波器和生物启发表观模型等视觉目标跟踪的方法；定义了视频的舞蹈风格问题，并首次提出了基于风格的舞蹈视频推荐算法；面向视频数据中的动作理解和评价问题，提出了基于草图的动作表示方法、基于代表性动作挖掘的视频角色识别方法和基于姿态估计和对齐的动作评价方法。通过大量的理论分析和实践验证，揭示了Web数据统计分布的一般规律，并从理论、应用两个层面证明了Web知识的存在性和可用性，同时基于若干实际应用问题给出了对Web知识进行挖掘利用的具体方案，证明了Web知识的应用价值。课题组的研究成果均已发表在重要国际期刊和会议上，发表（含接收）学术论文72篇，其中国际期刊文章33篇，影响因子大于2.0的国际期刊20篇（IEEE/ACM Transactions 6篇，PR 等其他期刊文章14篇）；国际会议文章39篇，其中发表在CCF A 类的会议论文8篇；申请专利2项。项目已培养毕业博士8人，硕士6人。其中1人获得中国图象图形学学会优秀博士学位论文奖，该获奖论文题目为《图像情感感知的计算与应用研究》。获黑龙江省高校科学技术奖一等奖1 项，黑龙江省科学技术奖（自然）二等奖1项。组内老师和学生多次参加CVPR、AAAI、MM等顶级国际会议，出版了IEEE Transactions on CSVT 专刊，扩大了Web媒体数据理解相关理论和方法的国际影响力。