基于视觉动态认知特性的上下文视频语义捕捉

本课题目标是，通过对视觉注意、转移、竞争式联想等视觉动态特性的研究，推进对视觉认知机理的认识，通过对视觉语义基元合理性定义，寻求基于上下文语义基元的视频语义理解关联计算方法，探索异构数据和异构任务间的学习模式，发展半监督学习、主动学习和生成学习理论，创新出自主式视频语义挖掘计算方法、视频语义学习方法和语义表达方式，使语义计算过程贴近真实的视觉理解过程，使捕捉的语义更加本质、充分，且支持语义跨媒介形式的表达。该课题将获得对人类认知过程的更深了解, 也将是对现有视频语义理解研究的实质性推进。该课题对计算机视觉和认知科学发展具有重要的科学意义。

本项目从探索人类视觉动态认知特性出发，试图通过计算机视觉、心理学、神经科学的交叉研究，实现精确、全面的上下文视频语义捕捉。课题主要包含两方面研究内容：1）视觉动态认知特性研究，包括神经网络动力学仿真、视觉注意转移、选择性信息获取与注意建模，语义敏感的局部视觉表达等，探究如何把生理学、心理学等认知学科中的关于视觉动态认知特性的启发式理论和假说转化为高效、合理的可计算模型并在实际应用中进行合理验证；2）上下文视频语义捕捉，具体包括视觉语义概念的理解与建模、异构数据（图像与视频）学习传递、异构语义（身份、情感、动作）的提取、视觉数据语义相似性度量等问题。本项目的研究深入探索了基于上下文的视频语义理解、异构数据学习、语义挖掘计算等热点研究方向，获得了对人类认知过程的更深层的理解，同时实现了对现有视频语义理解研究的实质性推进。课题组的研究成果发表在相关的国际期刊和会议上，已发表（含接收）学术论文51篇，其中国际期刊14篇，国际会议37篇，分别被SCI/EI/ISTP检索12/41/10篇，申请发明专利2项，其中已授权1项。项目培养已毕业博士3人,已毕业硕士10人。其中，在读博士生孙晓帅获得“微软学者”奖，博士张盛平刚毕业就得到了“香江学者”人才计划的资助。邀请到多名国际知名学者来访，并有多名组内学生获得国际交流访问。