面向视频语义描述与交互的草图界面关键技术研究

随着视频资源的急剧增加，如何有效地利用视频信息具有巨大的应用价值。 视频高层语义难以提取以及现有的视频交互方式单一、组织繁杂是影响视频应用发展的一个瓶颈问题。本项目拟在基于草图的视频语义描述方法及支持视频浏览与组织的草图界面方面展开研究，主要包括：基于认知理论分析草图和视频信息感知的认知机理，研究基于视觉选择注意机制的认知模型，为基于草图的视频描述与交互提供理论指导；研究基于草图的视频语义描述方法，提出一种草图故事图的生成方法和布局优化技术；研究支持视频浏览与组织的草图用户界面技术，给出基于场景结构图的视频构建方法；最后给出面向视频交互的草图界面原型系统和评估验证。以上关键技术的研究成果将打破传统交互模式给用户处理视频带来的限制，减轻了用户的认知负荷。从一个新的角度探索视频的高层语义描述和交互问题，利用草图和草图界面技术作为一个中间桥梁来重新描述和组织视频，从而提高整体交互效率。

软硬件技术的发展使视频数据在近几年呈现出爆炸式的增长，在人们的日常生活中占据越来越重要的地位。因此，用户对视频信息的呈现、编辑、浏览和检索等需求也越来越突出。然而，与视频应用如此巨大的增幅相对的则是人与视频间的交互方式并没有随之发生根本性的转变，现有的视频交互方法已严重制约着它的进一步发展。如何帮助用户用较少的时间对视频媒体所展现的信息进行有效认知，分析视频内容进而支持视频媒体的高效交互，是当前视频领域研究的热点和难点问题。本项目针对影响视频应用进一步发展的交互瓶颈问题，围绕视频媒体的语义描述方法和增强用户在视频编辑过程中的交互式参与体验等技术进行研究，借助草图及草图界面技术实现对视频间及视频内容间普遍存在联系的描述和交互，探索新的视频语义描述方法、可视化技术和交互技术，从而帮助用户有效提取、利用视频信息和表达设计意图，降低用户的认知负担，推动视频信息的有效应用和广泛发展。.本课题主要取得了以下创新性成果：提出了面向视频内容表征的草图认知模型，优化了视频内容时空信息的草图表示；研究并提出了一种多尺度视频表示与浏览方法，提供不同层次不同粒度的内容表达；提出了一种基于草图的视频摘要生成和布局优化方法，设计和实现了基于场景结构图的交互式视频构建技术，从不同的层次上给出视频语义的描述，主要包括两层：草图层以语义草图形式支持视频的编辑，使得用户从整体上把握视频的组织结构，抽象图以顶点和边构成的图结构来给出草图所代表的不同视频段之间的关联关系；研究并提出了一种sketch graph 方法描述视频内容的组织结构，支持基于草图相似性匹配以及上下文场景感知的草图搜索与内容推荐，实现了面向视频内容的高效组织方法；构建了面向视频内容可视分析的原型系统，分析了运动目标的三维轨迹，实现了关联关系的呈现与交互，辅助用户决策。 课题研究成果打破了视频交互方式的单一给用户带来的限制，基于草图技术从一个新的角度探索了视频交互领域中关键问题的解决方案，研究成果为新一代自然用户界面和视频内容的可视分析研究提供了有力的理论基础和方法支持。