基于图模型的动态立体场景检索研究

以立体视频为代表的新型多媒体数据的大量涌现，对多视角、高动态、大规模的动态立体场景数据检索提出了严峻的挑战。区别于图像、视频等信息，动态立体场景涉及更加复杂的时空关系及语义层次，本项目在深入分析其特点的基础上，选用复杂系统建模的有力工具- - 图模型对其进行表达与处理，以使得检索效率最优化。本项目重点研究多视角密集情况下基于图模型的动态立体场景检索问题，具体的研究内容包括：概率及物体骨架图模型动态立体场景特征提取方法研究，概率及物体骨架图模型动态立体场景相似性度量机制研究，混合状态图模型动态立体场景特征提取及度量机制研究等。在以上理论和关键技术研究的基础上，构建动态立体场景基于内容的检索系统框架。本项目具有前瞻性和挑战性，其研究成果可用于立体视频剪辑、模拟战场建模、微观世界科学研究等领域中。本研究在理论和关键技术上的突破对于探索新的复杂时空、海量数据相关问题具有重要的理论意义和实用价值。

本项目开展了基于图模型的动态立体场景检索研究，其主要研究目标是从静态立体场景检索机制开始，应用图模型理论寻找快速有效的立体场景描述符及场景匹配机制，进而将研究成果引入动态场景描述符构建及检索领域，最终建立动态立体环境基于图模型工具的检索框架。根据研究总体目标，本项目着重开展了以下问题研究，并取得了一定成果。现分别叙述如下：⑴ 研究了静态环境下立体场景基于图模型的描述符构建及场景比对机制。提出了基于贝叶斯网络的多视角立体目标描述符，该描述符鲁棒性强，对光照、变形、比例缩放等具有较强的抗干扰性。项目组已针对该描述符在瑞士苏黎世理工的ETH数据库及台湾大学立体目标标准数据库上进行了大量的测试实验，其结果充分论证了检索框架的有效性。⑵ 以静态场景检索成果为基础，进一步研究了动态场景描述符构建及动态场景匹配机制。提出了动态多视角视频环境下的图模型场景描述符。该描述符针对交通路口、校园场景等实际立体场景，通过架设多个摄像头进行画面捕获。在描述符构建及匹配环节，同时开展了针对多视角视频流进行快速目标定位、实时图像分割、多视角图像目标标定等问题的研究，提出了基于图模型的多种目标分割算法以及多种基于图模型的快速目标跟踪算法。⑶ 通过静态立体场景检索研究，积累了丰富的理论及实践基础，已经将相关场景描述符理论、时间序列匹配理论等多个成果应用于立体动态环境的多场景检索研究。通过多视角图像阵列的研究，提出了多视角基于主元素分析（PCA）融合的思想，已经将此成果应用于立体时空多时间序列的描述符构建中，如将理论成果应用于人体运动捕获数据的描述中，取得了较好的实验结果。⑷ 通过多视角大规模图像阵列数据的研究，积累了海量数据存储及处理的基本技巧，为海量、大规模、高动态的立体场景网络数据处理提供了很好的模型。针对检索过程中涉及的海量数据存储问题，项目组通过研究，确定了以主元素分析（PCA）及自组织神经网络（SOM）为基础的数据降维理论体系，将多视角采集的海量序列数据首先进行基于主元分析的降维处理，进而应用KD-tree及八叉树等数据结构进行存储，大大降低了数据的空间占用，有效提高了检索的效率。⑸ 研究了如何依据个人习惯及偏好进行多视角立体场景检索系统构建问题，并提出了依据个人偏好进行系统参数设置及系统框架构建的基本方法。通过对大量实验的统计分析，总结出一套依据个人习惯进行检索系统人机界面设计的方法。