面向增强现实的虚拟化身行为建模关键技术研究

虚拟化身行为建模是对具有智慧的人类活动的模拟,而增强现实技术是指将虚拟景物融入真实世界，强调与真实世界的联系。本项目旨在研究视频式增强现实环境中,虚拟化身与真实视频场景的自然交互融合的关键问题，研究内容主要包括：动态视频场景中可达区域的重建、基于视觉跟踪的动态行为感知、虚拟化身与真实世界的行为交互与规划。本项目研究静态、半动态、动态景物并存环境中，对摄像机、视频式头盔等多视点自由拍摄视频进行分析，研究场景可达区域的几何结构与具有语义的地图离线重建，以及地图的在线更新及维护技术；采用计算机视觉与机器学习的理论与方法，研究在线动态多目标的三维实时跟踪定位，以及群组行为的分析、建模与学习，并用于研究虚拟化身的自然行为建模与模拟，产生逼真的虚实间的交互和避让行为；将虚拟化身实时融入在线实拍视频，在外观上与周围环境融洽，并使虚拟化身、机器人、真实人和谐共处同一视频空间。

本项目旨在研究虚拟化身与真实世界的无缝实时融合问题。其最大挑战在于准确感知场景中的动态物体和角色动态，使得虚拟化身能针对真实世界的变化，做出符合社会规范的响应。为此，我们在真实场景的动态感知方面进行了深入的研究工作，在动态目标的二维及三维跟踪、基于Kinect的深度图像增强、基于Kinect的动作识别、基于视频的跨时空融合等有重要研究进展；在光照环境实时参数估计以及动态前景的实时遮挡处理等方面也取得进展。.. 由于Kinect场景建模技术的进步，场景的动态地图构建更多地归结为动态物体的探测，从而产生虚拟化身甚至机器人的避让行为，因此我们更多地从目标跟踪和自然交互的角度展开研究，以适应新的学科发展动向。动态目标跟踪是为了感知真实场景中物体或者角色的运动，二维跟踪借助静态三维模型确定对象的三维位置，而三维跟踪则能够直接确定其空间位置和姿态，从而实现虚拟化身的行为规划。基于Kinect的深度图像增强是为了提供动态场景的清晰深度图，从而自动产生增强现实中高精度遮挡处理效果，也为场景的重建奠定基础。增强现实环境是一个直观的交互环境，因此动作的语义识别非常重要，以自然驱动虚拟物体或角色的运动。跨时空的视频融合也是增强现实技术的核心内容，产生由不同时空采集或生成影像的融合景象。.. 在研究过程中，提出了一系列的新方法和新技术。在目标跟踪方面，提出了一个基于稀疏编码的目标跟踪新框架，使得目标跟踪可以在一个连续的空间中搜索，从而提高了目标的精确性，并具备良好的可扩展性。在基于Kinect的深度图修复方面，提出了一个基于置信度图的方法，利用颜色图的高分辨率来补足深度图的清晰度和局部缺失，并通过随机森林方法训练深度图的深度置信度。在基于Kinect的动作识别方面，提出了对单一动作序列的与动动快慢无关的识别方法，并进一步实现了对重复动作的高精度实时识别。在光照识别方面，我们发现并证明了室外静态场景中天空光与太阳光的基图像理论，并给出了基图像的物理解释和自动求解方法。基于上述研究成果，构建了一个在线运行的增强现实环境，实现了增强现实环境中虚拟化身的交互运动驱动，并高度逼真地与现实融为一体。.. 本项目已经培养了5名博士和9名硕士；发表了18篇论文并有一项专利，其中有10篇SCI索引的著名国际期刊论文，包括IEEE TIP和ACM TOG等3篇顶级期刊论文。