基于多媒体传感器网络的建筑灾难现场三维全景实时重建关键问题研究

To solve the technical problems in the information acquisition for disaster sites, we propose a new method for three-dimensional (3-D) panoramas reconstruction of disaster sites based on wireless multimedia sensor networks (WMSN) and image processing. By considering the demands of fault-tolerance, robustness and real time processing, we focus on the key issues of information processing and communication, and propose the WMSN communication fault-tolerant guarantee mechanism for dynamic topological structure and event-driven cooperated effective sensing method of multiple networked nodes, and try to break the bottleneck of the development of network communication and information fusion techniques. The 3-D panoramas real-time reconstruction is divided into two parts: static background reconstruction based on the fusion of multiple-views visual information and building structure model, and real-time object detection and recognition based on the robust features of human body morphology and motion pattern. The integration of the two parts is also studied for realizing the real time reconstruction of the dynamic scenes of building disaster. Besides, we construct a experimental platform for the visual simulation and physical test, which can be used to verify the proposed methods and the research conclusions. The aim of the project is to break the bottleneck of disaster sites information acquisition techniques, and provide a new approach to the research of WMSN and disaster rescue.

针对灾难现场信息采集存在的技术难题，提出将新兴的无线多媒体传感器网络与图像处理技术有机结合的灾难现场三维全景实时重建解决方案。为满足灾难现场信息获取对网络容错性、准确性及实时性要求，对灾难现场传感信息处理与通信关键性理论与技术问题进行研究，提出面向动态拓扑结构的多媒体传感器网络通信容错保障机制和基于事件驱动的网络多节点协同高效感知方法，解决网络通讯与信息融合的瓶颈性难题。将三维全景实时重建分解为静态背景重建与人体目标建模，提出基于多目视觉信息与建筑空间模型的静态场景重建方法与基于人体形态与运动模式鲁棒特征的目标实时检测识别算法，研究基于虚拟现实技术的静态背景模型与动态人体模型的融合方法，实现灾难现场动态场景三维全景实时重建。研究开发仿真与物理实验平台，验证方案的先进性和有效性。项目的目标是实现灾难现场信息采集理论与技术新突破，为无线多媒体传感器网络和灾难救援领域提供新的研究思路和关键技术。

针对灾难救援缺少准确可靠的信息感知技术这一瓶颈性难题，本项目以灾难现场三维全景实时重建为目标为研究目标，基于感知信息维度丰富、对环境认知能力更强的无线多媒体传感器网络开展了一系列理论研究与实验验证。首先，面向灾难信息获取对网络容错性、准确性及实时性的要求，构建了非线性网络效能最大化（NUM）模型，提炼出网络全局优化目标函数，基于拓扑学和非线性规划理论对非线性效能约束模型进行了转化和分布式分解。其次，为了实现WMSN对灾难现场的有效信息感知，构建了多媒体传感器网络的三维感知模型，进而提出了网络三维优化部署与动态调度机制。在多媒体网络信息感知与信息交互机制研究的基础上，进一步对灾难现场三维重建和人体目标的定位进行研究。为了实现对人体目标的定位与识别，提出了卓有成效的基于多媒体传感器网络的视距/非视距目标定位算法。此外，项目组还构建了仿真实验平台和测试实验系统，对项目各项研究的科学性和有效性进行了充分验证。项目研究所取得的成果为实现灾难现场认知水平整体提升和多媒体传感器网络实用性技术转化提供了新的思路，具有一定的学术价值与应用前景。在研究过程中，项目组成员发表SCI/EI检索论文55篇、申请并公开发明专利6项，在人才培养和学术交流方面也取得了一定的成绩，圆满完成了本项目的预期目标。