基于射频信号图像化特征变换的并发连续行为识别和轨迹追踪技术研究

With the widespread deployment of wireless network infrastructure and the urgent needs of wireless network aware applications, it has become one of hotspots in the network field in recent years that RF signal backscattered based device-free human perception or trajectory tracking technologies. However, the state of arts focused in recognition of the individual behavior or track one by one, cannot be extended to multiperson space in real scene parallel continuous activity recognition and tracking. In this research, we leverage the intrinsic relationship between video signal sequence and RF signal sequence in the same time window opportunistically into online activity modeling and algorithm design. Moreover, the RF signal characteristics of multi-source video signal are transformed to the equivalent signal structures of the solution space, which reduces the interference on the individual behavior of concurrent continuous behavior recognition using the nonlinear RF array radar scattering logic structure. As a result, the existing public WiFi network and commodity wireless equipments have been constrained by the space-time and the number of activities, enables to gain accurate and real-time full coverage of the indoor mobile recognition of individual behavior, gestures (multiscale), to estimate the location and movement trajectory (reproducible), and does not depend on specific equipments and specific signals (easy deployment) and the special behavior of large-scale off-line learning modeling (low overhead).

无线网络基础设施的广泛部署和无线网络感知应用的迫切需求，使得基于射频信号反向散射的无设备人体行为感知或轨迹追踪技术成为近年来网络领域研究热点之一。然而，现有工作基本集中于对单个空间中单个个体行为或轨迹的逐一识别，无法扩展到真实场景中多人多空间并行连续行为识别和轨迹追踪。本研究利用同一时间窗口机会性获取的视频信号序列和射频信号序列之间的内在联系实现在线行为建模和算法设计，将射频信号特征转化为视频信号实现多源信号的等价解空间构造，并通过非线性射频散射阵控雷达逻辑构造降低并发连续行为对单个行为识别的干扰，使得现有公共WiFi网络和商用无线网络设备可以不受空间、时间、人数和行为约束，精确实时全覆盖的识别室内移动个体的行为、姿态、手势（多尺度），估计其所在位置和移动轨迹（可重现），同时不依赖特定设备和特定信号（易部署）和特定行为大规模离线学习建模（低开销）。

本课题利用同一时间窗口机会性获取的视频信号序列和射频信号序列之间的内在联系实现在线行为建模，将射频信号特征转化为视频信号实现多源信号的等价解空间构造，并通过非线性射频散射阵控雷达逻辑构造降低并发连续行为对单个行为识别的干扰，使得现有无线网络设备可以不受空间、时间、人数和行为约束，精确实时全覆盖的识别室内移动个体的行为、姿态、手势，估计其所在位置和移动轨迹。主要研究成果包括（1）提出了一个基于位置的CSI信号-行为特征转换模型，通过几何关系将用户运动产生的 CSI 特征与位置建立联系，可以将某一个位置运动所产生的 CSI 特征转换为另一个位置的 CSI 特征；（2）设计并实现了一个基于商用WiFi的多部位并发行为识别和评价方法，实现了对八段锦不同招式的识别和评估；（3）提出了一个机遇CSI子载波特征差分的人体移动和步态检测方法，保证缓慢行为识别的鲁棒性和可靠性；（4）设计并实现了一个跨尺度并发行为识别方法，解决了两种不同尺度行为的并行识别问题，并巧妙地利用高频微尺度活动与中尺度活动之间的相关性进行识别。在本项目的资助下，共发表SCI收录论文14篇、EI收录论文2篇，培养和正在培养博士生硕士生共19人，圆满完成全部研究任务。