基于无线网络物理层信息的细粒度手势识别方法研究

Gesture recognition plays a crucial role in emerging human-machine interaction (HCI) applications, such as safety monitoring, medical assistance and virtual reality. Conventional methods rely on specialized hardware or constrained environments, leading to high cost and inconvenient usage. To this end, the widely deployed wireless networks provide potentials for gesture recognition, in the device-free manner. However, how to leverage the wireless signals to recognize micro-movement and enable continuous and scalable gesture recognition/tracking are challenging. Therefore, we will exploit the wireless physical layer information to address these issues. Specifically, we will first extract the key features of wireless signals and construct a fine-grained gesture recognition model. Second, we will apply big data techniques to design a novel error correcting mechanism to improve the accuracy of continuous gesture recognition. Third, we will analyze the impact of individual diversity on gesture recognition, and design transfer learning algorithms to reduce the overhead to train user-specific gesture models. Finally, we will build up a prototype to evaluate the performance in terms of accuracy, robustness and latency.

手势识别作为新一代人机交互的重要手段，在安全监控、医疗看护、虚拟现实等领域具有广阔应用前景。传统手势识别方法依赖于特殊硬件设备或限定环境，成本高昂且易用性不强。利用广泛覆盖的无线网络捕捉手势带来的信号变化，具有成本低、免携带设备的优势，已成为全新的研究思路。然而，无线网络信号自身受多径效应及噪声干扰，细微的手势变化容易被噪声淹没，难以区分相似的手势输入，也给连续性手势输入识别以及模型的通用性带来了严峻挑战。本课题拟采用无线网络物理层信息对细粒度手势识别方法展开研究。首先，利用物理层子载波丰富的维度信息，设计低复杂度的机器学习算法提取有效特征，构建细粒度手势识别模型。其次，利用大数据技术分析连续性手势特征，设计纠错机制避免因单个手势识别错误引发的误差扩散。第三，研究不同个体手势输入习惯差异性带来的影响，设计迁移学习算法以低成本训练个体手势模型，并搭建测试平台验证方法的准确性、鲁棒性。

随着物联网时代来临，无线手势识别技术成为联系物理世界和信息世界的重要纽带之一，更广泛的互联和更透彻的感知已成为必然趋势。本课题组针对细粒度手势输入对无线网络物理层信息的影响，深入分析连续性手势输入时识别率严重下降的原因，突破提升识别率及鲁棒性的若干关键技术。经过三年的工作，本课题取得的研究成果主要包括：（1）构建基于信道状态信息的细粒度手势识别模型；（2）提出了基于大数据分析的手势识别纠错优化机制；（3）针对手势输入习惯差异性，提出了基于在线元迁移学习的手势识别方法；（4）提出了基于游牧接入点的活动特征分析方法，解决了感知任务的空间位置多样性问题；及（5）提出了基于联邦学习框架的位置感知模型，能够在保证隐私安全的前提下解决用户多样性问题。.在量化考核指标完成方面，本课题的设定的量化考核指标为：发表高水平学术论文5篇或以上，其中主要国际期刊和会议文章不少于2篇；形成国内发明专利1-2项。本课题超额完成考核指标，发表学术论文12篇，包括IEEE ICDCS、IEEE ICCCN、IEEE MSN等9 篇；发表期刊论文 3 篇，包括IEEE TVT 1篇，IEEE TKDE 1 篇，IEEE Access 1篇；已申请中国发明专利 6项（1 项获授权）、已授权美国专利 1 项，国际会议 GPC 最佳论文奖 1 项。在国内外学术合作方面，本课题组负责人受邀担任两个国际学术期刊的编委，包括《Connection Science》及《Frontiers of Computer Science》。本课题负责人参与多个国际学术会议的组织工作，如担任MSN 2019宣传主席、BCTS/2018/2019 Program Co-chair。本课题负责人受邀担任多个学术会议的组委会委员。.总之，本项目的开展，提升了无线手势方法的识别率与鲁棒性，实现了高精度、低成本、可扩展的手势识别系统，具有良好的用户友好性和易于终端用户学习的特点，为智慧医疗、智能家居、儿童教育等众多物联网的人机交互应用提供理论支撑和技术支持。