基于惯性传感器信号路径特征变换的空中书写交互识别新方法研究

With the development of wearable computing and ubiquitous computing, inertial sensor based air-writing, as a novel and natural HCI, is becoming a new research hotspot. But, because of the unintuitive sensor signals, the lack of visual or haptic feedbacks, and the diversity of writing style, this research is quite challenging. Thus, in this project, based on stochastic analysis, intelligent signal processing, deep learning, and inertial sensor theory, we study the key issues of air-writing recognition and propose some effective algorithms to achieve the purpose of improving the recognition performance and promoting the practical application. The main content includes: Path signature transform for inertial sensor signals based on path signature theory; Deep residual learning and connectionist temporal classification based air-writing recognition; Using the strategy of Wasserstein GAN and the physical and temporal characteristics of inertial sensor, the research for temporal signal generation is conducted. On this basis, an interactive prototype system for air-writing will be completed for the purpose of promoting the practical HCI application in wearable computing and ubiquitous computing.

基于惯性传感器的空中书写作为一种新颖的、自然的人机交互方式，随着可穿戴计算和普适计算的兴起日益成为一个新兴的研究热点。然而，由于惯性传感器信号的抽象性、空中书写过程的无反馈性（既无视觉反馈也无触觉反馈）以及用户书写风格的差异性，给这一研究带来艰难的挑战。本项目基于随机分析方法、智能信号处理方法、深度学习理论以及惯性传感器理论，研究空中书写识别中的关键问题，提出和实现有效的算法，以达到提高识别性能、推动实际交互应用的目的。主要研究基于路径特征理论的惯性传感器信号路径特征变换；利用深度残差学习和动态连接时序分类方法实现空中书写序列识别；基于Wasserstein生成对抗网络策略，结合惯性传感器信号的物理特点和时序特性，研究时序信号生成方法。在此基础上完成一个空中书写交互原型系统，最终促进惯性传感器空中书写识别技术在可穿戴计算和普适计算中的人机交互输入应用。

基于惯性传感器的空中书写作为一种新颖的、自然的人机交互方式，随着可穿戴计算和普适计算的兴起日益成为一个新兴的研究热点。面对由于惯性传感器信号的抽象性、空中书写过程的无反馈性（既无视觉反馈也无触觉反馈）以及用户书写风格的差异性，给这一研究带来的艰难挑战。本项目基于深度学习以及惯性传感器理论，研究空中书写识别中的关键问题，主要包括：1）研究基于路径特征理论的惯性传感器信号调制路径重积分融合特征表达（MPS），解决了空中书写的惯性信号的深层次特征描述问题；2）利用深度残差学习、动态连接时序分类方法、注意力机制实现空中书写序列识别。在单字符识别问题上，结合MPS和双流CNN网络的方法在公开数据集上取得了优秀的识别性能。在单词识别问题上，利用我们提出的基于CTC和注意力机制的方法在公开数据集上的单词识别率分别达到96.9%和97.6%；3）基于生成对抗学习策略和域迁移学习，并结合惯性传感器信号的物理特点和时序特性，研究时序信号样本生成方法。本项目提出了空中书写轨迹可视化的新思路，将书写轨迹恢复问题转化为基于对抗学习和迁移学习方法的不同域迁移问题。利用该方法解决稀少数据样本的生成问题。此外，还提出了一种基于对抗学习的空中手写单词合成方法。该方法可以无限量地合成逼真的空中手写单词样本，大幅度提升空中手写单词识别模型的泛化性能。