面向聋儿言语康复的多模态人机交互模型及技术研究

Research on computational theory of advanced human-computer interaction is a key basic research planning of nation and Multimodal human-computer interaction is a focus and front branch in this area. Reality Morhpable model based 3D Face Synthesis is the key technology of Multimodal human-computer interaction. The Multimodal human-computer conversation model which proposed by the project concludes the modules of sound, motion, air flow, video, gesture and so on. The facial expressions and movement can be produced by computer, with the voice air flow and their feedback; the human pronunciation process can be simulated more realistically and comprehensive. Data-driven Morhpable model based 3D Face Synthesis is used to build Multimodal human-computer interaction model and interaction technology, the method is used to solve deaf children recovery without artificial intervention.The Morhpable model based 3D Face Synthesis is built. The information synchronization algorithm which merges visual and non-visual part is proposed to realize the true expression of reality sense. The Chinese voice driven database which faced to deaf children is built. The human-computer interaction model is built, the model is driven by data, and focus on Morhpable model based 3D Face Synthesis. The deaf children language recovery method and system which based on Multimodal human-computer interaction model is built. The application of the research in the project will make millions of families which are poverty by deaf children get rid of poverty, it will have great social benefit.

高级人机交互的计算理论研究是国家重点基础研究发展计划，多模态人机交互模型是该领域的研究热点和前沿，真实感三维人脸形变技术是其中的关键技术。本项目提出的特殊人机交互模型多模态包括声音、震动、气流、视频、手势等，通过计算机产生逼真的表情和面部动作，配合与之相对应的语音震动气流等反馈信息，可以更加逼真、全面地对人发音过程进行模拟。运用数据驱动的真实感三维人脸型变技术研究多模态人机交互模型及交互技术，用以解决非人工干预下聋儿自主言语康复训练难题。建立真实感三维人脸形变模型，建立可视与非可视相融合的信息同步算法，实现对真实感问题的真实表达；建立面向聋儿的真实感三维人脸型变汉语发音驱动数据库；建立数据驱动的真实感三维人脸形变模型为核心的聋儿同计算机的多模态人机交互模型；建立基于多模态人机交互模型的聋儿言语康复方法及系统。项目研究成果的应用将使中国百万由聋致贫家庭摆脱贫困，社会效益巨大。

高级人机交互的计算理论研究是国家重点基础研究发展计划，多模态人机交互模型是该领域的研究热点和前沿，本项目提出的特殊人机交互模型多模态包括声音、震动、气流、视频、手势等，通过关键技术突破解决百万聋儿自主言语康复难题。研发了基于3D头像的听障儿童言语康复训练系统软件等系列软硬件系统，申请面向言语康复的震动反馈系统及装置发明专利，该系统是一种融合三维虚拟言语导师模拟发音过程、声带震动模拟以及震动信息反馈的辅助听障儿童言语训练的康复系统。研究过程中提出了基于空间与曲率融合的点云精简算法、听障儿童言语康复中基于动态腭位的人舌模型驱动方法、基于短距离数据通信技术的便携式聋儿发音康复训练方法及系统框架、基于震动反馈系统的发音信号采集及处理方法、基于多传感器及计算流体力学的发声气息仿真系统、基于多传感器及计算流体力学的发声气息仿真方法，使听障儿童发现自己发声过程中存在的问题，加以改进，从而达到提高辅助听障儿童发音训练的目的。.同时，在多模态人机交互模型技术研究成果的基础上，提出一种舌机交互模型及装置， 听障人群生活辅助装置及听障生融合教育无障碍课堂软硬件设备等，用以解决听障人群生活中遇到的与声音信息反馈相关联的信息处理反馈装置。.项目相关成果基于多模态人机交互的听障儿童言语康复训练系统已授权发明专利，且已应用于吉林省聋儿康复中心，训练系统应用效果较好，能够显著提高聋儿言语康复效率。项目成果听障人群无障碍交流平台已获得软件著作权多项，成果解决听障-健听人之间交流障碍难题，对听障者无障碍就医、无障碍政务、无障碍教育有重要推动作用。项目成果听障融合教育无障碍课堂软硬件设备已授权专利及软件著作权，且已应用于教育部首批听障融合教育试点单位之一的长春大学，该成果应用对提高融合教育课堂中听障残疾学生对知识获取能力和理解力提升有显著效果。