对话交互的动态场景内容认知及规划理论和方法研究

The ultimate goal of human-machine interaction is to make human-machine interaction process as natural and convenient as human interaction, which requires computers to be familiar with the environment and learn the knowledge of environment in interaction. Humans have the ability to learn new things from a small amount of dialogue and interaction. However, because of the preset interaction mode, the computer system is difficult to cope with the dynamic changes of the scene. This project is to establish an intelligent mobile learning platform scene from dialogue interaction in knowledge and ability as the starting point, drawing on the knowledge of scientific discovery learning cognition and brain sciences, from speech, vision, explore the incremental range of different channel information and feature representation and incremental learning theory; explore effective method to study the temporal information growth association with the growth of spatial information; establish scene content change model of cognition and dynamic scene planning man-machine dialogue management; Finally, based on the above theory and method, we aim to build an intelligent mobile platform with interactive learning ability of dynamic scene perception and planning, which makes the scene content, scene content changes scene and path planning become the man-machine dialogue interactive content. The related methods and technologies of this project can be widely applied in the fields of intelligent shopping guide service platform, family service robot, disabled auxiliary robot and so on, which has great social significance and economic value. In addition, the work of this project is realized as part of the mechanism of cognitive science and brain science in the interactive learning mechanism of human beings. It also provides a good verification platform for further verification of new scientific discoveries in cognitive science and brain science in this field.

人机交互的最终目标是人机交互过程和人人交互一样自然方便，这需要计算机具有在交互过程中熟悉环境并学习环境知识的本领。人类具有从少量对话和交互中学习新事物的能力，然而目前的人机交互技术因为交互模式预先设定，计算机难以应对场景的动态变化。本项目以构建具有对话交互学习能力的移动平台为目标和出发点，借鉴人类认知机制中关于知识学习的科学发现，探索言语、视觉、方位等多通道信息的增量/增长学习理论，研究时序/空间信息增长的有效关联方法，建立支持认知场景内容变化的人机对话管理模型，最后搭建家居或办公室环境下的具有交互学习能力的动态场景内容认知和规划的移动平台，使场景内容、场景内容变化及路径规划成为可交互的人机对话内容。本项目方法与技术可广泛应用于智能导购服务平台、家庭服务/残疾辅助机器人等领域，具有重大的社会意义和经济价值。另外，本项目工作也可为验证认知科学在人类学习机制上的科学发现提供良好的验证平台。

为了使智能体具有在交互过程中熟悉环境并在与人的交互中学习环境知识的能力，一个重要的任务是通过人机交互使场景内容、内容变化及场景中路径规划成为可交互的人机对话内容。本项目仅仅围绕本目标开展研究，执行时间为4年(2019年1月到2022年12月)，项目工作分为三部分内容：(1)多通道信息的增量表示、度量分析及动态关联；(2)基于对话信息的场景认知、标注及规划；(3)支持场景内容动变化的交互学习。最后基于上述内容，建立动态场景认知的交互学习移动平台。在第一个研究点上，项目组探索了面向动态室内场景的多传感器融合方法，以及动态变化场景的新型地图和回环检测模型。与传统的2D的GMapping，CartGraph等SLAM方法不同，具有融合图像和深度信息的作用，同时与3D的ORB_SLAM不同，本项目方法在定位和回环检测上具有精度相同，但定位时间更快的优点，这对于推进室内服务机器人多通道信息融合具有促进作用。在第二个研究点上，项目组提出了二维空间运动轨迹到时序的长时程关联和恢复模型，可以从少量标注信息中学习和恢复出符合人类认知机理的动态轨迹，这对于验证如长时程增强作用机制和长时程抑制机制在人类记忆中的作用等具有重要价值。在第三个研究点上，项目组提出了面向交互学习的小样本物体感知认知方法，以及基于交互引导的动态场景内容理解模型。最后，基于上述方法和技术，项目与中科院发育合作，构建了项目组搭建的面向温室番茄花朵的自主无人授粉机器人平台。相关工作除在Pattern Recognition, Sensors、ICASSP、ICONIP、软件学报等国内外重要期刊和会议上共发表论文10余篇，目前在审国际期刊论文2篇：1篇IEEE Transactions on Instrumentation & Measurement(Minor Revision)，1篇IEEE Robotics and Automation Letters，获得2020年中国人工智能学会-华为MindSpore学术基金奖励，在2019年第七届中国计算机学会大数据学术会议分会上以及在2019年全国“智能康复及人机工程”分会上做了特邀报告，提交国家发明专利4项，获得授权4项。项目相关研究成果技术转化了给如中电54所、华为等企事业单位。