基于原型化深度认知模型的服务机器人室内场所理解与应用研究

With the social development, patterns of many places become more complex in interior environment, and users have stricter request to the human-analogy of robot’s place understanding behavior, which includes high recognition rate, place meaning understanding, place area knowing and interactive capability. Then, the limitations of traditional classification methods stand out. Facing these new challenges, some novel environment representations (models) and corresponding learning methods are needed urgently in place understanding research area. Using BICA (Biologically Inspired Cognitive Architecture) research paradigm for reference, this project application presents a prototyped deep cognitive model, which is proposed from the qualitative imitation view about the cognitive structure and function of natural brain. This model establishes an exact semantic contact between abstract symbol and sensor data representation, builds an interactive internal structure of place concept, and identifies the three-dimensional space area of place object. Therefore, the place understanding process of robot can be compatible with human being’s. Corresponding layer-by-layer learning methods will be studied, and two kinds of learning methods are intended to give out. One is the denoising codebook learning method of sparse code based on K-SVD, the other is the semantic component learning method based on deep representation combination. The real-time implementation and application problem of place understanding function will be studied, and a real-time GPU parallel computing scheme which depends on the coordination between off-line data separating process and simplified calculation technology will be proposed. The place understanding function is planned to be used in typical robot tasks (e.g. Active Vision Search and etc.). This application will make robot’s place understanding behavior more human-like; moreover, the understanding content will be effective, comprehensive and robust.

随着社会发展，室内场所的形态变得更加复杂，而用户对机器人场所理解行为的类人性诉求越发严苛，要求它们识别准、懂内涵、知范围、可交互等，传统场所分类方法的局限性突显。面对新挑战，场所理解研究领域急需某种新的环境表达（模型）及相应学习方法。本申请借鉴BICA（生物学启发的认知结构）研究范式，从定性模拟自然人脑的认知结构和认知功能角度出发，提出原型化深度认知模型，在抽象符号表达与传感器数据表达间建立准确的语义联系，形成可交互的概念结构，并界定场所对象的三维空间范围，使机器人对环境的理解相容于人类自然认知。研究相应的逐层学习方法，拟给出基于K-SVD的稀疏编码降噪码书学习方法和基于组合深度表达的语义要件学习方法。研究场所理解功能的实时实现与应用问题，拟提出一种离线数据分离处理与简化计算技术相配合的实时GPU并行计算方案，并将其用于典型机器人任务，如主动视觉搜索等。

机器人场所理解研究作为近期的一个研究热点，不仅能够为人机交互带来好处，也有助于机器人产生合理的社会行为，甚至有助于解决机器人领域的传统问题。本研究梳理了近年机器人室内场所感知与理解的相关工作，分析了当前主要研究范式、思路和问题，对可能的研究方向进行了展望，为目前或未来从事本领域研究的人员提供参考。然后，主要从两个角度开展研究工作。一、从模拟脑区对三维场景几何的响应角度解决场所分类问题，提出带主方向的三维原型化积木块描述结合稀疏随机森林学习器的方法。该方法属于一种纯3D方法。3D IKEA和NYU2两种不同规模数据库上的验证结果表明，所提出方法的效果显著优于现有纯3D几何方法和3D/2D信息组合方法，具有较高识别率。二、在深度学习框架下，研究融合不同线索实现场所理解的方法，提出一种融合物品、场所原型信度和环境全局特征的场所识别方法。Places和Indoor67数据集分别用于训练和测试，测试结果表明所提出方法相较于纯深度学习分类算法在识别准确度上至少提升18%。此外，本研究还对交互式环境理解任务中扮演重要角色的动态对象的感知与分析问题进行了研究和应用，涉及的动态对象包括三维头姿、手势、指尖和指示线，它们为相关任务提供交互指令和指示识别线索。相关工作为实现自然人机协作式场所理解奠定了基础。最后，以机器人环境感知为核心，设计并实现了一种机器人环境理解与人机交互综合应用系统。该系统能够在真实环境下运行，在语义层面实现了环境理解、交互、建图和导航功能。本课题获得的有益结论，将在未来应用于需要环境语义理解功能的智能设备，如：智能机器人、智能手杖、智能穿戴设备等，为智能设备自身或有视觉障碍的人员提供环境认知支持。