面向动态非结构环境的服务机器人视觉和听觉行为隐私自主感知研究

A social robot with cameras and audiomonitors would lead to the risk of privacy leak, to improve the safety of social robot needs to reduce the safety risk at the beginning of the data collection. Focus on the cognitive issue of behavior privacy for social robot vision and auditory in the dynamic nonstructural environment, this project will measure the degree of privacy by information entropy model. A privacy information real-time detection and insight method could be designed to train the vision and voice data and extract the features by building the training dataset, generative adversarial networks, and deep learning approach, multi-model conversion scheme would be proposed to adopt various sensors to monitor target objects through the detected privacy information. After that, the approximate equivalence model could be constructed to transform the privacy data into non-confidential data by the information theory and the generative adversarial networks, and integrated development and application test on prototype social robot which has the cognitive function of privacy would be ready and implemented. The research result will lay the foundation for developing the social robot which satisfies the psychological needs of users.

具有摄像头、语音监听设备的服务机器人存在泄露用户隐私的风险，提高服务机器人的安全性需要从数据源上降低安全风险。项目针对动态非结构环境中服务机器人视觉和听觉行为隐私自主感知问题，研究度量行为隐私信息的方法，构建表达隐私内容的信息熵模型。然后，结合生成式对抗模型建立行为隐私检测的训练数据集，运用深度学习方法构建面向视觉数据与语音数据的隐私内容检测与理解方法。针对系统所检测到的隐私信息，研究利用不同的传感设备协同监测目标对象的多模态工作机制。再利用信息论和生成式对抗网络，构建隐私信息向非隐私数据转化的近似等价模型。最后，进行具有行为隐私认知功能的原型服务机器人的集成开发与应用测试。项目相关的研究成果将为研究符合用户心理关爱需求的服务机器人产品奠定基础。

用于照顾老年人的智能家居系统，因其广泛使用摄像头、语音监听设备而存在隐私泄漏的风险，影响人的心理状态甚至会引起心理障碍。项目针对动态非结构环境中服务机器人视觉和听觉行为隐私自主感知问题，一是构建了由家庭隐私场景、饮食信息、脸部特征、情感隐私、人体隐私构成的5类涉及隐私的数据库。二是提出了基于卷积神经网络的服务机器人听觉隐私信息分类算法，设计了针对不同表达模式的语音数据处理方法，运用词性分析和依存句法分析提出了基于单人表达与多人对话的隐私信息感知推理算法，建立了原始隐私数据转化为非隐私数据的方法与保护机制。三是将视觉隐私抽象为概率性数值度量，建立了人体语义区域的三元联系数表示方法，构建了视觉图像人体隐私度量模型,提出了基于集对理论的视觉图片隐私度量方法；之后，设计融合DPM与R-FCN的神经网络结构，构建了基于神经网络的家居环境隐私情境检测方法和融合注意力模型的卷积神经网络场景识别算法。然后，设计基于归一化交叉相关的训练数据集生长机制,提出了基于改进Cycle-GAN的服务机器人视觉图片隐私保护方法，且基于生成式对抗网络提出了无监督的人脸隐私保护方法并从数学上证明了收敛性；之后，提出了基于Inception-v3和LSTM的涉隐私图像语义特征描述算法，实现了图像到文本的近似等价转换。四是建立了隐私信息向非隐私信息转化的信息映射应用服务接口，研制了具有检测、识别与保护功能的行为隐私认知原型服务机器人。.项目执行期间，发表高水平论文22篇,其中SCI/EI收录论文14篇（ESI高被引论文3篇、热点论文1篇），申请发明专利8项（已授权6项），获软件著作权登记2项，培养博士研究生4名（在读），硕士毕业10名，参加学术会议6次；学科竞赛获国家级银奖和三等奖各1次。成果突破了隐私检测及隐私保护技术,从数据源上降低安全风险提高服务机器人的安全性，对促进涉及视觉、听觉等涉隐私内容的服务机器人产业发展具有重要意义，将为研究符合用户心理关爱需求的服务机器人产品奠定基础。