人类面部情绪的多维度智能识别及其心理学应用

Artificial intelligence beats human being in many cognitive capacities, but it is still significantly disadvantaged by its lack of the most nuanced feature of being human: Emotions. This disadvantage prevents AI-powered machines to establish meaningful bonds and trusting relationships with human being. This project aims to advance artificial intelligence to not only think like humans, but also to feel like humans. We plan to develop an AI-powered system to identify human emotions through facial images. For this purpose, we will integrate information from three dimensions of human face: muscular movement imaging, thermal imaging, and blood flow imaging. We plan to use neural signal to further train the AI-powered system to identify emotions precisely and accurately. Furthermore, we plan to apply this technology to public safety management to alert and assist decision makers, to identify collective emotions and group dynamics, and to locate key groups and key figures. Finally, we plan to use the AI-powered emotion identification technology to track individual affective fluctuations and establish profiles for individuals’ emotion health. We will also explore the potential to use this technology to monitor health and to diagnose a series of affective disorders.

准确的识别他人的情绪是一项非常重要的心理能力。识别他人的情绪不但是良好人际关系的基础，也是智能机器和人类有效互动的基础。因为缺乏心理学研究，现有的人工智能虽然在认知能力上不断超越人类，但情感能力还十分欠缺。这使得智能机器和人类无法建立有效联系、信任和理解。因此，需要加入心理学研究来让智能机器理解人类的情感。在现实生活中，人类情绪的智能识别无法总是通过携带需要接触的仪器设备来实现。因此本项目致力于开发一套理解人类面部情感的智能识别系统，基于面部视频图像处理来自动、实时、快捷、准确地理解人类的各种情感。本项目将整合三个维度的面部信息来进行情感识别：面部肌肉运动成像，面部温度的热成像，和面部血流的光学成像。本项目还计划将这种情感智能识别技术应用到各种心理学的场景中，例如进行决策辅助。另外还计划将这项技术应用于追踪个体情感建立起个体的情感健康档案，并对抑郁症等心理疾病进行监控和辅助诊断。

本项目致力于开发一套理解人类情感的智能识别系统，针对目前智能情绪识别系统对社会性复杂情绪认识不足的难点，项目组开展了一系列探究复杂情绪的影响因素与后果研究，取得了较为丰富的成果。在这个短期项目执行的2年期间，项目负责人共发表学术论文7篇。响应把论文发在祖国大地上的号召，其中3篇为中文论文。第一作者/通讯作者论文6篇，包括著名管理学刊物Journal of Consumer Psychology（Financial Times 50）和中文权威《心理学报》。这些对复杂情绪的研究成果进一步支撑项目负责人在2019年以“消费者情绪”为主题获得国家自然科学基金委杰出青年科学基金。以这些研究为支撑，项目组成员已经将成果转化应用到纽洛斯人工智能公司的情绪识别系统当中——个人健康人工智能助理、云端情感人工智能引擎、以及桌面端即插即用情感人工智能软件套装。总体而言，项目组在2年间的研究取得了丰富的成果，为今后开发新一代的人类情感智能识别系统提供了坚实的数据及理论支持。