基于视觉信息编解码的深度学习的类脑机制研究

Visual information is one of the most important ways of human perception and understanding of the world. The human brain has the characteristics of high efficiency, robust and anti-noise in complex visual information processing, compared with computer vision. FMRI and EEG as the best means to measure the brain activity, become the main way to study the mechanism of human visual perception. This project intends to use advanced computing method to establish the mapping model between the visual system and the external visual stimulation information, explore the mechanism of brain visual information processing, and use machine intelligence to simulate human visual perception function, and thus enhance the ability of computer processing visual information. At the same time, we will study the relationship between deep learning and brain visual information processing, understanding the expression of each layer in the cerebral cortex, and the use of deep learning's visual signal for the brain to encode and decode. This study has important theoretical and practical significance for brain science and intelligent technology.

视觉信息是人类感知和认识外部世界的最主要途径之一。人脑在复杂视觉信息处理方面具有高效、鲁棒、抗噪等特点，具有计算机视觉无法比拟的优越性。fMRI和EEG作为能够对大脑的功能活动进行无损和反复测量的最佳手段，已成为研究人脑视觉感知机制的主要途径。本项目拟基于fMRI/EEG信号，用先进的计算方法建立从人类视觉系统与外界视觉刺激信息之间的映射模型，探索大脑视觉信息处理的过程和机理，并利用机器智能实现对人类视觉感知功能的模拟，从而提升计算机处理视觉信息的能力。与此同时，我们还将研究利用深度学习所得到的视觉特征与大脑视觉信息处理的关系，理解各层特征在大脑皮层的神经表达，并利用深度学习建立视觉信息的神经编解码模型。该研究对脑科学和智能技术具有重要的理论和现实意义。

人脑具有极强的视觉信息加工能力，了解大脑的信息处理机制可以帮助我们设计更高效的计算机视觉方法，推动人工智能技术的发展。本项目基于正常人在视觉任务下的神经反应数据，研究神经信息抽取和解码技术，了解人脑视觉信息的表征机制，并将人脑与卷积神经网络（CNN）在视觉处理时的反应进行对比，考察两者间的功能相似性，为了解人脑信息加工机制和深度神经网络的功能组织提供新的研究视角。主要研究结果如下：利用多体素模式分析方法，我们首先通过分析不同脑区神经信号所含有的客体类别信息的差异，验证了视觉通路的层次化信息处理机制。鉴于CNN也具有类似的功能组织结构，我们进一步研究了人脑视觉皮层的功能活动与CNN各个表征层的对应关系，结果表明人脑初级视皮层与CNN前三层具有较强的功能对应性，而人脑较高级的视皮层则与卷积网络后三层具有较强的对应性，这些发现表明人脑的功能网络与CNN在处理机制上具有一定相似性，也启发我们可以通过人工神经网络对人脑进行建模，并用于神经信息的抽取和解码等应用。这里我们提出了一种基于贝叶斯深度学习技术的视觉刺激重建方法，该方法可自动提取与神经反应存在显著关联的视觉特征，利用这些特征可以根据脑活动重建被试看到的视觉刺激的内容。除了对视觉刺激中的客体类别等信息进行解码外，我们还研究了如何基于脑活动推断个体情绪状态等主观心理状态的方法，并在基于fMRI和EEG脑信号进行情绪类别分类的应用中得到验证。这些工作对于了解人脑的信息加工机制和研发神经解码技术具有重要的推动作用。.本项目共发表论文29篇，其中包括国际核心期刊论文19篇，国际主流会议论文10篇，其中SCI收录18篇，EI收录8篇。期间参加了国内外学术会议32次，先后有9名博士生、5名硕士生参与了本项目。项目期间，先后有2名博士和6名硕士获得学位，项目负责人获得教育部科技进步一等奖（排名第三），入选中科院青年创新促进会优秀会员。