基于功能磁共振成像的自然场景识别脑机制研究及应用

The project aims at investigating the neural activity of human brain when viewing and categorizing natural scenes, and exploring the neural mechanism of processing scene semantic information within and across the distinct brain regions responding to scene categorization, so as to make clear how the scene semantics are encoded in the visual and higher cognitive cortex of human brain. We will also develop novel approaches of representing fMRI-based features of brain acitivity, construct the mapping from low-level visual features to semantic features of neural acitivty using machine learning and corelation analyses, and ultimately propose the concept and ideas of fMRI-based semantic spaces of natual scene. We will further investigate the role and effects of various local/global visual features on the processing of scene information, develop new feature-selection methods for scene perception based on fMRI data, obtain the optimal feature sets so as to effectively improve the peformance of computer algorithms including robustness and high efficiency. In brief, the ultimate objective of this project is to construct and develop a novel algorithmic framework for scene categorization with high efficiency and robustness, conbined with cognitive and phychological laws underlying percepting natual scenes. The research results of this project will be expected to achieve significant advancement in the research of some critical scientic issues on brain mechanism of scene perception, and obtain breakthrough developments in the robust and efficient computer algorithm of natural scene categorication.

利用功能磁共振成像技术(fMRI)研究人脑在自然场景识别过程中大脑活动特性，基于脑网络方法探索自然场景识别过程中各脑区及脑区间的信息加工机制，以期揭示自然场景语义在大脑视觉与高级认知等皮层的编码机制; 研究基于fMRI的脑活动特征表示方法，采用机器学习、相关分析方法建立图像低层特征与脑语义特征空间的映射关系，由此提出并构建基于fMRI的场景语义空间概念。运用上述理论成果探索各种全局/局部视觉特征在人脑场景识别过程中的作用；建立基于fMRI的自然场景识别视觉特征选择方法，构建相应的场景优化特征集并运用于实际识别算法，有效提高现有机器识别算法的识别率与鲁棒性。最终建立并完善一种融合人脑场景识别认知功能的，具有高效性与鲁棒性特点的自然场景识别算法框架。预期成果有望对于自然场景感知脑机制等科学问题的研究获得创新性结果，并在构建高效鲁棒的场景识别机器识别算法等关键技术方面取得重要突破。

该项目主要利用功能磁共振成像技术(fMRI)研究人脑在自然场景识别过程中大脑活动特性，并基于脑网络方法探索大脑特征提取及脑区间的信息加工机制。主要研究内容包括：研究基于fMRI的脑活动特征表示方法，采用机器学习、相关分析方法建立图像底层特征与脑语义特征空间的映射关系，并构建基于fMRI的图像语义空间概念；将研究得到的fMRI特征选择方法，应用于实际场景识别算法，有效提高机器识别算法的识别率。. 截止目前，项目已在fMRI动态连接特征提取、fMRI活动模式的机器学习、基于脑连接的场景识别脑机制研究、以及基于人脸美感度的人脑语义空间研究等方面取得一系列研究成果。主要包括: 在场景识别的脑机制方面，发现不同场景感知脑区之间的功能连接强度能够有效解码自然场景类别，揭示出人脑对于自然场景语义的处理是不同脑区间功能协同的结果；在脑活动特征抽取方面，着重研究基于动态功能连接的特征描述方法，并研究了动态功能连接可塑性与长期行为间的关系；在脑网络的提取方面上，提出基于组稀疏的字典学习方法，能够有效提取具有空间重叠性的脑网络；通过研究面孔吸引度语义与面孔低层特征间的相关性，揭示影响面孔吸引度的主要几何特征，证实建立基于fMRI特征描述的语义空间的可行性。 . 项目成果证实多脑区协同参与场景识别的脑机制，在利用自相关学习、稀疏表达等机器学习方法解决脑功能活动模式与个体视觉刺激语义表达、个体行为能力表达之间“语义鸿沟”的关键科学问题上取得新的进展。截至目前，在NeuroImage、Human Brain Mapping、Scientific Report等国际高影响因子期刊发表SCI论文26篇，获得专利授权2项，专著1部，培养硕士研究生4人，部分研究成果获2015年湖南省自然科学一等奖。