基于多模态技术的汉、英阅读加工脑机制研究

Alphabetic languages like English and ideographic languages like Chinese use very different writing systems. An important topic of research, therefore, is whether the behavioral and brain processes that underlie the computation of graphic, phonological and semantic information in these languages is the same or different. Such considerations relate direct to the issue of whether language processes are universal or language-specific. Importantly, the cognitive mechanisms underlying the processing of lexical, phonological and semantic information in Chinese is still unclear. Accordingly, the proposed research will use cutting-edge methods from language research, including eye-tracking, electro-encephalography, and functional magnetic resonance imaging (fMRI) to investigate the processing of Chinese and alphabetic language reading at character (in Chinese), word and sentence levels of analysis. This research will employ novel paradigms, including character and word neighbor priming, spatial frequency filtering and gaze-contingent boundary paradigms to investigate similarities and differences in the behavioral and brain processes during Chinese and English reading. We will, in addition, investigate how models of reading and eye movement control (e.g., E-Z reader, SWIFT) might be applied to Chinese reading. Finally, we consider how differences between logographic and alphabetic languages might produce different patterns of neural activity during language processing.

汉语作为一种表义文字，与英语（拼音文字）在形、音、义的表征上存在极大差异，其心理加工的行为及脑机制与英语是否具有同质性或特异性还存在许多争议，其心理词典的构成以及阅读通达机制等问题仍不明晰。本项目将从字、词、句的层面，应用眼动、ERP和fMRI技术，探讨汉语与英语阅读过程的心理表征及其认知加工机制。实验采用掩蔽启动、移动窗口、眼跳边界等范式，针对汉字正字法邻近字效应、汉语阅读中副中央凹词切分等加工过程，深入研究汉语与英语基本特性的阅读加工行为及脑机制的异同，探讨拼音文字阅读中的各类计算机模型（如E-Z、 SWIFT等）在汉语中的适用性，以及表义文字与拼音文字阅读过程的差异，阐明两种文字阅读加工的脑机制。

阅读是语言加工过程的重要体现，对拼音文字的大量研究（如英语）已发现了许多稳定的阅读行为特征，并在此基础上建立了能够通过调整参数来模拟读者的阅读行为的模型。汉语作为一种表义文字，与拼音文字在形、音、义的表征上存在较大差异，对于汉语和拼音文字的认知加工过程是否存在相似之处，相关的研究非常有限。因此，项目使用眼动追踪和EEG等技术，实时地记录读者中文自然阅读的加工过程，系统揭示汉、英阅读过程中认知加工产生机制的差异。主要研究发现：（1）从自下而上（词长、词间空格、复杂度、词汇转置）和自上而下（语境预测性）的加工角度，探讨了汉、英阅读中认知加工机制的差异，结果发现：①青年读者表现出与英语相似的加工模式，老年人表现出更大的词长效应、视觉复杂性效应和词汇预测性效应。②汉语阅读中存在词转置效应，表明对词序加工的灵活性。③在汉语阅读中，词汇预测性依赖于副中央凹预视有效性。（2）从阅读能力的个体差异来看，减少汉语阅读的视觉拥挤效应是有效的阅读策略。（3）语义属性是影响无关言语效应产生的关键因素，其所起作用受到阅读任务难度的调节，而对阅读过程的影响主要体现在晚期的词汇加工和语义整合阶段。项目探讨了汉、英阅读中认知加工机制的差异，揭示不同语言认知加工机制中存在的共性和特性；同时从个体差异的角度揭示了阅读认知加工中的一般性和特异性，有助于促进阅读眼动控制模型的发展。在项目资助下，我们在Cognition、Quarterly Journal of Experimental Psychology、Psychology and Aging、Attention, Perception & Psychophysics等知名的国际实验心理学期刊上共发表论文16篇，在《心理学报》等知名国内心理学期刊上发表论文5篇，多次受邀在国际国内学术会议上进行报告，研究成果获得第十七届天津市社会科学优秀成果二等奖。