三维空间中视觉运动与听觉、触觉特征的跨通道一致性

Crossmodal correspondences are defined as tendencies for a certain sensory feature (or dimension) to be associated or matched with another feature (or dimension) in a distinct sensory modality. For example, people tend to match the bright visual stimuli with high loundness auditory stimuli. In the present study, by adopting virtual reality, functional magnetic resonance imaging, and event-related potential techniques, we focus on the neural substrates of crossmodal correspondence between the direction of visual motion (from near to far or vice versa) in the three-dimensional space and the temporal frequency in auditory modality (Study 1)/tactile modality (Study 3). Moreover, we will also invesigate the modulation of velocity on the crossmodal correspondence between visual motion in depth and auditory frequency (Study 2)/tactile frequency (Study 4). We aim to answer the following four research questions: (1) to demonstrate there exists crossmodal correspondence between the visual motion in depth and auditory/tactile frequency. 2) to investigate the modulation of visual motion velocity on the crossmodal correspondence between visual motion in the three-dimensional space and auditory/tactile frequency. 3) to explore the neural substrates underlying crossmodal correspondences and whether the change in the primary sensory cortices varies as a function of crossmodal features. 4) to measure the time course of crossmodal correspondence.

跨通道一致性是指某种感觉通道的特征（或维度）与另一个感觉通道内的特征（维度）相联结的趋势。例如，人们倾向于把明亮的视觉刺激与响度高的听觉刺激相联系。本研究中，我们将结合虚拟现实、功能性磁共振成像，以及事件相关电位等技术，考察三维空间内不同深度上的视觉运动（由近及远 vs. 由远及近）与听觉频率（研究一）、触觉频率（研究三）特征间的跨通道一致性及其神经机制。同时，我们还进一步考察速度对于上述跨通道一致性现象的调节（研究二、研究四）。重点关注如下四个问题：(1）证明视觉运动的方向（由近及远 vs. 由远及近）与听觉和触觉频率特征之间存在跨通道一致性。(2）考察视觉运动方向与听觉、触觉特征之间的跨通道一致性如何受到视觉运动速度的调节。(3）考察与某一通道内特征加工相关的脑区活动如何受到其它通道特征的影响，并且是否存在与跨通道一致性直接相关的脑区。(4）考察跨通道一致性发生的时间进程。

跨通道一致性是指某种感觉通道的特征（或维度）与另一个感觉通道内的特征（维度）相联结的趋势。除基本的感觉皮层外，前额叶也会参与多通道一致性的调节。在当前项目中，我们考察了在三维空间深度上的视觉运动与听觉、触觉频率属性的跨通道一致性联结。结果发现视觉运动方向（由近及远 vs. 由远及近）与声音频率变化间的跨通道一致性不是恒定的。由近及远的视觉运动更倾向于和频率由高变低的声音联结；但是由远及近的视觉运动并不存在。这一结果在不同的任务类型（直接、间接任务）及不同种类的声音刺激上具有跨实验的稳定性。我们进一步发现与同一听觉属性发生跨通道一致性联结的两种视觉属性之间相互影响，并且呈现不对称性。例如，音高与视觉刺激大小间的跨通道一致性会调节音高与视觉亮度间的跨通道一致性效应的大小，但是反之不成立，提示同一通道内不同维度对跨通道一致性效应的调节具有层级性。此外，未发现三维空间内不同深度上的视觉运动与触觉频率特征跨通道一致性的存在。我们的研究首次考察了复杂属性的跨通道一致性，对于深入了解多感觉通道刺激如何协同加工具有重要意义。我们把多通道一致性的研究拓展到复杂特征的加工，研究结果在工业设计上也具有参考价值。