从强化学习到社会学习：社会学习决策的认知和神经计算机制

A major development in social neuroscience has been the demand for formal models to understand the neurocomputational substrates underlying social decision-making. Although models of reinforcement learning have achieved tremendous success in connecting neural data (e.g. dopaminergic functioning, signals from frontal-subcortical circuits) with a variety of behaviors (e.g. Pavlovian and instrumental conditioning) across species and experimental platforms, this formalism has been largely absent for goal-directed behavior in the social domain, even though they are known to share much of the same neural circuitry. Recent works by our group and others have led to suggestions that interaction of these systems underlie two fundamental components of social decision-making: reinforcement-based learning through trial and error, and belief-based learning through anticipating and responding to actions of others. This framework has the potential to connect the seemingly vast array of behavioral and social deficits observed in neuropsychiatric disorders. To this end, we propose to carry out parallel experiments using complementary methodologies, functional magnetic resonance imaging and lesion, connected by a common set of experimental paradigms and computational models derived from behavioral game theory and reinforcement learning. These experiments, along with the quantitative predictions afforded by our models, will allow us to test, extend, and ultimately revise our current understanding of social behavior.

决策神经科学研究领域一大前沿热点是：用数学模型从神经计算的层面来研究社会决策背后的机制。过去20年，虽然强化学习模型在非社会性决策领域取得了巨大成就，用统一的数学框架，从行为、认知、神经及分子等层面厘清了一系列计算机制及对应的神经生物基础；但在社会认知领域，类似的研究仍相当缺乏。申请人之前的工作表明，社会学习可表述为强化学习和信念学习的交互，为研究社会决策的神经计算机制提供了良好切入点。本项目拟采用多学科交叉研究方法，用脑成像和脑损伤两种互补实验手段，结合多个新颖的经济学实验范式， 通过统一的计算框架整合社会性和非社会性学习所涉及的认知和神经计算过程，从而探索（1）强化学习和信念学习的神经计算与调控机制，（2）这些机制在更广泛的社会合作与竞争中扮演的角色。本项目将有助于突破传统脑功能定位的研究思路，从神经计算的层面阐明决策行为在脑区内、脑区间的执行过程，为研究人类高级认知功能提供新的视角。

本项目以具备生物物理效度的数学模型为切入点，研究人类社会学习决策行为的认知和神经机制。采用多学科交叉的研究方法，结合博弈行为实验、计算建模、功能性磁共振、局部脑损伤病人等互相补充的研究方法，探索了社会和非社会多种情境下，学习决策行为认知过程和神经计算机制，以及这相关过程在在计算精神疾病领域可能的应用，取得了较好的理论与实验成果。本项目分为以下几个部分。第一部分研究了基底神经节这个在强化学习和奖赏系统起着重要作用的脑区，在社会和非社会学习中的计算功能，说明它在两种学习决策中起着不对称的作用，为社会学习采用并行神经系统这一猜想提供了因果层面的证据。第二部分，在贝叶斯学习的计算框架下研究了社会交流信号的解码，发现腹内侧前额叶定量地、自动地表征了交流信号发送者的目标－行为映射的概率，为社会交流的底层神经机制提供了首个精确定量的描述。第三部分，在学习决策的框架下探索了PTSD疾病的影响，为神经计算模型在计算精神疾病的研究提供了例证。本项目为目标导向性决策的神经机制提供了原创的、深入的、定量的实验于理论证据，为研究人类高级认知功能提供了新的视角。