不确定环境下强化学习和决策的神经机制

In this project, we will combine psychophysics, neuropharmacology, functional MRI as well as computational learning and decision-making theories to investigate how humans learn to interact with the uncertain environment to maximize their personal gains. The project will focus on how tonic dopamine as well as its innervated brain areas modulate learning and decision-making processes. It will thus consist three different lines of research topics to better understand above question: 1) As one of the most critical neuromodulators, how does the tonic level of dopamine influence the computation of prediction error - the pivotal component of reinforcement learning theory; 2) the relationship between the activity of human brain reward pathway, especially dopamine level, and the mechanisms regarding how the expectation of future rewards is calculated; and 3) how does the dopaminergic neuron activity exert its effect on prospect-theory derived value-based economic decision-making, particularly the modulation of framing effect caused by direct manipulation of tonic dopamine level. Our project will provide critical and novel evidence for the understanding of how reward pathway activity (or more specifically the tonic dopamine level) is involved in reinforcement learning and value-based decision-making processes. It would also shed light to the development of more quantitative decision theory and the revelation of neural mechanisms that provide dynamic and optimal behavioral control in order for humans to prevail in an uncertain environment.

本项目拟将心理物理学，药理行为学，功能性核磁共振 (fMRI)以及学习和价值决策的计算模型结合起来，对人在不确定环境下如何学习环境的特征从而做出利益最大化的决策的问题进行研究。本项目着重于研究多巴胺基线浓度和其作用的脑区活动对学习和决策的调节作用，并通过三个角度的研究试图回答这个重要的科学问题：1)作为重要的神经调质，多巴胺的基线浓度如何影响强化学习中关键的信号--预测误差的计算； 2) 大脑奖赏通路的活动，特别是多巴胺浓度和强化学习中前景价值预测的关系以及 3) 奖赏通路中多巴胺神经元活动与基于行为经济学中展望理论的价值决策的联系，尤其是基线多巴胺浓度对框架效应的调节作用。本项目将为进一步理解奖赏通路，特别是多巴胺神经元在强化学习以及基于价值的决策过程的神经机制提供关键的原创性证据，从而为研究人脑如何在不确定的环境中进行动态的行为优化提供有力的理论指导和方法铺垫。

该项目试图对于不确定环境下学习和决策的神经机制进行深入的探讨，到结题日止，共发表论文三篇，尚有4篇论文处于投稿过程中。在已经完成的工作中，我们扩展了过去建立的如何对环境中不确定性进行捕捉和处理，并以此直接影响学习速率的假设，首次将应激生理学指标和不确定性学习模型结合起来。在另一项双盲多巴胺拮抗剂和激活剂实验中，我们考察了实验组和对照组在事实以及反事实情境中学习和决策的能力是否收到多巴胺活动的调节，我们的结果发现多巴胺拮抗剂和激动剂都降低了被试从事实组到反事实组的能力提升程度，表明大脑的多巴胺浓度可能存在最优化水平，低于或超出这个程度会影响被试在不同任务中的表现。最后，我们完成的一个催产素实验中，首次发现被试在服用催产素后在一个不确定的情绪辨别任务中，催产素组相对于控制组，对于由预期结果带来的决策偏差产生了消弭。综上所诉，我们通过行为学、药理学、影像学、和电刺激等因果手段验证了在不确定性环境中个体能够对不确定性进行正确表征，同时能够权衡不确定性在决策中的重要程度从而调节其影响个体决策的程度，最后我们通过直流电刺激的手段因果性地验证了背外侧前额叶活动在影响被试对于不确定性偏好（或厌恶）的具体功能。