多巴胺译文.doc

最后以如下的编辑形式发表： 自然2009年6月11日；论文编号：459（7248）:837 - 841。数字对象唯一标识符：10.1038/nature08028 多巴胺神经元如何代表积极和消极动机的事件？ 雅之松本和兴英彦坂感觉运动研究实验室，美国国家眼科研究所，美国国家卫生研究所（位于马里兰州贝塞斯达的20892-4435号）摘要中脑多巴胺神经元被奖励或因对感官刺激产生兴奋的反应预测奖励所激发。这些兴奋反应的强度会随着奖励价值的增加而增加。这种反应特性导致一个假设，即多巴胺神经元编码与价值有关的信号并且受到厌恶事件的抑制。在这里，我们表明，这个假设只是对多巴胺神经元的一个子集成立。当猴子们被控制实施了用它们欲求的和厌恶的后果进行的巴甫洛夫程序实验（分别用液体奖励和将气体吹到脸上的方式）的时候，我们将多巴胺神经元的活动记录了下来。我们发现有些多巴胺神经元会对奖励预测刺激产生兴奋并且会被吹气预测刺激所抑制，就像价值假说预测的那样。然而，与该假设不一致的是，更加大量的多巴胺神经元会对两种刺激都产生兴奋。一些多巴胺神经元会对奖励和气体吹拂本身都产生兴奋，特别是当这些刺激是不可预测的时候。对吹气预测刺激产生兴奋的神经元位于黑质致密部更靠背部的地方，然而被刺激抑制的神经元位于更靠腹部中央的地方，一些是在腹侧被盖区。关于它们对于吹气本身反应的一个相似的解剖上的差异也被观察到了。这些研究表明不同类型的多巴胺神经元以不同的方式表达动机信号。如果中脑多巴胺神经元确实编码与价值有关的信号，它们的活动应该受厌恶刺激的抑制，因为厌恶刺激产生负激励价值，然而，结果却不一致，一些研究显示它们的活动受厌恶刺激抑制，而另外一些研究则表明它们的活动既受厌恶刺激抑制又受其激发。这些研究当中几乎没有人检测在相同多巴胺神经元上的奖励所产生的影响，部分是因为实验时动物是被麻痹了的。要测试多巴胺神经元是否编码激励价值，我们在两种不同的情况下对两只猴子实施了巴甫洛夫程序实验（图1a）：在其中一个实验中液体奖励是预期的（欲求块，图1a），在其中的另外一个实验中吹气是预期的（厌恶块，图1b）。在每块区域，三个条件刺激（CSs）与非条件刺激（USs，奖励或吹气）分别以100%，50%，0%的可能性与其相关。这三个条件刺激被认为是传递三个不同水平层次动机价值的。确实，在欲求块，预期的舔舐活动随着奖励概率的增多而增多（ Fig.1c）。在厌恶块，预期的眨眼活动随着吹气的增多而增多（图1d）。当猴子被施用巴甫洛夫程序的时候，我们记录了在黑质致密部和腹侧被盖区当中或周围的103个公认的多巴胺神经元（68个来自猴N,35个来自猴D）中单个神经元的活动。他们的电化学生理特性明显不同于黑质致密部和腹侧被盖区（补充图1）其他神经元，此后我们称它们为多巴胺神经元。 以往的研究大多将多巴胺神经元定性为在功能上是与同类同性质的。我们发现这是不正确的。图2a和e表明了两个多巴胺神经元分别对不同条件刺激的反应活动，它们的活动在欲求区相似（顶行）。他们都能被100%的奖励性条件刺激（与概率为100%的奖励相关的条件刺激）激起兴奋。这种兴奋在概率对应于50%的奖励性条件刺激的时候强度会下降，甚至在概率对应于0%的奖励性条件刺激的时候变为抑制。然而，多巴胺神经元在厌恶区（底行）表现出完全不同的的反应。对于100吹气条件刺激的反应，在图2a中显示的神经元被抑制而图2e中显示的神经元则受到激发。更进一步说，随着吹气实施概率的下降，它们的反应程度朝着相反方向分级。 为了表征非条件刺激诱发的反应，我们以它们对于100%概率吹气的非条件刺激（补充表1）的反应为基础将103个神经元编排为三组。表现出强烈抑制和兴奋的神经元分别被编为吹气条件刺激抑制型（ACS抑制型，n=24）和吹气条件刺激兴奋型（ACS兴奋型，n=38），（P0.05,Wilcoxon符号秩检验)。单个神经元的条件刺激诱导反应在补充图2和补充表2中显示出来。接下来，我们将集中讨论ACS抑制型和ACS兴奋型神经元（ACS无反应型神经元参见补充图3，每种类型的电化学生理特性参见补充说明A和补充表3）。ACS抑制型的平均活动被奖励概率（图2b）和吹气概率（图2c）朝着不同的方向调节。当奖励概率下降的时候（图2b，图2d中的红线），对奖励性条件刺激的兴奋反应减少并且扭转为抑制。相反地，当吹气概率下降的时候（图2c，图2d中的蓝线），对吹气条件刺激的抑制性反应强度下降。在ACS抑制型神经元中也发现了同样的趋势（补充说明B和补充表4a）。 这些结果表明,ACS抑制型神经元在大规模范围内编码激励价值，最强烈的兴奋回应最积极的刺激（100奖励的条件刺激），最强烈的抑制反应回应最消极的刺激（100吹气条件刺激）。 ACS兴奋型神经元的平均活动也被奖励概率（图2f）和吹气概率（图2g）调节，但朝着同样的方向。当奖励和吹气预测的条件刺激的概率下降的时候，兴奋反应也会下降（图2h，个体神经元参见补充说明B和补充图4b）。这些结果表明了ACS兴奋型神经元不编码激励价值。以前的研究一再表明，当奖励是随机的时候，多巴胺神经元会被奖励本身激发。另一方面，它们会被厌恶刺激激发还是抑制，以及，如果是其中之一的话，会在何种条件下进行，这一问题仍在争论当中。图3a显示了在图2a中的相同神经元对于奖励和吹气的反应。当奖励在没有先前的条件刺激的情况下被呈现（自由奖励）的时候，这个神经元被强烈激发并且当吹气在没有先前的条件刺激的情况下被呈现（自由吹气）的时候，这个神经元被抑制。在图3e中显示的神经元既能被自由奖励激发又能被自由吹气激发。然后，我们再以对自由吹气的反应为基础将103个神经元重新分为三组（补充表1）。显示强烈抑制和激发的神经元被分别列为吹气非条件刺激抑制型（AUS抑制型，47例）和吹气非条件刺激兴奋型（AUS兴奋型，11例），（P0.05,Wilcoxon符号秩检验）。个体神经元的非条件刺激激发反应在补充图5和补充表2中显示出来。注意这种分类方法不同于以对100%吹气条件刺激的反应为基础的分类。接下来，我们将精力集中在AUS抑制型和AUS兴奋型的神经元上(AUS无反应型参见补充表6和7，每种类型的电化学生理性质参见补充注释C和补充表4)。关于AUS抑制型神经元（图3b和c）和AUS兴奋型神经元（图3f和g）对于奖励和吹气的平均反应被显示出来。当紧接着的100%奖励条件刺激的奖励物是完全可预测的的时候，对于奖励的兴奋反应消失，而当紧接着的50%的奖励条件刺激奖励物是部分可预测的时候，对于奖励的兴奋反应强度降低（图3b和f）。这是与奖励预测误差假说不一致的，该假设是指多巴胺神经元的活动在预测和实际奖励的价值之间会呈现出差异。 AUS抑制型神经元甚至为厌恶的后果编码预测误差，尽管只是部分，因为它被一个不可预测的厌恶吹气抑制（自由吹气）（图3c），而且当吹气更可预测的时候这种抑制反应强度单调减小（图3d，个体神经元参见补充注释D和补充表8a）。有趣的是，当吹气更可预测的时候，AUS兴奋性神经元对吹气的兴奋反应也会下降（图3g和h，个体神经元参见补充注释D和补充图8b）。预测误差假说提出预测，当一个后果被意外地忽略和同样的后果被意外地发现时，对比两种情况神经元反应朝相反的方向。我们发现，AUS抑制型神经元，而非AUS兴奋型神经元，趋向于既对奖励遗漏有反应，又对吹气遗漏有反应（补充注释E和补充图9）。目前的共识是多巴胺神经元传送与奖励有关的信息这一事实被认为是适用于所有的位于中脑的多巴胺神经元，包括黑质致密部和腹侧被盖区。既然我们已经基于它们对厌恶事件的反应发现了不同类型的神经元，我们现在要问它们是否位于中脑的不同区域。图4a显示了与对100%吹气条件刺激的反应相关的在猴N体内的68条多巴胺神经元的记录位置。显示出明显兴奋的神经元（即ACS兴奋型神经元，红圈）趋于分布在较背部的部位，而显示出明显抑制的神经元（即ACS抑制型神经元，蓝圈）趋于分布在较腹部的部位。为了统计测试这种趋势，我们考察了猴N(图4b)和猴D（图4c）的记录深度和其与100%吹气条件刺激的反应之间的关系。正如散点图显示，两只猴子都被发现了一个明显的负相关（猴N,r=-0.50,P0.01;猴D，r=-0.57,P0.01）。这种负相关证实了在多巴胺神经元中吹气预测条件刺激诱导的兴奋和抑制反应的背-腹分化。与对吹气本身的反应相关的相似的位置差异也被发现了（补充注释F和补充图10）。它通常被认为是中脑多巴胺神经元形成的统一的功能组，全部以相似的方式代表与奖励相关的信号。根据对与奖励有关的信号的考虑，我们的结果与这种观念很不一致。然而，当我们检测了它们对消极事件的反应之后发现了明显的差异。我们发现了两种类型的多巴胺神经元，一种被吹气或吹气预测所抑制，而另一种被激发。显然，多巴胺神经元的统一概念需要改变（我们的发现与以往发现的关系参见补充注释G）。 我们建议，至少有两个多巴胺神经元的功能组。第一组内的多巴胺神经元（吹气抑制型，即ACS和AUS抑制型）将代表促进价值。它们的反应会随着与奖励和吹气相联系的预测误差而共同变化，因此将会对关于趋近奖励刺激并避免吹气刺激的机制的了解有所帮助。第二组（吹气兴奋型，即ACS和AUS兴奋型）的功能不是立刻能清楚的，但是我们发现它们对条件刺激的反应是与猴子对条件刺激的定向反应（目光转移）的潜伏期呈正相关的而且这种正相关只是在条件刺激与奖励或吹气伴随之后才会表现出来(补充注释H和补充表11)。这些结果提高了吹气激发型的多巴胺神经元的条件刺激诱导反应反映了条件刺激的突出促进作用的可能性。然而，这种解释可能对这些神经元对非条件刺激或非条件刺激遗漏无效。重要的是，多巴胺神经元的两种类型的分布不同，吹气兴奋型是在黑质致密部的背面，而吹气抑制型在黑质致密部的腹侧以及腹侧被盖区（细节参见补充注释I）。在猴子和老鼠体内，在黑质致密部背侧的多巴胺神经元主要突出表现为背纹状体，而在黑质致密部腹侧以及腹侧被盖区的那些主要突出表现为腹纹状体。在黑质致密部腹侧以及腹侧被盖区的吹气抑制型多巴胺神经元因此有可能向腹纹状体传递与价值有关的信息，而已知腹纹状体是呈现奖励价值的。在另一方面，在黑质致密部背侧的吹气兴奋型多巴胺神经元将会对有突出促进作用的刺激产生反应，无论这些刺激是其欲求的还是厌恶的，并且向与定向行为有关的背侧纹状体发送信号。这可能是一种机制的部分，通过这种机制，类似面向扫视眼动行为的定向反应被有显著促进作用的刺激促进。两种不同类型的多巴胺神经元可能接受不同来源的信息输入。如吹气兴奋型多巴胺神经元可能接受来自例如是基底前脑之类的区域的信息，在基底前脑的神经元也对欲求事件和厌恶事件显示出兴奋反应（更深入的讨论参见补充注释J）。另一方面，吹气抑制的多巴胺神经元可能会接受或至少部分接受来自横向缰核侧面的信息。运用同样的巴甫洛夫程序，我们已经表明，横向缰核神经元被吹气预测条件刺激激发而被价值预测条件刺激抑制，表明它们与吹气抑制型的多巴胺神经元相似，能够编码动机价值，但是是以相反的方式。然后横向缰核侧面的价值信号就会通过抑制它们的方式传送给多巴胺神经元，并且这种影响对于位于吹气抑制型多巴胺神经元占主导地位的黑质致密部的腹侧以及腹侧被盖区的多巴胺神经元更大（补充说明K和补充图12）。到现在我们已经将多巴胺神经元分成了两种类型。然而，真正的图景比这复杂得多。首先，这两种类型之间的差异是渐变的，不是显著的，就导致了有一种多巴胺神经元不属于这些类型（即吹气无反应型）中的任何一种。其次，这种分类对条件刺激和非条件刺激是不同的（补充说明L，补充表1和补充图13b）。很多的神经元被吹气预测条件刺激激发，然而更多的神经元被吹气自身抑制。这可能表明了多巴胺神经系统顺利运行的机制。如果一个显著的刺激（即条件刺激）被呈现，将注意力转移到刺激物和判断它是否预示了一个奖励事件或厌恶事件将会有益处。这是一个大多数神经元被激发的时间，因此会促进定向行为。如果一个厌恶事件（即非条件刺激）发生，学会避免导致厌恶事件的行为是至关重要的。这是一个大多数神经元被抑制的时间，因此会促进对厌恶事件的避免的方式的学习。方法总结两个成年恒河猴（猕猴）被用于该实验。所有动物保护和实验程序经动物保护和使用委员会认可，并依照关于实验室动物人文关怀和使用的公共卫生服务政策实行。在全身麻醉和无菌手术的情况下，一个塑料头架和塑料录音盒被固定在猴子的颅骨上。录音盒放在大脑对额顶顶叶皮层，与水平面呈35度倾斜角，而记录目标是黑质致密部和腹侧被盖区。两个搜索线圈经手术被植入眼结膜的下面。头架、录音盒、眼睛线圈连接器都被嵌入在覆盖颅骨顶部的牙质丙烯酸中，并通过丙烯酸螺丝连接在颅骨上。我们用一个欲求非条件刺激（液体奖励）和一个厌恶非条件刺激（吹气）。在巴甫洛夫程序过程中，我们记录了在黑质致密部和腹侧被盖区当中和周围的多巴胺神经元的活动。我们通过核磁共振估计了黑质致密部和腹侧被盖区的位置而且按照多巴胺神经元的电化学生理特性识别出了它们。在对一个猴子记录的时间的结尾，我们在组织学上证实了记录的位置。我们分析了预期舔舐、预期眨眼及在巴甫洛夫程序中的神经反应。我们集中在三种类型的神经反应上：1）对条件刺激呈现兴奋的反应，2）被非条件刺激的传送引发的反应，3）被非条件刺激遗漏引发的反应。巴甫洛夫程序的细节、多巴胺神经元的识别、分析方法和组织学程序可在完全方法中找到。方法 巴甫洛夫程序我们的巴甫洛夫程序由两块实验组成，一个欲求组（图1a）和一个厌恶组（图1b）。在欲求组，三个条件刺激（红圈、绿十字和蓝方块代表猴N；黄环、青色三角形和蓝方块代表猴D）与分别作为有100%，50%，0%的可能性的非条件刺激的液体奖励（苹果汁）联系起来。在厌恶组，三个条件刺激（黄环、青色三角形和蓝方块代表猴N；红圈、绿十字和蓝方块代表猴D）与分别作为有100%，50%，0%可能性的非条件刺激的朝着猴子脸上吹气的方法联系起来。液体奖励通过位于猴子嘴前的一个喷液器喷出。吹气（每平方英寸20-30）通过一个被放在距脸6-7厘米位置的细管释放。在两组的时间暗示呈现出来之后，每个实验开始了。猴子不被要求转移视线到时间暗示上。1秒之后，时间暗示消失并且三个条件刺激中的一个被假装任意地呈现出来。1.5秒后，条件刺激消失而非条件刺激被实施。另外暗示实验与非暗示实验也被包括进来，在这过程中一个单独的奖励（自由奖励）在欲求组被实施而一个单独的吹气（自由吹气）在厌恶组被实施。所有实验以一个随机的中间实验间隔呈现，对于猴N是平均5秒而对猴D是平均4.5秒（3-6秒）。一组由有固定实验类型比例的42次实验组成(100%：12次实验，50%：12次实验，0%：12次实验，非暗示：6次实验）。对于50%概率的实验，条件刺激在6次实验中有非条件刺激伴随而在另6次实验中没有非条件刺激伴随。没有任何外部暗示那个组改变了。我们通过重复欲求组和厌恶组两到三次来对每一个神经元收集数据。我们跟踪了猴子的舔舐和眨眼反应。为了跟踪舔舐反应，我们将一个测力计安装在了奖励液体喷口处，并通过舔舐来测量喷口射液的压力。为了跟踪眨眼反应，磁性线圈技术被使用到其中。一个小小的有特氟纶涂在表面的无污物的金属丝（5mm的直径，5或6圈）被粘在了眼睑上。眼睛的闭合被眼睑线圈的竖直元件信号传导器识别。多巴胺神经元的识别我们研究了在黑质致密部和腹侧被盖区当中和周围的多巴胺神经元。根据它们不规则的跳动，约每秒5个尖峰的基准紧张活动，宽的尖峰潜能和对自由奖励的阶段性兴奋，多巴胺神经元被确定出来。数据分析我们分析了在巴甫洛夫程序过程中预期的舔舐，预期的眨眼和神经活动。为了估计预期舔舐的频率和强度，测力计信号器被使用。我们首先计算了喷射器的应变速度。然后我们对每个实验在条件刺激被呈现的过程中加入了绝对速度。如果猴子更频繁更强烈地舔舐喷口被加入的速度就会更大。我们把这种价值定义为在实验中预期舔舐的数量。这种数量被一般化为下面的公式，一般化的预期舔舐数量=（X-Min）/(Max-Min)，其中的X是实验中预期舔舐的数量，Max是在记录阶段数量的最大值，而Min是记录阶段的数量的最小值。为了计量条件刺激被呈现的的过程中预期眨眼的次数，眼睑活动监测竖直信号元件被使用。我们先计算了眼睑运动的下限速度。我们设置了一个阈值，并且数出了每次实验在条件刺激被呈现的时候有多少次速度超过了该阈值。这个数值被定义为在实验中预期眨眼的数目。在分析神经活动的时候，对每个条件刺激的反应被定义为在条件刺激开始之后150-325毫秒内的放电速率减去在条件刺激开始之前250毫秒内的背景放电速率。对奖励的反应被定义为在奖励开始后200-400毫秒内的放电速率减去奖励开始前250毫秒的背景放电速率。对吹气的反应被定义为在吹气开始后50-200毫秒内的放电速率减去吹气开始前250毫秒内的背景放电速率。对奖励忽略的反应被定义为在条件刺激忽略后200-500毫秒内的放电速率减去条件刺激忽略前250毫秒的背景放电速率。这些时间阈是以多巴胺神经元的平均活动为基础来确定的。特别地，我们设置这些阈是为了它们能将兴奋和抑制的主要部分包括进去。因为0%的奖励和0%的吹气条件刺激在生理上是