反转学习的认知神经基础及在精神病理学中的应用

/反转学习的认知神经基础及在精神病理学中的应用【摘要】反转学习是一种反映认知灵活性的关键认知能力。当前研究结合强化学习模型和脑影像研究，探讨了反转学习的认知神经基础及临床应用。研究发现，强化学习模型将反转学习分解为决策、反馈和学习(即根据反馈来调整后续行为)三个认知过程，并提供了精细化的认知计算模型。脑影像研究表明，决策过程由额顶控制网络主导；正反馈主要激活奖赏系统，负反馈则激活额顶控制网络(认知控制和注意调节)及情感加工网络等；学习过程涉及前额叶-扣带回网络。反转学习广泛应用于精神病理学研究，为理解注意缺陷多动障碍、抑郁症、强迫症等疾病提供了新视角。未来研究可通过完善认知计算模型和神经计算模型，以进一步提升反转学习的理论深度和应用广度。 1引言 面对瞬息万变的世界，人们需要具备良好的认知和行为灵活性来快速适应。反转学习(reversallearning)是指在面对变化的环境或新规则时调整反转前的学习反应或策略的能力(Swansonetal.，2022)，它反映了认知或行为灵活性。例如，当中国驾驶员刚到英国开车时，通常会遇到反转学习的情境他们需要调整靠右行驶的习惯，学会靠左行驶，并适应右侧驾驶座位的操作方式。 反转学习范式被广泛用于评估个体的认知或行为灵活性(Schmittetal.，2022；Swansonetal.，2022)，最早起源于动物研究(Williams，1942)，现已广泛应用于人类研究(Piauetal.，2021)。经典的反转学习范式通常要求被试在两种刺激中进行选择，一种获得正反馈(即获得奖励)，另一种获得负反馈(即无奖励或有惩罚)，在成功选择次数达到某一标准后，奖惩结果反转。被试需要调整反应模式，以获得奖励(Fellows&Farah，2003)。反转学习分为确定反转学习和概率反转学习(Eversetal.，2005)。 反转学习需要被试在习得的反应不再受到强化时，处理负反馈，并灵活调整行为，学习新的反应模式。因此，反转学习涉及几个明显的认知加工过程，借助于强化学习(reinforcementlearningmodel)等认知计算模型，能够精细刻画和测量这些加工过程。由于许多神经及精神疾病与认知或行为灵活性缺陷相关，而反转学习范式能够很好地测量个体的认知灵活性(Waltmannetal.，2022)，因此它被广泛应用于精神病理学领域，如注意缺陷多动障碍(ADHD)(Asteretal.，2024；Hauseretal.，2014；Portengenetal.，2021)、孤独症(ASD)(Crawleyetal.，2020；D'Cruzetal.，2016)、成瘾(Bagcietal.，2022；Jara-Rizzoetal.，2020)、抑郁症(Brolsmaetal.，2022；Ogishimaetal.，2020)、强迫症(Fradkinetal.，2020；Marzukietal.，2021)、精神分裂症(Katthagenetal.，2020；Kreisetal.，2022；Livingstonetal.，2021)等。 尽管已有研究较为广泛地探讨了反转学习的认知机制、神经基础及在精神病理学领域的应用，但系统梳理和分析反转学习的认知神经基础及应用的文章仍较为缺乏。本研究旨在结合认知计算建模、MRI脑成像系列研究，深入探究反转学习的认知计算加工模型及神经基础，并进一步分析了反转学习在精神病理学领域的应用，然后对反转学习领域的未来研究方向及应用进行展望。 2反转学习的认知加工过程 2.1反转学习的一般步骤 反转学习一般包括初始学习和多次反转学习两个阶段，每个阶段都由“决策、反馈、学习”的循环认知过程构成。在经典概率反转学习任务中，被试需从两个选项中选择获奖概率较高的一个，而选项的获奖概率可能会随着任务进展发生反转。例如，初始学习时，选A有80％的概率获得正反馈，20％的概率获得负反馈，选B有20％的概率获得正反馈，80％的概率获得负反馈(如图1(a))。被试被告知A、B中有一个获奖概率更高，但更大获奖概率的选项可能会在中途变化，他们应该尽可能多地获得奖励。此外，一些复杂反转任务中引入了多重选项(如三选项或四选项)或反馈概率动态变化的设计。在多选项任务中，被试需要在多个选择间权衡，这增加了学习过程的认知负荷。而在动态概率调整的反转任务中，奖励和惩罚的概率会随任务进展而动态变化。例如，正反馈概率可能从80％逐渐降低到60％(Hamptonetal.，2006)，从而考察个体在不确定性增加的情况下的反转学习。 图1反转学习的认知神经基础 注：*代表概率反转学习。(a)反转学习的认知加工过程；(b)反转学习的神经基础；OFC：眶额叶；Vs：腹侧纹状体；dACC：背侧前扣带回；ACC：前扣带回；dmPFC：背内侧前额叶；vmPFC：腹内侧前额叶；mPFC：内侧前额叶；dPCC：背侧后扣带回；vlPFC：腹外侧前额叶；dlPFC：背外侧前额叶；IFG：额下回。 反转学习的常用指标包括：(1)错误数，反映个体在任务中的总体表现。(2)赢-留率：正反馈后再次选择相同选项的比例，用于评估奖励敏感性。(3)输-移率，负反馈后再次选择相同选项的比例，用于评估惩罚敏感性(Portengenetal.，2021)。(4)概率转换率，错误反馈后一试次的错误数除以总概率试次数(概率试次即本应是正确选择但收到了负反馈的试次)，该指标反映了个体是否在偶然负反馈时过早或不必要地改变决策，从而评估决策稳定性。(5)持续错误，在反转阶段，至少连续两个错误的序列数，反映个体在规则改变后未能及时调整行为的倾向，从而评估学习更新速度(Brolsmaetal.，2022)。这些指标能有效反映个体在任务中的总体表现及其在决策、反馈、学习过程中的静态表现，但它们难以深入探测个体在试次水平上的动态反应。强化学习模型(reinforcementlearningmodel，RLM)在核心机制上与反转学习有高度的相似性，且其能动态地捕捉个体在任务中的认知加工过程，因此被引入反转学习的研究领域中(Hamptonetal.，2006)。强化学习模型的引入为反转学习研究提供了更细致的认知计算分析工具，使研究者能够更加深入地探究个体反转学习的认知机制，进而拓展了反转学习领域的研究深度。 2.2反转学习的认知机制——基于强化学习模型(RLM) 强化学习模型是一类机器学习算法，旨在通过与环境的交互来学习最优的行为策略，其中核心的反馈来源是奖励信号。在该模型中，个体做出一个选择或决策，接着会收到一个反馈，个体根据反馈，通过不断尝试或调整来优化决策策略(Wiering&VanOtterlo，2012)。 基于RLM(Rescorla&Wagner，1972)的反转学习模型包括决策过程的价值评估指标，选择某一选项的倾向性指标P，决策稳定性指标β；反馈过程的反馈结果指标，预测误差；学习过程的指标学习率α。以最基础的RLM为例，决策阶段价值评估的更新模型如下： 其中，Qt+1为个体对第(t+1)个试次某一选项的价值评估，它取决于该选项前一试次的价值Qt以及前一试次反馈后的预测误差PEt：即实际反馈情况Rt(Rt∈｛0，1｝，此处1代表获得正反馈，0代表获得负反馈)与个体对该选项的价值评估之差(Rt-Qt)及个体对该反馈的学习率α(α∈[0，1])。此外，该模型需要对某一选项赋予一个初始的价值评估(由于初次选择均为随机选择，因此Q1一般为各个选项奖励的均值，其中n为选项数)。 有了每个试次选择某一选项的价值评估，借助softmax函数便可得出选择每个试次某一选项的概率P(以选A为例)： 其中，β为逆温度参数，其值越大代表越依赖已有信息，决策越稳定、理性。 根据上述强化学习模型及个体在每个试次实际选择的结果，采用极大似然估计或分层贝叶斯推理等模型拟合方法，可以估计出参数α以及β，然后将参数代入强化学习模型，便可得到Qt，Pt，PEt等其余指标值。具体来说，极大似然估计(maximumlikelihoodestimation，MLE)通过最大化个体行为与模型的拟合程度来估算参数值，即需要求解使模型输出结果最接近个体实际行为选择的参数。对于每个试次t，根据上述式(2)，可以计算个体实际选择某一选项的概率。因此，整个任务中的似然函数L(α，β)表示为： L(α，β)=ΠTt=1P(Ct｜Qt(A)，Qt(B)，…，Qt(N))(3) 其中，T为总试次数，Ct表示试次t的实际选择，为了便于计算，通常取对数形式的似然函数： logL(α，β)=ΣTt=1logP(Ct｜Qt(A)，Qt(B)，…，Qt(N))(4) 最后，利用优化算法(如梯度下降法)最大化对数似然函数，得到最优的参数估计α和β。 而在分层贝叶斯推理(hierarchicalbayesianinference)框架下，可以通过对个体数据和群体层级的共同信息联合建模来估计参数α和β。分层贝叶斯推理假设个体参数服从一个高层次的先验分布(如正态分布)，并结合每个被试的观测数据，通过贝叶斯公式计算参数的后验分布。 具体来说，第一步，假设每个被试的个体参数αi和βi服从总体层的先验分布。 αi～N(μα，σ2α)，βi～N(μβ，σ2β)(5) 其中，μα和μβ为总体均值，而σ2α和σ2β为总体方差，i代表被试。对于每个被试的观察数据，可以构建个体层的似然函数：p(Data｜αi，βi)，根据贝叶斯定理，将个体层的似然函数与先验分布结合，得到参数的后验分布： p(αi，βi｜Data)∝p(Data｜αi，βi)·p(αi｜μα，σ2α)·p(βi｜μβ，σ2β)(6) 由于分层贝叶斯模型的后验分布通常无法求解，因此通常使用数值方法(例如马尔科夫链蒙特卡罗(MCMC)采样或变分推理(variationalinference))来近似求解，生成参数的后验分布样本。通过MCMC或变分推理得到的样本，可以进一步估计每个被试的个体参数αi和βi的后验均值或后验众数(MAP)，作为个体层的最优参数估计；在群体层上，可以通过所有被试的后验均值(或众数)来计算总体参数α和β的估计值。 后续研究在经典RLM的基础上对参数指标进行了改进，使用了更多变体模型(Pietrzaketal.，2024；Wielandetal.，2023)。决策指标β和学习指标α不一定固定不变，研究者可根据自己的研究设计分阶段、分情况将β指标分为βwin(正反馈)，βloss(负反馈)。同理，α也能分为αwin和αloss。此外，研究者还可根据需要，对α进行动态建模，即认为α随每一试次的变化服从某种规律动态变化，例如Pearce-Hall模型： αt+1=γC｜PEt｜+(1-γ)αt(7) 上式中的γ为衰减常数，C为缩放因子，该模型认为α会服从上式，根据预测误差及前一试次的学习率进行更新(Pearce&Hall，1980)。对于反馈阶段的实际反馈情况Rt，可以根据实际反馈的强度(magnitude)进行赋值，无需严格遵循正反馈为1，负反馈为0的二值化模式。还有研究引入强化敏感性参数ρ，替换式(1)中的Rt(Pietrzaketal.，2024)，或作为Rt的缩放参数，乘在Rt前(Asteretal.，2024)。对于价值评估指标Q，某次选择完毕后，除了对选择选项进行价值更新外，还可对未选择选项进行更新。需要注意的是，若不同阶段参数改变，则需重新建模，此时新模型的Q1可能不再为1/n，而是新模型之前最后一个试次后的价值评估值。 综上，如图1(a)，强化学习模型实现了对反转学习认知加工过程(决策、反馈、学习)的精细化和动态化解析。其中，决策阶段，β值越大代表个体的决策越稳定、理性；Q值越大，代表个体对该选项的价值评估越高，表明个体具有较高的决策信心；P值越大，代表其越倾向于选择该选项。反馈阶段，R反映反馈的效价(valence)及强度(magnitude)，若R为需要估计的参数，则反映反馈敏感性；PE反映预测误差。在学习阶段，学习率α越大，代表个体基于反馈的学习能力越强。 3反转学习加工过程的神经基础 反转学习涉及诸多脑区及脑网络的参与，以下将围绕决策、反馈和学习三个加工过程，探讨反转学习加工过程的神经基础。 3.1决策阶段的神经基础 决策阶段，背内侧前额叶皮层(dmPFC)和顶叶皮层共同参与奖励和任务编码，在基于价值的决策中起重要作用(Wisniewskietal.，2019)。此外，腹内侧前额叶皮层(vmPFC)的bold信号会随着选项价值评估的增强而升高(etal.，2009；Zhangetal.，2015)。在反转发生后，vmPFC对原本非优势选项的反应强于先前形成的优势选项，可见它在决策过程中还承担着情感反应抑制的功能(Zhangetal.，2015)。值得注意的是，vmPFC在决策阶段的作用也并非独立，双侧杏仁核局灶性病变患者与健康对照组相比，在决策过程中vmPFC的激活降低，这说明杏仁核在价值评估过程中对前额叶皮层(PFC)有重要的调控作用，从而影响行为选择(Hamptonetal.，2007)。可见，在决策过程中，额顶控制网络通过和情感加工相关脑区的复杂互动实现价值评估和情感反应抑制，帮助个体平衡理性选择与情感影响。 3.2反馈的神经基础 反馈阶段包括对反馈的效价与强度的感知以及对反馈与价值评估之间预测误差的处理。对于反馈强度，研究表明，背外侧前额叶(dlPFC)受损患者在注意到每次试验输赢的金额的反馈后，在反转任务中表现正常；但双侧眶额叶(OFC)受损的患者即使注意到相同的关键反馈，其任务表现却显著下降，这说明双侧眶额叶在监测反馈的强度变化并且利用它来指导任务中的行为方面发挥了关键作用。相比之下，背外侧前额叶(dlPFC)对任务的影响主要体现在执行功能方面(Hornaketal.，2004)。比如，当任务难度增加时，dlPFC会参与对选项的强化特征的自上而下的注意力控制(Mitchelletal.，2008)。外侧前额叶皮层(lPFC)在注意力控制期间也会被激活(Hampshireetal.，2012)，这进一步说明了额顶控制网络(dlPFC，lPFC)在监测反馈强度变化中的重要作用。总之，在面对反馈强度时，额顶控制网络与OFC紧密协作，高效地监测反馈强度变化并利用反馈指导行为。 内侧眶额叶(mOFC)的活动与正反馈密切相关(Hampshireetal.，2012；Linkeetal.，2010)，因为它在奖励处理和预期评估中起关键作用，尤其在想象奖励的情境中表现得更为活跃(Brayetal.，2010)。同时，正反馈还诱发了左腹侧纹状体(VS)(Remijnseetal.，2005)、前扣带回(ACC)、杏仁核和伏隔核(NAcc)的激活。其中，VS在动机和奖赏相关学习中起重要作用，帮助个体感知正反馈，并强化之前的选择。前扣带回(ACC)负责监测冲突和评估结果，帮助调整策略以获得下一试次的正反馈。杏仁核与情感加工密切相关，因而在感受到正向情感反应时被激活，而伏隔核(NAcc)属于大脑奖励系统的核心区域，负责调节快感和愉悦感。这些脑区共同组成了一个网络，在受到正反馈时协同工作，支持个体对积极结果的识别和反应，从而增强行为动机和奖励学习。 在面对负反馈(或奖励预测误差过大)时，额顶控制网络(包括dlPFC、腹外侧前额叶(vlPFC)、额下回(IFG)和上顶叶)开始反应，以便立即分析和调整当前的选择。同时，突显网络(下前额皮质、岛叶和背侧前扣带回(dACC))也会被激活，负责检测和整合情感和感觉信息，从而在动态环境中引导注意力和认知资源分配。而情感加工网络(OFC和杏仁核)则参与处理情感反应和评估惩罚信号。在处理了紧急的认知和情感反应后，为了能在下一试次获得奖励，奖励和动机系统(纹状体(DLS、VS、腹侧壳核)、vmPFC、mOFC、前脑岛)激活，同时默认模式网络(mPFC、背侧后扣带皮层(dPCC))进行反思和自我评估，帮助个体从负反馈中汲取经验，从而优化未来的行为调整和决策策略(Boehmeetal.，2017；Desemoetal.，2015；Greeningetal.，2011；Hauseretal.，2014；Hauseretal.，2015；Linkeetal.，2010；Mederetal.，2016；Remijnseetal.，2005；Tobleretal.，2006；Wielandetal.，2023；Wolff&Brechmann，2022)。综上，正反馈的处理主要涉及奖励相关的脑区。而负反馈的处理则涉及额顶控制网络、突显网络、情感加工网络、奖励和动机系统及默认模式网络的紧密合作。这可能是由于正反馈通常与预期一致，因此较为直接，涉及的脑区功能也相对单纯；但负反馈通常意味着错误或失败，要求个体调整行为策略，因此会涉及复杂的认知控制过程，如错误监测、行为抑制、调整决策、情感调节等，因此涉及的脑区功能相对复杂。 3.3学习阶段的神经基础 在学习阶段，通过经颅直流电刺激(tDCS)对内侧前额叶皮层(mPFC)进行阳极刺激后，个体对于未选择选项的学习率升高。同时，背侧前扣带回(dACC)也与学习率提升相关。这说明在学习阶段，mPFC和dACC协同工作，对学习过程中的认知和情感功能进行调控，dACC负责错误监测和行为调整，mPFC整合反馈信息以优化决策。两者的协作增强了个体识别和纠正错误的能力，从而提高了学习效率(Panitzetal.，2022；Savageetal.，2020)。具体来说，dACC帮助个体识别和处理错误，并通过调整行为以避免将来的失误。在学习过程中，尤其是在个体面临错误反馈或需要调整策略时，dACC的活跃能促进有效地学习。然而，学习率指标在神经基础研究中的应用并不多，可能是由于大多数研究使用的学习率反映的是整体学习表现，无法体现试次层面的动态变化，因此难以适用于任务态fMRI研究。 综上所述，如图1(b)和表1，反转学习的决策过程主要受额顶网络(腹内侧前额叶、背内侧前额叶、顶叶皮层)影响。反馈阶段的反馈强度的处理主要与双侧眶额叶(OFC)有关；正反馈的处理主要涉及内侧眶额叶(OFC)、腹侧纹状体(VS)、前扣带回(ACC)、杏仁核等参与奖励处理与情感反应相关的脑区；负反馈和奖励预测误差的处理则依赖额顶控制网络(dlPFC、vlPFC、IFG、上顶叶)，突显网络(下前额皮质、岛叶和dACC)，情感加工网络(OFC和杏仁核)，奖励和动机系统(包括纹状体及其特定区域(背外侧纹状体、腹侧壳核、腹侧纹状体)、腹内侧前额叶、内侧眶额叶、前脑岛和背侧前扣带回)以及默认模式网络(mPFC、dPCC)。可见，处理正反馈和负反馈的脑区在功能上呈现出明显的分离。最后，学习阶段主要涉及mPFC和dACC的协同作用。这些脑区通过整合反馈信息、监测错误和调整行为，为反转学习任务的成功完成提供了重要支持。 4反转学习在精神病理学领域的应用 4.1反转学习在神经发育障碍中的应用 认知和行为灵活性缺陷是注意缺陷多动障碍(ADHD)、孤独症谱系障碍(ASD)等神经发育障碍的核心症状，因此反转学习在神经发育障碍类疾病的研究中应用广泛。 成人ADHD患者在反转学习任务中表现得过于“灵活”。在初始学习阶段，他们的表现比对照组差。在概率奖励模式下，他们往往忽略之前的综合反馈结果，一旦收到负反馈，便立即切换选项。这种过度切换的行为导致他们在负反馈下的学习率反而高于对照组。此外，ADHD患者强化敏感性较低，可能与其注意控制网络中顶叶皮层的异常激活有关(Asteretal.，2024)。无独有偶，另一项针对11～28岁ADHD患者和正常对照的研究也显示，ADHD症状严重程度与赢-留评分呈负相关，与输-移评分呈正相关，即ADHD症状越严重，其奖励敏感性越低，惩罚敏感性越高(Portengenetal.，2021)，说明一般的奖励难以激发他们的动机，而一般的惩罚容易使他们过度反应，更容易激发其负面情绪。此外，青少年ADHD患者的决策参数更小，说明他们很少根据自己的推断信念做出最佳选择，而是采取更具探索性的方式进行决策，而这种探索性的决策可能与其mPFC中加工的缺陷有关(Hauseretal.，2014)。由此可见，ADHD患者的奖励与惩罚敏感性存在异常，且他们更倾向于进行探索性的决策，这可能与他们mPFC的异常加工有关。这种加工特点似乎对ADHD患者在变化的环境中生存有利，但是不利于其在稳定的环境中生存。然而，ADHD患者在反转学习任务中展现的高学习率，也在一定程度上反映了经典强化学习模型在反转学习任务应用中的局限性：经典的强化学习模型通常关注如何通过奖励和惩罚调整行为，但ADHD患者的高学习率可能并不意味着更有效的学习和策略更新，而是反映了其冲动性和抑制行为的能力较弱。这种情况下，高学习率更可能是执行功能(如抑制控制能力)缺陷的结果，而非更优的学习能力(Pievsky&McGrath，2018)。另外，强化学习模型通常假设学习者能有效地利用记忆和注意力去整合反馈信息。而ADHD患者在执行功能上(如工作记忆)存在缺陷，这可能影响他们对反馈进行适当的整合和记忆，使得他们在学习过程中出现异常高的灵活性和变化性。 ASD青少年表现出比对照组更低的赢-留率，奖励学习率(α)及逆温度参数(β)，ASD成年人反转阶段学习率受损，这与其重复刻板的行为模式相吻合。可见，ASD患者存在奖励敏感性低，认知灵活性缺陷等问题(Crawleyetal.，2020)。他们在处理决策及反馈方面的问题可能与其额叶及腹侧纹状体激活减弱有关(D’Cruzetal.，2016)。 4.2反转学习在行为和物质使用障碍中的应用 行为和物质使用障碍通常与认知灵活性的损害有关，因此反转学习在这些领域的应用也较为广泛。酒精成瘾者表现出惩罚学习率增高，奖励学习率降低以及更多的探索行为(Bagcietal.，2022)。而赌博障碍患者在反转阶段重新调整行为的速度较慢，学习效率更低(Jara-Rizzoetal.，2020)，更倾向于在负反馈的情况下坚持原来的选择(Perandres-Gomezetal.，2021)。从神经生理机制的角度考虑，酒精成瘾会导致多巴胺系统以及其他神经递质的不平衡，使个体在决策中更关注避免惩罚而非追求奖励(Nuttetal.，2015)。而赌博行为引发高度刺激和快感，这些刺激可能过度依赖于即时奖励，导致赌博成瘾者即使是在经历负反馈时，也倾向于坚持以前的选择。从动机和情绪角度来看，酒精成瘾者可能更多地受到避免负面后果(如戒断症状)的动机驱动；也更倾向于使用酒精来调节负性情绪，导致他们对惩罚信息更敏感，因此更倾向于快速学习以避免不愉快的情境。而赌博障碍者受到赢回损失以及赌博风险的吸引，在面临情绪负担时可能利用赌博行为作为逃避策略，即使负面后果累积，也未能有效调节行为，因此即便面对持续失败，他们仍显示出调整行为的缓慢性。 4.3反转学习在情绪和心理障碍中的应用 反转学习任务不仅能够反映认知灵活性，还能测量个体的奖惩敏感性和行为适应性，因此广泛应用于情绪和心理障碍研究。例如，抑郁个体可能缺乏对奖励的敏感性，而强迫症患者难以放弃无效的行为模式，精神分裂症患者的认知灵活性受损。这些特点均可通过反转学习任务测量并加以分析。 传统观点认为抑郁症患者对正反馈不敏感，对负面信息较为敏感，然而几项针对抑郁症患者的反转学习研究结果却并不一致。有抑郁症状的青少年在反转后更倾向于选择消极自我参照信息，说明他们对消极自我参照信息具有偏好性(Belmansetal.，2023)。但成年重度抑郁症患者在面对正、负反馈时表现均较差、学习率更低，说明他们对正、负反馈都不敏感(Mukherjeeetal.，2020)。另有研究发现，抑郁症患者可能并不存在负性学习偏向(Brolsmaetal.，2022)。这种差异可能与抑郁症患者的年龄阶段与严重程度有关。青少年处于神经发育的关键时期，他们的大脑反馈处理机制尚未成熟，可能在情感调节、同伴影响以及自我认知方面表现出更高的敏感性，导致对消极信息偏好性更强。而成年患者的大脑发育较为成熟，但可能经历了长期的抑郁发作，导致神经系统对反馈的处理减敏或适应性下降，从而表现出对正、负反馈的普遍不敏感。此外，轻度抑郁患者可能仍然能够区分反馈类型，并显示出负性偏向，因为他们的情绪加工系统仍具反应性。重度抑郁患者可能因情绪和认知麻痹，对激励信号(无论正负)整体不敏感，从而表现出更低的学习率。 强迫症患者对未来事件充满不确定性，因此会有过度收集信息的行为。青少年强迫症患者在反转阶段正确率降低，在概率负反馈后更频繁地改变选项，他们的奖励学习率更高，惩罚学习率、强化敏感性、坚持性均较低(Marzukietal.，2021)。在成年强迫症患者身上也发现了类似的表现，他们在反转学习发生的过渡阶段，表现出更多的过渡不确定性，说明他们难以严格执行之前习得的联结(Fradkinetal.，2020)。虽然这些表现与强迫症患者难以改变行为的刻