基于不确定性量化的强化学习策略鲁棒性提升方法研究综述

基于不确定性量化的强化学习策略鲁棒性提升方法研究综述强化学习（ReinforcementLearning,RL）通过智能体与环境的交互迭代优化决策策略，在自动驾驶、机器人控制、电力系统调度等复杂场景中已展现出超越人类专家的决策性能。然而现实世界环境普遍存在的随机扰动、观测噪声、模型偏差等不确定性因素，常导致训练阶段表现优异的RL策略在部署后出现性能骤降甚至安全事故，策略鲁棒性不足已成为制约强化学习落地应用的核心瓶颈。不确定性量化（UncertaintyQuantification,UQ）技术通过对决策过程中各类不确定性的来源、传播规律与影响范围进行建模与度量，为鲁棒强化学习的策略优化与风险防控提供了可解释的定量依据，近年来已成为该领域的研究热点。一、强化学习中的不确定性来源分类与特性强化学习决策链的全流程均可引入不确定性，根据来源可划分为环境固有不确定性、数据不确定性与模型不确定性三类。环境固有不确定性是系统本身的随机属性，如自动驾驶场景中行人的突发横穿行为、电力系统中可再生能源出力的随机波动，这类不确定性具有不可消除性，通常以概率分布的形式存在，是策略需要适应的客观环境特征。现有研究中常采用随机过程建模该类不确定性，例如使用马尔可夫决策过程（MDP）中的转移概率矩阵表征状态转移的随机性，但其前提是不确定性分布可通过历史数据统计得到。当环境呈现非平稳特性时，如交通流量的早晚高峰变化，固定分布的假设将不再成立，进一步加剧了策略适配的难度。数据不确定性主要源于交互数据的采集过程，包含观测噪声与采样偏差两个维度。观测噪声指传感器采集的状态信息存在的随机误差，例如机器人的关节角度传感器漂移、自动驾驶摄像头的成像模糊，会导致智能体获取的状态与真实状态存在偏差。采样偏差则出现在离线强化学习场景中，当数据集的分布与策略部署时的环境分布存在偏移时，策略对分布外状态的泛化能力会大幅下降。值得注意的是，数据不确定性具有累积效应，长序列决策任务中多步的观测误差累积会导致状态估计值与真实值的偏差呈指数级增长，最终引发决策序列的完全失效。模型不确定性是指智能体对环境dynamics建模或策略函数拟合过程中存在的误差，在基于模型的强化学习中表现得尤为突出。为降低交互采样成本，基于模型的RL通常先拟合环境的动力学模型，再基于模型生成的虚拟样本优化策略，但模型与真实环境的偏差会在策略迭代过程中被不断放大，即出现"模型偏差累积"问题。而在无模型的深度强化学习中，神经网络作为策略函数的拟合器，其参数的随机初始化、训练过程的梯度噪声以及有限训练数据导致的拟合不足，都会使策略输出存在随机性，这类不确定性被称为"认知不确定性"，理论上可通过增加训练数据或优化模型结构得到缓解，但其与环境固有不确定性的耦合效应会大幅提升量化难度。二、不确定性量化的主流技术路径及在强化学习中的适配目前主流的不确定性量化技术可分为概率统计方法、贝叶斯方法与证据理论方法三大类，不同方法在计算复杂度、量化精度与可解释性上存在明显差异，需要结合强化学习的序贯决策特性进行适配改造。概率统计类方法是最早应用于RL不确定性量化的技术，其核心思想是通过大量采样估计不确定性的统计分布特性。蒙特卡洛dropout是深度强化学习中最常用的概率量化方法，通过在神经网络的推理阶段保持dropout层开启，对同一输入进行多次前向传播得到多个输出，再通过输出的方差表征不确定性。这类方法的优势是实现简单，无需修改原有模型结构，在DQN、PPO等经典RL算法中仅需添加几行代码即可实现，但其缺陷也十分明显：方差仅能表征不确定性的整体大小，无法区分不确定性的来源，且多次采样会带来数倍的推理延迟，难以满足自动驾驶等实时性要求高的场景。为提升采样效率，研究人员提出了基于矩匹配的不确定性快速估计方法，通过传播网络各层的均值与方差直接得到输出的分布参数，将推理复杂度从O(N)降低到O(1)，但该方法在面对非线性激活函数时需引入近似假设，会导致量化精度下降。贝叶斯强化学习是将贝叶斯推理与RL结合的典型范式，通过为神经网络参数赋予先验分布，将网络权重的点估计转换为分布估计，实现对认知不确定性的精确建模。传统贝叶斯神经网络的训练需通过马尔可夫链蒙特卡洛（MCMC）方法采样参数后验分布，计算复杂度极高，难以应用于高维复杂的RL任务。近年来变分贝叶斯方法的发展大幅降低了贝叶斯RL的训练成本，通过引入简单的变分分布近似真实后验，使用变分推断最小化两者的KL散度，实现了端到端的贝叶斯策略网络训练。在实际应用中，贝叶斯RL能够同时输出策略的期望动作与不确定性置信度，例如在机器人抓取任务中，当不确定性高于阈值时可触发人工干预，有效降低了决策风险。但贝叶斯方法的先验分布选择目前仍依赖经验，当先验设定与真实数据分布不符时，反而会引入额外的量化误差。证据理论方法通过引入信念质量、似然函数等概念，能够对"不知道"的信息进行显式建模，尤其适用于处理分布外样本的不确定性估计问题。与概率方法相比，证据理论无需对不确定性的分布做预先假设，可通过证据的累积动态更新不确定性的度量结果。在强化学习场景中，证据深度神经网络将网络的输出视为狄利克雷分布的参数，通过样本训练得到对应类别的证据强度，进而计算出信念、怀疑与不确定度三个量化指标。近年来已有研究将证据网络应用于离线强化学习的分布偏移检测，当智能体遇到数据集外的状态时，不确定度指标会快速上升，能够有效避免策略在分布外状态下的盲目决策。目前证据理论方法的主要挑战是高维连续动作空间下的证据构造难度较大，现有研究多集中于离散动作任务，面向连续控制场景的适配方法仍有待突破。三、基于不确定性量化的鲁棒强化学习策略优化方法基于不确定性量化的结果，研究人员从风险敏感的目标函数设计、鲁棒策略正则化、不确定性引导的探索三个方向构建了鲁棒性提升的技术框架，实现了策略性能与鲁棒性的平衡优化。风险敏感的强化学习通过在目标函数中引入不确定性量化指标，将风险约束显式嵌入策略优化过程。传统RL的优化目标是最大化期望累积回报，仅考虑了回报的一阶矩，而风险敏感RL会同时引入回报的方差、条件风险价值（CVaR）等高阶统计量作为正则项。例如分布强化学习直接学习回报的完整分布而非期望，通过对分布尾部的风险进行惩罚，避免策略为追求高期望回报而选择高风险动作。在自动驾驶的换道决策场景中，基于CVaR的风险敏感策略会将换道失败概率高于1e-5的动作直接排除，虽然平均速度会降低3%左右，但碰撞风险可降低两个数量级。这类方法的核心难点是如何确定风险正则项的权重，权重过高会导致策略过于保守，权重过低则无法达到鲁棒性要求，目前已有研究提出自适应权重调整方法，根据不确定性的动态变化实时调整风险约束强度，在不同复杂度的环境中均实现了性能与鲁棒性的帕累托最优。鲁棒策略正则化方法通过不确定性量化结果约束策略的更新方向，避免策略过度拟合训练环境的噪声。在基于模型的强化学习中，不确定性引导的模型预测控制（MPC）会根据动力学模型的不确定性调整规划的步长，当模型不确定性较高时缩短规划horizon，优先采用短视的保守决策；当模型不确定性较低时则延长规划步长，优化长期回报。而在离线强化学习中，针对数据分布偏移问题，基于不确定性的行为克隆正则化方法会对分布外状态的策略输出施加更强的约束，使其更接近数据集的行为策略，避免出现分布外的"幻想"动作。值得注意的是，这类正则化方法不会改变策略的基础结构，仅在训练阶段引入额外的损失项，因此部署时不会增加额外的推理开销，非常适合算力受限的边缘端应用场景。不确定性引导的探索方法通过量化不同状态-动作对的不确定性，实现探索效率与鲁棒性的协同提升。传统的ε-贪心、UpperConfidenceBound（UCB）等探索方法仅考虑了访问次数对不确定性的影响，而结合深度不确定性量化技术后，智能体能够更精准地识别"认知不确定性"较高的状态区域，优先对该区域进行采样探索。在机器人导航任务中，基于贝叶斯主动学习的探索方法能够自动引导智能体访问未见过的障碍物区域，通过收集该区域的交互样本降低模型不确定性，最终训练得到的策略在未知障碍物环境中的导航成功率比随机探索方法提升了40%以上。但这类主动探索方法也存在引入安全风险的可能，在高风险场景中需要结合安全约束，避免在探索过程中发生危险动作，目前安全探索与不确定性量化的结合已成为鲁棒RL领域的新兴研究方向。四、典型应用场景与挑战分析不确定性量化的鲁棒强化学习方法已在多个高风险决策场景得到验证应用，同时也暴露出现有技术的局限性。在自动驾驶决策系统中，基于不确定性量化的鲁棒策略可有效应对复杂交通场景的不确定性。Waymo、特斯拉等企业的自动驾驶团队已将贝叶斯神经网络应用于轨迹预测模块，通过输出预测轨迹的不确定性方差，为规划模块提供风险参考。国内研究团队提出的不确定性感知的决策框架，在暴雨、浓雾等低能见度场景下，当感知模块的不确定性高于阈值时，会自动触发减速、靠边停车等保守策略，有效降低了极端天气下的事故率。但目前自动驾驶场景的多源不确定性耦合效应研究仍不足，感知、预测、决策模块的不确定性如何传递与融合，仍是尚未解决的关键问题。在电力系统调度场景中，鲁棒强化学习方法能够应对可再生能源出力与用户负荷的双重不确定性。国家电网相关研究团队将基于证据理论的不确定性量化方法与深度Q网络结合，构建了含高比例新能源的电网调度策略，在新能源出力波动±30%的场景下，弃风弃光率比传统优化调度方法降低了2.7%，同时保证了电网频率的稳定。但电力系统对决策的可解释性要求极高，目前基于神经网络的不确定性量化方法大多属于黑箱模型，无法给出不确定性的具体来源解释，难以满足电力监管部门的审计要求，可解释的不确定性量化是该场景落地的核心前提。面向未来的研究方向，多模态不确定性的联合量化、分布外泛化的理论保证、实时性与量化精度的平衡是三个亟待突破