基于软策略的强化学习安全探索研究综述

基于软策略的强化学习安全探索研究综述一、软策略强化学习基础框架与安全探索核心矛盾软策略强化学习（SoftActor-Critic,SAC）作为最大熵强化学习框架的代表性算法，通过在目标函数中引入策略熵项，实现了探索与利用的天然平衡。其核心优化目标可表示为$J(\theta)=\mathbb{E}{(s,a)\sim\rho\theta}[r(s,a)+\alpha\mathcal{H}(\pi_\theta(\cdot|s))]$，其中熵正则化系数$\alpha$控制着策略的随机程度，较高的熵值意味着策略会覆盖更多动作空间，从而提升探索效率。但正是这种对高熵探索的偏好，使得软策略算法在实际部署中面临不可避免的安全风险：在工业控制、自动驾驶、医疗机器人等安全敏感场景中，随机采样的动作可能导致系统进入危险状态——例如机械臂在关节限位附近的探索可能引发硬件碰撞，自动驾驶车辆在变道场景中的随机动作可能触发交通事故。这种矛盾本质上来源于强化学习的“试错”属性与安全约束的“零容忍”要求之间的冲突。传统的硬约束方法往往通过直接截断危险动作、或在奖励函数中添加大惩罚项实现安全控制，但这两种方式在软策略框架下均存在明显缺陷：动作截断会破坏策略的概率分布连续性，导致最大熵优化的理论特性失效，甚至引发策略收敛至次优解；而惩罚项方法则需要反复调试惩罚系数，系数过小无法有效抑制危险行为，系数过大则会导致策略过度保守，完全失去软策略的探索优势。因此，如何在不破坏软策略原有框架特性的前提下，将安全约束嵌入探索过程，成为近五年来强化学习领域的核心研究方向之一。二、安全约束嵌入的典型技术路径当前基于软策略的安全探索研究主要沿着三条技术路径展开，分别是约束优化改造、危险状态预判与安全动作空间投影。（一）软策略的约束优化框架改造该路径的核心思路是将安全约束直接引入软策略的优化目标，形成带约束的最大熵马尔可夫决策过程（CMDP）。代表性工作是2020年提出的安全软演员-评论家算法（SafeSAC），该算法在原SAC的目标函数基础上，增加了对预期成本的约束项$\mathbb{E}{(s,a)\sim\rho\theta}[c(s,a)]\leqd$，其中$c(s,a)$为状态-动作对对应的安全成本，$d$为安全阈值。为了处理该约束优化问题，研究者引入拉格朗日乘子法，将原问题转化为鞍点优化问题，同时对策略、价值网络和拉格朗日乘子进行交替更新。这类方法的优势在于保持了端到端训练的特性，无需额外的安全模块，但在实际应用中存在约束满足的稳定性问题：当训练环境存在非平稳性时，拉格朗日乘子的更新容易出现振荡，导致安全约束间歇性失效。后续研究针对这一缺陷进行了多方向改进，其中基于障碍函数的改造方案获得了广泛关注。研究者将控制理论中的对数障碍函数引入软策略的熵正则项，当智能体接近危险状态边界时，障碍函数的值会快速增长，从而在不改变原有优化框架的前提下，迫使策略主动降低危险区域的动作熵。实验结果表明，在机械臂避障任务中，这类改进算法可以将危险状态的出现概率降低92%，同时策略的最终性能仅下降不到3%，较传统SafeSAC实现了安全性与探索效率的更好平衡。（二）基于世界模型的危险状态预判第二类技术路径通过构建环境的动态预测模型（即世界模型），在动作执行前预判其安全后果，从而提前过滤危险探索行为。这类方法充分利用了软策略算法采样效率高的优势，将探索过程分为“仿真预判-真实执行”两个阶段：首先用智能体采集的历史数据训练一个概率动态模型$p(s_{t+1}|s_t,a_t)$，该模型可以输出下一状态的概率分布；在每次真实环境交互前，策略采样的候选动作会先输入到动态模型中，若预测的下一状态处于危险区域的概率超过预设阈值，则拒绝执行该动作，重新采样。2022年提出的Dreamer-Safe算法是该方向的代表性工作，该算法将基于模型的规划与软策略更新相结合，在离线预训练阶段用世界模型生成大量虚拟安全轨迹对策略进行预训练，在线探索阶段则每步执行10次采样预判，仅选择安全概率最高的动作执行。在HalfCheetah机器人跑步任务中，即使设定“摔倒即终止”的严苛安全约束，Dreamer-Safe仍能实现100%的安全训练过程，同时最终速度达到无约束SAC的90%以上。这类方法的局限性在于其安全保证高度依赖世界模型的预测精度，当环境存在难以建模的动态特性时，预测误差可能导致危险动作漏判，因此目前主要适用于动态特性相对可控的机器人控制场景。（三）安全动作空间的实时投影第三类方法通过在线计算当前状态下的安全动作集合，将软策略采样得到的不安全动作直接投影到安全集合内，从而在保证动作合法性的同时，尽可能保留原策略的探索特性。与硬动作截断不同，投影操作会最小化原采样动作与投影后动作的距离，从而最小化对策略分布的破坏。这类方法的核心挑战在于如何高效计算高维连续动作空间中的安全集合。近年来的研究主要采用控制屏障函数（ControlBarrierFunction,CBF）来构造安全约束的二次规划问题：对于每个状态$s_t$，通过CBF导出动作需要满足的线性不等式约束$Aa_t\leqb$，然后求解二次规划问题$\min_{a\in\mathcal{A}}|a-\tilde{a}_t|^2$，其中$\tilde{a}_t$是原软策略采样的动作，$Aa_t\leqb$为安全约束，最终输出投影后的安全动作$a_t$。2023年的一项研究将该方法与SAC结合，在自动驾驶的车道保持任务中实现了零碰撞训练，且策略的跟踪误差仅比无约束SAC高1.2%，远低于动作截断方法的8.7%的误差增量。值得注意的是，这类方法需要预先定义CBF的表达式，因此仅适用于安全约束可以显式建模的场景，对于安全规则模糊的复杂场景（如人机交互）适用性较差。三、面向开放场景的安全探索前沿进展随着软策略强化学习逐渐向真实开放场景部署，现有技术面临着安全约束动态变化、多智能体交互安全、跨域迁移安全等新挑战，相关前沿研究主要围绕以下三个方向展开。（一）动态安全约束的自适应适配传统安全探索方法均假设安全约束固定不变，但在真实场景中，安全阈值往往会随环境变化动态调整。例如室外移动机器人在雨天的安全行驶速度阈值会明显低于晴天，人机协作场景中机器人的安全距离阈值会根据人类的动作意图实时变化。针对这一问题，最新研究提出了元安全软策略框架，该框架将不同环境下的安全约束作为元任务，通过元学习训练策略快速适应新的安全阈值。实验结果表明，该框架在安全约束突变的场景中，仅需要5到10步交互即可调整探索策略，适配新的安全约束，而传统SafeSAC需要超过200步交互才能重新满足安全要求。另一项值得关注的进展是基于大语言模型（LLM）的安全规则注入，研究者将自然语言描述的安全规则转化为软策略的奖励信号与约束条件，从而无需显式建模成本函数即可实现安全探索。例如在家庭服务机器人场景中，用户仅需用自然语言输入“不要碰桌面上的玻璃杯”，大语言模型即可将其解析为对应的状态约束，实时调整软策略的动作采样范围。这类方法极大降低了安全约束的部署门槛，为非专业用户定制安全强化学习策略提供了可能，但目前仍面临自然语言歧义性导致的约束理解错误问题，需要进一步结合人在回路的反馈机制进行优化。（二）多智能体软策略的协同安全探索在多智能体协作场景中，单个智能体的探索行为不仅影响自身安全，还可能引发连锁安全事故，例如多无人机编队飞行中，单架无人机的随机探索动作可能导致编队碰撞。针对多智能体软策略的安全探索问题，近年来的研究主要从分布式约束一致性的角度切入，提出了多智能体安全软演员-评论家算法（MAS2AC）。该算法为每个智能体设计了本地安全约束与全局安全约束两个损失项，本地约束保证智能体自身不会进入危险状态，全局约束则通过智能体间的通信模块，保证所有智能体的联合动作不会触发系统级安全风险。在10架无人机编队避障任务中，MAS2AC可以实现零碰撞的协同探索，同时编队的整体飞行效率比独立训练的SafeSAC高40%以上。（三）离线到在线迁移的安全保障当前软策略算法的训练往往需要先在离线数据集上进行预训练，再部署到真实环境中进行微调，但离线数据中可能不包含危险状态的样本，导致预训练策略在在线探索初期容易触发安全事故。针对这一问题，最新研究提出了安全离线预训练与在线微调的统一框架，该框架在离线预训练阶段引入保守安全评估模块，对策略在未知状态下的安全性能进行下界估计，只有当安全下界超过阈值时才允许策略部署到真实环境。在线微调阶段，算法会动态调整探索熵的上限，当智能体处于离线数据覆盖的状态空间时，采用正常的软策略探索；当智能体进入分布外的未知状态时，自动降低策略熵，采用更保守的探索方式。在自动驾驶的离线数据集测试中，该框架可以将在线微调阶段的碰撞率降低98%，同时策略的收敛速度仅比无约束微调慢15%，有效平衡了迁移过程的安全性与探索效率。四、现存挑战与未来研究方向尽管基于软策略的安全探索研究已经取得了显著进展，但距离大规模工业部署仍存在三个核心挑战：首先是安全保证的理论可证性问题，现有大部分算法的安全约束满足都是基于实验验证，缺乏严格的理论下界保证，尤其是在非平稳、部分可观测的真实环境中，如何提供端到端的安全概率保证仍是未解决的难题。其次是高维复杂场景的适用性问题，当前多数安全软策略算法仅在低维连续控制任务中得到验证，对于图像输入、动作空间维度超过100的复杂场景（如灵巧手操作），安全约束的计算效率与准确性都会急剧下降。最后是人机共融场景的安全边界定义问题