CN114330109B 无人驾驶场景下深度强化学习模型的可解释性方法及系统 （深圳先进技术研究院）

A,2018.03.23A,2019.04.16A,2021.08.24A,2021.09.07无人驾驶场景下深度强化学习模型的可解人驾驶场景下深度强化学习模型的可解释性方分析图片各个特征对模型决策的影响的技术问2选择合适的仿真环境以及适合的深度强化学习算法，通过训练得到收敛的对强化学习模型输入无人驾驶场景下拍摄的图片，对图片进行特首先通过模型与环境交互得到状态图像，通过超像素分割将将差值矩阵通过上采样，使得矩阵大小等于输入图像的大小2.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征3.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征4.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征5.根据权利要求4所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征将输入图片转换成进行解释时所需要的形式：将无人驾驶环境中6.根据权利要求5所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征7.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征8.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征解释性算法模块，用于对强化学习模型输入无人驾驶场景下拍摄的图3首先通过模型与环境交互得到状态图像，通过超像素分割将将差值矩阵通过上采样，使得矩阵大小等于输入图像的大小4[0002]无人驾驶场景下深度强化学习模型的可解释性技术实现了对无人驾驶场景下的(ExplainableAI,XAI)作为一项人工智能新兴领域，主要是对各种AI算法模型进行解释与[0003]DRL是深度学习与强化学习结合的算法，结合了深度学习的感知能力和强化学习解释在训练时被构造成内在可解释或本身就是可解释的，比如决策树；事后解释(post-[0006](2)根据解释的范围分为：全局解释(globalinterpretability)和局部解释XAI的子领域，尚未得到广泛研究。现在对深度强化学习的研究方向是事后解释(post-hocinterpretability)，既有全局解释(globalinterpretability)，也有局部解释(localinterpretability)。虽然XRL起步较晚，但是目前也有几个典型研究在事后解释(post-hocinterpretability)也有几个典型研究。同时XAI中针对其他的人工智能模型的5归因)通过平衡两个方面(特殊性和相关性)来生成更加突出的显着性图，这两个方面捕获部分权衡了不相关的特征，这些特征改变了将要解释的动作以外的动作的相对预期回报。也可以通过训练第二个可解释模型来逼近原来的黑匣子模型，2016年，Ribeiro等人在[0009]现有的关于深度强化学习模型的可解释性技术都是基于扰动技术和训练可解释限性也不能很好地满足实际应用对解释性算[0010]通过扰动输入进行解释的显著图算法(Saliencymap)需要将输入图片按照一定间[0012]本发明实施例提供了一种无人驾驶场景下深度强化学习模型的可解释性方法及6[0026]进一步地，使用显著图算法对图片进行特征的划分及进行特征影响力的量化分7[0034]图1为本发明无人驾驶场景下深度强化学习模型的可解释性方法及系统的整体设[0035]图2为本发明无人驾驶场景下深度强化学习模型的可解释性方法及系统的工作流员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范提供的在快速与准确的解决方案；对输入图片中确定的特征对模型决策的影响进行量化；算法，在设计过程中不依赖某种特定的模型，所以本发明提出的XRL是不依赖于某一模型使用户了解决策过程中的有利因素以及不利因素，并通过良好的人机交互形式展现给用[0045]无人驾驶场景下深度强化学习模型的可解释性方法及系统整体设计框架由3部分8[0048]本发明需要事先选择合适的仿真环境以及适合的深度强选择深度强化学习中的A3C(Asynchronousadvantageactor-critic)作为无人驾驶中的智[0051]其中，图片预处理的结果将有利于显著图算法(Saliencymap)模块的运行以及特[0054]无人驾驶场景下深度强化学习模型的可解释性方法及系统需要满足三项基本要等特征的相邻像素构成的有一定视觉意义的不规则像素块，并用少量像素来代替大量像9的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，说对现有技术做出贡献的部分或者该技术方案的全部或部分