CN117010265B 能够进行自然语言交互的自动驾驶模型及其训练方法 （北京百度网讯科技有限公司）

能够进行自然语言交互的自动驾驶模型及本公开提供了一种能够进行自然语言交互第一输入信息生成目标自动驾驶策略信息以及车辆周围环境的感知信息相关并包括历史交互统响应信息或自动驾驶策略相关信息来增加用2生成器，所述生成器包括Transformer网络，所述Transform输入信息与针对车辆周围环境的感知信息相关并包括历史自其中，所述自动驾驶模型系统还包括多模态编码层，所述多模其中，所述第一输入信息包括所述第二输入信息相对应息还包括所述历史自然语言交互信息的时间标识、所述历史自然语言交互信息的类型标其中，所述交互信息包括用户与所述自动驾驶模型系统之间过程中针对所述目标车辆周围环境的当前感知信获取第一输入信息，其中，所述第一输入信息与针对车辆周围环将所述第一输入信息输入所述自动驾驶模型的生成器，以由所述Transformer网络对所述第一输入信息进行处理以生成目标自动驾驶策略信息以及其中，所述自动驾驶模型还包括多模态编码层，所述多模态其中，所述第一输入信息包括所述第二输入信息相对应息还包括所述历史自然语言交互信息的时间标识、所述历史自然语言交互信息的类型标其中，所述交互信息包括用户与所述自动驾驶模型之息生成目标自动驾驶策略信息，并基于所述目标自动驾驶策略信息生成所述目标交互信39.一种自动驾驶模型的训练方法，所述自动驾驶模型包括生成器，所述生成器包括获取第一样本输入信息，其中所述第一样本输入信息与针获取所述第一样本输入信息相对应的真实自动驾驶策略将所述第一样本输入信息输入所述自动驾驶模型的生成器，以由所述Transformer网及基于所述预测自动驾驶策略信息和所述真实自动驾驶策略信息之间的差异以及所述预测交互信息和所述真实交互信息之间的差异调整所述自动驾其中，所述自动驾驶模型还包括多模态编码层，所述多模态述样本隐式表示的时间标识和所述样本隐式表示的其中，所述交互信息包括用户与所述自动驾驶模型之间基于所述预测自动驾驶策略信息和所述真实自动驾驶策略信息之间的第一差异以及所述预测交互信息和所述真实交互信息之间的第二差异调整所述自动驾驶模型的参数包之间的第一差异以及所述预测交互信息和所述真实人工交互信息之间的第二差异调整所12.如权利要求9_11中任一项所述的方法，其中所述真实自动驾驶策略信息包括真实获取针对所述真实模型驾驶策略信息的第一评价反馈信息和针对所述真实模型交互自动驾驶策略信息和所述真实模型驾驶策略信息之间的第三差异以及所述预测交互信息和所述真实模型交互信息之间的第四差异调整所4生成单元，被配置成将所述第一输入信息输入所述自Transformer网络对所述第一输入信息进行处理以生成目标自动驾驶策略信息以及目标交其中，所述自动驾驶模型还包括多模态编码层，所述多模态其中，所述第一输入信息包括所述第二输入信息相对应息还包括所述历史自然语言交互信息的时间标识、所述历史自然语言交互信息的类型标其中，所述交互信息包括用户与所述自动驾驶模型之样本信息获取单元，被配置成获取第一样本输入信息，其中所述样本输车辆周围环境的感知信息相关并包括样本历真实信息获取单元，被配置成获取所述第一样本输入信生成器训练单元，被配置成将所述第一样本输入信息输入所述自动驾驶模型的生成器，以由所述Transformer网络对所述第一样本输入信息进行处理以生成预测自动驾驶策参数调整单元，被配置成基于所述预测自动驾驶策略信息和息之间的差异以及所述预测交互信息和所述真实交互信息之间的差异调整所述自动驾驶其中，所述自动驾驶模型还包括多模态编码层，所述多模态输入信息包括利用传感器所获得的车辆周围环其中，所述第一样本输入信息包括所述第二样本输入信息其中，所述交互信息包括用户与所述自动驾驶模型之间5所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被使所述计算机执行根据权利要求5_12中根据权利要求13所述的自动驾驶装置、根据权利要求14所述的自6在自动驾驶过程中，自动驾驶模型基于输入信息得到用于控制车辆行为的自动驾驶策略。[0004]在此部分中描述的方法不一定是之前已经设想到或采用7驾驶策略信息和所述真实自动驾驶策略信息之间的差异以及所述预测交互信息和所述真差异以及所述预测交互信息和所述真实交互信息之间的差异调整所述自动驾驶模型的参8[0016]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0018]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性[0022]图5示出了根据本公开的实施例的用于对自动驾驶模型进行训练的方法的示例性[0023]图6示出了根据本公开的实施例的基于自动驾驶模型的自动驾驶装置的示例性框[0028]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目9[0030]图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的辆110耦接到服务器120的一个或多个通信[0032]服务器120可以运行使得能够实现自动驾驶的一个或多个服务或软件应用。在某者涉及虚拟化的其他计算架构(例如可以被虚[0034]服务器120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序经由机动车辆110的一个或多个显示设备来显示数据馈[0036]网络130可以是本领域技术人员熟知的任何类型的网络，其可以使用多种可用协多个网络130可以是卫星通信网络、局域网(LAN)、基于以太网的网络、令牌环、广域网[0038]在某些实施例中，数据库150中的一个或多个还可以由应用程序使用来存储应用[0039]机动车辆110可以包括传感器111用于感知周围环境。传感器111可以包括下列传信和与基础设施144进行车辆到基础设施(Vehicle_to_Infrastructure，V2I)通信的车与局域网或蓝牙与用户终端145(包括但不限于智能手机、平板电脑或诸如手表等可佩戴装[0041]机动车辆110还可以包括控制装置113。控制装置113可以包括与各种类型的计算者其他的专用处理器等。控制装置113可以包括用于自动控制车辆中的各种致动器的自动驾驶系统。自动驾驶系统被配置为经由多个致动器响应来自多个传感器111或者其他输入设备的输入而控制机动车辆110(未示出的)动力总成、转向系统以及制动系统等以分别控制装置113可以被实现为根据本公开的机动车辆侧(客户端)的计算设备的一个示式网络(ProgressiveNetwork)，在这种方法中通过逐步从简单任务过渡到复杂任务来进种方法中过在真实环境中学习一个逆转移概率矩阵来直接在真实环境中应用仿真环境中[0045]相关技术中使用的方法为了将仿真环境和真实环境映射到统一特征空间通常会导致感知信息的丢失，比如将仿真图像和真实图像都[0046]为了解决上述问题，本公开提供了一种新的用于对自动驾驶模型进行训练的方码层210和决策控制层220连接组成端到端的神经网络模型，以使得决策控制层220直接基目标车辆的导航信息In1和利用传感器所获得的目标车辆周围环境的感知信息(例如可以信息包括在目标车辆的行驶过程中针对目标车辆周围环境的当前感知信息和历史感知信编码计算，相当于决策控制层220可以直接基于感知信息进行规划，获取自动驾驶策略信[0050]在示例中，自动驾驶模型200可以采用具有编码器(Encoder)和解码器(Decoder)的Transformer网络结构。可以理解的是，自动驾驶模型200还可以是其他的基于[0051]在示例中，第一输入信息中的目标车辆的导航信息In1可以包括矢量化的导航信级导航信息以及粗定位信息中的一者或多者进行矢感知信息In3以及一个或多个毫米波雷达的感知信息In4。通过摄像机获取到的感知信息过程中针对目标车辆周围环境的当前感知信息xt和多个历史时刻对应的历史感知信息xt_ΔtBEV特征都从上一时刻的BEV特征获取所需的时序信息)来融合历史信息，从而聚合时序信标自动驾驶策略信息例如可以包括规划轨迹Out1或针对车辆的控制信号Out2(例如控制油来预测层230被配置用于基于输入的隐式表示et预测针对目标车辆周围环境的未来预测信来时刻的传感器输入信息。未来预测信息Out3中的至少一部分可以作为辅助信息A输入到决策控制层220中，决策控制层220可以基于隐式表示et和辅助信息A来预测目标自动驾驶少一部分信息作为辅助信息输入到决策控制层220中以辅助决策，可以提升决策的准确性决策控制层220可以预测得到更加优化的刻的传感器信息包括未来某个时刻的摄像机输入信息或雷达输入信息)、与未来预测感知信息相对应的未来预测隐式表示(例如未来某个时刻的传感器信息相对应的在BEV空间的隐式表示)、以及针对目标车辆周围环境的未来预测检测信息(例如未来某个时知检测层240可以被配置用于基于输入的隐式表示et获取针对目标车辆周围环境的目标检目标车辆周围环境中的多个障碍物的类型及其历史状态信息。并且决策控制层220的第二输入信息还可以包括目标检测信息Out4的至少一少一部分信息作为辅助信息输入到决策控制层220中以辅助决策，可以使得针对车辆周围控制层220可以预测得到更加优化的目标自动价反馈层250可以被配置用于基于输入的隐式表示et获取针对目标自动驾驶策略信息的评过评价反馈层250对多模态编码层210进行训练，从而使得多模态编码层210的编码更加准[0074]根据一些实施例，如图2中包括未来预测信息Out3和目标检测信息Out4在内的辅[0075]根据一些实施例，评价反馈层250可以被配置用于基于输入的隐式表示et和目标[0076]根据本申请的另一些实施例，评价反馈层250可以被配置用于输入的未来预测信层260可以被配置用于基于输入的隐式表示et获取针对目标自动驾驶策略信息的解释信息Transformer中的解码器从而解码得到自然语言以用于释层260可以被配置用于基于输入的未来预测信息和目标检测信息中一者或两者的至少一对车辆周围环境的当前和历史一段时间的目标检测信息和未来预测信息能够用于辅助解et和目标自动驾驶策略信息(例如规划轨迹Out1)获取针对目标自动驾驶策略信息的解释[0081]根据本申请的另一些实施例，解释层260可以被配置用于输入的未来预测信息示et获取针对目标自动驾驶策略信息的解释信息Out6，从而能够进一步提升解释的准确[0086]导航地图可以包括道路级地图(SDMap)、车道级地图(LDMap)、高精地图(HD使用车道级地图作为辅助信息来进行决策能够提升决策[0088]根据一些实施例，多模态编码层210被配置用于将第一输入信息映射至预设空间息映射至BEV空间能够较为方便地连接感知与导航信息和针对车辆周围环境的感知信息相关[0099]如图3所示，作为生成器310的输入的第一输入信息可以包括历史交互信息301以及与车辆的导航信息和针对车辆周围环境的感知信息相关[0100]历史交互信息301可以包括自动驾驶过程中用户(如自动驾驶车辆的乘客)与模型进行适当处理，来得到生成器能够处理的信息的形式，例如与自然语言信息对应的向量[0101]信息302与部署有自动驾驶模型的车辆周围环境的感知信息相关。在一些实施例模型300还可以包括多模态编码层。可以利用结合图2描述的多模态编码层210来实现自动[0102]多模态编码层可以被配置用于基于输入的第二输入信息输出第二输入信息相对类型标识和隐式表示的类型标识赋以不同的值来使得模型能够分辨所输入的信息中哪一[0105]生成器310可以被配置成基于第一输入信息中的信息301和信息302来生成目标自被实现为transformer网络结构。例如生成器310可以采用编解码一体的transformer网络[0109]图4示出了根据本公开的实施例的自动驾驶方法的示例性流程图。可以利用结合[0113]在一些实施例中，自动驾驶方法中使用的自动驾驶模型还可以包括多模态编码辆的行驶过程中针对目标车辆周围环境的当前感知信[0117]图5示出了根据本公开的实施例的用于对自动驾驶模型进行训练的方法的示例性差异以及预测交互信息和真实交互信息之间的差异调工驾驶策略信息(例如人工驾驶的车辆轨迹、控制数据)以及乘客和司机之间发生的工驾驶策略信息之间的第一差异以及预测交互信息和真实人工交互信息之间的第二差异型输出的预测交互信息中的预测自然语言内容，表示t时刻真实人工交式或利用训练好的评价模型来获取第一评价反馈信息和第[0136]图6示出了根据本公开的实施例的基于自动驾驶模型的自动驾驶装置的示例性框[0139]生成单元620被配置成将所述第一输入信息输入所述自动驾驶模型的生成器，以[0143]样本信息获取单元710被配置成获取第一样本输入信息，其中所述样本输入信息[0144]真实信息获取单元720被配置成获取所述第一样本输入信息相对应的真实自动驾[0145]生成器训练单元730被配置成将所述第一样本输入信息输入所述自动驾驶模型的[0146]参数调整单元740被配置成基于所述预测自动驾驶策略信息和所述真实自动驾驶策略信息之间的差异以及所述预测交互信息和所述真实交互信息之间的差异调整所述自[0149]还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图6、图7描述的各个单元可以在硬件中或在结合软件和/或固件的硬件中实