CN119514716A 基于视觉语言大模型的自动驾驶规划方法及相关设备 （中国科学院自动化研究所）

号基于视觉语言大模型的自动驾驶规划方法一种基于视觉语言大模型的自动驾驶规划觉语言大模型是通过样本驾驶场景信息和思维大模型对所述样本驾驶场景信息进行多阶段推2将所述驾驶场景信息输入至视觉语言大模型，获取所述视觉语言大思维链用于辅助所述视觉语言大模型对所述样本驾驶场景信息进行多阶4.根据权利要求1_3中任一项所述的基于视觉语言大模型的自动驾驶规划方法，其特将所述样本驾驶场景信息和所述样本思维链输入至所述视觉语获取所述样本自动驾驶规划参数的仿真结果，根据所述仿真结果调整所述样本思维将调整后的样本思维链集成于所述视觉语言其中，所述第一样本思维子链用于辅助所述视觉语言大模其中，所述第二样本思维子链用于辅助所述视觉语言大模型基将所述样本驾驶场景信息和所述第一样本思维子链输入至所述视觉语言大3将所述第二样本思维子链输入至所述视觉语言大模型，通过所述第二8.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至7任一项所述基于视觉语言大模型的自动驾驶规行时实现如权利要求1至7任一项所述基于视觉语言大模型的自动驾4划。程序被处理器执行时实现如上述任一种所述基于视觉语言大模型的自5[0012]图1是本发明实施例提供的一种基于视觉语言大模型的自动驾驶规划方法的流程中，可以理解为通过多种传感器采集并经过处理后得到的高度抽象和结构化的场景表示，6[0031]具体实施时,系统首先基于传感器7[0034]具体的，在获取道路元素构成的鸟瞰图的过键步骤。车道图是一种结构化的车道网络表示方法,它通过节点和边的方式描述了车道之它能够将复杂的道路网络简化为一个易于计算机处理的图结构,从而为后续的路径规划和[0036]具体实施时,系统首先需要从原始传感器数据中提取车道线信息,包括车道线的时控制计算复杂度。接下来,系统会分析相邻节点之间的关系,如果两个节点属于同一车[0039]将鸟瞰图转换为文本描述是为了能够将视觉信息转化为语言模型可以直接处理的形式,从而为后续的视觉语言大模型提供更加全面和结构化的输入。文本描述不仅包含了鸟瞰图中的空间关系信息,还能够表达难以直接在图像中呈现的语义信息,如车辆的速相对于自动驾驶车辆的位置和运动状态。静态物体则会被描述为相对固定的参照点,包括[0041]在生成文本描述时,系统会采用预定义的模板和自然语言生成技术,确保描述的准确性和可读性。示例性的,对于一个典型的城市道路场景,文本描述可能会包含如下内容:"自车位于一条双向四车道道路的右侧车道上,当前速度为40km/h。前方50米处有一辆8规模神经网络模型。这类模型通常基于Transformer架构,针对自动驾驶场景进行优化和微调的大规模预训练模型,它能够接收包含鸟瞰图和文本描述的驾驶场景信息作为输入,并通过内部的多阶段推理过程输出适合当前场景的自动驾驶[0044]对应的，思维链指的是一种结构化的推理列逻辑上相互关联的步骤或阶段。这种方法模仿了人类解决问题时的思考过程,通过将大[0045]具体的,这种思维链用于组织和结构化视觉语言大模型的推理过程,确保模型在高推理过程的可解释性和可追溯性。通过记录每个推理阶段的中间结果,系统可以清晰地用于增强模型的推理能力,特别是在处理复杂或罕见场景时。通过强制模型遵循预定义的运动状态和轨迹。在本申请实施例中,可以理解为视觉语言大模型基于对当前驾驶场景的理解和分析,输出的一组具体数值或指令,这些数值或指令能够被底层控制系统直接解释5为本发明提供的一种视觉语言大模型的微调过程示意图。上述实施例对视觉语言大模型9本申请实施例中,可以理解为一系列经过标准化处理的驾驶场景表示,每个表示都包含了泛的驾驶情况,从常见的日常通勤场景到罕见的紧急情况,以确保模型能够学习到全面的本思维子链用于辅助视觉语言大模型基于中层决策确定不同阶段的自动驾[0052]其中，样本思维链指的是一种结构化的以理解为一个由两个相互关联的子链组成的分层决策结构,包括第一样本思维子链和第二样本思维子链。第一样本思维子链用于生成中层决策,而第二样本思维子链则基于中层决关联但功能各异的推理框架部分,它们共同模拟了从高层策略到具体操作的人类驾驶决策过程。在本申请实施例中,第一样本思维子链可以理解为一个专注于生成中层决策的推理框架,主要处理驾驶场景的整体理解和宏观策略制定,包括横向决策(如是否需要换道)和析和策略生成等步骤,旨在指导模型进行整体场景理解和风险评估,生成高层次的驾驶策[0054]与之相对,第二样本思维子链则可以理解为一个基于中层决策,生成具体自动驾高层策略具体化,生成精确的路径规划和速度控制指令,同时优化驾驶参数以确保舒适性[0055]其中，中层决策指的是在自动驾驶系统中[0056]横向决策主要用于表征换道操作,[0057]纵向决策则主要用于标准控速操得到自动驾驶目标在当前阶段以及下一阶段的样本自些输出目标用于指导模型生成直接可用于自动驾驶控制系统的参数，确保模型输出的实用[0073]基于第二样本思维子链和中层决策，系统进一步确定视觉语言大模型的输出目[0077]具体的，系统首先对视觉语言大模型生成的样本自动驾驶规划参数进行仿真测[0088]此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各