CN119476467A 基于大语言模型进行情境问题推理的方法及相关设备 （北京大学）

基于大语言模型进行情境问题推理的方法一种基于大语言模型进行情境问题推理的第一回答由集成于所述智能体中的大语言模型是所述智能体基于所述第一回答对所述大语言2将所述情境问题输入至智能体，获取所述智能体输出的第一回答，所述成于所述智能体中的大语言模型基于所述情境问若确定所述第一回答错误，则将所述第一回答输入至所述智能将所述情境场景输入至集成于智能体中的字幕模型，通过所述将所述目标问题输入至所述大语言模型，通过所述大语言模型基于将所述第一回答输入至所述智能体，通过所述智能体调用方若存在相似度大于阈值的推理过程，则将所述相似度大于若不存在相似度大于阈值的推理过程，则调用知识数据库中与所述4.根据权利要求1_3中任一项所述的基于大语言模型进行情境问题推理的方法，其特通过样本情境场景对所述智能体中集成的字幕模型进行训练，获取训将所述方法数据库和所述知识数据库集成于所述将样本情境场景输入至所述智能体中集成的字幕模型，获取字3基于损失函数和奖励函数评估所述样本文本描述，得到评估结果，并根据评其中，所述损失函数和所述奖励函数用于调整所述样本若确定所述样本第一回答错误，则将所述第一回答错误的结果反馈至所述大语言模将所述样本情境场景中同一物体对应的样本第一回答、样将质心对应的知识信息输入至所述大语言模型，通过所述大语言模8.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至7任一项所述基于大语言模型进行情境问题推理行时实现如权利要求1至7任一项所述基于大语言模型进行情境问题4[0002]情境问题是指在特定环境或场景下提出旨在测试和提高人工智能系统对复杂场景的理解和[0003]目前,解决情境问题的主流方法是利用程序被处理器执行时实现如上述任一种所述基于大语言模型进行情境5纠正和知识更新来提高回答的准确性。相比于现有技术中大语言模型直接生成答案的方[0013]图1是本发明实施例提供的一种基于大语言模型进行情境问题推理的方法的流程[0022]情境问题回答任务要求智能体能够在特定的环境情境中理解问题并给出合适的67本发明实施例中,可以理解为一种专门设计用于处理三维场景信息的神经网络模型。字幕模型的核心功能是分析复杂的空间数据,识别场景中的物体及其属性,并生成结构化的文[0039]在本发明实施例中,字幕模型首先对输入的三维场景数据进行解析,这些数据可型还能理解并描述物体之间的相对位置和空间关系,例如"在...左侧"或"位于...上方"[0040]基于上述提取的特征和空间关系[0041]值得注意的是,由于字幕模型是基于样本情境问题训练得到的,它能够有针对性复杂的空间信息转化为结构化的文本描述,字幕模型为后续的问题理解和回答提供了必要[0043]其中，关键信息指的是在特定场景或问性和空间关系等信息。这些信息是从复杂的三维环境中提取出来的,对于准确回答情境问要性取决于具体的情境问题,比如询问"红色物体在房间的哪个位置"时,物体的颜色就成[0046]具体实施时,系统首先将目标问题转化为适合大语言模型处理的格式,可以是一段文本。然后,将这段文本与步骤S201中生成的场景文本描述一起作为输入提供给大语言8信息。基于这些信息,大语言模型会启动其内部的推理机制,这可能包括多步骤的逻辑推[0047]例如,如果目标问题是"房间里最大的家具是什么颜色第一回答错误指的是大语言模型生成的初始回答不能正确或完整地解答给定的情境问题。在本发明实施例中,可以理解为大语言模型输出的回答与预期的正确答案不符,或者模型直接表示无法回答问题。第一回答错误用于触发智能体的错误修正机制,启动推理反思和最近的家具是什么颜色?"。场景描述:"客厅里有一张红色沙发靠墙放置,一个棕色电视柜[0052]在上述情况下,大语言模型可能无法正确处理多个物体的位置关系和颜色信息,假设有一个厨房场景,问题是:"厨房里的那个带有HEPA过滤器的设备是用来做什会激活提炼模块。提炼模块会从预先建立的知识数据库中检索相关的专业知识或常识信9本情境问题训练智能体得到。[0065]当系统发现不存在相似度大于阈值的推理过程时，首先会分析第一回答的内[0070]其中，样本情境问题指的是在智能体训练过程中使用的一套预先准备的问题集的性能。损失函数指的是一种用于衡量模型预测输出与实际目标值之间差异的数学函数，在本发明实施例中可以理解为评估字幕模型生成的样本文本描述与理想描述之间差距的;幕数量，表示通过束搜索生成的第i个字幕候选，表示通过贪婪搜索生成的基线字幕，[0081]具体的，上述损失函数基于强化学习原理，目的是通过奖励函数R来指导模型优;通过比较正确生成的形容词与总形容词数量，反映模型在生成关键描述性信息上的表现，;[0086]步骤403、通过大语言模型基于样本关键信息和样本目标问题，得到样本第一回步骤601、若确定样本第一回答错误，则将第一回答错误的结果反馈至大语言模同一物体"可能在不同的场景中出现，具有不同的属性或状态。对于每个识别到的物体实[0109]具体实施时，系统首先收集同一物体在不同样本情境场景中对应的所有特征向[0113]具体实施时，系统首先需要将质心这种数值化的表示转换回可理解的文本形型接收这些基于质心生成的初步描述，利用其庞大的预训练知识库和强大的语言理解能置信息被映射到智能体的当前视角，使得后续的推理能够基于智能体的"主观"感知进行，[0129]此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行