CN119443287A 一种智能体及其室内导航方法、设备、介质及产品 （北京理工大学）

号本申请公开了一种智能体及其室内导航方基于位置信息匹配导航策略算法并更新验证室能够理解包括自然语言和图像在内的多模态指2采用视觉语言模型，并利用检索增强生成策略构建室内场景多模态知基于所述用户指令和所述室内环境图像从所述室内场景多模态知识库检索得到位置基于所述位置信息匹配导航策略算法并更新验证所述室内场采用BLIP_2策略处理SCENEVERSE数据集中的数据，并在室内数SCENEVERSE数据集包括多样化的室内场景以采用文档向量或图像向量的内积表示相关性；所述文档向量采用文档编码器从所述室内场景多模态知识库中检索与所述文本子图相关的子图结所述处理单元、所述定位单元、所述语音识别单元和所述视觉单元所述处理单元用于基于所述定位信息、所述用户指令和所述室内环境理器执行时实现权利要求1_5中任一项所述的室内3是在室内零样本导航中构建一个能够理解包括自然语言和图像在内的多模态指令并进行基于所述用户指令和所述室内环境图像从所述室内场景多模态知识库检索得到采用BLIP_2策略处理SCENEVERSE数据集中的数据，并在室内数据对齐和生成阶所述SCENEVERSE数据集包括多样化的室内场景以及与室内场景对应从所述室内场景多模态知识库中检索与所述文本子图相关的子图结4算机程序被处理器执行时实现上述中任一项所述的室处理器执行时实现上述中任一项所述的室内导航方5置信息均为三元组数据三元组数据用于表示场景类型[0021]步骤102：基于用户指令和室内环境图像从室内场景多模态知识库检索得到位置[0027]本申请另一个示例性的实施例中，还可以采用ARKitScenes数据集、HM3D[0030]本申请另一个示例性的实施例中，步骤100中，检索增强生成（Retrieval_6[0032]导航策略结合了实时的上下文环境理解和常识推理，能。e边集，Tn和In分别代表图中对应节点自然语言属性和图像属性，Te代表边的自然语言属[0039]其中P(V)和P(E)分别表示V和E的幂集，V'、E'分别代表子图的节点集和边集。[0041]图检索增强生成是指给定图G上的一个特定问题q，在图G中一定存在一个相关的7[0042]使用对应名词的3D特征向量和子图实体的向量计算相似度，筛选正确的匹配空。k表示通过最大化图像向量I与名词实体向量T;的内积，选择出最匹配的索常用于衡量查询与目标实体之间的语义相似性。Er表示目标实体的嵌入向量，通常与特定查询相关联，代表待检索的目标对象。s(lr,Eie)表示图像嵌入向量Ik与基础实体的嵌入[0046]由于混合检索混合了图检索和文本检索，其中包含的文示基于某个距离度量d选择前K个相关实体。表示在查询向量的条件下，对文本8概率分布。表示在历史时间步长和条件[X,;X;X,X]gg预训练和先进的学习策略显著增强了模型的对齐和生成能力，在3D视觉_语言任务中表现景数据集，构建室内场景多模态图像文本检索的RAG知识向量库（即室内场景多模态知识9该计算机程序被处理器执行时实现上述各方机程序被处理器执行时实现上述各方法实施例中通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read_取存储器（StaticRandomAccessMemory，SRAM）或动态随机存取存储器（Dynamic[0062]本申请所提供的各实施例中所涉及的数据库可包括关系型数据库