CN120297287A 多模态语义网络驱动的智能体上下文理解方法及系统 （福建引征科技有限公司）

道霞美社区霞贤路300号泉州市软件多模态语义网络驱动的智能体上下文理解本发明提供多模态语义网络驱动的智能体上下文理解方法及系统，涉及数据处理技术领据语义节点间的时间关系与语义关联生成有向义节点的综合匹配得分对其当前记忆权重进行2对语义片段序列进行语义标签扩展与指代消解处理，标注每一语义片段根据上下文语义片段集，将每个上下文语义片段转化为语义节点将综合匹配得分与预设的综合匹配得分阈值进行比对，筛选候选根据候选语义节点集合，通过语义节点的综合匹配得分对其当前根据更新后的上下文语义网络，提取当前记忆权重最高的语义根据语义片段序列，对每个语义片段中的时间表达进行识别，基于时间近邻性、语义相关性及模态置信度评分，计算每个将指代目标和时间锚点标注附加至对应语义片段中，形成根据每一语义节点的时间标签，按照时间先后顺序将进行排序，形根据时间有序节点序列，对任意两个语义节点，通过比较其语对用户指令进行词项划分与语义归类，分别提取其中的时间3根据词项集合，将提取的三类词项与上下文语义网络中每一个根据相似度集合，对三类相似度结果按照预设比例系数进行加权计根据候选语义节点集合，通过语义节点的综合匹配得分对其当前记忆权重进行动态更新，根据候选语义节点集合，获取每一个候选语义节点的当前记忆权重值将当前记忆权重值与第一更新系数相乘，将匹配得分值与第二更新系根据所有非候选语义节点，计算其时间标签与当前时间之间的时将所有语义节点新的记忆权重写入对应语义节点中，形成更新后的上下文语义网络，所述更新后的记忆权重被用于后续上下文语义路根据每个候选指代实体与指代词在语义片段序列中的出现位置，计对候选指代实体与指代词之间的语义内容进行相似性比对，提取其语对候选指代实体所来源的模态类型进行识别，基于将时间近邻评分、语义相关性评分与模态置信度评分分别赋予权根据时间有序节点序列，对任意两个语义节点，通过比较其语根据时间有序节点序列，对语义节点提取语义方向特征与语义内对语义方向特征进行比较，将语义方向特征映射为方向向量，再计对语义内容特征进行比对，通过测算两语义节点所包含指代实体之间的语义共现程4将方向一致性评分与语义内容近似度得分分别乘以各在语义关联程度高于设定的关联度阈值，且节点时间语义标注模块，用于对语义片段序列进行语义标签扩展与指代候选节点筛选模块，用于将综合匹配得分与预设的综合匹配得分阈权重更新模块，用于根据候选语义节点集合，通过语义节点的综合匹配得分结构化输出模块，用于根据更新后的上下文语义网络存储装置，用于存储一个或多个程序，当所述一个或多个程序被该程序被处理器执行时实现如权利要求1至75融合的语义解析方法。其中，多模态方法通过对图像、语音和文本等多源数据进行特征提 子”理解为当前位置最相关的物体，而非历史语境中的位置，导致执行路径偏差或任务失贯推理能力。67[0036]对候选指代实体所来源的模态类型进行识别，基于预设的模态优先级表进行匹[0044]将方向一致性评分与语义内容近似度得分分别乘以各自的贡献系数，再进行求[0045]在语义关联程度高于设定的关联度阈值，且节点时间顺序满足从早到晚的情况[0051]候选节点筛选模块，用于将综合匹配得分与预设的综合8[0058]图1是本发明的实施例提供的多模态语义网络驱动的智能体上下文理解方法的流9上述词项作为关键词集合被点表示一个已标注时间锚点和指代目标的语义片段，并具有一个可动态变化的记忆权重。[0081]在本发明一优选的实施例中，对语义片段序列进行语义标签扩展与指代消解处系判断及路径回溯中提供定位基准。[0088]接下来，系统对指代词进行识别与消解，主要针对存在语义模糊的短语，例如 间近邻性：若候选实体距离指代词的时间片段较近，则其被选为指代目标的可能时间标签、空间位置描述及目标实体标记。系统分别对三类词项与对应节点要素进行语义{"time_terms":["刚才"],"space_terms":["桌子上"],entity_terms":描述字段与目标实体标识，这些信息可在片段生成及图谱构建阶段由系统自动提取并记{"node_id":"N15","time_score":0.8,"space_score":0.6,"entity_score":0.9}[0147]在本发明实施例中，系统在完成当前指令与上下文语义网络的语义节点匹配之[0148]首先，系统对每一个候选语义节点获取其当前记忆权重值与本轮指令匹配得[0149]对于未被选为候选的语义节点，系统则依据时间标签与;;; 绕当前任务核心展开，同时自然淘汰失效信息，为智能体提供具备时间感知能力的语义图结构基础。[0179]对候选指代实体所来源的模态类型进行识别，基于预设的模态优先级表进行匹[0186]系统最终将时间近邻评分、语义相关性评分与模态置信度评分分别赋予不同权[0188]该模态置信度评分将作为候选实体的一个子评分项，参与指代置信度的综合计本输入场景下，如纯图像感知的视觉智能体系统中，可将图像模态的置信度权重上调至[0190]通过该模态优先级表的设计，系统可对来源不同的候选实体进行可信度差异建[0196]将方向一致性评分与语义内容近似度得分分别乘以各自的贡献系数，再进行求[0197]在语义关联程度高于设定的关联度阈值，且节点时间顺序满足从早到晚的情况征与语义内容特征。语义方向特征是指该语义节点中所表达的事件或动作的动态指向信言解析模块对节点中的语句进行主谓结构分析，识别语义主干，并通过语义嵌入技术将动计算。[0200]当系统在时间顺序上选择两个语义节点进行配对时，首先比较其语义方向特系统在连续语境中的语义构图能力与推理精重合率，例如通过Jaccard相