CN114429142B 意图识别的方法、装置及电子设备 （网易（杭州）网络有限公司）

的知识图谱获取对话文本和场景图像分别对应的知识子图，最终基于知识子图和意图识别模别模型确定出的意图能够更加准确的体现玩家2基于预设的知识图谱获取所述对话文本和所述场景图像分别对应所述基于预设的知识图谱获取所述对话文本基于预设的知识图谱获取所述对话文本和所述场景图像分别对应的初基于预设的图卷积神经网络分别对所述初始知识子图中的节点进行所述基于预设的知识图谱获取所述对话文本和所述场景图像分别对应的初始知识子将所述对话文本对应的描述文本分割成多个第一文本单元，将所述从预设的知识图谱中确定每个所述第一文本单元对应的第一知从所述预设的知识图谱中确定出与所述第一知识节点的距离小于预设距离阈值的第一子知识节点，以及与所述第二知识节点的距离小于所述预设距离阈值的第二子知识节将由所述第一知识节点和所述第一子知识节点构成的子图确定为所述对话文本对应基于预设的知识图谱获取所述多个子图像分别对应通过图像描述算法获取所述多个子图像中的每个子图像分别对基于预设的知识图谱和每个所述子图像对应的描述文本，分别获得根据所述对话文本和所述多个子图像生成第一序列；根据所述对话文本的第一类型信息和所述多个子图像的第二类型生成第二序列；对所述第一序列中的每个对象所在的位置进行编码，得到所述第一序根据所述知识子图确定第四序列；3将所述第一序列、所述第二序列、所述第三序列以及所述第四序列输入所确定所述第一序列中同时出现在所述对话文本对应的知识子图和任一所述子图像对将所述目标对象对应的编码标识作为所述目标对象将所述多个子图像分别对应的知识子图作为对应的子图像根据所述知识表示获得第四序列。根据所述语义的置信度确定与所述对话文本匹配场景图像获取模块，用于响应接收到所述虚拟角色对应玩家知识子图确定模块，用于基于预设的知识图谱获取所述对话文本意图预测模块，用于基于所述知识子图和意图识别模所述知识子图确定模块，还用于基于预设的知识图谱获取所述对话文所述知识子图确定模块，还用于将所述对话文本对应的描述文本一子知识节点，以及与所述第二知识节点的距离小于所述预设距离阈值的第二子知识节456图谱获取对话文本和场景图像分别对应的知识子图，最终基于知识子图和意图识别模型，获得对话文本对应的预测意图。本申请的技术在对玩家属于的对话文本进行意图识别时，7本和场景图像进行知识图谱的扩展，并将扩展后的知识子图共同作为意图识别模型的输8[0039]存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如[0042]数据采集设备110可以获取用户输入的语音信号以及向用户展示的图形用户界面[0044]图2为本发明实施例提供的一种意图识别的方法的流程图，该方法通过电子设备9也可以是以任务为目标对象进行提取得到的包含不同人物形用Faster-RCNN(FasterRegionswithCNNfeatures，快速区域卷积神经网络)算法，首先，对场景图像进行目标检测，并将包含目标的区域提取出来得到多个子图像：其中Faster-RCNN使用了卷积神经网络提取图像特征，并使用区域建议网络(RegionProposal[0065]对图像进行文本描述预测的过程，可以采用DLCT(Dual-LevelCollaborative[0066](2)基于预设的知识图谱和每个子图像对应的描述文本，分别获得每个子图像对[0068]通过对场景图像进行分割，能够更加精细地捕获虚拟场景图像中包含的有效信[0069]图4为通过本申请上述实施例提供的方法得到的虚拟场景图像(如图4中的最上面语义文本识别结果为：一位身穿斗篷的侠客骑着高大俊俏的白马(如图4中的下方图像所[0073]知识图谱包含多个在语义上相互关联的词语以及与词语[0078]L15：从预设的知识图谱中确定出与第一知识节点的距离小于预设距离阈值的第[0079]L16：从预设的知识图谱中确定出与第二知识节点的距离小于预设距离阈值的第[0080]L17：将由第一知识节点和第一子知识节点构成的子图确定为对话文本对应的初[0081]L18：将由第二知识节点和第二子知识节点构成的子图确定为场景图像对应的初[0084]图6为针对输入的文本信息，从知识图谱中提取的该文本信息对应的知识子图的提取的知识子图如图6右侧所示，其中每个连线上括号内的内容代表该知识子图中两个节[0088]本发明的上述实施例，为每个对话文本和描述文本中的[0107]L21：确定第一序列中同时出现在对话文本对应的知识子图和任一子图像对应的点表示进行拼接+池化操作得到整张子图像的表示作为该特征程中避免由于无法找到匹配的语义而做出的不准确的识别，进一步提升了意图识别的精[0131]步骤4：将文本信息中每个文字对应的类别以及图像语义文本中每个文字对应的[0132]步骤5：将文本信息中每个文字的位置以及图像语义文本中每个文字对应的位置[0147]上述基于预设的知识图谱获取对话文本和场景图像分别对应的初始知识子图的其中，该电子设备包括处理器1101和存储器1102，该存储器1102存储有能够被该处理器至少一个通信接口1104(可以是有线或者无线)实现该系统网元与至少一个其他网元之间StandardArchitecture，工业标准体系结构)总线、PCI(PeripheralComponentInterconnect，外设部件互连标准)总线或EISA(ExtendedIndustryStandard述的处理器1101可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessor，简称DSP)、专用集成电路(ApplicationSpecificIntegrated的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、