CN114706944B 服务器及多语言文本语义理解方法 （海信电子科技(武汉)有限公司）

发区软件园东路1号软件产业4.1期B2本申请实施例提供了一种服务器及多语言2将所述文本数据输入至已训练好的多语言文本语义理解模型，将所述多语言文本语义理解模型的训练过程划分为训练任务和适应将元网络结构的初始化参数赋值于所述训练任务的网络，得通过所述训练任务的测试数据，计算所述训练任务的网络对于结果参数的第一梯度，将所述目标训练参数赋值给所述适应任务的网络，得到所述适应任务的第二结果参通过所述适应任务的测试数据，计算所述适应任务的网络对于第二结将所述关键槽位值解析为键值对形式，得到初始实体信息，根据与用户根据所述用户意图及所述标准实体信息进行参数封装，得到封若所述最终实体信息表征存在日期时间时，控制利用日期时间若所述最终实体信息表征存在持续时间时，控制利用持续时间若所述最终实体信息表征存在设置实体时，控制利用自主定义实根据序列标注方法对识别出语种的原始数据以最小单元进行切3若检测结果中存在具备相同字母体系的未识别出语种的原始数据时，若检测结果中存在具备相同单词的未识别出语种的原始数据时，利用控制联合知识图谱中的实体库建立与所述用户将所述文本数据输入至已训练好的多语言文本语义理解模型，将所述多语言文本语义理解模型的训练过程划分为训练任务和适应将元网络结构的初始化参数赋值于所述训练任务的网络，得通过所述训练任务的测试数据，计算所述训练任务的网络对于结果参数的第一梯度，将所述目标训练参数赋值给所述适应任务的网络，得到所述适应任务的第二结果参通过所述适应任务的测试数据，计算所述适应任务的网络对于第二结将所述关键槽位值解析为键值对形式，得到初始实体信息，根据与用户4根据所述用户意图及所述标准实体信息进行参数封装，得到封5学习的训练方法进行微调；学习的训练方法进行微调；6[0020]图1中示例性示出了根据一些实施例的语音识别方法和语音识别装置的系统架构[0024]图5中示例性示出了根据一些实施例的多语言文本语义理解模型的微调过程的流[0030]图11中示例性示出了根据一些实施例的智能设备200响应语音指令的显示示意7[0034]图1示出了可以应用本申请的语音识别方法和语音识别装置的示例性系统架构。[0035]本申请中服务器10与智能设备200通过多种通信方式进行数据通信。可允许智能[0036]服务器10可以是提供各种服务的服务器，例如对智能设备200采集的音频数据提[0039]图2示出了根据示例性实施例中智能设备200的硬件配置框图。如图2所示智能设[0042]通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。8200可以通过接口(如USB接口130)外接麦克风(也可以称为话筒)。该外接的话筒可以通过外部固定件(如带夹子的摄像头支架)固定在智能设与服务器10建立了通信连接的情况下，检测器驱动用于将检测器230采集的用户输入的语务器中的意图识别模块202。意图识别模块202用于将智能设备200发送的语音数据输入至[0053]为清楚说明本申请的实施例，下面结合图4对本申请实施例提供的一种语音识别9[0055]一些实施例中，下面对基于图4所示架构处理输入智能设备的信息的过程进行举[0065]在一些实施例中，所述多语言文本语义理解模型基于LaBSE(Language-agnostic模型)和TLM(TranslationLanguageModel)，翻译语音建模)混合预训练实现将不同语言编码器分别对源语言和目标语言进行编码，两个编码器共享参数且用经过MMLM和TLM方法[0066]在一些实施例中，服务器10以预训练好的LaBSE模型为基础建立多语言文本语义transformer输出编码结果，[CLS]对应的编码代表整个句子的编码，其结果加上一个[0070]⃞=softmax(wshn+b"),n∈1...N种语言和第二种语言第i个句子的[CLS]的输出向量，φ(xi，yi)为两个[0077]图5中示例性示出了根据一些实施例的多语言文本语义理解模型的微调过程的流器10利用Unicode编码的正则匹配以字符为单位对原始数据进行检测。由于不同语言的字未识别出语种的原始数据时，服务器10可利用python语言检测工具包langdetect进行检后根据识别出语种的原始数据以各个语言的最小单元(例如英文为词，中文为字)进行分吗]。分割之后服务器10按照BIO1的序列标注方法对其进行序列标注[B_index_name，I_[0082]需要说明的是，对于从右往左书写的语言在进行数据标[0087]图6中示例性示出了根据一些实施例的各语种数据量分布示意图。对于使用人数任务和适应任务的测试数据中也只包含语料缺乏的小语[0095]图8中示例性示出了根据一些实施例的多语言文本语义理解方法的流程示意图。[0097]图9中示例性示出了根据一些实施例的用户发送语音指令的应用场景图。当用户利用元学习的训练方法进行微调。[0100]图10中示例性示出了根据一些实施例的多语言文本语义理解模型的结构示意别与槽位填充，模型预测用户意图为影视搜索意图，模型预测的标签序列为“OOBI-户意图相关的知识图谱，根据与用户意图相关的知识图谱对所述初始实体信息进行纠错。测，支持带时区缩写或UTC偏移量("August14,2015EST"，"21July201310:15pm+下的说法可能有恢复出厂设置(中文),resettofactory(英文)，réinitialisa已训练好的多语言文本语义理解模型，得到所述文本数据所表征的用户意图及关键槽位述训练数据和测试数据选取自所述特征数据。服务器10将元网络结构中的参数进行初始者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常