CN110598671A 基于文本的虚拟形象行为控制方法、设备和介质 （腾讯科技（深圳）有限公司）

每一个元素分别指示从与所述特定符号对应的网络节点到与该网络节点同一层中的每一个网2在文本中插入特定符号，并产生与所述特定符号和文将所述多个输入向量分别输入至第一编码网络，其中所述2.根据权利要求1所述的方法，其中基于与所述特定符号对应的网络节点的注意力向计算所述第一编码网络的所有层中与所述特定符号对应的节点到每一个节点的注意将从所述第一编码网络输出的、与所述特定符号对应在所述行为映射表中，查找与所述行为类别对应的6.根据权利要求3所述的方法，其中所述第一分类网络的输出为与行为的类别数目相将从所述第二编码网络输出的、与所述特定符号对应39.根据权利要求1所述的方法，其中所述行为内容包括动作内容和表情内容中的至少10.根据权利要求9所述的方法，其中当所述行为内容包括动作内容和表情内容二者将所述多个输入向量分别输入至第三编码子网络，其中所述第三编将所述多个输入向量分别输入至第四编码子网络，其中所述第四编11.根据权利要求1所述的方法，其中控制所述虚拟形象呈现所述行为内容进一步包基于所述行为内容，调整所述虚拟形象的行为变行为触发位置确定装置，用于将所述多个输从与所述特定符号对应的网络节点到与该网络节点同一层中的每一个网络节点的注意力4对这些动作和表情进行展示。第二类是数据驱动的方法。具体来说，通过TTS(TextTo文本中插入特定符号，并产生与所述特定符号和文本中的各个元素对应的多个输入向量；5应的行为类别确定为与所述最大概率值对应的行为类别不同所述文本中的行为触发位置进一步包括：将所述多个输入向量分别输入至第三编码子网6元素分别指示从与所述特定符号对应的网络节点到与该网络节点同一层中的每一个网络所述第一编码网络的所有层中与所述特定符号对应的节点到每一个节点的注意力向量的7[0032]图1是图示根据本公开实施例的、基于文本的虚拟形象行为控制方法的具体过程[0041]图10是图示根据本公开的实施例的基于文本的虚拟形象行为控制设备的配置的8[0044]将参照图1描述根据本公开的实施例的、基于文本的虚拟形象行为控制方法的具编码网络包括至少一层网络节点，并且基于与所述特定符号对应的网络节点的注意力向向量中的每一个元素分别指示从与所述特定符号对应的网络节点到同一层中的每一个网[0050]图2示出了所述第一编码网络的内部结构的示意图。所述第一编码网络的输入是目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的语义表示(Representation)，然后将文本的语义表示在特定自然语言处理(NaturalLanguage9[0053]BERT模型是基于注意力(attention)机制的模型。注意力机制的主要作用是让神量与3个训练后的变换矩阵WQ、WK、WV相乘得到的。假设提供至第一编码网络的输入为X=元素的Key向量ki以及目标元素与上下文各个元素的原始Value向量vi可以按照以下公式来[0064]图3中所示的注意力输出对应于图2中的第一层编码网络中的第一个网络节点的况下，将图3中所示的第一层的第一个网络节点的注意力输出作为输入提供至第二层编码一个元素(字/词)所对应的音频时呈现相应的行为。与虚拟形象呈现相应行为的时刻对应于与所述特定符号对应的网络节点的注意力向量能够体现文本中各个字/词的重要性，因网络节点的L个注意力向量在这种情况下，首先对这L个注意力向hCLS作为输入向量提供至第一分类网络，并且第一分类网络可以输出文本对应于每一类行的行为类别确定为与所述最大概率值对应的行为类别不同分类网络也是需要训练的，且训练方法与与上文中所述的训练方法类似。可以使用带有Emoji表情的微博数据作为用于训练情绪类[0107]图6示出了根据本公开的一种实施例的虚拟形象行为控制的产品流程图。在图682.53%74.38%65.69%87.23%85.40%77.14%[0124]行为触发位置确定装置1002用于将所述多个输入向量分别输入别指示从与所述特定符号对应的网络节点到与该网络节点同一层中的每一个网络节点的播放至文本的哪一个元素(字/词)所对应的音频时呈现相应的行为。与虚拟形象呈现相应表示。并且，在根据本公开的BERT模型中，还进一步插入了用于表示文本分类的CLS中各个字/词的重要性，因此行为触发位置确定装置1002可以基于与所述特定符号对应的的语义信息，因此将与该特定符号对应的输出的第一编码向量作为整句文本的语义表示，所述特定符号对应的第一编码向量输入至第一分类网络；基于所述第一分类网络的输出，定装置1003确定出行为内容之后，所述行为呈现装置1004用于播放与所述文本对应的音[0148]由于根据本公开的实施例的虚拟形象行为控制设备与上文中所述的虚拟形象行器(ROM)1130、随机存取存储器(RAM)1140、连接到网络的通信端口1150、输入/输出组件提供的虚拟形象行为控制方法的处理和/或通信使用的各种数据或文件以及CPU所执行的储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如[0151]迄今为止，已经参照图1到图11详细描述了根据本公开的各实施例的虚拟形象行本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，