CN119446117A 一种基于深度学习的智能机器人语音合成方法 （北京航天飞鹰智能机器人技术有限公司）_第1页
CN119446117A 一种基于深度学习的智能机器人语音合成方法 （北京航天飞鹰智能机器人技术有限公司）_第2页
CN119446117A 一种基于深度学习的智能机器人语音合成方法 （北京航天飞鹰智能机器人技术有限公司）_第3页
CN119446117A 一种基于深度学习的智能机器人语音合成方法 （北京航天飞鹰智能机器人技术有限公司）_第4页
CN119446117A 一种基于深度学习的智能机器人语音合成方法 （北京航天飞鹰智能机器人技术有限公司）_第5页
已阅读5页，还剩22页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

一种基于深度学习的智能机器人语音合成2步骤4、多模态情感融合：基于得到的文本情感嵌入和得到的视觉情感嵌入，采用3采用Transformer模型融合文本情感嵌入ET和视觉情感嵌入EI，生成多模态情感嵌入T表示将文本和视觉情感嵌入拼接后输入到Transformer中。将文本嵌入H与情感嵌入Efinal融合生成情感语义向量H.；KL为KL散410.根据权利要求1所述的一种基于深度学习的智能机器人语音合成方法，其特征在5[0002]人工智能和语音交互技术的发展，智能语音合成成为人[0010]针对现有技术的不足，本发明提供一种基于深度学习的智能机器人语音合成方6[0031]其中，Ws表示强度预测的权重矩阵，bs表示偏置项，BERT(T)7final表示为：[0046]将文本嵌入H与情感嵌入Efinal融，[0057]其中，D(M)表示判别器对真实声谱图M的判别输出，G(M)表示生成器生成的声谱8步t的上下文向量xt与其未来时间步t+k的特征向量xt+k的内积9[0085]通过多模态情感融合和情感控制接口，使合成语音能反映多种情感特征，使用[0100]其中，Ws表示强度预测的权重矩阵，bs表示偏置项，BERT(T)[0123]Transformer模型具备的特征提取和关系建模能力，能在融合文本和视觉情感信[0130]在不同情境中，文本和视觉情感传达的情感信息存在差异，通过情感权重α的调[0133]将文本嵌入H与情感嵌入Efinal融，[0148]其中，D(M)表示判别器对真实声谱图M的判别输出，G(M)表示生成器生成的声谱步t的上下文向量xt与其未来时间步t+k的特征向量xt+k[0161]对比预测编码方法能提取未标注数据中的有用特征，而扩展模型的训练数据范[0162]对比预测编码损失函数在当前时间步t上预测未

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论