CN119495294A 语音数据处理方法、装置、电子设备及存储介质 （鹏城实验室）

2响应于语音数据任务的数据处理，对待处理获取所述语音数据任务对应的预设偏置列表，并基将所述语音嵌入向量进行解码过滤处理，得到包含至少一个罕将所述语音嵌入向量和所述罕见词汇嵌入向量进行拼接处理得到将所述语音处理向量输入大语言处理模型进行数据处理，得到将所述语音嵌入向量进行解码处理，得到初步文本序列，所述初逐一从多个所述罕见文本词汇中选取目标罕见文本词汇，计算所基于所有所述目标索引文本词汇生成所述罕获取初始大语言处理模型、训练语音样本以及所述训练语音样基于所述训练语音样本和所述训练罕见词汇嵌入向量计算交叉熵基于更新后的所述初始大语言处理模型得到所述大语将所述训练语音样本输入所述初始语音特征提取模型进行特征征序列；3基于所述训练语音特征序列计算特征损失值，并基于所述特基于更新后的所述初始语音特征提取模型得到所述语音特特征提取模块，用于响应于语音数据任务的数据处理，对索引词典生成模块，用于获取所述语音数据任务对应的罕见嵌入向量生成模块，用于将所述语音嵌入向嵌入向量拼接模块，用于将所述语音嵌入向量和所述罕见词汇嵌入向量数据处理模块，用于将所述语音处理向量输入大语言处理模型进述待处理语音数据的目标文本序列。所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的语音数被处理器执行时实现权利要求1至7任一项所述的语音4上下文语音识别的偏置词太多导致出现实际的识将所述语音嵌入向量和所述罕见词汇嵌入向量进行拼接处理得到文本词汇，所述基于所述预设词组索引词典和所述过滤文本序列生成罕见词汇嵌入向量，5基于所有所述目标索引文本词汇生成所述罕将所述待处理语音数据输入语音特征提取模型进行特征提取，得到语音特征序基于更新后的所述初始大语言处理模型得到所述大语基于更新后的所述初始语音特征提取模型得到所述语音特67技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，上下文语音识别的偏置词太多导致出现实际的识理后一并输入大语言处理模型以得到该待处理的语音数据对应的目标文本序列以完成该8提供的语音数据处理方法的一个可选的流程图，图2中的方法可以包括但不限于包括步骤10Hz生成下采样特征序列。9于辅助引导语音嵌入向量进行语音数据处理[1,Norder]中均匀采样，其中和Nphrases和Norder是控制n_gram词组数量和长度的超参[0057]参照图4，基于预设偏置列表得到预设词组索引词典，包括以下步骤401至步骤[0062]通过以上步骤401至步骤402，利用预设偏置列表中每个索引词典生成更加合适于处理该语音数据任务包含多个文本词汇的初步文本序列。汇，以得到仅包含有罕见文本词汇的过滤文本序列。其中，常用词汇数据可以是Librispeech训练语料库中出现频率最高续利用过滤文本序列结合预设词组索引词典生成用于辅助处理此次语音数据任务的罕见从多个索引文本词汇中选取编辑距离最小的索引文本词汇作为目标罕见文本词汇对应的离，是指计算目标罕见文本词汇转换成每个索引文本词汇之间所需的最少单字符编辑操作Librispeech数据库中的语音数据然后将这些训练语音样本输入初始语音特征提取模型[0104]本申请实施例在Librispeech数据集上测试所提出的语音数据处理系统的性能。的显著相对降低，从而可以有效地验证本申请提出的语音数据处理方法的有效性和精准离，并从多个索引文本词汇中选取编辑距离最小的索引文本词汇作为目标索引文本词汇，多个索引文本词汇之间的编辑距离，进行罕见文本词汇与多个索引文本词汇的相似度评关注性，并基于过滤文本序列和预设词组索引词典之间的关联关系的罕见词汇嵌入向量，[0108]本申请实施例还提供一种语音数据处理装置，可以实现基于更新后的初始大语言处理模型得到大语基于更新后的初始语音特征提取模型得到语音特分，语音数据处理装置的具体实施方式与上述语音数据处理方法的具体实施方式基本一结合预设词组索引词典生成用于辅助处理此次语音数据任务的罕见词汇嵌入向量；并且，可以根据实际的需要选择其中的部分或者全部模块来实现本的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现