CN114550702B 一种语音识别方法和装置 （京东科技信息技术有限公司）

过特征映射网络得到第一音频数据样本的音素音频数据样本对应的训练目标以及以有标注的第二音频数据样本的标签作为第二音频数据样有效利用语音识别产品中无标注音频数据来提技术忽略语音相位信息和对复杂语音特性建模2通过特征提取网络提取无标注的第一音频数据样本对应的预训练特征别；通过所述特征提取网络提取有标注的第三音频数据样本对应的以第i个训练样本的网络输出结果作为第i个目标样本yi，以ck表示距离目标样本yi最对所述第四音频数据样本进行时频变换，得到所述第四音频数据样基于所述帧级别语音原始特征，融合所述幅度谱向量及所述对于所述帧级别语音原始特征中任意的第t帧语音原始特征，按照预设规则拼接从第3归一化权重向量确定模块，用于通过特征提取数据样本的音素的类别；语音识别模型训练模块，用于以所述归一化权重向量作为所述第通过所述特征提取网络提取有标注的第三音频数据样本对应的以第i个训练样本的网络输出结果作为第i个目标样本yi，以ck表示距离目标样本yi最对所述第四音频数据样本进行时频变换，得到所述第四音频数据样基于所述帧级别语音原始特征，融合所述幅度谱向量及所述4对于所述帧级别语音原始特征中任意的第t帧语音原始特征，按照预设规则拼接从第理器执行时实现如权利要求1-5中任一所5码输出。另一类语音识别算法基于端到端的神经网络设计，通过CTC(Connectionist规模语音识别的训练；无法有效利用已有语音识别产品中每天产生大量的无标注音频数数据样本的音素的类别。6[0011]可选地，所述利用无标注的第四音频数据样本构造所述特征提取网络的训练样7则函数是根据所述网络输出结果和所述聚类的第t帧语音原始特征，按照预设规则拼接从第t-D帧到第t+D帧的所有帧的幅度谱向量和一音频数据样本的音素的类别；以归一化权重向量作为第一音频数据样本对应的训练目8[0025]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加[0031]图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意发明一个实施例的语音识别方法主要包括如下的步骤S1[0034]步骤S101：通过特征提取网络提取无标注的第一音频数据样本对应的预训练特本对应的预训练特征为特征映射网络的输入，且以第三音频数据样本的标签为训练目标，得到一个训练样本子集合(batch)，训练样本子集合记为{x1,x2,x3,...,xM}，其中M为9[0044]利用无标注的第四音频数据样本构造特征提取网络意的第t帧语音原始特征，按照预设规则拼接从第t-D帧到第t+D帧的所有帧的幅度谱向量[0050]本发明实施例提出了新的基于半监督学习的语音识别框架。一方面采用聚类准的滤波器组特征(filterbanks,FBANK)，并进一步进行离散余弦变换，得到梅尔倒音特征难以显式表达语音信号和音素的对应[0066]由于考虑了上下文信息(即拼接t-D时刻到t+D时刻的所有[0077]归一化权重向量确定模块301，用于通过特征提取网络提取无标注的第一音频数本的音素的类别；[0078]语音识别模型训练模块302，用于以归一化权重向量作为第一音频数据样本对应三音频数据样本的标签表示第三音频数据样本的音素的类度谱向量及相位谱向量中每帧音频信号的上下文信息，以构造出特征提取网络的训练样[0083]训练样本构建子模块还用于：对于帧级别语音原始特征中任意的第t帧语音原始[0085]图4示出了可以应用本发明实施例的语音识别方法或语音识别装置的示例性系统[0092]下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的计算存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而的计算机程序根据需要被安装入存储部分5申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，示意图中的方框的组合，可以用执行规定的功能或操作的专用的基