CN114446280B 语音交互及语音识别方法、装置、设备和存储介质 （阿里巴巴集团控股有限公司）

本发明实施例提供一种语音交互及语音识过流式语音识别模型中的第一编码网络对当前次得到多个语音信号分块各自对应的第一语义对当前产生的语音信号分块所对应的第一语义声学特征和第一语义向量的拼接结果输入离线字更新流式语音识别模型输出的与述多个语音2通过所述第一编码网络对当前产生的语音信号分块的声学特征进行编码，以多个语音信号分块各自对应的第一语义向量，所述多个语音信号分块对应于一段连续语通过所述预测网络对当前产生的第一语音信号分块对应的第络确定所述第一语音信号分块对应的第一语义向量根据所述第一语音信号分块对应的第一语义向量的权重，通过所将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入离线根据所述第二文字更新所述流式语音识别模型输出的与所述多个语音信号分块对应在接收到当前产生的第一语音信号分块时，获取在所述第获取所述第一语音信号分块的声学特征，以及所述至少一个第二通过所述第一编码网络对所述第一语音信号分块的声学特征和所述至少一个第二语根据所述多帧语音信号各自对应的声学特征确定所述任一语音信号分通过所述注意力网络确定在每次权重计算过程中所述第一语音信号分块和所述至少3所述通过所述注意力网络确定在每次权重计算过程中所述第一语音信号分块和所述初始化权重计算次数为所述文字数量，迭代执行如下过若所述权重计算次数不为0，则将所述第一语音信号分块和所述至少一个第二语音信号分块各自对应的第一语义向量以及所述第一解码网络输出的上一个文字输入到所述注语音信号分块和所述至少一个第二语音信号分块各自对应的第一语义向量的加权求和结确定由所述第一解码网络依次输出的第一文字构成的文字将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果以及所述所述将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果以及将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入所述将所述文字序列输入所述第三编码网络，以通过所述第三编码网络输出所述文将所述多个语音信号分块各自对应的第二语义向量以及所述第三语义向量输入所述流式编码模块，用于通过所述第一编码网络对当前产生的语音4流式解码模块，用于通过所述预测网络对当前产生的第一束通过所述注意力网络确定所述第一语音信号分块对应的第一语义向量的权重的计算次离线识别模块，用于将所述多个语音信号分块各自输出更新模块，用于根据所述第二文字更新所述流式语音识别模型在接收到当前产生的第一语音信号分块时，获取在所述第获取所述第一语音信号分块的声学特征，以及所述至少一个第二通过所述第一编码网络对所述第一语音信号分块的声学特征和所述至少一个第二语述离线语音识别模型输出与所述多个语音信号分块对应的将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入所述将所述文字序列输入所述第三编码网络，以通过所述第三编码网络输出所述文将所述多个语音信号分块各自对应的第二语义向量以及所述第三语义向量输入所述5将采集的语音信号分块上传至服务端，以使所述服务端通过所述第确定由所述第一解码网络依次输出的第一文字构成的文字将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果以及所述将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入所述将所述文字序列输入所述第三编码网络，以通过所述第三编码网络输出所述文将所述多个语音信号分块各自对应的第二语义向量以及所述第三语义向量输入所述权利要求15至17中任一项所述的语音交6通过所述第一编码网络对当前产生的语音信号分块的声学特征进行编码，以多个语音信号分块各自对应的第一语义向量，所述多个语音信号分块对应于一段连续语通过所述预测网络对当前产生的第一语音信号分块对应的第络确定所述第一语音信号分块对应的第一语义向量根据所述第一语音信号分块对应的第一语义向量的权重，通过所将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入离线根据所述第二文字更新所述流式语音识别模型输出的与所述多个语音信号分块对应确定由所述第一解码网络依次输出的第一文字构成的文字将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入所述将所述文字序列输入所述第三编码网络，以通过所述第三编码网络输出所述文将所述多个语音信号分块各自对应的第二语义向量以及所述第三语义向量输入所述通过所述第一编码网络对当前产生的语音信号分块的声学特征进行编码，以多个语音信号分块各自对应的第一语义向量，所述多个语音信号分块对应于一段连续语7络确定所述第一语音信号分块对应的第一语义向根据所述第一语音信号分块对应的第一语义向量的权重，通过所将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入离线确定由所述第一解码网络依次输出的第一文字构成的文字将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入所述将所述文字序列输入所述第三编码网络，以通过所述第三编码网络输出所述文将所述多个语音信号分块各自对应的第二语义向量以及所述第三语义向量输入所述8适用于流式语音或者说实时语音识别的模型，称为流式语音识别模型(或者流式端到端语[0007]通过流式语音识别模型中的第一编码网络对当前产生的语音信号分块的声学特[0008]通过所述流式语音识别模型中的第一解码网络对所述当前产生的语音信号分块[0009]将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入[0010]根据所述第二文字更新所述流式语音识别模型输出的与所述多个语音信号分块9信号分块的声学特征进行编码，以依次得到多个语音信号分块各自对应的第一语义向量，机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的语[0031]通过流式语音识别模型中的第一编码网络对当前产生的语音信号分块的声学特[0032]通过所述流式语音识别模型中的第一解码网络对所述当前产生的语音信号分块[0033]将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入[0034]根据所述第二文字更新所述流式语音识别模型输出的与所述多个语音信号分块音信号分块的声学特征进行编码，以依次得到多个语音信号分块各自对应的第一语义向[0045]通过流式语音识别模型中的第一编码网络对当前产生的语音信号分块的声学特[0046]通过所述流式语音识别模型中的第一解码网络对所述当前产生的语音信号分块[0048]将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入音信号分块的声学特征进行编码，以依次得到多个语音信号分块各自对应的第一语义向[0073]图12为与图11所示实施例提供的语音交互装置对应的语音交互设备的结构示意[0075]图14为与图13所示实施例提供的语音交互装置对应的语音交互设备的结构示意[0077]图16为与图15所示实施例提供的语音交互装置对应的语音交互设备的结构示意[0083]本发明实施例提供的语音识别方法可以适用于对语音信简单来说就是可以适用于对实时产生的语音信音识别模型的语音识别系统，以便使用该语音识别系统完成对流式产生的语音信号的实经网络(DeepFeedforwardSequentialMemoryNetworks,DFSMN)、卷积神经网络简称LSTM)、双向长短时记忆网络(Bi-directionalLongShort-TermMemory，简称[0088]在图1所示的语音识别系统的组成情形下，流式语音识别模型与离线语音识别模[0089]下面结合以下的一些实施例具体说明在语音识别的过程中上述语音识别系统的[0091]201、通过流式语音识别模型中的第一编码网络对当前产生的语音信号分块的声[0092]202、通过流式语音识别模型中的第一解码网络对当前产生的语音信号分块所对[0093]203、将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果[0094]204、根据离线语音识别模型输出的第二文字更新流式语音识别模型输出的与所该预设时长实际上可以反映出语音信号流的语音识别延时，在上述举例中，时延值[0100]针对当前的语音识别应用场景(比如用户在做演讲的场景)来说，假设时延值为[0101]为便于描述与理解，结合图3a-图3d来示例性说明在对流式产生的语音进行语音识别的过程中，图1所示语音识别系统中流式语音识别模型和离线语音识别模型的工作过Coefficients，简称MFCC)、线性预测倒谱系数(LinearPredictiveCepstral二语音信号分块是与第一语音信号分块属于同一段连续的语音中的语音信号分块)；获取一编码网络对第一语音信号分块的声学特征和所述至少一个第二语音信号分块的声学特[0115]通过注意力网络确定在每次权重计算过程中第一语音信号分块和所述至少一个信号分块和所述至少一个第二语音信号分块各自对应的第一语义向量的于文字的语音信号帧数可以确定第一语音信号分块中包含训练好的预测网络便具有预测语音信号分块中包含的[0121]概括来说，上述预测网络输出的文字数量对注意力网约束了注意力网络对第一语音信号分块和所述至少一个第二语音信号分块各自对应的第到第二语音信号分块对应的声学特征，并基于该声学特征计算得到对应的第一语义向量[0123]注意力网络在预测网络预测出的第一语音信号分块中包含的文字数量N(N大于或[0125]若权重计算次数不为0，则将第一语音信号分块和至少一个第二语音信号分块各力网络基于上一个文字确定第一语音信号分块和至少一个第二语音信号分块各自对应的[0128]其中，注意力网络计算上述权重的过程主要是采用目前已有的一些注意力机制于语音信号分块中包含的文字的识别准确性[0137]下面结合图3d对离线语音识别模型与流式语音识别模型的结合过程进行示例性[0138]在图3d中，假设基于VAD而界定出的一段连续的语音(比如用户说出的一整句话)自对应的拼接后特征向量输入到离线语音识别模型的第二编码网络中进的未来九帧语音信号以及后续产生的5个语音信号分块中包含的全部帧数的语音信号。由通过流式语音识别模型依次得到多个语音信号分块(对应于一段连续语音)各自对应的语一种输入，以与输入到第二编码网络中的该多个语音信号分块的声学特征对应地进行拼输出的与多个语音信号分块对应的文字作为离线语音识别模型中第二解码网络的一种输[0147]401、通过流式语音识别模型中的第一编码网络对当前产生的语音信号分块的声[0148]402、通过流式语音识别模型中的第一解码网络对当前产生的语音信号分块所对[0150]404、将多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入[0152]406、将多个语音信号分块各自对应的第二语义向量以及第三语义向量输入离线个语音信号分块各自对应的声学特征和第一语义向量的拼接结果以及该文字序列输入离明的第二编码网络和第二解码网络外，还可以包括第三编码网络(也可以称为文本编码(比如用户说出的一整句话)中包括语音信号分块1～语音信号分块10，并假设表示为：C1～C10。另外，假设第一解码网络依次输出的第一文字构成的文字序列表示为字之后，可以将上述10个语音信号分块各自对应的声学特征和语义向量对应地拼接在一语音识别模型，以通过离线语音识别模型输出与所述多个语音信号分块对应的第二文字；线语音识别模型来对已经说出的这句话进行语音识别处理，而在用户A正在说这句话的过[0173]在图6中，假设语音信号分块Vi之前的两个语音信号分块以及之后的三个语音信由此可见，通过流式语音识别模型可以实时地输出每个语音信号分块对应有限的上下文信息导致流式语音识别模型对语音信号分块Vi的语音识别结果是出现了错[0175]为纠正上述错误，在通过流式语音识别模型输出语音信号服务端可以将V1～Vm这m个语音信号分块中每个语音信号分块对应的声学特征和第一语义会基于每个语音信号分块的声学特征和第一语义向量的拼接结果来进行特征向量的编码[0179]将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果以及[0181]将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入[0183]将所述多个语音信号分块各自对应的第二语义向量以及所述第三语义向量输入[0188]通过流式语音识别模型中的第一编码网络对当前产生的语音信号分块的声学特[0189]通过流式语音识别模型中的第一解码网络对所述当前产生的语音信号分块所对[0190]将多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入离线[0191]根据第二文字更新所述流式语音识别模型输出的与多个语音信号分块对应的第[0195]将多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入第二[0197]将多个语音信号分块各自对应的第二语义向量以及第三语义向量输入第二解码[0199]假设在会议场景中，需要对发言者说出的语音进行文字记录和实时在屏幕上显离线语音识别模型输出的这句文字记录在会[0202]通过流式语音识别模型中的第一编码网络对当前产生的语音信号分块的声学特[0203]通过流式语音识别模型中的第一解码网络对所述当前产生的语音信号分块所对[0205]将多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入离线[0209]将多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入第二[0211]将多个语音信号分块各自对应的第二语义向量以及第三语义向量输入第二解码[0212]如图8中所示，主播的终端设备可以对主播说出的语音信号流进行语音信号分块音信号分块的声学特征进行编码，以依次得到多个语音信号分块各自对应的第一语义向网络对所述第一语音信号分块的声学特征和所述至少一个第二语音信号分块的声学特征多帧语音信号各自对应的声学特征确定所述任一语音信号分块次权重计算过程中所述第一语音信号分块和所述至少一个第二语音信号分块各自对应的第一语义向量的权重以及加权求和结果，并将所述加权求和结果输入至所述第一解码网[0225]若所述权重计算次数不为0，则将所述第一语音信号分块和所述至少一个第二语音信号分块各自对应的第一语义向量以及所述第一解码网络输出的上一个文字输入到所第一语音信号分块和所述至少一个第二语音信号分块各自对应的第一语义向量的加权求解码网络输出与所述多个语音信号分块对应的第二[0230]图9所示装置可以执行前述图1至图5所示实施例中提供的语音识别方法，详细的述处理器至少可以实现如前述图1至图5所示实施例中提供的[0240]将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果以及[0242]将所述多个语音信号分块各自对应的声学特征和第一语义向量的拼接结果输入[0244]将所述多个语音信号分块各自对应的第二语义向量以及所述第三语义向量输入