CN113823264B 语音识别方法、装置、计算机可读存储介质及计算机设备 （腾讯科技（深圳）有限公司）

EfficientTransformerforLongAAAI.2021,正文第2页第2栏-第4度值为每个特征向量的自注意力得分序列的分布与自注意力得分序列的均匀分布之间的相对根据第一特征向量的自注意力计算结果与第二得到对待识别的语音信息对应的识别结果。以2计算每个特征向量的稀疏度值，所述稀疏度值为每个确定稀疏度值大于预设阈值的第一特征向量以及稀疏度值不大于预设阈值的第二特根据所述第一特征向量的自注意力计算结果与所述第二特将所述目标矩阵与标签序列对应的特征矩阵输入至分类网络进行分所述将所述目标矩阵与标签序列对应的特征矩阵输入至分类网络进行分类处采用多层全连接层将所述目标矩阵与所述特征矩阵进行结合，并将结合计算每个得分序列的分布与均匀分布之间的相对熵，得到从所述多个特征向量中随机选取目标数量个特征根据所述目标数量、所述多个特征向量以及所述键矩阵计算得到每4.根据权利要求1至3中任一项所述的方法，其特征在于，对所述每帧语音信号对应的频谱信息进行梅尔倒谱处理，得到待识获取每个第一特征向量对应的目标自注意力得分序根据所述目标自注意力得分序列以及每个第一特征向量对应的值向量进行加权计算，3计算所述第一特征向量中每一目标特征向量与每一特将所述点乘结果进行归一化处理，得到每个第一特征向量对应的目标计算单元，用于计算每个特征向量的稀疏度值，所述稀意力得分序列的分布与自注意力得分序列的均匀分第一确定单元，用于确定稀疏度值大于预设阈值的第一特征向第二确定单元，用于根据所述第一特征向量的自注意力识别单元，用于将所述目标矩阵与标签序列对应的特征矩采用多层全连接层将所述目标矩阵与所述特征矩阵进行结合，并将结合第二计算子单元，用于计算每个得分序列的分布与均匀分第三计算子单元，用于根据所述目标数量、所述多个特征变换子单元，用于对每帧语音信号进行离散傅里叶变换，得到每处理子单元，用于对每帧语音信号对应的频谱信息进行梅尔倒谱12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指4以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求15[0002]语音识别(AutomaticSpeechRecognition，ASR)技术是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术。语音识别技术主要包括特征提取技术、[0009]确定稀疏度值大于预设阈值的第一特征向量以及稀疏度值不大于预设阈值的第6[0042]识别子单元，用于采用多层全连接层将所述目标矩阵与78[0063]在采用深度学习技术进行语音识别的众多方案中，E2E自动语音识别技术以其简比较常用的两个E2E自动语音识别框架，Transducer可以直接将输入的音频流特征转化为[0064]为更清晰地介绍本申请的技术方案，下面对Transducer模型的框架进行简单介9获局部信息，并且利用自注意力机制进行全局信息的处理。Conformer模型相对于TransformerBlock模型可以获得更好的语音识别精度和识别效率。因而，可以在Transducer模型的编码器中采用M层Conformer模型来提高语音识别的[0068]在上述语音识别框架中，由于Conformer模型是将卷积和自注意力机制进行结合函数对划分得到的多帧语音信号进行处理。由于快速傅里叶变化的要求是信号为周期信分布与自注意力得分序列的均匀分布之间的相对熵。其中，相对熵(RelativeEntropy，RE)，又被称为KL散度(Kullback-Leiblerdivergence)或信息散度(Information量的稀疏度值便为每个特征向量的自注意力得分序列的实际分布与均匀分布这两个概率到了每个特征向量对应的自注意力得分序列。[0090]步骤103，确定稀疏度值大于预设阈值的第一特征向量以及稀疏度值不大于预设力得分序列的分布远离均匀分布的特征向量才需进行自目标矩阵便为Transducer模型中编码器中Conformer的输出。然后可以对该输出继续输入[0097]2、根据目标自注意力得分序列以及每个第一特征向量对应的值向量进行加权计向量更换为每一第一特征向量对应的第三特可以是计算第一特征向量中一个目标特征向量与从待识别语音信息中提取出的每一特征的目标自注意力得分序列。根据标签序列处理得到的标签序列对应的特征矩阵输入至分类网络中进行分类处理。其应的特征矩阵输入至分类网络进行分类处理，得到对待识别的语音信息对应的识别结果。特征x作为编码器的输入。其中，此处语音特征可以为从待识别的语音信息中提取出的特[0119]Transducer模型中的预测网络的作用是获得历史解码结果的一个高维表示，其测标签yu-1进行预测操作。其中预测操作包括上述嵌入操作以及经过多层循环神经网络层)[0128]在本申请提供的Transducer模型框架中，编码器中采用了Conformer结构对特征向量进行处理，而Conformer模块又包含了四个部分：马卡龙式的前馈全连接模块(Feed-ki关于键矩阵K的自注意力输出可以表示为：且降低了语音识别的效率。为解决上述问题，本申请提供一种语音处理方法，针对自注意力得分序列进行判断该查询向量是否需要进行自阵K的自注意力得分序列。得分序列的实际分布P与均匀分布U之间的KL散度的计算[0157]步骤205，计算机设备根据每个查询向量的稀疏度值确定需要进行自注意力计算稀疏度值不大于稀疏度阈值的查询向量则无需进行自[0160]步骤206，计算机设备根据目标查询向量的自注意力计算结果和值向量确定个Conformer模块的输出矩阵作为下一个Conformer模块的输入矩阵进行进一[0167]在本申请实施例中，为了避免在每一个Conformer层都要计算输入矩阵的查询向中查询向量的稀疏度值。例如在第一个Conformer层中计算得到每隔查询向量的稀疏度值之后，后面第2至第N层Conformer层中每个查询向量的稀疏度值可以直接采用第一层出的特征矩阵输入至连接网络进行结合，再将结合得到的特征矩阵输入Softmax分类层进[0172]如图5所示，为采用本申请提供的语音识别方法对与现有语音识别方法性能对比同测试数据集合进行语音识别所需消耗的时间和所占用的内存相对于现有的语音识别方应的特征矩阵输入至分类网络进行分类处理，得到对待识别的语音信息对应的识别结果。注意力得分序列的分布与自注意力得分序列的均匀分[0178]第一确定单元303，用于确定稀疏度值大于预设阈值的第一特征向量以及稀疏度[0179]第二确定单元304，用于根据第一特征向量的自注意力计算结果与第二特征向量[0180]识别单元305，用于将目标矩阵与标签序列对应的特征矩阵输入至分类网络进行之间的相对熵；第一确定单元303确定稀疏度值大于预设阈值的第一特征向量以及稀疏度值不大于预设阈值的第二特征向量；第二确定单元304根据第一特征向量的自注意力计算结果与第二特征向量确定目标矩阵；识别单元305将目标矩阵与标签序列对应的特征矩阵[0209]该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部[0210]处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设[0211]存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存