CN114333772B 语音识别方法、装置、设备、可读存储介质及产品 （腾讯科技（深圳）有限公司）

决预先训练得到的语音识别模型无法对目标语2对所述目标语音进行发音分析，得到第一向量序列，所述第一向对所述目标语音对应的字符序列进行文本结构分析，得到第二向量序确定所述第一向量序列和所述第二向量序列之间的对所述相似度关系归一化处理，得到所述第二向量序列在所述第一对所述第一概率预测结果和所述第二概率预测结果进行结合，得到所述概率预测结获取所述目标语音对应的第一语音识别结果，所述第对所述第一语音识别结果和所述第二语音识别结果进行结合，得到所述对所述第一语音识别结果和所述第二语音识别结果进行结合，得对所述第一中间语音识别结果和所述第二中间语音识别结果进行6.根据权利要求1至3任一所述的方法，其特征在于，3所述分析模块，还用于对所述目标语音对应的字符序列进行文本结构分所述分析模块，还用于对所述相似度关系归一化处理，得到所述述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的4[0015]融合模块，用于对所述第一向量序列和所述第二向量序5指令集由处理器加载并执行以实现如上述本申请实施例中任一所[0022]图1是本申请一个示例性实施例提供的相关技术中的语音交互系统的结构示意[0024]图3是本申请一个示例性实施例提供的语音识别方法所涉及的实施环境的示意[0033]如下对本申请提供的一种语音识别方法所涉及的工作原理以及实施环境进行说[0034]具体结合和图1示出相关技术中的语音交互技术的流程示意图，其中语音交互过6[0035]语音识别技术主要包括声学前端算法102和云端识别算法103其中包括声学前端消除等处理，云端识别算法103声学模型主要对目标语音信号对应发音单元的映射关系进[0036]离线识别算法104主要应用于在离线场景下对接收到的目标语音进行语音文本识[0042]编码器201用于接收目标语音，并对目标语音进行发音分析提取目标语音对应的(Multi-headSelfAttention)和前馈神经网络(FeedForward)，其中自注意力网络用于权重进行归一化处理，最后将权重和相应的键值value进行加权求和得到目标语音对应的第一向量序列。[0043]解码器202用于对目标语音对应的文本字符序列进行处理，得到目标语音对应的7化层用于对目标语音对应的文本字符进行向量化处理，前N个子层同样包括自注意力网络和前馈神经网络，第N+1层中包括交叉注意力网络(Multi-headCrossAttention)和前馈神经网络，其中交叉注意力网络主要用于对目标语音对应的字符序列进行上下文语义分[0044]将编码器201输出的第一向量序列作为解码器202第N+1层的输入，再结合通过解当前输出的结果作为下一次识别过程的输入，更好的实现对目标语音内的各个文本字符对[0049]终端设备301接收目标语音以及语音识别指令，该目标语音包括现场录制的语音[0050]终端设备301将目标语音以及语音识别指令通过通信网络303上传至服务器3028[0056]在一些实施例中，上述服务器还可以实现为区块链系统中的节点。区块链[0060]可以理解的是，本申请实施例提供的语音识别方法不仅仅适用于车联应用场景收到通过选择控件的选择操作时，则生成对音频内容进行语音转文本的识别控件(选项)，9[0075]在本申请实施例中，通过解码器内的前N个子层中的自注意力网络对前述得到的到目标语音内各个字符之间的上下文语义关系，具体第N+1个子层的工作流程请参加下述[0081]可选的，将编码器处理得到的目标语音对应的第一向量序列输入解码器内第N+1的向量序列。[0082]可选的，对第一向量序列和第二向量序列输入第N+1个子层的执行流程包括如下用于指示所述目标语音内第i个文本字符与第i+1个文本字符之间的上下文关系，i为正整码器第N+1个子层的交叉注意力网络，利用该解码器进行语音识别时，首先该解码器算法[0098]可选的，将编码器处理得到的目标语音对应的第一向量序列输入解码器内第N+1[0099]本申请实施例中，利用迭代计算的方式将语义联合向量输入包含分类器softmax预训练过程中得到的语音识别模型为CTC，再结合本申请实施例提供的编码器和解码器结一定程度上减少了语音识别模型所需计算的参数量，同时也减少了语音识别过程的错误[0123]融合模块803，用于对所述第一向量序列和所述第二向量序列进行交叉注意力处[0125]所述确定模块804，用于确定所述第一向量序列和所述第二向量序列之间的相似所述第二向量序列。[0141]图10示出了本申请一个示例性实施例提供的终端设备301的结构框图。该终端设理器1001可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field-处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing[0148]本申请的实施例还提供了一种计算机设备，该计算手机设备包括处理器和存储[0151]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件