CN119517051A 语音发送方法和装置以及语音接收方法和装置、电子设备 （北京三星通信技术研究有限公司）

202010988943.52020.09.18语音发送方法和装置以及语音接收方法和本公开提供了一种语音发送方法和装置以2通过使用第一特征提取网络从输入的语音信号中提取低频特征信提取网络包括以级联方式排列的至少一个第一特征提取模块以及至少一个第二特征提取个第一特征提取模块以及所述至少一个第二特征提取模块中的每个特征提取模块使用通过利用语音的高频特征和低频特征进行机器学习而获取的一个或更多个神经网络模型执将与所述低频特征信息对应的语音信号发送及通过使用所述至少一个第二特征提取模块，根据所述语音特征信8.如权利要求1或7所述的方法，还包括：通过使用理参数中的不同参数对所述一个或更多个低频特征信息中的每一个低频特征信息进行提通过使用第二特征提取网络从第一语音信号中提取低频特征信息并基于所述低频特3及至少一个第八特征提取模块中的每个特征提取模块基于至少两种卷积处理参数执行多取模块中的每个特征提取模块使用通过利用语音的高频特征和低频特征进行机器学习而模型是通过利用覆盖不同频率分辨率的不同卷积核大小的卷积操作在高频采样率下进行输出包含所述低频特征信息和所述高频特征信息的第二至少一个处理器，执行所述一个或更多个指令并被配置为执行权利要求至少一个处理器，执行所述一个或更多个指令并被配置为：执行权利要求9所述的方12.一种记录有计算机程序的非暂时性计算机可读记录介质，所述计算机程序用于执4[0003]当前的移动通信网络(2G/3G/4G)只支持窄带(NarrowBand，NB)/宽带(Wide通信中，语音的发送端首先需要将采集到的发音者的语音降采样到通信网络支持的采样接收端分别采用降采样技术和带宽扩展技术对语音信号进行采样置更多的信息以在语音接收装置获得更好的升[0008]第一特征提取网络包含至少一个第一特征提取模块以及至少一个第二特征提取[0009]第一特征提取网络中的至少一个特征提取模块通过至少两种卷积处理参数分别5[0013]第一特征提取网络提取出的所述低频特征信息中包括高频特征和低频特征之间取低频特征信息并恢复高频特征信息的步骤之前，通过对接收的语音信号进行数据复制，[0017]利用第二特征提取网络从接收到的语音信号中提取低频特征信息并恢复高频特第二特征提取网络中的高频特征提取网络根据所述低频特征信息恢复高频特征信息并将[0018]所述低频特征提取网络包含至少一个第三特征提取模块以及至少一个第四特征征信息恢复高频特征信息并将所述高频特征信息和低频特征信息进行融合处理的步骤包低频特征信息进行融合处理，得到包含所述高频特征信息和所述低频特征信息的特征信[0019]所述第二特征提取网络中的至少一个特征提取模块通过至少两种卷积处理参数信息和对应的第四特征提取模块按照相应的卷积处理参数提取出的低频特征信息进行融[0021]第二特征提取网络包含至少一个第七特征提取模块以及至少一个第八特征提取6[0022]利用第二特征提取网络从接收到的语音信号中提取低频特征信息并恢复高频特[0023]所述至少一个第七特征提取模块通过至少两种卷积处理参数分别对输入的信息[0025]利用第二特征提取网络从接收到的语音信号中提取低频特征信息并恢复高频特提取网络中的低频特征提取网络从接收到的语音信号中提取低频特征信息的步骤可包括：[0027]利用第二特征提取网络从接收到的语音信号中提取低频特征信息并恢复高频特提取网络中的高频特征提取网络从所述采样率提升的低频时域信号提取包含高频特征与低频特征之间的相关信息的低频特征信息并根据所述相关信息从该低频特征信息恢复高[0029]所述至少一个第九特征提取模块可通过至少两个卷积处理参数分别对输入的信通过至少两个卷积处理参数分别对输入的信息提取出低频特征信息，并恢复高频特征信述采样率提升的低频时域信号与所述高频时域信号进行时域加和处理来得到最终的语音7信息提取单元，被配置为利用第一特征提取网络从输入的语音信号中提取低频特征信息；[0032]第一特征提取网络包含至少一个第一特征提取模块以及至少一个第二特征提取[0033]低频特征信息提取单元被配置为利用第一特征提取网络中的至少一个特征提取[0036]发送单元被配置为通过以下操作将与所述低频特征信息对应的语音信号发送给[0037]第一特征提取网络提取出的所述低频特征信息中包括高频特征和低频特征之间包含所述低频特征信息和所述高频特征信息的语音[0041]高频特征信息恢复单元被配置为通过以下操作利用第二特征提取网络从接收到[0042]所述低频特征提取网络包含至少一个第三特征提取模块以及至少一个第四特征8以下操作利用第二特征提取网络中的高频特征提取网络根据所述低频特征信息恢复高频块，将所述高频特征信息和对应的第四特征提取模块提取出的低频特征信息进行融合处[0043]所述第二特征提取网络中的至少一个特征提取模块通过至少两种卷积处理参数信息和对应的第四特征提取模块按照相应的卷积处理参数提取出的低频特征信息进行融[0045]第二特征提取网络包含至少一个第七特征提取模块以及至少一个第八特征提取[0046]所述至少一个第七特征提取模块通过至少两种卷积处理参数分别对输入的信息[0047]输出单元被配置为通过以下操作输出包含所述低频特征信息和高频特征信息的[0048]高频特征信息恢复单元可被配置为通过以下操作利用第二特征提取网络从接收恢复单元可被配置为通过以下操作利用第二特征提取网络中的低频特征提取网络从接收9[0050]高频特征信息恢复单元还可被配置为通过以下操作利用第二特征提取网络从接恢复单元可被配置为通过以下操作利用第二特征提取网络中的高频特征提取网络提取包间的相关信息的低频特征信息，并根据所述相关信息从该低频特征信息恢复高频特征信[0052]所述至少一个第九特征提取模块可通过至少两个卷积处理参数分别对输入的信通过至少两个卷积处理参数分别对输入的信息提取出低频特征信息，并恢复高频特征信[0053]输出单元可被配置为通过以下操作输出包含所述低频特征信息和高频特征信息处理器执行时实现以上所述的语音发送方法和/或语计算机程序在被计算机执行时实现以上所述的语音发送[0057]从下面结合附图对本申请实施例的详细描述中，本申请的这些和/或其他方面和[0060]图3是示出根据本发明的示例性实施例的与图2中所示的语音发送方法对应的基[0061]图4是示出根据本发明的示例性实施例的不同卷积核大小覆盖不同尺度的特征的[0062]图5是示出根据本发明的示例性实施例的与图2中所示的语音发送方法对应的基[0065]图8是示出根据本发明的示例性实施例的与图6中所示的语音接收方法对应的基[0067]图10a是示出根据本发明的另一示例性实施例的与图6中所示的语音接收方法对[0069]图10c是示出根据本发明的另一示例性实施例的与图6中所示的语音接收方法对[0070]图10d是示出根据本发明的图10b所示出的基于AI的升采样方法与传统升采样方[0071]图10e是示出根据本发明的示例性实施例的与图6中所示的语音接收方法对应的[0072]如图10f是示出根据本发明的示例性实施例的基于AI的降采样方法与基于AI的升[0073]如图10g是示出根据本发明的示例性实施例的基于AI的降采样方法与传统降采样[0074]如图10h是示出根据本发明的示例性实施例的适用于语音通话的联合ScaleDown[0080]本申请实施例中，NB语音信号的采样率可以为8kHz；WB语音信号采样率可以为[0081]将语音信号从较低的采样率转化为较高的采样率的过程可以称为升采样(Up[0082]将语音信号从较高的采样率转化为较低的采样率的过程可以降采样(Down号降采样到WB或NB信号。然而，基于滤波器的信号处理降采样方法需要设计通带和阻带的范围以及过渡带的特性，由于通带频率特性的幅度不平坦以及过渡带频率特性对低频信号算法设计中，认为接收端对降采样在发送端是如信号是如何转换为低带宽信号的过程是未知的)，也就是说现有的带宽扩展算法不考虑语且考虑到编解码损失对运行波形的影响，时域相似性会失效从而时域损失函数很难收敛。4)在语音通话系统中，降采样和上采样(带宽扩展)处理都在用户设备上由软件和算法完融合过程由CNN的特征融合层构成。图2中的步骤S110可对应于图3中的多卷积核尺度特征[0090]本申请提出了一种适用于语音通话的联合ScaleDown和ScaleUp的网络架构(可升感知相似度。客观测试结果显示X_net能够比只进行传统带宽扩展(Bandwidth个第二特征提取模块可对应于图3中的下采样层。第一特征提取网络可以包括一个或多个积处理参数包括下述至少两种：与语音信号的邻近采样点间的感受野对应的卷积处理参还包括：利用所述至少一个第二特征提取模块根据提取的语音特征信息获得低频特征信个第二特征提取模块可通过至少两种卷积处理参数分别对输入的语音特征信息进行特征述语音发送方法能够利用所述下采样层中的多尺度卷积操作对由步骤S110提取的语音特述下采样层中使用与所述特征提取层中的多尺度卷积操作的卷积操作的数量和尺寸相同操作进行卷积和采样率转换，图3中所示出的示例将所述下采样层中的多尺度卷积操作中的每种卷积操作的步长设置为2，因此，如果从所述特征提取层输出的信号的形状是3*至少一个第二特征提取模块还可以使用与所述至少一个第一特征提取模块所使用的卷积[0110]具体地讲，将与所述低频特征信息对应的语音信号卷积操作的步长设置为1来对通过所述下采样层获得的不同尺度下的低频特征信息进行卷[0111]特征融合层输出的信号为低频时域信号，该低频时域信测试标准(诸如POLQA)的测试结果还必须优于传统的带宽扩展(BandwidthExtension，层中的卷积操作的总数量可以根据所述语音发送方法被应用到的平台的性能以及基于移由于只使用单尺度的简单滤波器，因此在采样率转换过程中会丢失语音信号的低频信息，发明的语音发送方法所基于的神经网络还可以是深度神经网络(DNN)，换句话说，可基于号从时域变换到频域，然后通过DNN对频域信息进行从高频到低频的变换得到低频频域信和CNN的上采样层构成并对应于图7中的步骤S330和S340，特征融合过程由CNN的特征融合二特征提取网络中的低频特征提取网络从接收到的语音信号中提取低频特征信息的步骤层中的多尺度卷积操作的步长设置为1来对扩充后的语音信号进行多尺度特征提取以获得AI的升采样过程能够更好地恢复语音发送装置的基于AI的降采样过程得到的信息。因此，通过至少两种卷积处理参数分别对输入的信息进行特征提取，并输出提取得到的特征信核大小。由于以上已参照图3对此进行了详细描述，因此此处不再对卷积处理参数进行赘收方法中的下采样层中的卷积操作的数量和尺寸与语音发送方法中的下采样层的卷积操率转换，图8中所示出的示例将所述下采样中的多尺度卷积操作中的每种卷积操作的步长[0138]以上参照图8所描述的描述的语音接收方法的基于AI的升采样过程中的特征提取层和下采样层与语音发送方法的基于AI的降采样过程中的特征提取层和下采样层在相同程和语音发送装置的基于AI的降采样过程能够按照一致的行为方式提取低频信息和从信上采样层中的卷积层(图中未示出)，所述至少一络根据所述低频特征信息恢复高频特征信息并将所述高频特征信息和低频特征信息进行的多尺度卷积操作的步长设置为2来对所述低频特征信息进行卷积来获得所述卷积后的特的相关信息的低频特征信息，而所述瓶颈层可进一步融合包含该相关信息的低频特征信可在所述瓶颈层中使用与所述下采样层中的多尺度卷积操作的卷积操作的数量和尺寸相的多尺度卷积操作的步长设置为1对所述低频特征信息进行卷积并对卷积的结果进行排列收方法首先将所述上采样层中的卷积层的多尺度卷积操作的步长设置为1来对由所述瓶颈层输出的低频特征信息进行卷积处理，例如，如果从所述瓶颈层输出的信号的形状是3*层输出的信号的形状是3*[320,2]，并且所述下采样层的卷积处理所输出的信号的形状是所述低频特征信息前面来得到包含高频特征信息和低频特征信长设置为1来对所述包含高频特征信息和低频特征信息的特征信息进行融合处理以获得所含高频特征信息和低频特征信息的特征信息进行卷积处理来得到与包含高频特征信息和[0152]与传统的下采样方法相比，本发明的下采样方法可以更核尺度特征提取(高频)过程有CNN的特征提取层和上采样层构成并对应于图9中的步骤于图10a中的多卷积核尺度特征提取(高频)过程，所述至少一个第七特征提取模块可对应音长度的感受野对应的卷积处理参数、与至少两个基音长度的感受野对应的卷积处理参取层中的多尺度卷积操作的步长设置为1来对接收到的语音信号进行多尺度特征提取以获示意图对应，图10a中所示的基于AI的升采样过程中的特征提取层中的多尺度卷积操作也时，可通过将所述上采样层中的多尺度卷积操作的步长设置为2来对所述语音特征进行反来实现特征的尺度扩展和上采样率恢复以获得包含高频特征信息和低频特征信息的特征步长设置为1来对所述包含高频特征信息和低频特征信息的特征信息进行融合处理以获得包含高频特征信息和低频特征信息的特征信息进行卷积处理来得到与包含高频特征信息提取网络可对应于图10c中的多滤波器尺度特征提取(低频修复)过程，所述至少一个第九特征提取模块可对应于图10c中的多滤波器尺度特征提取(低频修复)过程中的特征提取征提取网络中的低频特征提取网络从接收到的语音信号中提取低频特征信息的步骤包括：至少一个第九特征提取模块通过至少两个卷积处理参数分别对输入的信息进行特征提取，度特征提取(低频修复)过程中的特征提取层中音接收方法的多滤波器尺度特征提取(低频修复)过程中的特征提取层中的卷积操作的数接收方法的多滤波器尺度特征提取(低频修复)过程中的特征提取层重用了语音发送方法图10c中所示，可通过将低频特征融合过程中的特征融合层中的单个卷积操作的步长设置为1来对从多滤波器尺度特征提取(低频修复)过程中的特征提取层输出的低频特征信息进语音接收方法通过利用低频特征融合过程中的特征融合层将不同尺度下的低频特征信息特征融合层的信号的形状是3*[320,2]，则从低频特征融合过程中的特征融合层输出的信少一个第十特征提取模块可对应于图10c中的多滤波器尺度特征提取(高频)过程中的特征[0182]具体地讲，如图10c中所示，提取低频特征信息并恢复高频特征信息的步骤可包步长设置为1来对从多滤波器尺度特征提取(高频)过程中的特征提取层输出的高频特征信语音接收方法通过利用高频特征融合过程中的特征融合层将不同尺度下的高频特征信息的信号的形状是3*[640,2]，则从高频特征融合过程中的特征融合层输出的信号的形状是[0189]以上描述的步骤S440至S460用于从由步骤S420和S430恢复的低频时域信号恢复[0191]如图10c中所示，可通过将上采样过程输出的采样率提升的低频时域信号与从高频特征融合过程输出的高频时域信号进行时域加和处理，来最终得到待输出的语音信号，例如，如图10c中所示，如果从上采样过程输出的采样率提升的低频时域信号的形状是10c所示的基于AI的升采样方法可以修复编码端在对语音信号进行编码时丢失的低频频[0193]虽然在以上描述中以CNN为例描述了基于神经网络的语音接收方法，但是本发明的升采样过程和发送端的基于AI的降采样过程可以用相同的滤波器学习高频特征和低频[0195]如图10g所示，为本申请实施例提出的基于AI的降采样方法与传统降采样方法的[0196]以信号域的信噪比(SNR)为评价指标，本申请实施例中的联合设计方法比现有方编解码流程可以看作U_net中的瓶颈模块。ScaleDown模块(也可以称为ScaleDown网络)f＝f＝16,k＝16,s＝1f＝16,k＝16,s＝1f＝2,k＝16,s＝2f＝2,k＝16,s＝1f＝1,k＝16,s＝1f＝1,k＝16,s＝1有使用频谱相位信息造成的结果与输入的相位不匹配。网络的损失函数是ScaleDown和[0212]低频特征信息提取单元110可被配置为利用第一特征提取网络从输入的语音信号提取单元110可包括语音特征信息提取单元111和低频特征信息获得单元1[0214]其中，语音特征信息提取单元111可被配置为利用所述至少一个第一特征提取模提取模块可通过至少两种卷积处理参数分别对输入的信息进行特征提取并输出提取出的多尺度卷积操作在高频采样率下进行学习来学到语音的高频特征和低频特征，也就是说，[0217]低频特征信息获得单元112可利用所述至少一个第二特征提取模块根据提取的语[0218]具体地讲，低频特征信息获得单元112可通过至少两种卷积处理参数分别对输入二特征提取模块可通过至少两种卷积处理参数分别对输入的语音特征信息进行特征提取，长设置为2对所述语音特征进行卷积来获得包括高频特征和低频特征之间的相关信息的低通过所述下采样层中的多尺度卷积操作对所述语音特征进行卷积来进行卷积和采样率转二特征提取模块中使用与所述至少一个第一特征提取模块中的卷积处理参数相同的卷积中的多尺度卷积操作进行卷积和采样率转换，图3中所示出的示例将所述下采样层中的多的步长设置为2的原因是SWB的频率是WB的频[0221]此外，虽然低频特征信息提取单元110在所述至少一个第二特征提取模块中使用提取模块所提取的语音特征信息进行融合来得到适合于被所述至少一个第二特征提取模信息进行融合以得到与卷积核大小为16或32的卷积操作所输出的语音特征信息相同形式[0223]具体地讲，发送单元120可被配置为通过以下操作将与所述低频特征信息对应的来对通过所述下采样层获得的不同尺度下的低频特征信息进行卷积处理以获得与低频特度下的所述低频特征信息进行卷积处理以获得最终需要输出的与低频特征信息对应的语是本发明的语音发送装置100所基于的神经网络还可以是深度神经网络(DNN)，换句话说，语音信号从时域变换到频域，然后通过DNN对频域信息进行从高频到低频的变换得到低频[0226]与传统的语音发送装置相比，以上描述的语音发送装置100可以完整地保留输入号的高频特征融入到低频特征中以使得高频特征在语音接收装置中能够得到更好的重构。样过程中也难以更好地恢复高频特征。本发明所采用的这两种技术将提高语音的清晰度，可被配置为利用第二特征提取网络从接收到的语音信号中提取低频特征信息并恢复高频核尺度特征提取(高频)过程可对应于高频特征信息恢复可被被配置为在利用第二特征提取网络从接收到的语音信号中提取低频特征信息并恢复[0232]高频特征信息恢复单元220可被配置为通过以下操作利用第二特征提取网络从接征信息恢复单元220可被配置为通过以下操作利用第二特征提取网络中的低频特征提取网的多尺度卷积操作的步长设置为1来对扩充后的语音信号进行多尺度特征提取以获得所述接收装置200的基于AI的升采样过程能够更好地恢复语音发送装置100的基于AI的降采样[0235]此外，高频特征信息恢复单元220可被配置为通过还要以下操作利用第二特征提取网络中的至少一个第四特征提取模块通过至少两种卷积处理参数分别对输入的信息进音接收装置200中的下采样层中的卷积操作的数量和尺寸与语音发送装置100中的下采样地恢复语音发送装置100的基于AI的降采样过程得到的信息。相应地，所述语音接收装置200在所述下采样层中使用与所述特征提取层中的多尺度卷积操作的卷积操作的数量和尺卷积操作进行卷积来进行采样率转换，图8中所示出的示例将所述下采样中的多尺度卷积置为2的原因是SWB的频率是WB的频率[0238]以上参照图8所描述的描述的语音接收装置200的基于AI的升采样过程中的特征提取层和下采样层与语音发送装置100的基于AI的降采样过程中的特征提取层和下采样层在相同的信号尺度上使用相同的卷积操作的尺寸和数量，使得语音接收装置200的基于AI的升采样过程和语音发送装置100的基于AI的降采样过程能够按照一致的行为方式提取低频信息和从信息恢复信号，这样的操作使得语音接收装置200的基于AI的升采样过程能够更好地恢复语音发送装置100的基于AI的降采样过[0239]高频特征信息恢复单元220被配置为还要通过以下操作利用第二特征提取网络从高频特征提取网络根据所述低频特征信息恢复高频特征信息并将所述高频特征信息和所上采样层中的卷积层(图中未示出)，所述至少一个下操作利用第二特征提取网络中的高频特征提取网络根据所述低频特征信息恢复高频特尺度卷积操作的步长设置为2来对所述低频特征信息进行卷积来获得所述卷积后的特征信述瓶颈层中使用与所述下采样层中的多尺度卷积操作的卷积操作的数量和尺寸相同的多果从下采样层输出的信号的形状是3*[320,2]，则从所述瓶颈层输出的信号的形状是3*度卷积操作的步长设置为1对所述低频特征信息进行卷积并对卷积的结果进行排列来获得特征信息恢复单元220首先将所述上采样层中的卷积层的多尺度卷积操作的步长设置为1下，卷积的结果都是4组数据(如图8中701所指示的4组数据)，诸如第一组[a1,a2,a3,d4...dn]，则重新排列后的结果是[a1,b1,a2,[0247]此外，高频特征信息恢复单元220可被配置为还要通过以下操作利用第二特征提取网络中的高频特征提取网络根据所述低频特征信息恢复高频特征信息并将所述高频特层输出的信号的形状是3*[320,2]，并且所述下采样层的卷积处理所输出的信号的形状是所述低频特征信息前面来得到包含高频特征信息和低频特征信[0250]输出单元230可利用第二特征融合网络，将第二特征提取网络输出的包含高频特的单个卷积操作的步长设置为1来对所述包含高频特征信息和低频特征信息的特征信息进特征融合层将不同尺度下的包含高频特征信息和低频特征信息的特征信息进行卷积处理到所述特征融合层的信号的形状是3*[640,2]，则从所述特征融合层输出的信号的形状是[0251]与传统的下采样方法相比，本发明的下采样方法可以更可被配置为通过以下操作利用第二特征提取网络从接收到的语音信号中提取低频特征信图10a中的多卷积核尺度特征提取(高频)过程，所述至少一个第七特征提取模块可对应于音长度的感受野对应的卷积处理参数、与至少两个基音长度的感受野对应的卷积处理参中的多尺度卷积操作的步长设置为1来对接收到的语音信号进行多尺度特征提取以获得所AI的降采样过程的示意图对应，图10a中所示的基于AI的升采样过程中的特征提取层中的[0256]高频特征信息恢复单元220可被配置为还要通过以下操作利用第二特征提取网络至少一个第八特征提取模块通过至少两种反卷积处理参数分别对输入的信息提取出低频低频特征信息的特征信息时，高频特征信息恢复单元220可通过将所述上采样层中的多尺度卷积操作的步长设置为2来对所述语音特征进行反卷积以对输入的信息提取出低频特征收装置200通过对输入到所述上采样层的数据进行反卷积来实现特征的尺度扩展和上采样在所述上采样层中使用与所述特征提取层中的多尺度卷积操作的卷积操作的数量和尺寸[0258]输出单元230可被配置为通过以下操作输出包含所述低频特征信息和高频特征信合层中的单个卷积操作的步长设置为1来对所述包含高频特征信息和低频特征信息的特征利用所述特征融合层将不同尺度下的包含高频特征信息和低频特征信息的特征信息进行卷积处理来得到与包含高频特征信息和低频特征信息的特征信息对应的语音信号。例如，如果输入到所述特征融合层的信号的形状是3*[640,2]，则从所述特征融合层输出的信号低频时域信号修复了在编码端对语音信号进行[0262]具体地讲，高频特征信息恢复单元220可被配置为通过以下操作利用第二特征提网络中的低频特征提取网络从接收到的语音信号中[0263]如图10c中所示，第二特征提取网络可对应于图10c中的多滤波器尺度特征提取10c中的多滤波器尺度特征提取(低频修复)过程，所述至少一个第九特征提取模块可对应征信息恢复单元220可被配置为通过以下操作利用第二特征提取网络中的低频特征提取网征提取(低频修复)过程中的特征提取层中的多尺度卷元220不改变信号的尺度，因此将多滤波器尺度特[0266]此外，所述特征提取层重用了语音发送装置100中的特征提取层的设计，换句话积操作的数量和尺寸与语音发送装置100中的特征提取层的卷积操作的数量和尺寸一致，也就是说，语音接收装置200中的多滤波器尺度特征提取(低频修复)过程中的特征提取层多滤波器尺度特征提取(低频修复)过程中的特征提取层中的多尺度卷积操作也具有三种作，因此，语音接收装置200能够通过利用不同尺寸的多尺度卷积操作进行语音特征的提[0268]此外，高频特征信息恢复单元220可被配置为通过以下操作利用第二特征提取网单个卷积操作的步长设置为1来对从多滤波器尺度特征提取(低频修复)过程中的特征提取的数量和尺寸与语音发送装置100中的特征融合层的卷积操作的数量和尺寸一致，也就是融合层将不同尺度下的低频特征信息进行卷积处理来得到低频修复的低频时域信号。例[0271]通过以上操作，高频特征信息恢复单元200从接收到的语音信号恢复了低频时域[0273]具体地讲，高频特征信息恢复单元200还被配置为通过以下操作利用第二特征提低频时域信号进行上采样处理来获得采样率提升的低[0275]此外，高频特征信息恢复单元200还被配置为通过以下操作利用第二特征提取网少一个第十特征提取模块可对应于图10c中的多滤波器尺度特征提取(高频)过程中的特征[0277]具体地讲，高频特征信息恢复单元220可被配置为通过以下操作利用第二特征提取网络中的