CN119296566B 一种基于语义通信的远程语音增强传输方法及系统 （南京邮电大学）

号一种基于语义通信的远程语音增强传输方本发明公开了语音信号传输处理技术领域的一种基于语义通信的远程语音增强传输方法义编码器对含噪语音信号频谱进行语义特征提行语义解码得到预测纯净语音信号的实部与虚提高远程接收端在低信噪比信道传输条件下恢2用信道编码器对所述语音语义特征进行维度调整，得到维度调整后的语音语义特征信号；将维度调整后的语音语义特征信号通过信道传输至远所述语义编码器包括依次连接的第一卷积层、扩张密集卷积网络、第所述信道编码器包括依次连接的一个步长为1、卷积核大小为1的一维所述信道解码器包括依次连接的一个重塑层和一个步长为1、卷积核所述扩张密集卷积网络由4个膨胀因子不同的空洞卷积层组成，4将所述含噪语音信号频谱的实部、虚部与幅度串联作为语义编码器的卷积层将含噪语音信号频谱的实部、虚部与幅度三个输入特征扩展为具有C个通道的中间不同尺度的特征的频率维度F减半至F/2，以降低复杂度；最后通过时频卷积增强变换器3将恢复维度后的语音语义特征作为语义解码器的输入，通过扩张密将纯净语音数据集中的纯净语音信号与噪声集中的噪声信号按照一定信噪比进行混将所述含噪语音数据集分成训练数据集和验证在每一轮训练时，以训练数据集作为待训练的远程语音增强在每一轮训练完成后，以验证数据集作为输入，重构语音信号作为本地发送端执行以下步骤：对待增强的含噪语音信号进行短时傅里叶远程接收端执行以下步骤：接收通过信道传输过来的语音语义特征语义解码器对维度恢复后的语音语义特征进行语义解码得到预测纯净语音信号的实部与所述语义编码器包括依次连接的第一卷积层、扩张密集卷积网络、第所述信道编码器包括依次连接的一个步长为1、卷积核大小为1的一维4所述信道解码器包括依次连接的一个重塑层和一个步长为1、卷积核5[0010]利用语义编码器对所述含噪语音信号频谱进行语义特征提取，得到语音语义特[0016]利用语义解码器对维度恢复后的语音语义特征进行语义解码得到预测纯净语音6[0017]根据预测纯净语音信号的实部与虚部进行逆短时傅里叶变换ISTFT，得到重构语[0022]所述时频卷积增强变换器Conformer模块包括依次连接的第一维度变换层、一个差连接层和第三维度变换层，所述时频Conformer模块用于捕获语音特征的时间依赖性和第一卷积层将含噪语音信号频谱的实部、虚部与幅度三个输入特征扩展为具有C个通道的中间特征图；所述中间特征图通过扩张密集卷积网络DenseNet中残差连接的空洞卷积层，第二卷积层将不同尺度的特征的频率维度F减半至F/2，以降低复杂度；最后通过时频y为接收到的语音语义特征信号，h为信道参数，x为维度调整后的语音7[0031]在一些实施例中，所述语义解码器包括依次连接的扩张密集卷积网络DenseNet、[0034]将恢复维度后的语音语义特征作为语义解码器的输入，通过扩张密集卷积网络[0036]将纯净语音数据集中的纯净语音信号与噪声集中的噪声信号按照一定信噪比进[0043]利用语义编码器对所述含噪语音信号频谱进行语义特征提取，得到语音语义特[0049]利用语义解码器对维度恢复后的语音语义特征进行语义解码得到预测纯净语音8[0050]根据预测纯净语音信号的实部与虚部进行逆短时傅里叶变换ISTFT，得到重构语技术特征的数量或者隐含指明所指示的技术特征的先后关可以在任何的一个或多个实施例或示例中以合适的[0063]利用语义编码器对所述含噪语音信号频谱进行语义特征提取，得到语音语义特9[0069]利用语义解码器对维度恢复后的语音语义特征进行语义解码得到预测纯净语音[0070]根据预测纯净语音信号的实部与虚部进行逆短时傅里叶变换ISTFT，得到重构语[0073]在本实施例中，扩张密集卷积网络DenseNet由4个膨胀因子不同的空洞卷积层组层、一个通道数为64的归一化层和PReLU激活函数层。所述第二卷积层用于将频率维度减transformer，Conformer）Conformer模块包括依次连接的第一维度变换层、一个时域接层和第三维度变换层。所述时频Conformer模块用于捕获语音特征的时间依赖性和频率通过时频Conformer模块依次提取特征的时间依赖性和频率依赖性，从而完成语义特征提[0080]对语音语义特征进行维度调整以使其适合信道传输，具y为接收到的语音语义特征信号，h为信道参数，x为维度调整后的语音[0089]对维度调整后的语音语义特征信号进行维度恢复，其通所述信道解码器包括依次连接的一个重塑层和一个步长为1、卷积核大小为1的一维卷积[0092]将恢复维度后的语音语义特征作为语义解码器的输入，通过扩张密集卷积网络[0096]根据预测纯净语音信号的实部与虚部进行逆短时傅里叶变换ISTFT得到重构语音[0098]将纯净语音数据集中的纯净语音信号与噪声集中的噪声信号按照一定信噪比进[0102]下面结合具体应用实施例对基于语义通信的远程语音增强传输方法及系统进行[0104]传统方案采用8位脉冲编码调制(PulseCodeModulation，PCM)作为信源编码方式，信道编码采用Turbo码，编码速率为1/3。调制方式使用64位正交振幅调制(64_QuadratureAmplitudeModulation，64_QAM)。采用对数最大后验概率算法(Logarithm[0105]传统方案1：先将含噪语音采用传统方案传输到接收端后，在接收端使用基于Conformer的度量生成对抗网络(Conformer_BasedMetricGenerativeAdversarial[0107]在不同信噪比(SNR)的高斯信道下，本发明与两种传统方案的客观语音质量评估(PerceptualEvaluationofSpeechQuality，PESQ)和短时客观可懂度(Short_Time[0112]利用语义编码器对所述含噪语音信号频谱进行语义特征提取，得到语音语义特[0118]利用语义解码器对维度恢复后的语音语义特征进行语义解码得到预测纯净语音[0119]根据预测纯净语音信号的实部与虚部进行逆短时傅里叶变换ISTFT，得到重构语[0122]