大数据采集与预处理技术（微课版）课件 8.1语音直播数据采集-语音预处理librosa

大数据采集与预处理技术*

*项目三语音直播数据采集与预处理序号软件配置要求1OBS最新版本2Librosa等最新版本一、项目目标：1、根据应用需求确定语音数据采集方法，并完成语音数据采集；2、对采集的语音数据进行去噪、归一化、采样频率转换、语音特征提取、静音去除、语音切分、信号增强等预处理操作；3、根据训练模型要求完成语音数据文本转录、音频分割、标签标注等，为不同模型准备训练数据。二、环境要求：任务二语音直播数据预处理一、任务目标1、根据模型训练要求，对语音数据进行降噪处理减少背景干扰，完成语音数据的预加重、去除静音片段等操作。2、利用语音数据常见的特征提取方法提取语音特征，并根据要求完成特征降维、特征拼接、特征平滑等处理。3、完成直播语音数据分帧与加窗，对语音数据进行增强，如时间伸缩、频率移位、加噪声、随机时间屏蔽和频率屏蔽。4、完成语音数据重采样，将时域信号转换为频域表示，更好捕捉语音频率特征，并进行归一化、标准化处理。二、Librosa语音预处理（1）librosa的主要功能1）音频文件加载与保存：支持多种格式的音频文件（如WAV、MP3、OGG等）加载与保存，使用简单且灵活。2）音频预处理：可以对音频进行常见的预处理操作，如降采样、去噪、分帧、加窗、预加重等，方便后续特征提取和模型输入。3）特征提取：支持提取多种音频特征，包括梅尔频率倒谱系数（MFCC）、对数梅尔频率能量谱图（log-MelSpectrogram）、音高（Pitch）、节奏（Rhythm）等，这些特征广泛应用于语音识别、音乐分类、情感分析等任务。4）傅里叶变换与频谱图：提供短时傅里叶变换（STFT）、功率谱图、语谱图等工具，将时域信号转换为频域表示，帮助分析音频的频率特性。5）时间和频率变换：可以进行时间伸缩、频率偏移、音高移调等操作，用于数据增强或音频信号的变换处理。6）可视化工具：librosa.display提供了可视化功能，方便查看音频信号、频谱图、MFCC、对数梅尔频谱图等，帮助用户更直观地理解音频数据。7）音频效果处理：支持多种音频效果，如回声、噪声去除、静音切除、动态范围压缩等，能够模拟和增强不同场景下的音频数据。8）节奏分析：提供了节奏特征提取工具，支持节拍检测、节拍位置估计、时间脉冲等功能，广泛应用于音乐分析。9）数据增强：可以在音频信号上进行多种数据增强操作，如加噪声、时间伸缩、移调等，以增加训练数据的多样性，提高模型的鲁棒性。（2）librosa的典型应用场景1）语音识别：在语音识别任务中，librosa经常用于音频特征提取，如MFCC、频谱图等，然后将这些特征输入深度学习模型进行训练。2）音乐信息检索：librosa支持音乐特征提取、节奏分析、音高估计等，可以用于音乐分类、推荐系统、节奏检测等领域。3）音频分类：librosa可以提取音频的时域和频域特征，用于训练机器学习模型来进行音频的分类，如环境声音分类、情感分析等。4）数据增强：通过对音频信号的时频变换、加噪声等操作，librosa可以生成新的数据样本，帮助提高模型的泛化能力。（3）安装librosa在已经安装python和pip工具的情况下，可以通过以下命令安装librosa：pipinstalllibrosa（4）常见功能 #1、加载音频文件代码：importlibrosa#加载音频文件，默认采样率为22050Hzaudio_path='example.wav'y,sr=librosa.load(audio_path,sr=22050)#2、

降采样（Resampling），如果采集的音频文件的采样率过高，降采样可以降低计算复杂度#将音频从原采样率重新采样到16kHzy_resampled=librosa.resample(y,orig_sr=sr,target_sr=16000)#3、降噪，可以通过减去静音段来消除背景噪声，Librosa可以使用librosa.effects.trim()来去除静音部分。#去除音频中的静音部分y_trimmed,_=librosa.effects.trim(y)#4、预加重，一种高通滤波器，可以增强高频部分。#预加重处理pre_emphasis=0.97y_preemphasized=numpy.append(y[0],y[1:]-pre_emphasis*y[:-1])#5、分帧与加窗，在语音预处理中，可以将语音信号分成短时帧，并为每一帧应用窗函数。importnumpyasnpimportlibrosa.display#分帧和加窗frame_length=2048hop_length=512window=np.hanning(frame_length)#获取帧frames=librosa.util.frame(y,frame_length=frame_length,hop_length=hop_length)#对每一帧应用窗函数windowed_frames=frames*window[:,np.newaxis]#6、傅里叶变换与语谱图，语音预处有时候需要计算语谱图（Spectrogram），以频域方式表示语音信号#计算短时傅里叶变换(STFT)D=librosa.stft(y,n_fft=2048,hop_length=512)#转换为幅值谱图S_db=librosa.amplitude_to_db(np.abs(D),ref=np.max)#可视化语谱图importmatplotlib.pyplotaspltplt.figure(figsize=(10,4))librosa.display.specshow(S_db,sr=sr,hop_length=hop_length,x_axis='time',y_axis='log')plt.colorbar(format='%+2.0fdB')plt.title('Spectrogram')plt.show()#7、梅尔频率倒谱系数#MFCC是一种广泛用于语音识别的特征，这种特征是通过离散余弦变换（DCT）对梅尔滤波器组的输出进行压缩实现，是常见的语音提取特征。#提取MFCC特征mfccs=librosa.feature.mfcc(y=y,sr=sr,n_mfcc=13)#可视化MFCCplt.figure(figsize=(10,4))librosa.display.specshow(mfccs,sr=sr,x_axis='time')plt.colorbar()plt.title('MFCC')plt.tight_layout()plt.show()#8、对数梅尔滤波能量#MFCC是一种广泛用于语音识别的特征，这种特征是通过离散余弦变换（DCT）对梅尔滤波器组的输出进行压缩实现，是常见的语音提取特征。#提取MFCC特征mfccs=librosa.feature.mfcc(y=y,sr=sr,n_mfcc=13)#可视化MFCCplt.figure(figsize=(10,4))librosa.display.specshow(mfccs,sr=sr,x_axis='time')plt.colorbar()plt.title('MFCC')plt.tight_layout()plt.show()#9、数据归一化，数据归一化将特征的数值范围标准化y_normalized=librosa.util.normalize(y)#10、计算一阶和二阶差分，为了捕捉语音特征的时间变化，通常会计算一阶和二阶差分delta_mfcc=librosa.feature.delta(mfccs) #计算一阶差分(Delta)delta2_mfcc=librosa.feature.delta(mfccs,order=2) #计算二阶差分(Delta-Delta)综合示例使用librosa处理语音数据往往需要进行多种操作组合，比如加载数据，然后去除静音，再进行预加重，最后提取特征。importlibrosaimportlibrosa.displayimportnumpyasnpimportmatplotlib.pyplotasplt#加载音频文件y,sr=librosa.load('example.wav',sr=16000)#去除静音部分y_trimmed,_=librosa.effects.trim(y)#预加重pre_emphasis=0.97y_preemphasized=np.append(y_trimmed[0],y_trimmed[1:]-pre_emphasis*y_trimmed[:-1])#提取MFCC特征m