大数据采集与预处理技术（微课版）课件 9.3 语音直播数据标注-任务实施

大数据采集与预处理技术*

*项目三语音直播数据采集与预处理序号软件配置要求1OBS最新版本2Librosa等最新版本一、项目目标：1、根据应用需求确定语音数据采集方法，并完成语音数据采集；2、对采集的语音数据进行去噪、归一化、采样频率转换、语音特征提取、静音去除、语音切分、信号增强等预处理操作；3、根据训练模型要求完成语音数据文本转录、音频分割、标签标注等，为不同模型准备训练数据。二、环境要求：1、语音直播数据文本转录语音直播数据文本转录需要将语音数据中的口语内容逐字逐句转成文本，用于训练语音识别（ASR）系统，帮助模型学习语音和文本之间的对应关系。比如音频中的话语“我喜欢阅读”转录为文字“我喜欢阅读”。

对于大规模的语音数据文本转录，通过自动化语音识别API进行是较为优先选择，转换后可以通过人工检查方法对错误的转录进行调整，这种方法可以保证转录速度和质量。读者可以参考“任务一语音直播数据采集”部分，使用科大讯飞语音转录API进行处理。#参考代码：importbase64,hashlib,hmac,json,timeimportrequestsfromurllib.parseimporturlencodeclassIFlytekASR: #类初始化接口

def__init__(self,appid,api_key,api_secret):self.appid=appidself.api_key=api_keyself.api_secret=api_secretself.host="/v1/service/v1/iat"self.file_path=None（接下页）（接上页）

#认证功能函数

defgenerate_auth_url(self):cur_time=str(int(time.time()))params={"app_id":self.appid,"cur_time":cur_time,"nonce_str":"random_string","signa":self.generate_signature(cur_time)}returnf"{self.host}?{urlencode(params)}"#生成认证信息

defgenerate_signature(self,cur_time):signature_raw=self.api_key+cur_time+"random_string"signature=hmac.new(self.api_secret.encode(),signature_raw.encode(),hashlib.sha256).hexdigest()returnsignature#文本转录

defaudio_to_text(self,file_path):withopen(file_path,"rb")asf:audio_data=f.read()audio_base64=base64.b64encode(audio_data).decode()headers={"Content-Type":"application/json","Accept":"application/json"}data={"audio":audio_base64,"aue":"raw","engine_type":"sms16k",}response=requests.post(self.generate_auth_url(),headers=headers,data=json.dumps(data))result=response.json()ifresult.get("code")=="0":returnresult.get("data")else:print(f"Error:{result.get('desc')}")returnNone（接上页）#初始化API对象appid="your_appid"#替换为你的APPIDapi_key="your_api_key"#替换为你的APIKeyapi_secret="your_api_secret"#替换为你的APISecretasr=IFlytekASR(appid,api_key,api_secret)#处理多个语音文件audio_files=["audio1.wav","audio2.wav","audio3.wav"]#替换为你的文件路径forfileinaudio_files:print(f"Processing{file}...")text=asr.audio_to_text(file)iftext:print(f"Transcriptof{file}:{text}")2、语音直播数据情感标注使用labelstudio工具创建语音标注项目，选择“IntentClassification”类别。进入项目设置页，可以在“Addlabelnames”功能处添加“speech”和“noise”两类标签，这是用于标注哪些语音段是语音表达，哪些是停顿时的背景噪声。同时在“Addchoices”功能栏添加“愤怒”、“高兴”、“平静”、“悲伤”、“惊讶”、“其他”几个选择，是用于对语音段的表达情感进行标注。导入待标注的语音数据，根据语音片段表达的情感对语音进行分段，如果是噪声或者背景声也分为一段。对每一段音频数据，如果具有情感表达，就标记为“Segment”，并选择对应的情感，否则标记为“noise”，选择“其他”。3、语音直播数据事件标注语音直播数据事件标注相对简单，主要是对音频分段，然后输入语音片段出现的非语言事件，如笑声、鼓掌、咳嗽、背景音乐等。这类标注主要用于背景声音识别、事件检测和环境音分析。使用labelstudio工具创建语音标注项目，选择“SoundEventDetection”类别。进入项目设置页，可以在“Addlabelnames”功能处添加“笑声”、“鼓掌”、“打赏”、“音乐”、“其他”等标签，用