人工智能数据标注实战教程 课件 第五章 语音标注项目

第五章

语音标注项目任务一

自动语音识别标注任务内容概括“犹胜相逢不相识，形容变尽语音存。”----苏轼内容概括知识背景典型应用场景实践标注操作1.知识背景语音识别商业化目前在算力、算法和数据方面基本达到了阶段性成熟，语音识别技术的发展离不开大量标注语音数据来训练模型，对智能语音行业来说，优质的语音识别标注数据是不可缺少的2.典型应用场景游戏娱乐字幕生成语音指令社交聊天会议纪要体育运动我国科大讯飞公司作为冬奥会的“翻译官”3.实践标注操作（1）准备数据

来自一首歌曲《我和我的祖国》，格式为mp3音频文件（2）创建工程开启label-studio。在启动页选择单击“createproject”

按钮创建项目3.实践标注操作（3）导入数据选择“DataImport”标签页，选择“UploadFiles”，在弹出框中选择准备好的据文件，进行导入3.实践标注操作（4）选择模板切换到“LabelingSetup”选项卡，指定项目模板类型为“AutomaticSpeechRecognition”3.实践标注操作（5）开始标注单击“Play”按钮，边听边将声音信息在转写框中（ProvideTranscription）转写为文字信息，反复播放直至完成所有声音内容的转写。3.实践标注操作（6）导出结果单击“Export”按钮，在弹出菜单中选择导出格式并保存。小结知识目标：（1）明确自动语音识别标注相关概念（2）明确自动语音识别标注方法思政目标：（1）中国科技创新的力量（2）中国古代人文情怀第五章

语音标注项目任务二说话人语音分割标注任务内容概括知识背景典型应用场景实践标注操作1.知识背景语音识别技术由于语音信号在背景噪声、信道条件等方面的差异性，在进行语音识别之前必须经过多项语音前端技术进行预处理以提高语音识别的性能。其中，说话人分割技术就是一种重要的语音前端处理技术，它可以用来解决“什么时候谁在说话”的问题。2.典型应用场景客服中心电话会议内容纪要智能音箱电话营销3.实践标注操作（1）准备数据节选自著名相声大师侯宝林与郭启儒的一段相声，格式为mp3音频文件（2）创建工程开启label-studio。在启动页选择单击“createproject”

按钮创建项目3.实践标注操作（3）导入数据选择“DataImport”标签页，选择“UploadFiles”，在弹出框中选择准备好的数据文件，进行导入3.实践标注操作（4）选择模板切换到“LabelingSetup”选项卡，指定项目模板类型为“SpeakerSegmentation”3.实践标注操作（5）维护标签通过“Addlabelnames”文本框填入新增标签并单击“Add”按钮保存；通过Labels列表项的删除按钮删除无用标签。3.实践标注操作（6）开始标注首先选择标签，然后在音频数据中通过鼠标划定与标签对应的说话人说话片段范围。循环上述操作直到完成数据的所有标记。如果某一次标注不准确，在波形图单击对应该次标注的音频片段，在标注界面右上侧区域，点击删除按钮，删去本次标注3.实践标注操作（6）开始标注3.实践标注操作（6）开始标注3.实践标注操作（7）导出结果单击“Export”按钮，在弹出菜单中选择导出格式并保存。小结知识目标：（1）明确说话人语音分割标注相关概念（2）明确说话人语音分割标注方法思政目标：（1）工匠精神（2）中国科技力量第五章

语音标注项目任务三声音事件检测标注任务内容概括知识背景典型应用场景实践标注操作1.知识背景声音事件检测（SoundEventDetection，SED）就是检测连续的音频流之中有无出现目标声音事件。它可以对声音数据进行分类与检测，并将检测结果作为是否执行某种操作的判断标准。如果说语音识别是将人类语音翻译为机器能听懂的语言，那么声音事件检测就是将环境声音翻译为机器可以理解的声音2.典型应用场景安全监控生物检测异常监测情景感知3.实践标注操作（1）准备数据准备一段声音，格式为mp3音频文件（2）创建工程开启label-studio。在启动页选择单击“createproject”

按钮创建项目3.实践标注操作（3）导入数据选择“DataImport”标签页，选择“UploadFiles”，在弹出框中选择准备好的数据文件，进行导入3.实践标注操作（4）选择模板切换到“LabelingSetup”选项卡，指定项目模板类型为“SoundEventDetection”3.实践标注操作（5）维护标签通过“Addlabelnames”文本框填入新增标签并单击“Add”按钮保存；通过Labels列表项的删除按钮删除无用标签。3.实践标注操作（6）开始标注首先选择标签，然后在音频数据中通过鼠标划定与标签对应的事件发生片段范围，如果某一次标注不准确，在波形图中单击对应该次标注的音频片段，在标注界面右上侧区域，点击删除按钮，删去本次标注，循环上述操作直到完成数据的所有标记。3.实践标注操作（7）导出结果单击“Export”按钮，在弹出菜单中选择导出格式并保存。小结知识目标：（1）明确声音事件检测标注相关概念（2）明确声音事件检测标注方法思政目标：（1）创新精神（2）工匠精神第五章

语音标注项目任务四语音意图分类标注任务内容概括知识背景典型应用场景实践标注操作1.知识背景语音对话交流中的用户意图理解是人机自然、和谐交互的重要前提。缺少这一前提，就很容易导致“答非所问”的情况发生。语音意图分类核心问题在于如何理解用户在互联网环境下的话语意图以及如何根据话语意图生成让用户更为满意的反馈结果，并在此基础上提升语音生成的表现力。2.典型应用场景游戏娱乐智能客服智能家居3.实践标注操作（1）准备数据来自音频数据是一段来自小米公司智能语音助手小爱同学的智能服务演示，格式为mp3音频文件（2）创建工程开启label-studio。在启动页选择单击“createproject”按钮创建项目3.实践标注操作（3）导入数据选择“DataImport”标签页，选择“UploadFiles”，在弹出框中选择准备好的据文件，进行导入3.实践标注操作（4）选择模板切换到“LabelingSetup”选项卡，指定项目模板类型为“IntentClassification”3.实践标注操作（5）维护标签通过“Addlabelnames”文本框填入新增标签，通过Labels列表项的删除按钮删除无用标签。Choices列表表示在当前项目意图分类的种类。通过“Addchoices”选项框填入新增选项通过Choices选项的删除按钮删除无用选项3.实践标注操作（6）开始标注首先选择标签，然后在音频数据中通过鼠标划定与标签对应的人机交