任务2.4 智能客服语音数据采集

项目二主讲教师:段晓亮Intelligentcustomerservicevoicedatacollection智能客服语音数据采集智能客服是通过语音识别技术进行语音识别、查找、语音播报，为了实现这样一款智能客服语音系统，我们需要大量的语音数据来训练算法模型，而语音数据采集是获取语音数据最简便的方法。语音数据采集一般分为语音采集以及场景采集。任务导入任务知识目标01了解智能客服语音识别任务及其应用场景02了解语音数据的采集需求及采集方案03掌握语音数据的采集方法、预清洗方法、分析方法任务能力目标01掌握语音数据的采集流程，能根据需求合理完成数据采集02总结语音采集任务中出现的问题，及时记录与反馈，积极寻求解决方案03能够通过编写程序解决实际数据采集问题任务思政目标目标01树立民族自信和爱国主义情怀02培养创新意识与科学钻研精神激发科技报国的使命担当CONTENTS目录智能客服概述01OverviewofIntelligentCustomerService语音数据采集流程02Voicedatacollectionprocess语音识别数据分类03Speechrecognitiondataclassification语音数据格式04Voicedataformat智能客服（又称智能客服机器人）是在大规模知识处理基础上发展起来的一项面向行业的应用，它涉及大规模知识处理技术、自然语言理解技术、知识管理技术、自动问答系统、推理技术等，具有行业通用性。智能客服不仅为企业提供了细粒度知识管理技术，还为企业与海量用户之间的沟通建立了一种基于自然语言的快捷有效的技术手段；同时还能够为企业提供精细化管理所需的统计分析信息。1.智能客服概述人工客服工作繁忙主要包括以下几点:多线程，同时一对多进行解答；7*24小时不间断进行解答；快速、精致查找问题并进行解答；对突发情况进行联网查找解答方案；智能客服的优点智能客服机器人如果你需要一款聊天机器人或者是智能语音系统，你会需要语音数据来训练算法模型。不同的语音产品需要不同程度量级的语音数据。语音数据又分为很多不同的类型，常见的类型有语音识别数据（ASR）和语音合成数据(TTS)。2.语音数据采集流程语音数据采集流程（1）脚本语音数据脚本语音识别数据采集通常包括语音命令、唤醒词采集或两者的一种组合形式。参与数据采集的人员通常被要求阅读一组已经设置好的唤醒词或者语音命令语句。比如说：“小AI，请调大音量”；“小AI，声音调大点”；“小AI，太轻了”。3.语音识别数据分类（2）基于场景的语音数据基于场景的语音数据是说话人员根据特定场景所说的一组语音命令，用于自然语音采集。采集人员会被要求在指定场景下，说出一系列命令。比如场景是：询问X地图软件如何去天安门。参与者可以说：“X，我怎么去天安门”；“X，给我去天安门的导航路线”；“带我去天安门，X”。3.语音识别数据分类（3）无脚本或对话式语音数据无脚本或对话式语音数据是要求多个人进行对话的“自然”语音采集。采集人员可以坐在一起围绕某一话题进行讨论。比如话题是：足球。参与者1:今年的世界杯奖你觉得会是哪个足球队？参与者2:我觉得可能是比较冷门的那些吧。参与者3:韩国队你们觉得有戏吗？参与者1:我觉得希望不大，估计还是欧洲球队的概率大一点。3.语音识别数据分类4.语音数据格式常见的音频格式有：WAV,MP3,MIDI,WMAWAV（*.WAV）是微软公司开发的一种声音文件格式，用于保存Windows平台的音频信息资源，被Windows平台及其应用程序所支持。01MP3格式诞生于八十年代的德国，是MPEG标准中的音频部分，也就是MPEG音频层。一种有损压缩格式02MIDI格式被经常玩音乐的人使用，MIDI允许数字合成器和其他设备交换数据。MID文件并不是一段录制好的声音，而是记录声音的信息。03WMA格式是来自于微软的重量级选手，后台强硬，音质要强于MP3格式，是以减少数据流量但保持音质的方法来达到比MP3压缩率更高的目的04WAVMP3MIDIWMA1.长按D中键至红灯亮起，然后放开，录音笔开机，此时进入录音准备状态，红灯恒亮。2.开机后在录音准备状态下，长按D下键，直至红灯闪烁，即放开。录音笔开始录音，三秒后红灯熄灭，但录音笔仍处于录音状态。3.再短按D中键，停止录音，录音内容已自动保存为wav文件。此时红灯亮起并保持恒亮，录音笔回到录音准备状态。4.把保存好的wav文件传输到电脑，并放到项目目录下的voice目录中，用于后续的音频分析任务实施1.录音笔采集语音语音采集工作准备任务实施1.录音笔采集语音打开“任务5-2：录音笔采集语音”项目，运行“search_file.ipynb”程序，对已采集的音频文件进行筛选与查找。1.录音笔采集语音打开“任务5-2：录音笔采集语音”项目，运行程序“analyze_wav.ipynb”，分析采集的音频文件。1.录音笔采集语音打开“任务5-2：录音笔采集语音”项目，运行程序“analyze_all_wav.ipynb”，批量搜索音频文件夹，实现所有音频文件进行分析。通过观察程序运行情况，对音频文件进行质检。2.视频文件中的音频提取打开“任务5-3：视频音频提取”项目，运行“extract_all_wav.ipynb”程序，批量提取音频数据。其中由于原始的视频包括了mp4,mkv，flv格式，因此需要设置videoTypeList=["video/mp4","video/mkv","video/flv"]2.视频文件中的音频提取运行“analyze_all_wav.ipynb”程序，批量搜索转化后的音频文件夹，实现所有音频文件进行分析，对音频进行质检。2.视频文件中的音频提取保存采集结果。将自已录制的语音数据与视频转化的语音放在合并在文件夹“Collect_results”。感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velody