任务3.3 智能客服语音数据清洗

项目三主讲教师:段晓亮Intelligentcustomerservicevoicedatacleaning智能客服语音数据清洗智能客服是通过语音识别技术进行语音识别、查找、语音播报，为了实现这样一款智能客服语音系统，我们需要大量的语音数据来训练算法模型，通过语音数据清洗处理，为语音识别模型的训练提供可用的语料，成功训练出模型。在此项目中掌握语音数据读取、语音文件处理、语音分帧等一系列操作。任务导入任务知识目标了解语音频谱、分帧的概念、操作方法01了解语音数据集的应用任务02了解语音文件的处理方法0304掌握语音数据集的处理方法与分析方法任务能力目标通过对ASR语音识别任务的学习，能迁移至其他语音识别任务，为其他任务提供数据处理解决方案01知道语音数据集的处理流程，能根据应用任务需求合理规划处理流程，高质量完成语音数据集的处理02能总结语音数据集处理中出现的问题，及时记录与反馈，积极寻求解决方案0304掌握Python编程方法，并能通过编写程序解决实际语音数据处理问题任务思政目标目标01树立严谨、精益、专注等方面的“工匠”精神，以及认真负责、踏实敬业的工作态度和严谨求实、一丝不苟的工作作风02通过小组合作完成任务，树立团队合作精神和社会服务意识CONTENTS目录语音识别技术01Speechrecognitiontechnology语音合成技术02speechsynthesistechnology语音数据集的应用任务03Applicationtasksofspeechdataset1.语音识别语音识别技术介绍语音识别技术就是让机器通过识别和理解把语音信号转变为相应的文本或命令的技术，也被称为自动语音识别（ASR）或是语音转文本识别（STT）等。语音识别技术与其他自然语言处理技术如机器翻译及语音合成技术相结合，可以构建出更加复杂的应用，例如语音到语音的翻译。语音识别技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。1.语音识别语音识别发展史1.1952年，贝尔研究所研究成功了世界上第一个能识别10个英文数字发音的试验系统。2.1997年，IBMViavoice首个语音听写产品问世。3.80年代，语音识别各种算法被提出，其中突出成就包括HMM模型、人工神经网络等。4.90年代，语音识别技术开始应用于全球市场，著名科技互联网公司相继推出应用产品。5.21世纪，语音识别技术研究重点转变为即兴口语和自然对话以及多种语种的同声翻译。1.语音识别语音识别处理流程语音文件预处理（静音切除、降噪、标准化）分帧特征提取语音模型单词2.语音合成语音合成技术介绍语音合成，又称文语转换（Text-To-Speech）技术，能将任意文字信息转化为相应语音朗读出来。语音合成涉及声学、语言学、数字信号处理、计算机科学等多个学科技术，是中文信息处理领域的一项前沿技术。为了合成出高质量的语言，除了依赖于各种规则，包括语义学规则、词汇规则、语音学规则外，还必须对文字的内容有很好的理解，这也涉及到自然语言理解的问题。2.语音合成语音合成方法参数合成：主要指提取共振峰参数来合成语音，但在实际应用中，准确提取参数比较困难，也就造成合成语音的音质难以达到实用要求。波形拼接：基于时域波形拼接方法合成的语音的音色和自然度大大提高，自然度比以前的参数合成方法自然度要高，并且结构简单，易于实时实现，有很大的商用前景。在语音合成技术的发展过程中，早期的研究主要是采用参数合成方法，后来随着计算机技术的发展又出现了波形拼接的合成方法。2.语音合成语音合成处理流程文本文件文本分析（文本归一化、语音分析、韵律分析）语音内部表示波形合成（毗连合成、共振峰合成、发音合成）波形文件评估2.语音合成语音合成中的文本分析技术文本归一化：对形形色色的自然文本数据进行预处理或者归一化，包括句子的词例还原，非标准词，同形异义词排歧等语音分析：文本归一化之后的下一步就是语音分析，具体方法包括通过大规模发音词典，字位-音位转换规则语音识别中的文本分析主要的工作是把文本数据转换成语音内部表示。具体内容包括：韵律分析：分析文本中的平仄格式和押韵规则，这里主要包含三方面的内容，包括：韵律的机构，韵律的突显度，音调THCHS30是由清华大学语音与语言技术中心发布的开源中文语音数据集。数据集包含了1万余条语音文件，大约40小时的中文语音数据，内容以文章诗句为主，全部为女声。THCHS-30是在安静的办公室环境下，通过单个碳粒麦克风录取，采样频率16kHz，采样大小16bits。3.语音数据处理需求ASR数据集数据集下载地址：/18/每个语言都有独特的声音频谱；人类能听到的声音频率处于20-20000Hz之间；频谱可以表示一个信号是由哪些频率的弦波所组成，也可以看出各频率弦波的大小及相位等信息。音源也可以由许多不同频率的声音组成。不同频率会刺激耳朵中对应的接收器。若主要的刺激只有一个频率，我们就可以听到其音高，音源的音色会由声音频谱中其他频率的部分来决定，也就是所谓泛音。一般会称为“噪音”的声音，其中会包括许多不同频率。若声音的频谱是一条水平线，则称为白噪声或白噪音，此词也可常用在其他型式的信号及频谱。语音数据的基本处理什么是语音频谱？参考资料：/wiki/%E9%A2%91%E8%B0%B1声学特征的提取与选择是语音识别的一个重要环节。由于语音信号的时变特性，特征提取必须在一小段语音信号上进行，也即进行短时分析，这一段被认为是平稳的分析区间称之为帧。每一帧大约10~30ms，也就是一秒钟大约33~100帧。

语音分帧什么是语音信号的帧？语音分帧是通过加窗函数实现，窗口的长度一般为10~20ms。分帧通常有一定的交叠部分，就是帧移。帧移与帧长的比通常为0~1/2。有三种常见的窗函数为：语音分帧语音分帧方法：1.矩形窗2.汉明窗3.海宁窗任务实施Taskimplementation感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velo