智能语音技术及应用开发 课件 单元六任务1：了解语音评测的技术框架

语音评测技术应用2023年2月单元六了解语音评测技术的技术框架单元六：任务1古诗是中华文化的重要组成部分。古诗节奏鲜明、音调和谐，非常讲究韵律，也有一定的朗诵技巧和标准。因此在古诗教育中，特别是针对刚开始接触古诗的学生，一个优美、标准的朗诵示范是非常必要的，且应该提供一种能让学生衡量自己和示范朗诵差异的方法。语音评测技术可以实现学生朗诵语音和示范朗诵语音之间的差距度量，且能逐句评分给学生提示。因此学生学习朗诵的效果便能被量化且有清晰的提升路径。项目导入目录CONTENTS1语音评测技术的内涵及术语2语音评测的技术框架3实现简单的语音评测功能知识目标了解语音评测的概念和流程理解语音评测的技术框架了解语音评测的开放接口使用能力目标能够描述每个步骤的功能能够描述每个步骤的具体目标能够理解流程中涉及到的专业术语思政目标感悟脚踏实地、勤恳敬业、精益求精的大国工匠精神学习爱岗敬业的社会主义核心价值观PART01语音评测技术的内涵及术语语音评测技术的内涵及术语什么是语音评测技术？语音评测的主要应用有哪些？语音评测技术又称口语评测技术、口语自动评估技术，是利用计算机辅助语言学习（ComputerAssistedLanguageLearning）的一种技术。该技术针对口语发音水平和差错，通过机器自动对发音进行评分、检错并给出指导纠正的技术。通过该技术，可以用计算机对普通话或者英语的发音进行标准评价和错误反馈指导。在英语口语教学中，能有效地提高学生口语学习的效率和效果，所以，这项技术也被称之为“AI口语训练技术”。语音评测技术的内涵及术语语音评测技术又称口语评测技术、口语自动评估技术，是利用计算机辅助语言学习（ComputerAssistedLanguageLearning）的一种技术。该技术针对口语发音水平和差错，通过机器自动对发音进行评分、检错并给出指导纠正的技术。通过该技术，可以用计算机对普通话或者英语的发音进行标准评价和错误反馈指导。在英语口语教学中，能有效地提高学生口语学习的效率和效果，所以，这项技术也被称之为“AI口语训练技术”。语音评测技术的内涵及术语语音评测系统的输入及数据准备包括：a)确定针对的评测语种（如英语、日语、德语等）；b)以评测语种母语者标准语音为蓝本，针对评测发音特点设计评测维度；c)针对学习者母语（如汉语）发音特点定位可能存在的缺陷。语音评测技术的内涵及术语语音评测系统的输出包括：a)段落、句子、单词、音素多个级别维度的，包括语调、断句、完整度、流利度等多个方面的指导反馈；b)针对各个级别和维度的分项和综合得分。语音评测技术的内涵及术语语音评测技术经过几十年的发展，在中英文发音标准程度、口语表达能力等评测任务上已经超越了人类口语评测专家水平，目前该技术被普遍使用在中英文的口语评测和定级中。语音评测技术的内涵及术语AI语音评测多维度应用层级(1)评测主体维度a)层级一：音素，例如音标中的[a:]，[æ]等。b)层级二：单词/单音，如[英语字母ABCD]或[单词good]。c)层级三：句子，由多个独立的单词拼接而成。d)层级四：段落，由多个独立的句子拼接而成。e)层级五：文章，由多个独立的段落拼接而成。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度指导反度维度展示了不同层级中指导反馈内容角度和粒度。以一个用户练习口语场景为例，各层级的指导反馈维度如下。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度a)层级一：仅提供用户发音和标准发音回放功能。本层级用户体验：除非很简单的发音，否则大多用户对发音细节、进步程度和改进点感到茫然。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度b)层级二：提供用户发音评分本层级用户体验：用户收到了量化的反馈，也可以感知到一些自身的进步，但用户仍不知道怎样从70分变成100分。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度c)层级三：细粒度评分反馈在层级二的基础上，增加了细粒度的评分反馈，括每个音素的评分；每个单音/单词中发音和声调的单项评分和整体评分；如果是句子，包括完整、流利、发音、语调、断句等多个维度的评分。本层级用户体验：用户可以更精准定位到发音问题所在，但对于“纠正发音问题”还差一步。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度d)层级四：细粒度指导反馈。层级四是在层级三的基础上，增加了音素级别的错误与正确读法的差别。如对英语文本grandmother[ˈɡrænmʌðər]，如用户实际发音为[ˈɡrændmɔːdər]，则可给出的指导反馈有：“[m]的发音前不应该有[d]”；“[ʌ]的发音不应该读成[ɔː]”；“[ð]的发音不应该读成[d]”等。语音评测技术的内涵及术语PART02语音评测的技术框架语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。（1）标准模板库的建立。录制或选择发音标准的朗诵音频，对其进行预处理和特征提取，建立标准模板库。语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。（2）用户语音的预处理和特征提取。录入并存储用户的朗诵音频，对其进行预处理及语音特征提取。语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。（3）模式匹配。将待评测语音特征与相应标准模板库语音特征进行模式匹配，度量相似度，并将其换算为0-100分的评分。语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。（4）指导反馈。按照不同反馈层级，反馈相应的评分及指导纠正信息。语音评测的技术框架评测结果是多维度的，包括音素、语调、流利度、断句、完整度等内容。但不同语种下评测维度是不同的，这与语言的特性有关，因此需要针对不同语种单独定制评测的维度，以日语为例，不仅包括上述常规的语调，流利度等常规维度，同时也有单词音调、日语音拍、音高等其他维度的分析。语音评测的技术框架PART03实现简单的语音评测功能实现简单的语音评测功能操作步骤步骤1：从平台下载Demo，理解程序语句功能；步骤2：使用pythonIDLE,