（信号与信息处理专业论文）普通话单字发音的客观评价方法.pdf

普通话单字发音的客观评价方法 摘要 摘要 普通话是现代汉语的标准语，在我国这样一个多民族、多语言的国家 大力推广普通话具有重要意义。因此，对某些像教师、公务员等公职人员 进行普通话测试是很有必要的。目前，普通话测试主要是通过人工测试， 但人工测试存在一些缺陷如：测试员自身水平参差不齐，造成测试标准的 不统一；人工操作，主观意识太浓等。鉴于此，如果普通话的测试通过计 算机客观评价系统来完成，那么既可以统一标准，去除人为因素，而且还 可以节省时间，提高效率。本课题就是基于上述原因而提出的，本文主要 研究普通话单字发音准确度的客观评价方法。目前，国内针对该课题的研 究很少，更没有现成的理论或方法，这方面的工作还属于探索性的。文章 根据“普通话水平测试标准”，并且比较了传统语音客观评价方法和普通话 单字发音准确度客观评价方法的差异，通过对样本语音的时一频分析等多 因素的考虑，提出了基于神经网络的客观评价系统，并选用基音轨迹曲线 和b a r k 倒谱系数作为特征参数初步实现了对单字发音准确度的客观评价。 实验结果表明：该系统的客观评价结果与主观评价结果的相关度大部分在 0 8 以上，作为初步的探讨性方法研究，取得了较好的效果，可以为今后的 进一步工作提供较好的参考和对比。 关键词：单字发音准确度普通话水平测试语音客观评价r b f 网络b a r k 谱 作者：姜亚军 指导教师：赵鹤呜 普通诘单产发音的客规评价方法 a b s t r a c t c h i n ai sac o u n t r yw i t hm u l t i n a t i o na n dm a n yk i n d so fl a n g u a g e b u ta sa c o u n t r y s h e h a sac o m m o na n ds t a n d a r dl a n g u a g e - - m a n d a r i n w i t ht h e d e v e l o p m e n to ft h es o c i e t ya n de c o n o m y ，i ts h o w s m o r ei m p o r t a n c et o p o p u l a r i z em a n d a r i n s ow en e e dam e t h o d t oj u d g ew h a tt o n ei ss t a n d a r do rt o k n o wh o wt op r o n o u n c ee x a c t l y p r e s e n t l yt h em a i nw a yi sb a s e do ns u b j e c t i v e a s s e s s m e n t b u ti th a sm a n ys h o r t a g e ss u c ha sd i f f e r e n ta s s e s s m e n tb yd i f f e r e n t j u d g e ，t o om u c hs u b j e c t i v ei n g r e d i e n ti ns u c ha s s e s s m e n ta n ds oo n t h e r e f o r ei f t h e r ei sa l lo b j e c t i v ea s s e s s m e n t ，t h e r ew i l lb et h es a m ej u d g e m e n t i tw i l la l s o s a v em u c ht i m e ，b e c a u s et h i sm e t h o dc a r li m p l e m e n ti nt h ec o m p u t e r f o ra l l a b o v er e a s o n st h ep r o j e c t - - as t u d yo no b j e c t i v ea s s e s s m e n to fm a n d a r i n p r o n o u n c i n ga c c u r a c yc o m e su p t h i sp a p e rf o c u s e so nt h eo b j e c t i v ea s s e s s m e n t o fs i n g l ew o r d i np r e s e n tt h e r ei sn os a l n er e s e a r c ha n da v a i l a b l et h e o r i e s t 1 1 e p a p e rc h o o s e sp i t c ha n db a r kc c p s t r a lc o e f f i c i e n ta sa s s e s s m e n tf e a t u r e sa n d p r e s e n t sa no b j e c t i v ea s s e s s m e n to fm a n d a r i np r o n o u n c i n ga c c u r a c yb a s e do n t h en e u r a ln e t w o r kb yc o m p a r i n gt h et r a d i t i o n a ls p e e c hq u a l i t yo b j e c t i v e a s s e s s m e n ta n dt h eo b j e c t i v ea s s e s s m e n to fm a n d a r i np r o n o u n c i n ga c c u r a c ya n d i nr e f e r e n c et o m a n d a r i na s s e s s m e n tc r i t e r i o n ”t h ee x p e r i m e n t a lr e s u l t ss h o w g o o dp e r f o r m a n c ew i t ht h ec o r r e l a t i o no f m o s t l ya b o v e0 8 t h i sp a p e rc a nb ea g o o dr e f e r e n c eo ff u r t h e rr e s e a r c h k e y w o r d s ：m a n d a r i na s s e s s m e n t ，p r o n o u n c i n ga c c u r a c y ，s p e e c ho b j e c t i v e a s s e s s m e n t ，r b f ，b a r k i i w r i t t e nb y ：j i a n gy a j u n s u p e r v i s e db y ：z h a oh e m i n g 苏州大学学位论文独创性声明及使用授权的声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文 不含其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏 州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作 出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本 声明的法律责任。 研究生签名：蔓至垩 日 学位论文使用授权声明 期：豳鲷 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论 文合作部、中国社科院文献信息情报中心有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论 文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的 保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的 全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名： 导师签名： 普通话单字发音的客观评价方法 第一章引言 本章主要介绍课题研究背景、现状、存在的难度以及课题的具体研究 内容。 第一节课题的提出 普通话是现代汉语的标准语，是我国各民族、各方言区之间进行交流 的工具，即我们国家的通用语言。我国宪法明确规定：“国家推广全国 通用的普通话”。2 0 0 1 年1 月1 日起实施的国家通用语言文字法明确了 普通话作为国家通用语言的地位。 推广普通话是社会主义精神文明建设的重要内容。社会主义市场经济 的迅速发展和语言文字信息处理技术的不断革新，使推广普通话的紧迫性 日益突出。国务院在批转国家语委关于当前语言文字工作请示的通知中强 调指出：推广普通话对于改革开放和社会主义现代化建设具有重要意义， 必须给予高度重视。为加快普及进程，不断提高全社会普通话水平。 目前，普通话水平测试主要通过人工测试( 即主观评价) 。但人工测试 存在一些缺陷如：我国幅员辽阔、地方方言太多，测试员水平参差不齐， 造成标准不统一；人工操作主观意识太浓；各地区普通话测试员较少，不 利于普通话的快速发展。鉴于此，如果普通话水平测试通过计算机辅助评 价来完成，即建立普通话发音准确的客观评价标准。那么既可以统一标准， 去除人为因素，而且还可以节省时间，提高效率，加快普通话的推广和普 及。因此，该课题无论对于推广普通话( 应用方面) 和语音新课题的研究 ( 理论方面) 都具有非常重要的意义。 第二节普通话水平测试概述 普通话是以北京语音为标准音，以北方方言为基础方言，以典范的现 代白话文著作为语法规范的现代汉民族共同语。普通话即是普遍共通的语 普通话单字发苦的客观评价方法 言，共同的语言应该是规范化的语言。是规范化的现代汉语。普通话的规 范指的是现代汉语在语音、词汇、语法各方面都有明确的标准。 1 2 1 普通话水平测试的性质和目的 普通话水平测试是在教育部、国家语言文字工作委员会领导下，根据 统一的标准和要求，在全国范围内开展的项测试。它不是普通话语音知 识的考试，不是文化水平的考核，也不是口才的评估而是对应试人员运用 普通话所达到的标准程度的检测和评定。普通话水平测试是一种标准参照 测试，它是以标准的普通话为参照标准，通过测试来评定应试人的普通话 水平等级，为国家公务员、播音员、节目主持人、演员、教师等行业人员 逐步实行持证上岗制度服务。从这个意义上说，普通话水平测试也是一种 资格证书的考试。 普通话水平测试完全采用口试方式进行，测试项目有四项：读单音节 字词，读双音节字词，朗读短文和说话。前三项都提供书面材料，说话只 提供说话题目。 1 2 2 普通话水平测试的等级划分 由国家语言文字工作委员会、原国家教育委员会、广播电影电视部制 定颁布的普通话水平测试等级标准( 试行) 是评定普通话水平等级的依 据。普通话水平共分三级，每一级中又分甲等和乙等两个等级。 ( 一) 一级是标准的普通话 甲等：朗读和自由交谈时，语音标准词汇、语法正确无误，语调自 然，表达流畅。测试总失分率在3 以内( 得分9 7 分以上) 。 乙等：朗读和自由交谈时，语音标准词汇、语法正确无误，语调自 然，表达流畅，仍然有字音、字调失误。测试总失分率在8 以内( 得分9 2 分以上) 。 ( 二) 二级是比较标准的普通话。 普通话单字发音的客观评价方法 甲等：朗读和自由交谈时，声韵调发音基本标准语调自然表达流 畅。少数难点音( 平翘舌音、前后鼻尾音、边界音等) 有时出现失误。词汇、 语法较少有误。测试总失分率在1 3 以内( 得分8 7 分以上) 。 乙等：朗读和自由交谈时，个别调值不准，声韵母发音有不到位现象。 难点音( 平翘舌音、后鼻尾音、边界音、f u - h u 、z z h j 、送气不送气、i u 不分、保留浊塞音、改塞擦音、丢介音、复韵母单音化等) 失误较多。方言 语调不明显。有使用方言词、方言语法的情况。测试总失分率在2 0 以内( 得 分8 0 分以上) 。 ( 三) 三级是学习和使用普通话的初级阶段。 甲等：朗读和自由交谈时，声韵母发音失误较多，难点音失误超出常 见范围，声调调值多不准。方言语调较明显。词汇、语法有失误。测试总 失分率在3 0 以内( 得分7 0 分以上) 。 乙等：朗读和自由交谈时声韵调发音失误多，方音特征突出。方言 语调明显。调语法失误较多。外地人听其谈话有听不懂情况。测试总失分 率在4 0 以内( 得分6 0 分以上) 。 第三节课题的研究现状 目前，国内外针对该课题的研究很少，更没有现成的理论或方法。这 方面的研究还属于探索性的。相关的传统语音质量的客观评价主要是用在 语音通信或传输系统的研究、设计和生产领域。 本课题研究的关键问题是有效特征的提取和语音客观评价方法。 1 3 1 语音的信号分析技术 在语音处理的许多应用中，信号分析都是首要的问题。例如在自动语 音识别( a u t o m a t i cs p e e c hr e c o g n i t i o n ，a s r ) 中，前端的语音信号表示 ( s p e e c hr e p r e s e n t a t i o n ) 方法，一般称之为特征提取( f e a t u r e e x t r a c t i o n ) ，就十分关键。语音信号中的信息速率大约是4 0 k b s ，而包含 普通话单字发音的客观评价方法 同样语言消息的文本的信息速率却不超过6 0 b s 。很明显，此时语音分析的 根本任务就是如何从语音波形中提取出必要的语言信息，并且尽量消除其 他非语言因素( 冗余信息) 的干扰，包括说话人变异、传输信道变异、环境 噪声和声音采集设备引起的失真等。实现语音的高效的传输或存储。 在语音质量客观评价( s p e e c hq u a l i t yo b j e c t i v ea s s e s s m e n t ) 中，语 音的表示更是重要的问题之一。要求所用参数既能充分体现人耳对语音的 感知特性，又有高斯统计分布特性及与客观评价模型相容。 1 3 1 1 基于短时平稳性的语音分析方法 语音信号通常被假定为准平稳的随机过程，即认为在l o - - 2 5 m s 的时间 范围内语音信号具有稳定的频谱特性。所以通常都是采用基于短时谱的特 征参数，即用一系列短时的特征矢量来描述时变的语音信号。其中的谱估 计可以通过线性预测( l i n e a rp r e d i c t i o n ，l p ) 或短时傅里叶分析得到，最 终的声学矢量一般还需要应用其他的变换过程来形成。应用于语音识别和 质量客观评价中的语音分析技术与语音编码应用( 尤其是中高速率编码) 中 的以重构原始信号为目的的分析方法有很大的不同，主要可以分为两类：一 种是所谓基于产生的语音分析，即导出语音产生模型参数：第二种是力图模 仿语音信号对于语音感知系统的效果，即基于感知的语音分析。当然仅从 特征空间的角度讨论语音的表示是不充分的，还要和该空间的谱失真测度 相联系才有实际意义，关于谱失真测度将在第三章中详细讨论。 1 3 1 2 语音信号的非平稳性分析方法 由于傅里叶变换中的基函数并非能量有限空间( l 2 空间) 的正交基博1 ， 也不是l 2 空间的局部性基，为此欲获得时、频域的局部信息，就需要采用 局部性的“刚性”滑动窗截取信号进行傅里叶分析，这就是短时傅里叶变 换( s t f t ) 分析法，或称加窗傅里叶变换( w i n d o w e df o u r ie rt r a n s f o r m ) 分 析法。大部分语音段确实具有短时平稳性，当窗长选得合适时，采用这种 普通话单字欲音的客观评价方法 第一章引言 短时平均频谱分析技术得到的频谱能够较好地反映实际的频谱特征。但是 实际存在的语音信号中不仅含有频谱的时变比较缓慢的部分，而且含有频 谱的时变趋势较快且复杂的部分，例如某些过渡音征( t r a n s i t i o n ) 、爆破 音( p l o s i v e s ) 、塞擦音( a f f r i c a t e s ) 和摩擦音( s p i r a n t s ) 等，这样的语音 段虽然在时间上占的比重不很大，但往往携带着辅音感知的重要信息“。 此时希望分析窗长足够短以能反映这些快速时变的频谱特征，然而短的窗 长又不适于分析平稳段的信号。显然，短时傅里叶变换( s t f t ) 因受不确定 性原理”1 的约束无法兼顾这种相互矛盾的需求。 要解决这问题，一方面可以使分析窗长自适应变化，最典型就是基 音同步分析( p i t c h - - s y n c h r o n o u sa n a l y s i s ) 哺1 ，然而在很多情况下，尤其 是有较强的背景噪声存在时，要确定基音同步瞬间( i n s t a n t ) 是很困难的。 另一个途径就是寻求一种具有良好时一频分辨特性的，无需短时平稳假定 的分析工具，如联合时频分布( j o i n tt i m e - f r e q u e n c yd i s t r i b u t i o n ) 7 j 、 子波变换( w a v e l e tt r a n s f o r m ) 妇1 等。 时频分布属于二次型时频表示不满足线性叠加原理，对于多分量信号 的分析存在严重的交叉干扰。语音信号就是一种复杂的多分量信号，它既 含有调频信号分量( 声调变化) ，又含有指数衰减型信号分量( 共振峰特性) ， 其时频分布中的交叉项干扰必然表现得较为严重。虽然也已有采用锥形核 ( z a m ) 分布曲1 或减少交叉项( r i d ) 分布“明可用于产生新型的语谱图，也可用作 特征提取方法，但至今尚未得到这些基于时频分布的方法明显优于基于短 时傅立叶变换的方法的结论。要想获得更加显著的效果，可能还需借助语 音产生模型等先验鲰识。 子波变换则属于线性时一频表示，不存在交叉干扰问题，相应的子波 变换能量谱也不存在交叉干扰问题。它是一种多分辨率分析的思想，非均 匀地划分时一频空间，频率较低的信号成分的持续周期较长，允许而且应 当采用较低的时间分辨率和较高的频率分辨率进行分析，而频率较高的信 号成分则正好相反。这样对于频率成分复杂的语音信号，在服从不确定性 普通话单字发音的客观评价方法 第一章弓i 占 原理的前提下，使不同的时一频区都能获得比较合适的时一频分辨率。 1 3 2 语音音质的评价方法 目前用于评价输出语音质量的方法分为主观和客观两种。主观评价是 基于一个或一组评听者对原始语音和失真语音( 指经过传输系统的语音) 进 行对比试听的基础上，根据某种预先约定的尺度对失真语音来划分质量等 级的，它反映了听者对语音质量好坏程度的一种主观印象。而客观评价有 可以分为：基于输入一输出语音和基于输出语音的两类方式。原理上说都 是建立在原始语音信号和失真语音信号的数学对比上的。大多数客观评价 方法是用数值距离或者描述听觉系统如何来感知质量的模型来量化语音质 量的1 。 1 3 2 1 语音质量主观评价方法 语音主观评价方法种类很多，其中又分为可懂度( i n t e l l i g i b i l i t y ) 评价和 音质( q u a l i 啪评价两类。音质直接反映评听人对输出语音质量好坏的综合意 见，包括自然度和可辨识说话人能力等方面。而可懂度则反映了评听人对 输出语音内容的识别程度。音质高一般意味着可懂度也高，但反过来却不 一定。属于可懂度评价的方法，有判断韵字测试( d i a g n o s t i cr h y m et e s t d r t ) n 2 3 ，d t r 是衡量通信系统可懂度的a n s i 标准之一( a n s is 3 2 1 9 8 9 ) ， 主要用于低速率语音编码的质量测试，因为此时可懂度己成为主要问题； 改进的韵字测试( m o d i f i e dr h y m et e s t - m r t ) ，也是评测通信系统语音可懂 度的a n s i 标准之一( a n s i5 3 2 1 9 8 9 ) ；其它的还有拼写字母测试( s p e l l i n g a l p h a b e tt e s t - - s p a t ) 、语音平衡字表法( p h o n e t i c a l l yb a l a n c ew o r dl i s t p b ) 等。音质评价方法中，典型的如平均意见得分( m e a no p i n i o ns c o r e m o s ) “，它从绝对等级评价法( a b s 0 1 u mc a t e g o r yr a t i n g - - a c r ) 发展而来， 用于对语音整体满意度或语音通信系统质量的评价。 普通话单字发音的客观评价方法 1 3 2 2 语音质量客观评价方法 语音质量的客观评价有可以分为：基于输入一输出语音和基于输出语 音的两类方式。基于输入一输出语音的方法有：在八十年代后期加拿大b e l l n o r t h e r nr e s e a r c h 提出的相关函数方法c h f ( c o h e r e n c ef u n c t i o n ) “们“”，它是 一种加权信号失真l l ( s i g n a l t o d i s t o r t i o n ) 测度方法；日本n t t 的n k i t a w a k i 等人提出的倒谱距离c d ( c e p s t r a ld i s t a n c e ) 方法“”，在当时这是一种与主观 评价相关性较好的方法，它是根据输入和输出语音信号的l p c 系数推出的 各自的倒谱系数，然后求它们之间的倒谱距离，其相关度达到0 9 。进入九 十年代以后，语音质量客观评价方法取得了飞跃的发展，特别是在近几年 取得的成就，与主观评价的相关度达到了o 9 5 左右。比如s w a n g 于1 9 9 2 年提出的巴克谱失真( b a r ks p e c t r a ld i s t o r t i o n ) 方法对以后相关研究产生了 很大的影响“，继s w a n g 等之后，r y a n t o m o ，wy a n g 等学者也对b s d 进行了进一步研究，提出了m b s d ( m o d i f i e db a r ks p e c t r a ld i s t o r t i o n ) 方法， 相关度达到了o 9 5 左右“州“”j 。 近三十年来，语音质量客观评价的研究主要集中在基于输入一输出方 式的评价上。但实际上在许多领域，如无线移动通信、航天航海以及现代 军事等，往往要求评价方法具有较高的灵活性、实时性和通用性，而且在 得不到原始输入语音信号情况下也要能对语音质量进行评价，所以在九十 年代基于输出的客观评价方法也开始受到研究者的重视。r k u b i c h e k 等人 尝试用低阶p l p 模型为基础，对没有参照信息的输出语音信号进行质量评 价。该方法首先对无失真样本( 并非原始语音样本) 进行p l p 特征提取，并 进行聚类分析找出参考类集，以此参考类集做评价基准模板，求出待测试 语音与参考类集的最近距离，以其作为该语音质量好坏的评价标准他们分 别采用了p l p 、p l p c d ( e l p 倒谱距离1 和p l p - d c d ( p l p 差分倒谱距离) 等 参数进行实验测试，与主观评价值的相关度分别达到o 8 2 、0 8 4 和0 6 7 左 右。 r k u b i c h e k 等的研究工作表明这种基于输出的客观评价方法与主观评 普通话单字发音韵客规评价方注墨二垦! ! 童 价具有一定的相关性，但还不很成熟，有待于做进一步的深入研究。同时 也可以看到，虽然这种方式的评价方法依赖了一个可参考的输入信息，但 这个参考信息是经过学习、归纳等过程形成的，这正如人在进行主观评价 时，实质上也是把语音系统的输出信号与人在自身成长过程中不断学习、 记忆得到的经验知识做比较，从这个意义上讲，基于输出的客观评价方法 实际上是一种广义的基于输入一输出的客观评价方法。 本课题普通话单字发音的客观评价可以认为是基于输出语音的语 音质量客观评价方法。国内这方面的研究有：付强在他的博士论文中总结 了国内外关于语音质量客观评价的各种方法，并且提出了用神经网络的方 法实现了对基于输出语音质量的客观评价，取得了较好的效果。但他不是 做的发音准确度的客观评价。还有首都师范大学的谭曙光，做过一个普通 话测试系统的软件，实现方法是利用h m m 对测试语音进行识别，用识别 的正确率给测试者打分。这种方法显然也有它的不足，首先它相当于把发 音准确度当成了可懂度来考虑，其次 m 血讧本身在语音识别上是有缺陷的， 然而在该设计里这种缺陷导致的识别错误被转变成了对该字的评分。因此， 这也不是一个很好的解决思路。普通话单字发音准确度的客观评价方法， 应该建立在考虑单宇准确的发音与非准确的发音的特征差别及如何去度量 这种差别的基础上。 第四节课题的研究内容和难点 普通话水平测试包括的测试项目有四个：读1 0 0 个单字、5 0 个词语和 一篇文章和说话。前三项都提供书面材料，说话只提供说话题目。所以如 果要实现整个计算机测试系统所涉及的方面很多。虽然本文只实现对单字 的客观评价但涉及的工作量还是比较多，如：语意的确认、发音的声、韵、 调、韵律是否准确以及一些声学特征准确度判断。因此，本文要提取有效 特征，建立客观评价机制并使其尽可能拟合主观评价，实现对单字发音准 确度的客观评价。 课题的困难主要是工作量很大，课题本身是一个比较新的问题，可以 参考的理论和资料很少。选用什么特征和什么客观评价方法都是需要从头 研究探讨的问题。因此最后的结果可能会不尽如人意，可能出现评价的模 糊不清。 普通话单字发者的客观评价方法 第二章单字发音准确度的客观评价方法 第二章单字发音准确度的客观评价方法 本章主要探讨单字发音准确度的客观评价方法的特征选用，客观评价 方法研究和整个客观评价方法的设计。 第一节汉语语音的组成及信号处理方法 语音信号处理是用数字信号处理技术对语音信号进行分析和处理的一 门学科。通过对语音信号的数字信号处理，可以得到些反映语音信号某 些重要特征( 如：语意信息、说话人的个性特征、音质特征等) 的语音参 数，再运用特定的算法或模型实现一些特殊用途，例如人工合成出话音、 辨识出说话者、识别出讲话的内容、高效的传输或储存语音信号信息等等。 可以说，数字信号处理技术是语音信号分析研究的关键。 2 1 1 语音的组成及声学特征 人们讲话时发出的声音叫语音，它具有称为声学特征的物理特性；它又 是一种特殊的声音，是人们进行信息交流的声音，是组成语言的声音。因 此，语音( s p e e c h ) 是声音( a c o u s ti c ) 和语言( l a n g u a g e ) 的组合体。可以这 样定义语音，语音是由一连串的音组成语言的声音。 语音的基本声学特征包括：音色，音调，音强和音长。其中，音色也 叫音质，是一种声音区别于另一种声音的基本特征。音调是指声音的高低， 它取决于声波的频率。声音的强弱叫音强，它由声波的振动幅度决定。声 音的长短q 音长，它取决于发音时间的长短。 说话时一次发出的，具有一个响亮的中心，并被明显感觉到的语音片 段口q 音节( s y l l a b l e ) 。一个音节可以由一个音素( p h o n e m e ) 构成，也可以由 几个音素构成。音素是语音发音的最小单位。任何语言都有语音的元音 ( v o w e l ) 和辅音( c o n s o n a n t ) 两种音素。前者是当声带振动发出的声音气流 从喉腔、咽腔进入口腔从唇腔出去时这些声腔完全开放，气流顺利通过， 这种音称为元音。而后者是呼出的声流，由于通路的某一部分封闭起来或 普通话单字发音的客观评价方法 第二章单字发音准确度的客观评价方法 受到阻碍，气流被阻不能畅通而克服发音器官的这种阻碍而产生的音素 称为辅音。发辅音时由声带是否振动引起浊音和清音的区别，声带振动的 是浊音，声带不振动的是清音。还有些音素，虽然声道基本畅通，但某处 声道比较狭窄，引起轻微的摩擦声，称为半元音。元音构成一个音节的主 干，无论从长度还是从能量看，元音在音节中部占主要部分。辅音则只出 现在音节的前端或后端或前后两端，它们的时长和能量与元音相比都很小。 元音的一个重要声学特性是共振峰( f o r m a n t ) 。声道可以看成是一根具 有非均匀截面的声管，在发音时起共鸣器的作用。当元音激励进入声道时 会引起共振特性产生一组共振频率称为共振峰频率或简称共振峰。共 振峰参数是区别不同元音的重要参数，它一般包括共振蜂频率的位置和频 带宽度。不同的元音对应于一组不同的共振峰参数，为了精确地描述语音， 应该尽可能使用多个共振峰，但在实际应用中，只用前三个共振蜂就够了， 它们分别被称为f 。、f 。和f 3 。 浊音的声带振动基本频率( f u n d a m e n t a lf r e q u e n c y ) 又称基音频率， 一般用f 0 表示。无论是说一个音节或说一段连续的语音时，各个音节的元 音段的f o 都是随时间变化的，f o 的变化产生了声调，声调反映了语音的韵 律。在汉语中声调有辨意作用。 2 1 2 汉语语音的特点和结构 汉语语音的特点： ( 1 ) 语系简单：这是指音素少。音节少( 大约有6 0 个音素但只有4 0 7 个左右音节。如考虑每个音节有五个声调，也只不过1 3 3 0 多个有调音节) 。 音节的结构也比较简单。 ( 2 )由于清辅音多，而且多是弱清音。而且开口呼的音节占全部音节 的一半以上( 如用 a 这个音素为主要元音的音节就占4 0 ) ，所以汉语语音 听感上有清亮、高扬和舒服、柔和的感觉。汉语是世界上最大的语种，使 用人口达十几亿。 营通话单字发音的客观评价方法 第二章单字发音准确度的客观评价方法 ( 3 ) 有鲜明的轻重音和儿化韵，所以字词分隔清楚，语言表达准确而且 丰富。轻音与重音配合使语气活泼、语义明显、感情流露。儿化韵还能起 适当的语法修辞作用。 汉语音节一般由声母韵母和声调三部分组成。汉语普通话中有6 0 0 0 多个常用字，每个汉字是一个音节，如将同音字合一处理，则汉语中共有 1 3 3 2 个有调音节，其中可以单念的有1 2 6 8 个。汉语中一般有五个声调，即 阴平、阳平、上声、去声以及轻声。如果不考虑声调，则汉语中无调音节 共有4 0 7 个。 2 1 2 1 汉语的声母结构 普通话中的二十二声母可分力六大类：擦音、塞音、塞擦音。边音、 鼻音、零声母。除零声母之外，其他所有的声母全部都是单辅音。 ( 1 ) 摩擦音。普通话里有六个擦音： f 、 h 、 s 、 s h 、 x 、 r ， 摩擦音在频谱图上，清擦音最明显的特点是持续时间较长的噪声频谱。不 同的摩擦音有不同的摩擦频谱。 ( 2 ) 塞音。普通话里里有六个塞音： b 、e d 、 g 、 p 、 t 、 k ， 其中前三个是不送气塞音，后三个是送气塞音，它们是清塞音。送气塞音 与不送气塞音的一个重要区别在于：送气塞音的长度要比不送气的长的多， 而塞音与擦音的区别在于前者有一段无声的间隙，频谱表现为一段空白区。 在间隙之后还有爆破段，产生一个或多个脉冲，经过声道的共鸣后在频谱 上表现为频域较宽，时域较窄的冲直条。而擦音没有无声段和爆破段，在 频谱上表现为摩擦频谱。 ( 3 ) 塞擦音。普通话里的塞擦音有六个： z h 、e z 、 j 、 c h 、e c 、 q ，其中前三个为不送气塞擦音，后三个为送气塞擦首。在音长上，送气 的远比不送气的长。塞擦音兼有塞音和摩擦音的特性，但又与它们各有差 别，主要的区别之一是摩擦段的时长：塞音的摩擦段的时长最长：塞擦音 的摩擦段的时长层中除了摩擦段的时长外，摩擦段振幅变化的动态特性 第二章单字发音准确度的客观评价方法 是区别塞音和塞擦音的又一重要标志。 ( 4 ) 边音。普通话里只有一个边音 1 ，如“零”字的声母。边音主要由 噪音段和过渡段构成、在边音 1 除阻的一瞬间，舌尖突然下降，声道敞开， 开始向第一个元音目标值过渡。由于声道形状的突变，造成共振峰模式突 变。在频谱图上表现为一个共振峰“断层”。边音也有音渡。边音音渡的起 点是断层右边的共振峰起点，音渡的终点是后边的第一个元音的目标值。 ( 5 ) 鼻音。普通话里只有两个鼻音 m 、 n ( n g ) 。无论鼻音是声母还是 韵尾都有一个较强的f 。、鼻音较强的f 。以及分布较均匀的低中频能量( 一 般不超过4 k h z ) ，还有对元音的鼻化作用。是它区别于其他浊辅音的重要特 点。 ( 6 ) 零声母。零声母指的是那些直接以元音开始的音节里的声母，即没 有声母，只有韵母的情况。共分两类，一类是非开口呼的零声母，它指那 些以 i 、 u 、 y 起首的音节里的声母，它们又称半元音；另一类是开口 呼的零声母，它们有两个特征：一是音节起始时它的振幅的上升速率较快， 在短时间内振幅就可以达到最高值；二是在音节起缓处有爆破段，在频谱 图上表现为一条或几条与元音共振峰位置相同的冲直条。 2 1 2 2 汉语的韵母结构及声调 普通话的3 8 个韵母大致可以分为三类：8 个单韵母，如 a 、 i 、 u 等；1 4 个复韵母，如 a i 、 a o 等；1 6 个鼻韵母如 a n 、 u a n g 等；不同 的元音里有不同的共振峰模式，不同的共振峰模式取决于不同元音产生时 的不同声道形状。严格的说，一个共振峰的频率并不是与声道的某一部分 的形状直接相关，而是声道中任何一部分的形状与所有的共振峰都相关， 而任何一个共振峰又都与声道的整体形状有关。 声调的变化就是浊音基音周期( 或基音频率) 的变化，各个韵母段中基 音周期随时间的变化产生了声调，变化的轨迹称为声调曲线。声调曲线从 一个韵母的起始端开始，到韵母的终止端结束。不同声调的声调曲线的开 普通话单字发音的客观评价方法 第二章单字发音准确度的客观评价方法 始段，称为弯头段，呈共同上升走向；末尾一段呈共同下降走向，称为降 尾段；而中间一段则具有不同的特点，这一段称为调型段。一般来说，弯 头段和降尾段对声调的昕辨不起作用，超作用的是调型段。而段语音， 它的起始和结尾处的波形幅度较小，要准确地测出这些地方的基音周期并 不容易。因此，可将这两处的波形忽略。只测调型段这一部分波形的基音 周期；图2 1 给出了单独读个音节时的四种声调的典型曲线。 图2 1 汉语普通话四种声调的典型曲线 2 1 3 语音信号的分析方法 语音信号的分析方法按分析方法的不同可以分为模型化分析和非模型 化分析。非模型化分析主要有：时域波形分析、频谱特征分析、同态分析、 语谱图分析和统计特性分析。时域分析方法具有简单、计算量小、物理意 义明确等优点。但语音信号最重要的感知特性都反映在功率谱中。所以相 对于时域分析来说频域分析更为重要。语音的时域分析和频域分析是语音 分析的两种重要方法。显然这两种单独分析的方法均有局限性；时域分析 对语音信号的频率特性没有直观的了解；而频域分析出的特征中又没有语 音信号随时间的变化关系。语音信号是时变信号，所以其频谱也是随时间 变化的，但是由于语音信号随时间变化是很缓慢的因而在一段短时间内 普通话单亨笈占的客观评价方法 第二章单字发音准确度的客观评价方法 ( 如l o - - 3 0 m s 之间，即所谓的一帧之内) 可以认为其频谱是固定不变的，这 种频谱又称为短时谱。短时谱只能反映语音信号的静态频率特性，不能反 映语音信号的动态频率特性；因此，人们致力于研究语音的时一频分析特 性，把和时序相关的傅里叶分析的显示图形称为语谱图( s o n o g r a m ，或 s p e c t r o g r a m ) 。语谱图是一种三维频谱，它是表示语音频谱随时问变化的 图形，其纵轴为频率，横轴为时间，任一给定频率成分在给定时刻的强弱 用相应点的灰度或色调的浓淡来表示。语谱图显示了大量的与语音的语句 特性有关的信息，它综合了频谱图和时域波形的特点。同态分析即倒谱域 分析，它实现了将信号卷积关系变换为求和关系，即解卷。对语音信号进 行解卷，可将语音信号的声门激励信息及声道响应信息分离开来，从而求 得声道共振特征和基音周期，用予语音编码、合成、识别、语音质量评价 等。模型化分析法根据语音信号的产生的数学模型，来分析和提取表征这 些的特征参数，如：共振峰分析和声管分析( 即线性预测模型) 。 第二节普通话单宇发音准确度的客观评价系统设计 普通话单字发音准确度的客观评价方法的研究是属于探索性的工作， 目前，国内针对该课题的研究很少，更没有现成的理论或方法。传统的语 音质量的客观评价方法一般都是建立在度量待测系统的原始语音和失真语 音之间的某种特征差异的基础上，然后进行二次拟合。比较实验结果的相 关性和方差。这种方法在实现基于输入一输出的语音客观评价中是一种典 型有效的方法。与主观评价结果的相关度最高可达o 9 5 以上。但普通话单 字发音准确度的客观评价是要在没有原始输入语音信号的情况下也要能对 语音进行评价。即它是一种基于输出的客观评价方法。 2 2 1 普通话单字发音的评分标准 读单字是考查应试人的声母、韵母、声调的发音。要求发音准确，声、 普通话单字发音的客观评价方法 第二章单字发音准确度的客观讦价方法 韵、调都要到位。声母要注意发音的部位和发音的方法。韵母要注意舌位 和发音e l 形，声调要注意调值的到位。速度不能太快，以免发音不准确或 不到位：也不要过慢，以免超时。读错可以重读。“。 此项成绩占总分的1 0 ，即1 0 分。读错一个字的声母、韵母或声调扣 0 1 分，读音有缺陷每个字扣0 0 5 分，限时3 分钟，超时扣分( 3 4 分钟 扣0 5 分，4 分钟以上扣0 8 分) 。 读音有缺陷分发声、韵、调的缺陷。声母读音缺陷主要是指声母的发 音部位不准确，但还不是把普通话里的某一类声母读成另一类声母，比如 舌面前音j 、q 、x ，读得太接近z 、c 、s ；或者是把普通话里的某一类声母 的正确发音部位用较接近的部位代替，比如把舌面前音j 、q 、x ，读成舌叶 音，或者读翘舌音声母时舌尖接触或接近上腮的位置过于靠后或靠前，但 还没有完全错读为舌尖前音等；韵母读音的缺陷多表现为韵母圆唇度明显 不够，发音生硬，语感差；或者开口呼的韵母开口度明显不够，听感性质 明显不符；或者复韵母舌位动程明显不够等；声调上的缺陷主要表现为： 声调调形、调势基本正确，但调值明显偏低或偏高，特别是四声的相对高 点或低点明显不一致的，判为声调读音缺陷：这类缺陷一般是成系统的， 每个声调按5 个单音错误扣分。 2 2 2 客观评价系统的特征提取 由上述评分标准可以得出单字评分主要是从单字发音的声、韵、调的 准确度进行评价的。发错其中的任一项或全部该字的评分即为零。若某一 项发音有缺陷则得一半分。因此若要实现对单字的客观评价也可从这三项 入手设计。首先考虑是否可以将单字的声、韵、调三项进行分离，然后分 别进行评价。声调的分离有比较成熟的技术，语音的基音轨迹曲线表现了 语音的声调。基音轨迹的求取在第四章有较详细的论述。主要包含自相关 函数( a c f ) 法、峰值提取算法( p p a ) 、平均幅度差函数( a m d f ) 法、并行处理 技术、倒谱法、s i f t 、谱图法、小波法等等。而相对于声调，声、韵的准 第二章单字发音准确度的客观评价方法 确分离就显得困难多了。一般采用的方法是用时域特征参数进行分割，如： 帧平均能量e 。和帧平均跨零率z 。等。然而语音信号的变异性很大，时域波 形千差万别，因此准确的分割是一项十分困难的工作。而且在普通话里， 声母和韵母的语音特征并不总是在各自的音段之内，而有可能跨越两者的 边界，也就是所谓的“音征互载”。即声母里可能会带有韵母的信息，韵母 里也可能带有声母的信息，如辅音音渡。如果把韵母从元音起始就开始算 起的话，那么音渡就是韵母中载带的辅音音征，对于某些辅音来说如不 送气塞音 b 、 d 。元音里的音波正是它们之间相互区别的主要音征。而 韵母中的某些音征有声带载带的现象，最典型的就是介音的实现方式，即 复韵母中作为起始音位的 i 、 u 、 y ，介音是具有非稳定性的即在不同 声母的影响下，介音的实现方式很不相同。声母按载带介音音征的多少， 可以得到以下排列： 送气塞擦音一 送气塞音一 擦音一 边音一 不送气塞 擦音一 不送气塞音一 鼻音一 零声母 。因此单字声韵的分割既有难度也 不准确，不利于评价。可以考虑将它们放在一起评价。特征可以考虑比较 常用的师c c 或b a r k 谱特征。这两种特征的提取及比较在第三章有详细的 论述和探讨。 2 2 3 客观评价系统实现框架 与传统语音质量客观评价相比，普通话单字发音准确度的客观评价的 不同之处主要体现在：评价特征的选用不同；是要在没有原始输入语 音信号的情况下( 即无参照) 对语音进行评价。它要求一种完全不同的研 究思路。鉴于在许多实际应用领域也有类似情况，在上世纪九十年代，基 于输出的客观评价方法开始受到研究者的重视。r k u b i c h e k 等人尝试用低 阶p l p 模型为基础，对没有参照信息的输出语音信息进行质量评价。试验 结果与主观评价值的相关度达到0 8 2 左右乜“。这种基于输出的客观评价方 法与主观评价有一定相关性，但还不是很成熟。 普通话单字发音准确度的客观评价就是一种典型的基于输出的客观评 普通话单字发音的客观评价方法第二章单字发音准确度的客观评价方法 价。它无法比较“原始语音”和“失真语音”。而且这里的“失真”也非传 统意义上的失真。系统是要评价发音的准确程度。当然可以将语音特征进 行聚类产生标准参照模板。非标准的发音与其进行比较，计算差异。然后 利用统计回归分析方法进行与主观评价的拟合。然而用回归拟合的方法不 是一种好方法，因为所要设计