[工作精品论文]汉语普通话与沈阳方言转换的研究

汉语普通话与沈阳方言转换的研究贾珈1，蔡莲红1，李明1，张帅21清华大学计算机科学与技术系，北京100084；2北京信息科技大学计算机学院,北京100101文摘中国地域辽阔，汉语包括多种方言。方言转换技术可实现方言间语音的转换，丰富语音交流的方式，增强语音交流的可懂性、友好性和趣味性。该文分析了普通话与沈阳方言在声调调类与调值、时长和特殊词等方面的差异；探讨了普通话与沈阳方言转换的可行性；提出了基于混合聚类算法的方言基频转换模型、基于统计的方言时长转换模型和基于加权有限状态机的特殊词识别算法；通过基本转换和说话人音色还原构建了方言转换系统，实现了实时普通话语音输入，沈阳方言语音输出。评测结果显示通过方言转换系统得到的方言语音与目标方言语音具有较高相似度。关键词方言转换；基频聚类；时长统计；语音识别；音色还原中图分类号TP391收稿日期2009年3月13日国家自然科学基金（60805008,90820304）资助项目；国家863高技术项目（2007AA01Z198）资助项目。作者简介贾珈（1981），女（汉），北京，助理研究员。通讯联系人蔡莲红，教授，EMAILCLHDCSTSINGHUAEDUCN中国地域辽阔，汉语包括多种方言13。方言转换技术可实现方言间语音的转换，丰富语音交流的方式，增强语音交流的可懂性、友好性和趣味性。基于基音同步叠加（PSOLA）算法具体为TDPSOLA，LPPSOLA和FDPSOLA算法和声音分析变换合成算法STRAIGHT46，可以实现语音时域、频域声学特征的控制修改，为方言转换提供了技术基础。本文分析了普通话与沈阳方言在声调的调类与调值、时长和特殊词等方面的差异；探讨了普通话与沈阳方言转换的可行性；提出了基于混合聚类算法的方言基频转换模型、基于统计的方言时长转换模型和基于加权有限状态机的特殊词识别算法；通过基本转换和说话人音色还原，构建了普通话到沈阳方言的转换系统，实现了实时普通话语音输入，沈阳方言语音输出。评测结果显示通过本文提出的方言转换系统得到的方言语音与目标方言语音具有较好相似性。1普通话与沈阳方言差异分析为了实现普通话与沈阳方言的转换，本文首先研究普通话与沈阳方言的调类调值、时长和特殊词等方面的差异。11分析语料本文设计的分析语料包括单音节字、双音节词语和短句。单音节语料包括3部分1）用于进行方言语音声调的调类和调值的分析。采用中国社会科学院语言研究所编制、商务印书馆出版的方言调查字表正表之前的第一页声调代表字，共241个字，为了涵盖声韵母类型，涵盖方言中的特殊音节，进一步补充159个音节。2）沈阳方言与北京话古音清入声字的调类和调值对应关系研究。由于沈阳方言中古音清入声字的读音存在特殊变化，因此录制古音清入声字语料共358个单音节。录制时将音节嵌入负载句中朗读，负载句为“”说“”这个“”（为音节），以消除句中位置对发音的影响。双音节语料用于进行方言声调换转的建模，共录制488个双音节词语，包含特殊变调和变音。短句语料用于进行方言时长分析。本文从1998年1月人民日报版语料中共选取23句短句，每句长度为10至25音节。录制者为在沈阳出生并在沈阳生活18年的男性朗读者一名和女性朗读者一名。并录制了同文本的普通话语料。每名朗读者朗读2遍语料。12普通话与沈阳方言差异分析121声调的调类与调值的差异方言语音声调的调类和调值分析，采用方言调查字表7正表之前第一页的声调代表字审辨调类调值。本文录制了声调代表字的音共241个。提取录音的基频曲线，通过聚类审辨方言的调类、调值。普通话与沈阳方言的调类调值差异以五度标音法表示如表189。统计结果显示普通话和沈阳方言单字的调类和调值存在与表1基本一致的对应关系，但同一声调的普通话单音节字对应的沈阳方言单音节字的基频调形和调值略有不同。因此在声调分类的基础上，进一步定量研究两种方言基频间的映射关系，建立的普通话与沈阳方言单字调形和调值的映射模型，可以实现两种方言间基频的转换。沈阳方言的连读变调并不明显且无规律，因此本文不考虑沈阳方言连读变调的情况。表1普通话与沈阳方言的调类和调值差异方言区阴平阳平上声去声普通话553521451辽宁沈阳话333521341122时长差异本文通过统计同文本的普通话和沈阳方言的短句语料，分析声调和韵律边界对音节时长的影响差异。分析语料共朗读2遍，包含392个音节，其中106个阴平音节，84个阳平音节，54个上声音节和108个去声音节。统计结果如表27所示。其中M表示普通话，S表示沈阳方言，AVE表示平均值，STDEV表示标准差。1）声调对时长的影响。本文统计了不同声调的普通话与沈阳方言在连续语流中的音节平均时长与标准差（见表2）。表2不同声调的音节时长统计S阴平阳平上声去声轻声AVEMAVE025026023024016024MSTDEV006006005007005/SAVE021017019020018020SSTDEV005004005006006/结果显示，普通话和沈阳方言不同声调间的音节时长存在不同的比例关系（见表3）。表3同种方言不同声调的音节时长比例阴平阳平上声去声轻声M0961088093061S1241112119102对于普通话，阳平声调音节的时长最长，轻声音节的时长最短；对于沈阳方言，阴平声调音节时长最长，轻声音节时长最短。由此可见，声调是影响普通话与沈阳方言音节时长差异的重要因素。实现普通话到沈阳方言的转换，需要考虑声调对两种方言音节时长比例关系的影响。2）韵律结构对时长的影响。语音学和语言学的研究表明，音节在句中的位置10和韵律边界11会对时长产生影响。本文统计了普通话与沈阳方言在句首、句中和句尾的音节平均时长与标准差（见表4），其中句首和句尾定义为第一个和最后一个韵律短语。结果显示，句中位置对普通话和沈阳方言的音节时长存在影响，两种方言均为句首音节时长最长，句中音节时长最短（见表5）。表4句首、句中和句尾的音节时长统计S句首句中句尾MAVE027023026MSTDEV007007005SAVE023019022SSTDEV004006005表5同种方言句首、句中和句尾的音节时长比例句首句中句尾M1088097S1082090进而统计了韵律短语边界和韵律词边界对边界前一个音节的时长影响（见表6）。结果显示，两种方言均存在处于韵律短语边界的音节时长最长的现象，而韵律词边界对音节时长也有不同程度的影响（见表7）。由此可见，实现普通话到沈阳方言的转换，需要考虑韵律结构对两种方言音节时长比例关系的影响，包括音节所在句中位置和韵律边界的影响。表6韵律短语边界（PPB）和韵律词边界（PWB）对音节时长的影响统计SPPBPWBNONBOUNDARYMAVE026020018MSTDEV006007006SAVE030021023SSTDEV007006005表7同种方言不同韵律边界的音节时长比例PPBPWBNONBOUNDARYM1076067S1072076123特殊词差异1）声韵差异。普通话和沈阳方言的部分声韵母发音存在差异。如普通话中的声母ZH、CH、SH在沈阳方言中读作Z、C、S。因此实现普通话到沈阳方言的转换需要考虑声韵母发音的转换。2）古音清入声字。汉语中共有358个古音清入声字。对于古音清入声字，无论其在普通话中的声调为何，它在沈阳方言中均读为上声。这与121节提到的2种方言非入声字的声调调类和调值的对应关系不同。因此实现普通话到沈阳方言的转换需要考虑古音清入声字的特殊声调变换。3）用词差异。普通话和沈阳方言存在部分词语的用词差异。如普通话中的“我”在沈阳方言中通常使用“咱”，“聊天”通常使用“唠嗑”，“地方”通常使用“嘎达”等。实现这部分特殊用词的替换，可以使方言转换后得到的沈阳方言更具有“沈阳味儿”。图1普通话和沈阳方言自动转换系统流程图13普通话与沈阳方言转换的可行性分析通过12节的分析，汉语普通话与沈阳方言存在声调调值的差异、时长差异和特殊词差异。针对两种方言间的差异分析，可以通过对训练语料中的普通话和沈阳方言的音节基频进行基于聚类和匹配方法的定量研究，实现基频转换建模；通过统计学方法实现时长转换建模；通过音节切分和基频提取技术支持音节的基频和时长转换模型的应用；通过研究使用者音色还原算法，可实现任意使用者的普通话输入，沈阳方言输出。进一步的，使用者通过方言特殊词自适应训练录制差异特殊词的方言发音，通过声韵母识别和特殊词识别算法检测普通话与沈阳方言存在差异的特殊词并进行替换，可实现普通话与沈阳方言存在差异的特殊词的转换。因此，通过构建方言转换系统，可实现输入普通话语音，实时输出沈阳方言语音（见图1）2方言转换建模的研究21基于混合聚类算法的方言基频转换建模在探究方言基频转换模型的过程中，本文使用了聚类分析的方法。聚类分析首先要明确被聚类对象之间可能体现差别的属性。121节的分析表明，普通话与沈阳方言声调的差异主要体现在调形，即基频包络的走势。本文采用3个特征共6维参数描述调形。211模型参数的选择1）调形特征。采用三次多项式曲线描述调形的走势，可以很好描述受前后音节的影响而在音节前段和末端出现弯头和降尾的情况。对于基频序列F0（T1,F1），（T2,F2），（TN,FN），其中N表示某音节含有N个基频点，其中第I个基频点时间为TI，数值为FI。经过对音节中有基频的部分的时长和基频均值进行归一化后，得到新的基频序列F0（T1,F1）,（T2,F2）,（TN,FN）。对这个序列进行3次曲线拟合，得到调形特征的4个参数A0、A1、A2、A3，这4个参数为3次曲线拟合多项式的系数F0TA0A1TA2T2A3T312）基频均值。通过实验发现，普通话中拥有相似基频包络形状的同一声调的音节会由于基频均值的不同，在沈阳方言中发音的基频包络形状存在较大的差别，如图1所示，普通话阳平声调的单音节字，在沈阳方言中基频包络形状不尽相同。因此在对普通话和沈阳方言音节基频分别聚类并建立映射关系时，调形特征不足以体现调类的区别。通过基频均值这一特征可以一定程度解决这一问题。基频均值参数用A4表示。3）基频在音节中的开始位置。为了区别不同声母对基频包络的影响，将基频在音节中的开始位置作为基频模型的一个重要特征。基频开始位置为音节第一个基频点的时刻到音节起始时刻的时长，与音节总时长的比值，该参数用A5表示。将6维参数进行标准化度量后，聚类的数据准备就绪。212基于混合聚类算法的基频转换模型在聚类算法中，划分聚类方法和层次聚类方法是最常见的两类聚类技术12。划分聚类方法以K均值聚类算法为代表，具有较高的执行效率但精度较低；而层次聚类方法以凝聚聚类算法为代表，聚类性能较好，但复杂度较高。因此采用基于K均值聚类和凝聚聚类的混合聚类算法既能降低聚类时间，又能提高聚类的准确率13。建模语料设计个性化语音数据方言转换方言语音个性化训练语料设计双语语音录制转换建模普通话语音音节（段）切分基频标注方言转换音色还原语音采集转换模型语音识别音段切分基频提取适应/转换个性化适应方言转换建基频转换模型的训练语料包括同文本的普通话和沈阳方言的单音节字和双音节词语料，每种方言共有159个单音节字和488个双音节词。为了建立普通话和沈阳方言之间基频的对应关系，首先对普通话进行了混合聚类采用凝聚聚类算法得到类别数，剔除噪声后以凝聚聚类得到的类中心作为K均值聚类的初始中心再次进行聚类，聚类得到的类中心即为该类的代表特征参数；再以普通话聚类结果各类对应的同文本的沈阳方言数据集的中心为初始中心对方言进行K均值聚类，得到方言的类中心即为该类的代表特征参数。普通话各类和方言各类别间通过同文本建立对应关系。该方法解决了对普通话和沈阳方言单独聚类后很难建立2种方言聚类类别间对应关系的问题，使得聚类结果具有一致性。表8普通话训练语料混合聚类结果单音节字双音节词前字双音节词后字类别数正确率类别数正确率类别数正确率6100109794178933表9沈阳方言聚类结果单音节字双音节词前字双音节词后字类别数正确率类别数正确率类别数正确率6100108404178609本文对单音节字和双音节词的前后两个音节分别聚类，得到了3组聚类结果。表8列出了普通话训练语料混合聚类后的结果，表9列出了沈阳方言训练语料聚类后的结果。定义类中包含的最多的声调为该类的类别，则聚类正确率为类内音节声调与其类别声调相同的比例。如表8和表9所示，沈阳方言的聚类结果和普通话的聚类结果相比正确率有所下降，主要原因是方言的发音具有一定的随意性，但正确率大于84的聚类结果表明，基于混合聚类的基频转换模型可以应用于方言转换系统。22基于统计学的方言时长转换建模通过122节的分析，本文建立了基于统计学的普通话与沈阳方言时长转换模型。尽管影响音节时长的因素很多，如语调、重音等，本文的时长转换模型主要考虑3方面的影响因素声调、句中位置和是否为韵律短语边界的前一个音节。本文在4个不同的韵律位置上对同文本的普通话和沈阳方言的连续语流中各声调的音节时长进行了统计。这4个韵律位置分别是音节位于句首、音节位于句尾、音节位于句中且不是韵律短语边界的前一个音节和音节位于句中并且是韵律短语边界的前一个音节。首先统计得到各个韵律位置各声调的平均音节时长，对普通话和沈阳方言平均音节时长归一化，再求出该韵律位置同声调沈阳方言与普通话的平均音节时长的比值，即为时长变换系数。由此，可以得到时长变换系数矩阵103088108096157100077100101119094101098113100111072101100125AIJ2其中I代表不同的韵律位置，依次是句首、句尾、句中非韵律短语边界和句中韵律短语边界；J分别代表5种声调，即阴平、阳平、上声、去声和轻声。处于I韵律位置具有声调J的音节时长转换公式为TTADIJMIJIJ3其中TMIJ为普通话的音节时长，TDIJ为经过转换后方言的音节时长。23基于加权有限状态机的特殊词识别算法方言包含很多特殊词汇，需要利用特殊词识别算法将特殊词汇检出，进行方言特殊词汇的转换。我们在文14提出了基于加权有限状态自动机的连续语音识别算法，实现了特殊词检出，成功地应用于方言转换系统中特殊词汇的检出与转换。首先设计了基于沈阳方音和普通话差异的识别词表，选取了沈阳方言中出现词频较高的部分特殊词，包括清入声字词59个，特殊字词（我、地方、聊天）3个，以及特殊声母（ZH、CH、SH。采用基于加权有限状态机（WFST）的语音识别框架构建了一个连续语音识别网络15，用于检出方言特殊词汇。识别基元选取基于上下文的声韵母16，在标准的声韵母基础上，添加了6个零声母音节A,O,E,I,U,V，这样每个音节都由两部分组成。声学模型选用TRIPHONE模型，每个TRIPHONE由5个状态构成，其中有3个发射状态。特征参数为39维，包含13维MFCCMELFREQUENCYCEPSTRALCOEFFICIENTS和一阶、二阶差分。本文对基于加权有限状态机的特殊词识别算法进行了测试。测试语料总时长为619MIN，总音节数为4000个。测试语料中包含特殊词共557个。测试语句的采样率为16KHZ，量化位数为16BIT，单声道。以FR表示漏检的条目个数，TRUE表示语音中实际出现的特殊词个数，FA表示误警的个数，KW表示特殊词表的大小，HR为语音的时间（以MIN为单位）。具体评测结果如表10所示。表10特殊词识别性能评测HRTRUE个FA个FR个检出率误警率60557181139676213当测试环境和模型训练环境相同时，目前主流的特殊词识别系统的检出率可以达到70以上。但是方言转换系统会应用在不同的环境，采用和训练相同的环境进行测试，就不能很好地测试方言转换系统的性能。因此本文采用的测试环境和模型训练环境不同。从实验结果看出，在不同的环境下进行测试，特殊词检出率略低于相同环境下的检出率。该连续语音识别特殊词检出算法，在特殊词词表改变时，不用重新训练模型。该算法成功地应用于方言特殊词汇转换。3方言转换系统构建31基本转换方言转换系统中的基本转换包括方言基频转换、时长转换和特殊词识别替换。其中基频和时长转换模型基于单音节字或双音节词，同时时长转换模型的应用需要韵律短语边界信息，因此自动音段（节）切分是应用转换模型的前提。本文采用基于停顿时长、音节间隔处的平均能量、基频跳变和音节间基频间断时长4个特征的逐级音段切分算法14，切分后得到3个层级的韵律单位单音节字、双音节韵律词和韵律短语。单音节字和双音节韵律词应用于方言基频转换模型。在应用模型时首先要将使用者的调域调整到模型训练语料中普通话录音人的调域，然后对调整后的基频包络提取调形、基频均值和基频开始位置3个特征。根据该音节为单音节还是双音节的前、后字进行度量标准化，再与转换模型中普通话基频各个类别的代表特征参数进行匹配（欧式距离最短则表示该音节与此模型匹配），应用方言基频转换模型得到与普通话基频类别对应的沈阳方言基频类别的代表特征参数，该特征参数即为输出的沈阳方言的基频。进而应用单音节和韵律短语边界信息进行时长转换和特殊词识别替换，最终得到输出方言。其中，时长和基频序列的修改采用基音同步叠加（PSOLA）算法4。32说话人还原方言基频转换模型由特定人录制的普通话和方言语音训练所得，而方言转换系统的使用者是任意人，其输入的语音基频在使用基频转换模型后替换为训练模型中的特定人的基频。因此需要对通过基本转换得到的方言基频序列进行说话人音色还原处理。1）移调。在使用者第一次使用转换系统时，通过中性语气朗读一定量的普通话训练语料，统计得出平均基频。训练语料的设计满足各种声调所占权重相等。假设4种声调各有N1、N2、N3、N4个，则平均基频为411/4TNUMTIIUMTTFFN6训练模型中普通话的平均基频为MMF。初步得到的方言基频序列乘以用户平均基频与训练模型中普通话平均基频的比值/UMMDFF即完成了移调。2）以音节为单位的调整。假设对普通话音节X进行语调还原，设该音节在模型中平均基频为MMXF，当前用户输入的普通话音节平均基频为UMXF，那么在移调的基础上对该音节乘以/UMXUMMMXMMFFFF就得到了还原后的结果。3）音节内部信息补偿。使用者输入的普通话音节与模型中的普通话音节的调形特征序列相比即得到音节内部基频调整序列。按照音节分别应用于经过前面两步处理的音节则得到了音节内部补偿后的结果，至此音节内部也保持了使用者的细节特征。4）平滑。在移调和对语调、音节内部补偿之后还需要对音节连接处进行平滑。平滑时要考虑由于韵律结构不同导致的音节间紧密程度的差异，连接紧密的需要平滑的区域大，连接疏松的需要平滑的区域小，甚至不进行平滑。33实验结果与讨论为了检验方言转换系统的转换效果，本文分别对时长转换模型和基频转换模型进行了评测。评测采用MOS（MEANOPINIONSCORE）平均意见得分评分法，含有5个分值，数值从小到大表示转换后的目标方言语音与录制的同文本沈阳方言语音的相似性从低到高，最终评测结果为各评测人评分的平均值。1）基频转换模型的评测。评测人为清华大学计算机科学与技术系的博士和硕士研究生，共8人。测试句为10句通过基频转换模型转换后得到的沈阳方言语句。评测中要求评测人只对测试句的声调进行关注，并与事先录制的同文本的标准沈阳方言进行比较。评测MOS得分313，评测结果说明应用本文提出的方言基频转换模型得到的方言语音与标准方言语音具有较好的相似度。2）时长转换模型评测。评测人为清华大学计算机科学与技术系的博士和硕士研究生，共6人。评测人分别对仅使用基频模型的方言转换系统转换得到的沈阳方言和同时使用基频转换模型和时长模型得到的13句测试语句进行评测。评测中要求评测人将转换后得到的语音与录制的同文本的标准沈阳方言进行比较，给出相似度结果。通过评测，只使用基频转换模型而没有使用时长转换模型，MOS得分为312。而使用了时长转换模型后转换得到的方言语音其MOS得分为346。评测结果说明应用时长转换模型之后的方言语音与目标方言语音更加相似。4结语本文分析了普通话与沈阳方言在声调的调类与调值、时长和特殊词等方面的差异；探讨了普通话与沈阳方言转换的可行性；提出了基于混合聚类算法的方言基频转换模型和基于统计的方言时长转换模型；采用加权有限状态机的特殊词识别算法；通过基本转换和说话人音色还原，构建了普通话到沈阳方言的转换系统，实现了实时普通话语音输入，沈阳方言语音输出。评测结果显示通过本文提出的方言转换系统得到的方言语音与目标方言语音具有较好相似性。未来的研究工作包括1进一步邀请沈阳方言使用者对目前的转换结果进行评测和建议；2）探讨普通话与沈阳方言的能量和频域特征的差异，研究方言间基频和时长以外的其他时域特征和频域特征的转换方法；3）本文提出的方言转换技术可以应用在任意两个北方官话方言之间，同样也可实现从方言到普通话的转换，推广方言转换技术的应用。参考文献（REFERENCES）1詹伯慧，汉语方言及方言调查M，湖北教育出版社，1991年2袁家骅，汉语方言概要M，语文出版社，2000年3候精一，现代汉语方言概要M，上海上海教育出版社，2002年4黄德智，蔡莲红，一种面向声音变换的参数化模型J，声学学报，2006，3165425484HUANGD,CAIL,APARAMETRICMODELFORVOICECONVERSIONJ,ACOUSTICSJOURNAL,2006,3165425485HIDEKIBANNO,HIROAKIHATA,MASANORIMORISE,TORUTAKAHASHI,TOSHIOIRINOANDHIDEKIKAWAHARA,IMPLEMENTATIONOFREALTIMESTRAIGHTSPEECHMANIPULATIONSYSTEMREPORTONITSFIRSTIMPLEMENTATION,ACOUSTICSCIENCEANDTECHNOLOGY,VOL28,PP140146,20076HIDEKIKAWAHARA,ALAINDECHEVEIGNE,HIDEKIBANNO,TORUTAKAHASHIANDTOSHIOIRINO,NEARLYDEFECTFREEF0TRAJECTORYEXTRACTIONFOREXPRESSIVESPEECHMODIFICATIONSBASEDONSTRAIGHT,PROCINTERSPEECH2005,LISBOA,PP537540,SEPT20057中国社会科学院语言研究所编撰，方言调查字表M，中国社会科学院语言研究所，商务印书馆，2004年8王福堂，汉语方言语音演变和层次M，语文出版社，1999年9游汝杰，汉语方言学导论M，上海上海教育出版社，2000年10冯隆，北京话语流中声韵调的时长，见林焘,王理嘉著，北京语音实验录M，北京北京大学出版社，1985年11TSENGC,THESYLLABLEDURATIONVARIESALOTWITHDIFFERENTTONESJ,SPEECHCOMMUNICATION,2005,4628430912HANJ,KAMBERM,THECONCEPTANDTECHNOLOGYOFDATAMININGM,BEIJINGBEIJINGMACHINERYINDUSTRYPRESS,200113曾志雄，一种有效的基于划分和层次的混合聚类算法J计算机应用，2007，27（7）1692169813ZENGZ,EFFECTIVEHYBRIDCLUSTERINGALGORITHMBASEDONPARTITIONANDHIERARCHYJ,COMPUTERAPPLICATION,2007，27（7）1692169814张帅，贾珈，杨大利，徐明星，蔡莲红，方言转换系统中的语音识别技术研究J，