（模式识别与智能系统专业论文）汉语语音转换系统的研究.pdf

摘要 语音转换( v o i c ec o n v e r s i o n ) 是指通过语音处理手段改变一个说话人( 源说 话人，s o u r c es p e a k e r ) 的语音个性特征，使之具有另外一个说话人( 目标说话人， t a r g e ts p e a k e r ) 的语音个性特征，但转换语音所包含的语意内容不变。语音转换 技术涉及信号处理、语言学、声学、计算机科学等学科领域，它的深入研究势必 将会对语音学其它领域的研究发展产生促进作用，同时它在电影、电视节目的配 音、医疗及保密等许多方面有着广泛的应用前景。因此语音转换技术的研究具有 重要的理论价值和实用价值。 本文从不同说话人发声器官的差异入手，分析了说话人个性特征及其声学特 征参数表示，并采用基于s t r a i g h t 分析一合成算法的混合高斯模型( g m m ) 转换算法实现了一个特定人语音转换系统，并利用该系统对影响转换性能的因素 做了相关实验和分析。 论文完成的主要工作有： 1 分析了说话人个性信息的声学表征问题。本文主要研究了不同说话人在以 声门波形参数为代表的声源特征，以及以共振峰为代表的声道特征的差异性， 选取基频参数，基频范围和线谱对系数( l s f ) 作为转换特征参数。 2 实现了基于s t r a i g h t 分析一合成算法和g m m 转换算法的特定人语音转 换系统。为了评测g m m 转换算法，进行了客观和主观评测实验，指出了g m m 转换算法的过平滑现象使得转换语音音质下降的问题。 3 讨论了男女语音在声源特性和声道特性的不同，搭建了一个简单的男女语 音转换系统。针对男女语音在声源特性和声道特性的不同，用基频线性调整和 频谱线性插值的方法实现了男女声之间地转换。非正式听辨实验证明：该转换 系统实现的女声到男声的转换效果要好于男声到女声的转换效果。实现了一个 变声器应用软件，该系统可以通过改变声音的基频参数，频谱参数和时长参数， 来改变音质。 4 分析和讨论了训练语料类型、训练数据量、混合高斯混合度、说话人差异 等影响语音转换系统性能的因素，并分别进行实验。实验结论为：联合概率 密度的方法同时观察源说话人和目标说话人的参数，比只观察源说话人的参数 训练的g m m 模型的分类效果要好，得到的转换语音带有更多的目标说话人特 征。当训练阶段使用单音节语料时，转换单音节的准确度比转换句子的准确 度要高；当训练阶段使用句子语料时，转换句子的准确度比转换单音节的准确 度要高。只有当训练数据集增大，混合度数也随之增大时，转换效果变好。 特定女性到特定男性的声音转换效果要好于特定男性到特定女性的声音转 换效果；特定女性之间的声音转换效果要好于特定男性之间的声音转换效果。 关键词：语音转换；s t r a i g h t 分析一合成算法；混合高斯模型转换算法 分类号：t p 3 9 1 j 匕立銮道太堂亟堂僮i 金塞旦墨! b ! a b s t r a c t a b s t r a c t ：v o i c ec o n v e r s i o ni sat e c h n o l o g yt h a tc a nc h a n g et h es p e e c h c h a r a c t e r i s t i co fas p e c i f i cs p e a k e ra n dm a k et h et r a n s f o r m e ds p e e c ht os o u n da si f a n o t h e rs p e a k e rh a ds p o k e ni t t h i st e c h n o l o g yi sa l li n t e r d i s c i p l i n a r yf i e l dw h i c hc o m e d o w nt os i n g n a lp r o c e s s i n g ，a c o u s t i c s ，l i n g u i s t i c s ，c o m p u t e rs c i e n c e ，e c t t h es t u d i e so n i tw i l lp r o m o t et h er e s e a r c ho fo t h e rs p p e c ht e c h o l o g i e s a tt h es a m et i m e ，v o i c e c o n v e r s i o nh a saw i l dr a n g eo fa p p l i c a t i o n sw h i c hi n c l u d ef i l mo rt e l e v i s i o nd u b b i n g , v o i c et h e r a p ya n dd i s g u i s e ，e r e s ov o i c ec o n v e r s i o nt e c h n o l o g yh a si m p o r t a n tr e s e a r c h v a l u eb o t ha tt h e o r ya n da p p l i c a t i o n t h ed i s s e r t a t i o na n a l y z e st h es p e a k e r si n d i v i d u a li n f o r m a t i o nf e a t u r e db ys p e e c h , a n db u i l d sav o i c ec o n v e r s i o ns y s t e mb yu s i n gas t r a i g h t - b a s e da l g o r i t h mb a s e do n g a u s s i a nm i x t u r em o d e l s o m ee x p e r i m e n t sh a v eb e e nd o n et oa n a l y s i st h ef a c t o r st h a t a f f e c tt h ev o i c eq u a l i t yo ft h et r a n s f o r m e ds p e e c h t h em a j o rw o r ko ft h i sd i s s e r t a t i o nc o n t a i n st h ef o l l o w i n gp a r t s ： 1 a n a l y z e dt h ei n d i v i d u a li n f o r m a t i o ne x p r e s s e db y a c o u s t i cf e a t u r e s t h e s p e e c hs o u r c ef e a t u r e sa n dv o c a lt r a c tf e a t u r e sa r ec o m p a r e df o rd i f f e r e n ts p e a k e r sb y a n a l y z i n gt h e i rg l o t t lw a v e f o r mp a r a m e t e r sa n dt h ef o r m a n tf r e q u e n c i e s t h el s f c o e f f i c i e n t s ，f u n d a m e n t a lr a n g ea n df r e q u e n c ya r eu s e dt ob ec o n v e r s i o np a r a m e t e r s 2 b u i l ta nc h i n e s ev o i c ec o n v e r s i o ns y s t e mu s i n gs t r a i g h t - b a s e da l g o r i t h m b a s e do ng m m i no r d e rt oe v a l u a t et h i sv o i c ec o n v e r s i o na l g o r i t h m ，w ep e r f o r ms o m e s u b j e c t i v ea n do b j e c t i v ee x p e r i m e n t so ns p e e c hq u a l i t y t h eo v e r - s m o o t h i n gp r o b l e mo f g m mh a sb e e np o i n t e do u t ，w h i c hd e g r a d e st h eq u a l i t yo ft r a n s f o r m e ds p e e c h 3 t h ed i f f e r e n c e si nv o i c es o u r c ef e a t u r e sa n dv o c a lt r a c ts p e c t r u mb e t w e e nt h e m a l ea n dt h ef e m a l es p e a k e r sa r ed i s c u s s e d av o i c ec o n v e r s i o ns y s t e mi sd e v e l o p e df o r m a l ea n df e m a l ev o i c ec o n v e r s i o nb ya d o p t i n gal i n e a rs p e c t r u mi n t e r p o l a t ea l g o r i t h m t h er e s u l ts h o w st h a tt h ec o n v e r s e ds p e e c hf r o mf e m a l et om a l es p e a k e r sh a sh i g h e r q u a l i t yt h a nt h a tf r o mm a l et of e m a l es p e a k e r s d e v e l o p e daa p p l i c a t i o ns o f t w a r eo f v o c o d e rw h i c hc a nc h a n g et h et i m b r eo fs p e e c hb ym o d i f y i n gi t sp i t c h ，s p e c t r u ma n d d u r a t i o n 4 c o n d u c t e ds o m ee x p e r i m e n t sa n da n a l y s i st of i n dt h ef a c t o r sa f f e c t i n gt h e v o i c eq u a l i t yo ft h et r a n s f o r m e ds p e e c h t h ef a c t o r si n c l u d et h ea m o u n ta n dt h et y p eo f t r a i n i n gd a t a , t h en u m b e ro ft h eg a u s s i a nm i x t u r e sa n dt h ed i f f e r e n c eb e t t w e ns o u r c e v a n dt a r g e ts p e a k e r s t 1 1 ej o i n td e n s i t ye s t i m a t i o nm e t h o dw h i c ho b s e r v e sb o t ht h e s o u r c ea n dt h et a r g e tv e c t o r sh a sb e t t e rp e r f o r m a n c et h a nap r e v i o u sa p p r o a c h ( 多n e t r a n s f o r m e ds y l l a b l e sh a sh i g h e rq u a l i t yt h a nt r a n s f o r m e ds e n t e n c e s ，w h e nu s e dt h e s y l l a b l et r a i n i n gd a t a ；t h et r a n s f o r m e ds e n t e n c e sh a sh i g h e rq u a l i t yt h a nt r a n s f o r m e d s y l l a b l e s ，w h e nu s e dt h es e n t e n c e st r a i n i n gd a t a t r a n s f o r m e ds p e e c hq u a l i t y i m p r o v e dw i t ha ni n c r e a s ei nt r a i n i n gs e ts i z ea n dg m mm i x t u r e s n ei n f o r m a l l i s t e n i n gt e s t sd e m o s t r a t e dt h a tt h ef e m a l e - t o - m a l ev i o c ec o n v e r s i o nh a sh i g h e rq u a l i t y t h a nt h a to fm a l e - - t o f e m a l e ；t h ef e m a l e t o - - f e m a l ev o i c ec o n v e r s i o nh a sh i g h e rq u a l i t y t h a nt h a to fm a l e t o m a l e k e y w o r d s ：v o i c ec o n v e r s i o n ，s t r a l g h t ，g m m c i a s s n o ：t p 3 9 1 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：栖阳 导师签名：勘，栅骘 签字同期：2 0 0 9 年月s 日签字日期：k p 年占月r 日 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名： 桶日 签字日期：加譬年6 月5 日 6 1 致谢 两年的研究生学习生活即将结束，在离开母校走上社会时，我感慨万千，心 中充满了对母校的留念和对大干世界的向往，但此时我最想表达的是对母校和老 师的感谢，感谢您们传授我知识，感谢您们教会我做人。 首先，要感谢我的导师刘湘黔和朱维彬老师。硕士课题和论文的完成，离不 开他们的严格要求和悉心指导。老师在学习上不仅仅只是教授我知识，更重要的 是给予我引导，让我学会主动的学习和思考，正所谓“授人以鱼不如授人以渔”。 在完成课题和论文的过程中，我们经常在一起探讨问题，老师们很乐于指导交流， 并把自己的宝贵经验和独到见解与我们分享。从中我收益匪浅，老师治学的严谨 和踏实的作风必将影响我一身。 除此以外，还要感谢中国社会科学院语言所的熊子瑜和殷治纲老师，北京交 通大学信息研究所语音实验室的吴军、郭东超、都大龙等人对我大力帮助和指导。 在完成课题和论文期间我经常向他们请教问题，他们不仅耐心的解答还给我提供 了很多有用的资料和建议，帮助我克服了课题中遇到的重重难题，在此我对他们 表示衷心的感谢! 我能完成硕士课题和论文，也离不开同学钟明英和郑彦萍的帮助和鼓励。我 们同住一间宿舍，相处和睦，为学习生活提供了一个良好的环境。失意时我们相 互安慰、鼓励；高兴时我们共同分享。她们是我一生的好朋友! 感谢0 6 级信息所2 班所有的同学，在研究生学习的两年中，我们是一个温馨 的大家庭。篮球赛上的团结，集体郊游时的兴奋，两年集体生活中的点点滴滴是 我们共同的美好回忆。最后感谢我的爸爸、妈妈、姐姐和朋友王房郧对我的关心 和照顾，你们为我提供了生活的保障，能让我专心于自己的学业；还不断的给我 鼓励，让我一步一步的超越自己。我会用自己的实际行动来表达对你们的感激之 情! 序 大学期间，我的本科毕业设计是语音信号处理的相关题目，在进入研究生学习 期间，我又选修了“数字语音信号处理这门课程，对语音学有了更进一步地了 解。这次研究生论文的题目是“汉语语音转换系统的研究”，也是语音学相关的课 题，在完成毕业设计的过程中，把以前学到的一些语音学理论知识用于了实际的 系统搭建中，不仅加深了对理论的理解，也提高了自己的编程能力。 语音转换技术是一项很有意思的课题，通过转换函数能改变一个人的声音特 点，让其变得像另外一个人的声音。在实现过程中，我不断摸索和实验，改变声 音的各种参数得到各种不同的声音，在研究中体验到了乐趣，虽然取得成绩有限， 但我的收获却很多。 语音转换技术涉及到的领域比较广，难度也比较大，由于能力和时间有限，我 只是搭建了一个简单的汉语语音转换系统，这个系统还有很多方面需要改进和提 高。希望师妹、师弟能在我的工作基础上，对语音转换技术进行更深入的研究。 1 绪论 1 1语音转换的研究背景及选题意义 随着现代科学和计算机技术的发展，人们在与机器的交流中，需要一种更加 方便、自然的方式。而人的直观感觉可以给人最直接的印象，获取信息的速度也 最快。虽然，嗅觉、触觉也是人类固有的感觉，人们可以从中得到某些外界信息， 但最重要、最精细的信息源是图像和语言两种。而语言是人类最重要的、最有效 的、最常用和最方便的交流方式。这就很容易让人想到能否用自然语言代替传统 的人机交流方式，如键盘、鼠标等。从第一台电脑问世以来，人们就希望能像人与 人用自然语音交流一样，用语音与计算机对话，让计算机听懂，理解人们的语言。 一般来讲，人与机器的语言通信大致分为两种情况：第一种情况就是机器讲话， 人听话，这就是“人工嘴巴 即语音合成；第二种情况就是人讲话，机器听话， 这即是“人工耳朵，即语音识别和理解。语音合成技术在人机交互中充当着重 要角色，而且对语音的产生和感知模型等基础理论的研究也有十分重要的意义。 目前，有限词汇量的语音合成已经在自动报时、报警、电话查询服务等方面得到 了广泛的应用。文语转换( t x tt os p e e c h ，t t s ) 技术也相对较为成熟，许多国家的 多语种的t t s 系统都已达到了商品化的程度，其合成的语音质量能够为广大公众所 接受。语音识别技术的研究起步于五十年代，大规模的研究开始于七十年代初期。 经过几十年的发展，从早期的元音识别，到特定人、小词汇量、孤立词的识别， 到现在非特定人、大词汇量的连续语音识别，语音识别技术逐渐成熟起来。语音 技术的发展大力推动了人机交互技术的进步，但离真正的人机自然交互的目标还 相差甚远，目前的语音系统合成的声音单一，而且机器味十足，怎样能让合成语 音自然化、多样化、个性化是当前语音技术研究的热点，本文研究的语音转换技 术就是让合成语音多样化、个性化的途径之一。 在人们的日常生活交流中，一个人的声音往往就是他的身份名片，每个人都 有自己独特的声音特征。说话人声音的个性特征使人们仅从说话人的声音就能辨 认出说话人的身份。红楼梦中对王熙风的出场描写是“未见其人，先闻其声”， 说明了声音个性特征对说话人的标志性作用。这些现象成为人们研究语音转换技 术的最初出发点【。语音信号承载了很多信息，主要的有：语义内容( w h a t ) 、 说话人个性特征( w h o ) 、说话背景信息( w h e r e ) 。语音转换技术就是要保留语 义内容( w h a t ) 不变，改变说话人声音特性的技术，使得某人的声音听起来像是 由另一人个说出来的【z 。 语音转换技术大致又可以分为两种方式，一种是非特定人之间的语音转换， 例如男声到女声的转换，不同年龄层次之间的转换。另一种是特定人之间的语音 转换，即源一目标说话人的声音转换，改变源说话人的音色特征，使转换后的声 音携带更多目标说话人声音特征，仿佛是目标说话人发出的声音，而在转换过程 中，源说话人的语义内容，环境信息等保持不变。特定人之间的声音转换比非特 定人之间的声音转换要复杂，二者最直接的区别是，非特定人声音转换仅仅让语 音在听感上发生变化，使其变得不像源说话人的语音即可，而特定人声音转换不 仅需要语音“变”，还需其变为象某个特定人的语音，因此在转换实现方法上需 要将源说话人的特征空间映射为目标说话人的特征空间。 语音转换是语音修正的一个重要分支( 语音修正的目的是改变语音信号并使 其具有某些所需特征【3 】) ，这方面的研究工作有较高的科研价值。语音转换的研 究几乎对语音信号处理的各个领域，如语音分析、语音修正、语音合成、语音识 别、语音编码、语音增强以及说话人识别等领域，都会有一定的贡献。具体来说， 语音转化的研究意义有如下几个方面： 1 语音转换技术可以模仿或创造出具有所希望特征的语音【4 】。例如在语音合 成领域，目前主流的合成技术是基于大语料库的波形拼接方法，合成语音的清晰 度和自然度都有了很大程度的提高。但是波形拼接技术合成的语音受所使用语料 库的限制，合成出来的语音往往是固定说话人的声音，音色单一。而且语音合成 系统制定一个语料库是非常耗时和繁琐的工作。如果能够按照人们的特定需求合 成出具有不同说话人特征的语音，无疑将大大提高合成语音的表现力和丰富性， 使其应用范围扩大。语音转换技术就可以解决上述问题。将合成器输出的合成语 音作为源语音数据，将特定人语音库中相对应的语音作为目标语音数据，应用声 音转换技术就可以实现个性化语音合成( 图1 1 为语音转换在语音合成系统中的应 用) 。声音转化技术避免了耗时的合成语音库的构建过程，为实现个性化语音合成 提供了一条经济快捷的途径。 - 叩j ：! ! 卜”p 二斗 p m j i f ”一、m 飞_ ，i 一 _ i f 世 。，：? 曩，i 点稿 曰固国 囝一0 固 图1 1语音转换在语音合成系统中的应用 2 2 语音转化技术对研究影响语音质量、语音个人特征的相关因素，及连续语 音中声源参数和韵律特征参数之间的关系都有重要的意义【5 j 。对语音进行转换不可 避免地要对语音进行详尽的分析，研究如何建立声源模型，研究模型中各个参数 的变化规律以及它们与语音韵律特征之间的关系，研究共振峰的位置、宽度和幅 度对语音音质的影响等。这方面的研究工作不仅对语音转换技术的发展有利，也 有助于提高语音合成技术中合成语音的自然度，及提高语音增强系统的性能。 3 语音转换技术可以用于说话人的归一化，这会促进语音识别中说话人自适 应的研究。在现代语音识别技术中，一个重要的研究课题就是说话人自适应的问 题，即非特定人的语音识别。不同说话人在发同一个音，说同一句话时，由于生 理特征的差异，语音的声学参数是不一样的，但是对于特定说话人来说，声学参 数还是有一定规律可循的。语音识别只对其中的语义内容( w h a t ) 感兴趣，我们 可以把语音转换技术用于语音识别的前端预处理上，将待识别的包含不同说话人 个性特征的语音信号归一化，这样就消除了说话人个性特征引起的差异，有利于 语音信号的识别。研究语音转换的目的之一就是研究源说话人语音和目标说话人 语音的归一化问题，也就是如何让源说话人的声学参数和目标语音的声学参数尽 可能的一致p j 。 4 语音转换技术有利于寻找说话人的一些重要个性特征。说话人识别是语音 识别领域中的一个重要研究课题，它不注重语音信号的语义内容( w h a t ) ，而希望 挖掘出语音信号中的个性特征，以达到说话人身份( w h o ) 的确认和辨别的目的。 通过语音转换的研究，可以寻找不同说话人语音之间的一些特性和共性，有利于 寻找影响说话人识别的一些重要参数，以促进说话人确认和辨别的研列6 1 。 5 语音转换技术在语音编码方面的应用。语音编码的主要目的是通过信源编 码的方式减少语音信号传输所占用的信道资源，提高通信资源的利用率，同时又 要保证较好的重建语音质量。当语音编码系统设计的传输速率为2 4 k b s 或更低时， 传输过程中将不再保留说话人的语音个性特征，仅仅保留了和语义相关的信息p j 。 也就是说在语音的传输过程中，是以丢失说话人个性特征信息为代价，来换取了 较高的信道利用率。在接受端恢复的语音是单调一般的，我们不能通过重建的语 音来辨别说话人的身份。如果在接收端利用声音转换技术加入说话人个性化特征， 重建解码语音，使其与传送端的说话人个性特征相匹配。这样即提高了信道利用 率，又不失说话人的个性特征。 6 语音转换技术在日常生活中也有广阔的应用前景。在娱乐方面的应用：电 影、电视节目的配音中，可以将原演员的声音特征加入到本地化电影配音中，使 之更具原汁原味；在卡拉o k 等数字化娱乐中，可以加入可调比重的原口昌者声音特 征，使之听觉效果得到改善。在医疗及保密方面的应用：声音转换技术可以用于 恢复受损语音，帮助声道受损的说话人提高声音的可懂度；也可以用于保密通信 中进行语音个性化的伪装。 综上所述，语音转换技术涉及信号处理、语言学、声学、计算机科学等学科 领域，是一个典型的交叉学科的产物，它和语音分析、语音修正、语音合成、语 音识别、语音编码、语音增强以及说话人识别等有着非常密切的关系，随着语音 转换技术研究的深入，势必将会对语音学其它领域的研究发展产生促进作用。 1 2语音转换的国内外研究动态 语音转换技术源于语音识别与合成技术，早在1 9 7 0 年代初人们就已经开始研 究，但直至最近十几年才引起人们的重视。目前，声音转换的研究大多集中在频 谱参数的转换上。 a t a l 等人较早研究了使用l p c 声码器改变声音特性的可行性1 7 。s e n e i i 研究了一 种改变激励和声道参数的方澍引。c h i l d e r s 等人也进行了音色变换的研究，总结了 影响语音质量和自然度的因素，并采用不同的激励源，对语音信号作线性频谱规 整，检验了异性声音的转换效果【4 】【6 1 。 在1 9 8 4 年和1 9 9 1 年，h k u w a b a r a 采用分析合成的方法来进行说话人声音转换， 研究影响语音个人特性和语音质量的声学参数，他通过线性预测解卷积算法将语 音信号分解为嗓音源信号和声道传输函数，通过求解声道传输函数的零点得到共 振峰的位置信息，改变共振峰的位置和宽度，采用线性预测的残差信号作为激励 来合成语音【9 】【i o l 。 a b e 等人提出了一种基于矢量量化( v q ) 的码本映射技术，后来又采用模糊v q 的方法来提高转换性能【1 1 1 。r i n s c h e i d 使用时变滤波器和拓扑特征映射实现了声音 的改变【l 引。v a l b r e t 等人使用基音同步叠加法( p s o l a ) 调整激励信号的韵律特征来改 善频谱动态频率规整( d f w ) 变换后的声音质量【1 3 】。n a r e n d r a n a t h 用神经网络的方法 实现了语音共振峰特性的变换f 1 4 】。 19 9 9 年，l m a r s l a n 等人提出ts t a s c ( s p e a k e rt r a n s f o r m a t i o na l g o r i t h mu s i n g s e g m e n t a lc o d e b o o k s ) 方法，相对于a b e 等人的方法，这种方法采用了码本加权叠 加的方法来得到目标说话人的特征参数，因此得到了较好的效果【l5 1 。s u e n d e r m a n n 采用声道长度归一化技术( v t l n ) 对语音频谱作了规整1 1 6 1 。 九十年代以来，基于语音特征的统计分布来实现声音转换的研究受到了更多 重视。采用高斯混合模型( g m m ) 描述源一目标特征参数的概率分布，将利用给 定源特征参数预测目标语音特征参数的问题转化为求解一个线性回归函数的问 题。 4 1 9 9 8 年，s t y l i a n o u s 首次提出用高斯棍合模型( g m m ) 来进行谱包络的转换方 法【1 7 】，并提出了用谐波加噪声的模型( h n m ) ，来进行时间长度的基频转换。通 过构造一个描述源说话人特征参数空间的g m m 来对特征参数进行分类。然后根据 均方误差最小的原则估计得到混合线性转换函数，转换后的语音包络不像矢量量 化那样是一些离散的点，而是连续的。实验证明g m m 方法在数据比较多的情况下 比基于矢量量化的方法更有效，更具有鲁棒性。 由于采用g m m 的频谱转换后的语音频谱过于平滑，因此t o d a 提出一种动态频 率归整方法来改善语音质量【l 引。d u x a n s 和s u n d e r m a n n 等分别用部分或全部非对准 数据找到人工语音声学类的对应语音帧，从而降低了g m m 技术对训练数据对准性 的要求【19 1 。 k a i n 在1 9 9 8 年使用联合特征矢量直接估计得到变换函数的参数，在足够的训 练数据条件下，k a i n 的方法的整体计算复杂度更低，且算法的稳定性也好 2 0 1 。2 0 0 0 年t o d a 利用k a w a h a r a 提出s t r a i g h t 分析合成系统，采用k a i n 的方法实现了音语 音转换系统，此外，他还将v a l b r e t 等提出的动态频率归整算法应用于上述系统，改 善了重建语音的质型1 8 】。2 0 0 3 年y e h u i 在k a i n 方法的基础上，考虑到入耳对频谱感 知的非线性特征，引入了加权感知距离测度，从一定程度上改进了重建语音的质 量【2 。 在声音转换研究中，声源模型是影响转换合成语音质量的又一个重要的因素， 它既影响合成语音的清晰度，又同时和合成语音的韵律特征有紧密的联系。f a n t 的研究表明，声门脉冲的形状，脉冲宽度，脉冲倾斜度等特征对合成语音影响很 大。1 9 9 5 年，c h i l d e r s 的研究成果也表明了声源参数对于语音合成和转换研究有重 要意义，从最初的三角波信号至u r o s e n g e r g 声门波模型再到f a l l t 的l f 模型，声源模 型越来越细致，转换合成语音的质量也不断提高。 目前大多数的声音转换研究，主要集中在对短时音段特征进行控制和转换， 对于较长时的超音段特征如基频随时间变化的轨迹等特征一般都只对其平均值进 行转换，因而效果一般。其困难主要是由于在现在语音技术水平下，对高层的语 音信息进行提取和建模有一定难度。已有韵律相关的研究工作比较典型的有：1 9 9 8 年，d c h a p p e l l 提出了一种整句水平的基于小词汇量的基频轨迹映射方法l z 引。1 9 9 9 年，a r s l a n n 用音节语速持续时间和音量码本映射的方法进行了源一目标说话人的 语速、音量的转换【l5 1 。2 0 0 2 年，c e y s s e n s 等人提出一种确定和随机性混杂的基频建 模方案【2 3 1 。2 0 0 3 年，g i l l e t 提出了对基频轨迹逐段线性映射的方法【2 4 】。 国内的学者也展开了大量语音转换的相关研究。中科院自动化所、声学所、 微软亚洲研究院、的以及清华大学等单位针对不同的特征参数对语音转换效果的 影响也展开了一定的研究。初敏等人采用t d - - p o s l a 的方法进行男女语音转换的 研究【2 5 】。双志伟提出了基于汉语音素的码本映射算法【2 6 】。吕声利用一个基于高斯 混合模型的转换函数，通过转换线性预测模型的线谱频率参数，实现谱包络的转 换，另外还提出了一种基于音素的混合高斯( g m m ) 转换方法【z 。左国玉提出了 使用遗传算法训练的神经网络来获取源一目标说话人频谱特征之间映射关系的转 换方法【2 耵。黄德智提出了对浊音和清音分别建模的方法来提高重建语音的清晰度 和可懂性【2 9 1 。康永国提出了混合高斯模型和码本映射相结合的语音转换算法p 们。 以上这些学者从不同角度，采用不同方法对语音转换技术展开了研究，我们 应该借鉴前人的成果，对现有的技术进行改进、融合或创新，提高语音转换的质 量，并将其应用于实际生活中，进一步推动人机交互的发展。 1 3语音转换研究的关键问题 语音转换技术的两种方式中，非特定人语音转换比特定人语音转换相对简单， 而且特定人语音转换技术涵盖了非特定人语音转换的关键技术，所以下面重点介 绍一下特定人语音转换研究的关键问题。 特定人语音转换，又称源一目标说话人语音转换，需要改变源说话人语音的 个性特征，使之携带更多的目标说话人的语音个性特征，具有更多的目标说话人 倾向性。通常的语音转换均包含：特征参数提取、参数空间的映射和语音的重建 过程1 2 9 】。 圉。【：习 f 【：困 图1 2 声音转换的层次结构示意图 从图1 2 可以看出，从层次上讲，语音转换的研究关键涉及以下三个层面： 1 提取出对说话人音色有影响的语音特征参数。 人的发声机理表明，语音信号携带的信息可分离为声源信息和声道信息，二 者共同决定了声音的音色，其中，声道信息主要由声道转移函数的谱特性反映， 而声源信息则由声门脉冲的形状，基音频率等特征反映，是影响说话人音色的重 要特征。从目前的声音转换研究来看，大多数成果集中于声道频谱参数的转换， 6 一卜一 一；一占 一 一 卤 基于线性预测合成模型的声音转换研究以转换描述声道的谱参数一线谱对( l s f ) 参 数为典型，这一方面的研究成果较多也相对比较成熟，而激励源参数的转换大多 只是将基频做均值的简单变换，声门脉冲采用固定形状的三角脉冲等激励信号， 这样转换语音丢失了很多目标说话人在激励源上的特征，影响了合成语音的音色， 因而转换效果有限。因此，要想进一步提高转换语音的质量，激励源特征方面的 研究是一个不容忽视的问题。 2 参数变换方法及变换规则获取。 参数变换规则的作用是将源说话人的特征参数映射到一个近似于目标说话人 的特征参数集上，这是声音转换技术所要解决的核心问题。参数变换规则是寻求 源说话人特征空间与目标说话人特征空间的相互关联、对应的关系，其关键在于 特征空间的建模方法和在某种最优准则下映射函数的确立。 从实现上来说，参数变换规则的获取分为与文本相关和与文本无关两种类型， 前者大多采用以音素为转换单元的隐马尔科夫模型( h m m ) 和决策树等方法，在有 限词汇量测试坏境和训练环境的文本内容相近的条件下，能够获得较好的转换效 果。而现实中的很多需求为了使声音转换应用范围更广，往往需要转换语音不受 文本内容的限制，即与文本无关的声音转换。因而，在这一前提下，所提取的反 映人个性化特征的参数及其参数的映射规则都需与文本内容无关。混合高斯模型 ( g m m ) 是与文本无关的说话人特征空间建模的主流模型，它刻画了说话人的连续 和非线性声学空间，由优化求解过程得到的参数能准确描述出源和目标说话人的 特征空间，由此较容易获得源和目标说话人特征空间之间的映射关系，是目前声 音转换研究中最为成熟的模型。 3 高质量的语音重建过程。 这里的高质量的重建语音指不仅需要转换语音含有相当的目标说话人的倾向 性还应当有较高的清晰度、可懂度、自然度。语音的重建过程和合成器密切相关， 不论是共振峰语音合成器还是线性预测语音合成器，其激励源对合成器的合成语 音质量都起到非常重要的作用。由于元音在语音中占有极大的比例，元音语音合 成音质好坏对合成器合成语音的感知方面也有着重要影响。在普通话中的所有元 音和浊音都是以声带的振动产生声门波为激励声源的，因此，在汉语语音合成系 统中有一个性能良好的浊音激励声源对合成语音的音质影响是很明显的。 同时，韵律是一个听觉感知的概念，它含有丰富的说话人个性特征，情感信 息，甚至语义信息。人们使用语调、节奏和重音等方式表达说话人不同的意向和 情感，这些韵律特征是自然语流中的重要组成部分，为了合成出高自然度的语音， 韵律特征的研究己经成为语音合成的研究热点，但是在声音转换的研究中，由于 其提取和转换的困难性，所取得的研究成果甚少。然而大家公认的是，要进一步 7 提高转换语音的目标说话人身份倾向性，提高转换语音质量，使转换声音具有丰 富表现力，必须考虑超音段、韵律特征转换的研究。 综上所述，声源信息和韵律信息对合成语音的音质、自然度贡献显著，而相 关方面研究的灵活性与复杂性使人们对其展开的研究相对较少，从而使目前转换 声音的质量难以提高。因此，激励源特征的提取和转换与超音段、韵律特征的提 取、建模和转换研究就成为声音转换研究中有待解决的问题。 1 4 本文的主要工作 本论文从不同说话人发声器官的差异入手，分析了说话人个性特征及其声学 特征参数表示，实现了一个基于s t r a i g h t 分析一合成算法的高斯混合模型 ( g m m ) 转换算法的特定人语音转换系统。归纳起来，本论文完成的主要工作有 以下几个方面： 1 分析了说话人个性信息的声学表征问题。本文主要研究了不同说话人在以 声门波形参数为代表的声源特征，以及以共振峰为代表的声道特征的差异性， 选取基频参数，基频范围和线谱对系数( l s f ) 作为转换特征参数。 2 实现了基于s t r a i g h t 分析一合成算法和g m m 转换算法的特定人转换系 统。为了评测g m m 转换算法，进行了客观和主观评测实验，指出了g m m 转换 算法的过平滑现象使得转换语音音质下降的问题。 3 讨论了男女语音在声源特性和声道特性的不同，搭建了一个简单的男女语 音转换系统。针对男女语音在声源特性和声道特性的不同，用基频线性调整和 频谱线性插值的方法实现了男女声之问地转换。非正式听辨实验证明：该转换 系统实现的女声到男声的转换效果要好于男声到女声的转换效果。实现了一个 变声器应用软件，该系统可以通过改变声音的基频参数，频谱参数和时长参数， 来改变音质。 4 分析和讨论了训练语料类型、训练数据量、混合高斯混合度、说话人差异 等影响语音转换系统性能的因素，并分别进行实验。实验结论为：联合概率 密度的方法同时观察源说话人和目标说话人的参数，比只观察源说话人的参数 训练的g m m 模型的分类效果要好，得到的转换语音带有更多的目标说话人特 征。当训练阶段使用单音节语料时，转换单音节的准确度比转换句子的准确 度要高；当训练阶段使用句子语料时，转换句子的准确度比转换单音节的准确 度要高。随着训练数据集地增大，混合度数也随之增大时，转换效果变好。 特定女性到特定男性的声音转换效果要好于特定男性到特定女性的声音转 换效果；特定女性之间的声音转换效果要好于特定男性之间的声音转换效果。 1 5 论文的结构安排 论文的主要内容包括：介绍了语音转换技术的国内外动态、和基本原理；分析 了说话人个性特征及其声学特征参数表示；实现了基于s t r a i g h t 分析一合成算 法和g m m 转换算法的特定人语音转换系统，并进行系统性能评测；搭建男女语 音转换系统；分析和讨论影响语音转换系统性能的因素，并进行相关的实验；总 结实验结果对语音转换技术提出展望。下面是每一章节的内容概要： 第一章介绍了语音转换的研究背景、选题意义以及国内外研究动态。简单说明 了语音转换研究的关键问题。 第二章介绍了语音转换的基本原理。从不同说话人发声器官的差异入手，分析 了说话人个性特征及其声学特征参数表示，并给出了语音转换系统的大体框架和 组成部分，最后介绍了语音转换系统的主观和客观评价标准。 第三章详细说明了基于s t r a i g h t 分析一合成算法和g m m 转换算法的特定 人语音转换系统和男女语音转换系统的构建过程。首先，阐述了s t r a i g h t 分析 一合成算法的原理，并提取语音信号的基频和频谱参数作为声学转换参数。其次， 对频谱转换算法做了概述，重点介绍了g m m 转换算法的原理和实现过程，并分 析对比了转换频谱和目标频谱之间的差异。然后，介绍了常用的基频转换算法， 并用基于均值一方差的线性转换法和g m m 转换算法进行基频参数的转换。在得 到转换基频和频谱特征参数最后，用s t r a i g h t 合成算法将其合成为转换语音。 用基频线性调整和频谱线性插值的方法实现了男女声之间的转换，在分析男女声 转换结果后，指出了本文采用的男女声转换算法的不足。最后，介绍了在前述基 础上实现的一个变声器应用软件。 第四章分析和讨论影响语音转换系统性能的因素，并分别进行实验，分析实 验数据后得出结论。 最后是总结和展望。 9 2 语音转换的基本原理 2 1引言 在研究语音转换技术之前，首先应该了解一些语音学相关的基本知识，例如 人类的发声器官是如何产生声音的，语音信号的基本特性等。思考一些与语音转 换密切相关的问题，例如是哪些因素使每个人的声音具有不同的个性特征，0 这些 个性特征在语音信号中又是通过哪些声学特征参数来表征的；我们又如何利用各 种声学特征参