已阅读5页,还剩56页未读, 继续免费阅读
(计算机应用技术专业论文)嵌入式声纹识别系统的研究与实现.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 说话人识别技术是指通过对说话人的语音进行信号处理自动鉴别说话人身 份的- - f 3 技术,是生物认证技术的重要手段之一。它在很多领域都有重要的应 用价值。本文介绍的说话人确认系统是建立在a r m 9 开发板硬件基础之上,采 用高斯混合全局背景模型算法实现的嵌入式系统。它主要分为三部分:特征向 量美尔频率倒谱系数( m f c c ) 的提取、说话人确认算法实现、硬件平台及其 实现。 提取特征向量m f c c 就是从说话人的语音信号中提取能够体现该说话人 声学个特征的参数,并对提取算法以速度为优先指标进行运算优化。本文在语 音信号时域处理方法研究的基础上,介绍了特征参数的提取过程及其计算优化。 在说话人识别算法方面,首先介绍了说话人识别的主要模式匹配方法:隐 马尔可夫模型( h m m ) 、高斯混合模型( g m m ) 、人工神经网络( 触州) 等。 研究表明,g m m 方法具有独特的优越性在语文本无关的说话人确认系统中取 得良好的识别效果本文重点阐述高斯混合全局背景模型算法,它主要由三个 模块构成:全局背景模型c u b m ) 的建立、目标说话人模型的建立及其自适应、 说话人确认决策。 在硬件平台及其实现方面,我们首先介绍嵌入式开发板的选择依据,并最 终决定选择基于a r m 9 的h 2 4 1 0 e b 开发板。本文重点阐述了基于a r m 9 的说 话人确认系统的设计和实现。由于嵌入式开发板处理能力和存储能力的局限性, 采用浮点运算转定点运算、计算预处理、数学快速近似计算、最大值机制等降 低系统的运算负荷,提高运算效率,保证嵌入式系统实时性的要求。 关键词:g m m u b m ;a r m 9 :嵌入式系统 a b s t r a c t s p e a k e rr e c o g n i t i o ni st of i n do u tt h es p e a k e r si d e n t i t yb a s e do nt h es p o k e n u t t e r a n c e s a so n eo ft h em o s ti m p o r t a n tb i o l o g ya u t h e n t i c a t i o nt e c h n o l o g i e s ,i tc a n b ew i d e l yu s e di nm a n ys e c u r i t ya r e b 5 i nt h i sw o r k , w e ub u i l d8s p e a k e r r e c o g n i t i o ns y s t e mb a s e do i lt h ep l a t f o r mo fa r m 9 ,u s i n gg a u s s i a nm i x t u r e m o d e l s - u n i v e r s a lb a c k g r o u n dm o d e l w ef o c u so nt h r e ek e yp a r t s :f e a t u r ee x t r a c t i o n , s p e a k e rr e c o g n i t i o n sa l g o r i t h m , a n dh a r d w a r ep l a t f o r m s f e a t u r ee x t r a c t i o ni sg e n e r a l l yc a r r i e do u tt ot r a n s f o r ms p e c c hw a v e f o n ni n t oa s e q u e n c eo fo b s e r v a t i o nv e c t o r s c u r r e n t l y , t h ep r e d o m i n a n tc h o i c eo fp a r a m e t e r si s m e lf r e q u e n c yc e p s t r a lc o e f f i c i e n t ( m f c c ) i nt h i st h e s i s ,w ew i l ld e s c r i b et h e e x t r a c t i o no fm f c ca n di t so p t i m i z a t i o n f o rt h es p e a k 盯r e c o g n i t i o na l g o r i t h m ,w ef i r s t l yi n t r o d u c es o m cw i d e l yu s e d a l g o r i t h m s :h i d d e nm a r k o vm o d e l ( h m m ) ,g a :i l s s i mm i x t u r em o d e l s ( g m m ) ,a n d a r t i f i d a ln e u r a ln e t w o r k s ( a n n ) i nr e c e n ty e a r s ,i ti sm o r ec o m m o nt or e p r e s e n t s p e a k e r sw i t ht h eo a u s s i a nm i x t u r em o d e l ( g m m ) w e i ia d d r e s si nd e t a i lt h r e e i s s u e s :u n i f o r mb a c k g r o u n dm o d e l ( u b m ) ,t h e a d a p t a t i o no fs p e a k e rm o d e l ,a n dt h e v e r i f i c a t i o ns t r a t e g y f o rt h ei m r d w a r ep l a t f o r m , w ef i r s t l ye x p l a i nt h er e a s o nt os e l e c ta r m 9 h 2 4 10 e b t h e nw ed e s c r i b et h ed 懿i g na n di m p l e m e n t a t i o no fs p e w e rv e r i f i c a t i o n s y s t e mb a s e do i lt h i se m b e d d e dp l a t f o r m s e v e r a lf l e wc a l c u l a t i o n a lm e t h o & a r e a p p l i e dt oi m p r o v et h ev e r i f i c a t i o np e r f o r m a n c e ,s u c ha st h et r a n s f o r m a t i o nf r o m f l o a t i n g - p o i n to p e r a t i o nt op o i n t i n go p e r a t i o n , p r e t r e a t m e n to ft h ec a l c u l a t i o n , f a s t a n da p p r o x i m a t em a t h e m a t i cc a l c u l a t i o n , a n dm a xm e c h a n i s mc t c t h e s em e t h o d s g u a r a n t e et h er e a l - t i m ep e r f o r m a n c eo fe m b e d d e ds y s t e m k e yw o r d s :g m m u b m ;a r m 9 ;e m b e d d e ds y s t e m 厦门大学学位论文原创性声明 兹呈交的学位论文,是本人在导师指导下独立完成的研究成果。 本人在论文写作中参考的其他个人或集体的研究成果,均在文中以 明确方式标明。本人依法享有和承担由此论文产生的权利和责任。 声明人( 签名) :苏彩名i 2 d d 扩年舌月2e t 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门 大学有权保留并向国家主管部门或其指定机构送交论文的纸质版和 电子版,有权将学位论文用于非赢利目的的少量复制并允许论文进 入学校图书馆被查阅,有权将学位论文的内容编入有关数据库进行 检索,有权将学位论文的标题和摘要汇编出版。保密的学位论文在 解密后适用本规定。 本学位论文属于 1 保密( ) ,在年解密后适用本授权书。 2 不保密( ) ( 请在以上相应括号内打“”) 作者签名:苏钐红日期: 砷年占月2日 导师签名:声习彩硒日期: 年月日 第一章绪论 1 1生物认证 第一章绪论 随着人工智能和生物科学技术的不断发展,生物认证技术越来越受到人们 的重视。生物认证也叫生物识别,是通过计算机利用人体所固有的生理特征或 行为特征来进行个人身份的鉴定。 在我们的日常生活中,很多场合都需要我们进行身份的认证。目前国内外 个人身份认证多采用搿个人身份证件 + “密码 等静态口令形式,如a t m 机 用户必须同时提供银行卡和密码为了便于记忆,使用者经常采用生日、电话 号码等容易被猜测的信息作为密码,或者把密码抄在某处,这样很容易造成密 码泄漏,存在着很大的安全隐患。因此必须采用更为先进有效的身份验证技术 来代替这种传统的身份验证方法生物认证技术可利用人的生理特征、行为特 征来进行个人身份的鉴定:生物特征可以唯一的标识一个人生物认证技术被 公认是目前最为方便与安全的识别技术。 相比较于传统身份验证方法,生物特征识别的认证具有不被遗忘、防伪性 能好、不易伪造或被盗、随身携带和随时随地可用等优点,是密码时代的终结 者( 盖茨语) 。说话人识别是从说话人发出的语音信号中自动提取说话人信息, 并对说话人进行识别的研究领域。它是交叉运用心理学、生理学、语音信号处 理、模式识别、统计学习理论和人工智能的综合性研究课题【1 1 。不同人的指纹 不同,与此类似,每个人由于发音器官的生理差异以及后天形成的行为差异, 使得他们语音中都带有强烈的个人色彩。这为说话人识别提供了技术可能性。 人的语音可以非常自然的产生,这使得说话人识别具有其他生物验证不具 备的优势: ( 1 ) 数据易取性:说话者的语音携带着自身的声纹特征且说话人语音随处 可在获取非常方便,使用者的接受程度很高; ( 2 ) 采集成本低廉性:无需特殊的语音采集设备,一个普通的麦克风即可 做输入设备; ( 3 ) 远程的可操作性:通过手机、网络等通讯手段可进行用户的远程身份 嵌入式声纹识别系统的研究与实现 认证: ( 4 ) 嵌入式系统的可行性:说话人识别的算法复杂度相对要低; ( 5 ) 身份认证的隐蔽性:语音随处可在,说话人识别可以在不知不觉中完 成身份认证。 这些优势使得说话人识别的应用越来越受到系统开发者和用户的青睐。据 统计,说话人识别的世界市场占有率为1 5 8 2 t 】,并有不断上升的趋势,具有 广泛的市场应用前景。 1 2 说话人识别技术概论 在计算机研究领域中,说话人识别是人工智能方向语音识别的一个分支。 它是指通过计算机自动识别测试语音说话人身份的一门技术。 据说说话人识别的历史可追溯到1 7 世纪,在1 6 6 0 年查尔斯一世谋杀案中, 人们首次把语音作为推断犯人作案的线索。对说话人识别的研究始于2 0 世纪 3 0 年代,1 9 3 7 年c a 1 l n b d e h g r 先生的儿子拐骗事件成为语音说话人个性研究 的开端。1 9 4 5 年,美国b e l l 实验室的l g k e s t a 利用语音频谱图提出“声纹 ( v o i c e p r i n t ) 的概念。其后,随着计算机技术和电子技术的发展,b e l l 实验 室的s p r u z a n s k y 提出了基于模式匹配和概率统计方差分析的说话人识别方 法,引起信号处理领域许多学者的注意,从而引发说话人识别研究的高潮。1 9 6 6 年,美国法院第一次采用此方法进行了取证。 说话人识别按其最终完成的任务可分为两类:说话人辨认( s p e a k e r i d e n t i f i c a t i o n ) 和说话人确认( s p e a k e rv e r i f i c a t i o n ) ,前者是根据说话人 语音确定为n 个参考说话人中的某一个,是一个选择问题;后者是证实说话人 的身份与其声明的是否一致,是一个二选一的判定问题【2 l 。话人辨认又可分为 “开集 和“闭集 两种。开集是假定待识别的说话人可以在设定的集合内, 也可以在集合外。闭集是假定待识别的说话人一定在集合内。例如,一个说话 人集中注册的说话人的个数为n ,则在识别时,说话人辨认需要进行n 次比较 和判决:测试语音和说话人集合中的每个说话人的参考模型都要进行一次匹配 计算。如果是开集的情况,还要对这n 个人以外的语音作出拒绝的判别。说话 人辨认系统的识别率会随着集合人数的增加而降低。而说话人确认系统只涉及 2 第一章绪论 到一个判决阀值,可以认为与集合人数多少无关。 根据识别对象的不同,说话人还可分为3 类;与文本有关 ( t e x t d e p e n d e n t ) 、与文本无关( t e x t i n d e p e n d e n t ) 、文本提示型( t e x t p r o m p t e d ) 【3 1 第一类是不规定说话内容的说话人识别;第二类是只能用规定 内容的语音进行识别;在最后一类识别时,必须先由识别装置向说话人指定需 发音的文本内容,只有在系统确认说话人对指定文本内容正确发音时才可以被 接受,这样做可以防止说话人的语音被盗用。 说话人识别主要包括两个阶段。即训练阶段和识别阶段。如图l 所示: 训练 测试 图l :说话人识别过程 1 3 嵌入式说话人识别研究的现状 识别结果 随着计算机软硬件技术、通讯技术和网络技术等的飞速发展,人类进入了 后p c 时代,这个时代的一个典型特点就是,各种新型的智能化设备日益广泛 走进人们的工作和生活。人与这些智能终端之间的自然、快捷、稳定可靠的交 互方式将有助于提高人机交互的效率,增强人对智能化设备的控制。而作为人 机交互最自然的方式,说话人识别的研究近几年来取得了长足的发展。嵌入式 说话人识别技术就是指应用各种先进的微处理器在板级或是芯片级用软件或硬 件实现说话人识别技术。说话人识别系统的嵌入式实现要求算法在保证识别效 果的前提下尽可能优化,以适应嵌入式平台存储资源少,实时性要求高的特点。 国内嵌入式说话人识别成绩显著,清华大学、中国科学院、吉林大学、东 南大学等高校均有在自主开发嵌入式系统。殷启新采用l p c c 特征向量和高斯 混合模型( g m m ) 为说话人模型,实现了一个基于掌上电脑的说话人识别系统1 j 。 任舒彬实现了一个面向手持设备的说话人识别系统p 1 。胡又文在s o p c 平台上 实现具有一定速度与精度的嵌入式说话人识别系统【6 1 说话人识别系统通过 嵌入式声纹识别系统的研究与实现 d s p 应用在楼字控制中。该嵌入式系统采用l p c c 作为特征向量,h m m 作为 说话人模型,通过楼宇自动控制网络( b a c n 哟协议实现嵌入式安全认证【刀 陈超在d s p 的开发环境c c s 中,开发了基于数字信号处理芯片 t m s 3 2 0 d m 6 4 2 的门禁系统【8 】。周洁等通过d s pt m s 3 2 0 c 5 4 1 6 实现说话人自 动识别系统。它利用一种新的语音信号r 阶的倒谱线性回归系数等参数构成识 别的特征矢量集,运用提出的概率d p 匹配算法完成与文本无关的说话人识别 【9 】 在国外,芬兰j o e n s u u 大学开发了基于n 啦a 公司s e r i e s6 0 系列手机上 的说话人识别系统,通过定点数实现了手机上快速计算【1 0 】等等。 1 4 课题技术难点与需解决的问题 自动说话人识别发展到今天已有几十年的历史,取得了很多的优秀成果。 但目前面临的困难仍很大,举个例子:我们接听电话时一般不会听错语音的内 容,但会误判对方的身份。针对课题研究的重点,还存在着下列技术难题: ( 1 ) 缺乏简单可靠的说话人语音特征参数。目前为止,还没有一种特征 参数能够很好地将语音信号中的语音特征和说话人特征很好地分离。有关声音 感知的研究已进行许多年,但人类对自身听觉感知能力的了解仍非常有限。人 耳在作判断时究竟使用哪几个声学参数是一个很重要的问题,我们希望通过语 音感知机理的研究来帮助说话人识别技术中语音特征参数的提取。 ( 2 ) 语音的时变性问题。研究证明:人类语音具有时变性。1 个月以后开 始变化,到3 个月确认率和辨认率分别会下降1 0 和2 5 左右,3 个月以后识 别率的下降开始变慢。说话人语音特征的非静态性无疑会影响说话人识别系统 的识别率。 ( 3 ) 嵌入式系统的实时性和可行性。我们的目标是要在a r m 9 芯片上实 现说话人的嵌入式。而嵌入式平台存储资源和速度都有限,这为嵌入式的实时 性增加了难度,我们需要在资源和速度上达到一个均衡。 本课题的目标是,研究并实现基于a r m 9 的嵌入式说话人识别系统,可 动态添加新的说话人,并使算法在接近p c 平台识别效果的前提下,尽可能优化, 具备内存消耗小、运算速度快的优点,以及良好的抗背景噪音及端点检测功能。 4 第一章绪论 我们将从下面几个方面开始研究: ( 1 ) 浮点运算转换成定点运算 考虑到嵌入式处理器的能力有限,无法快速处理大量复杂度高的浮点运算, 我们将进行从浮点到定点运算的转化工作。 ( 2 ) 模型优化 嵌入式存储资源有限,在保证识别效果的前提下,我们必须尽量简化g m m 的训练和识别等模块,并采用占用空间小的g m m 。 ( 3 ) 统一背景模型的建立 ( 4 ) 噪音和端点检测 端点可能使语音( s p e c c h ) 被误认为静音( s i l e n c e ) 或噪声( n o i s e ) , 或者把它们误认为有效的语音因此,端点检测的效果好坏直接影响着声纹识 别的准确率我们将在实际测试中解决这一问题。 1 5 论文的主要工作和章节安排 本课题的研究目标是设计并实现一个可运行于a r m 9 芯片的嵌入式声纹 识别系统,该系统采用高斯混合统一背景模型( g m m u b m ) ,具备内存消耗 小、运算速度快的优点,以及良好的抗背景噪音及端点检测功能。该系统能够 依据较短的语音,自动鉴别说话人的身份。说话人可以任意说话,系统也可以 有高精度的识别率。 本论文主要分为6 章。 第一章 绪论。主要介绍说话人识别的背景、内容、嵌入式说话人识别 研究现状以及技术难点和需要解决的问题。 第二章语音信号的时域处理和特征参数提取。 第三章说话人识别的主流模型匹配方法。 第四章嵌入式说话人识别系统的硬件平台。 第五章 嵌入式说话人识别系统的算法实现。 第六章工作总结和展望。 嵌入式声纹识别系统的研究与实现 2 1 语音信号的产生 2 1 1 语音的发音器官 第二章语音信号处理 语音信号的产生过程通常可以分为如下几个阶段:首先,说话人在头脑中 产生想要表达的语言信息;然后将这些语言信息转换成语言编码,也就是说, 将这些语音信息用其所包含的因素序列、韵律、响度、基音周期的升降等表示 出来。语音编码产生后,说话人会用一些神经肌肉命令在合适的时候控制声带 的震动,塑造声道的形状以便发出编码中指定的声音序列。一旦产生了语音信 号,并将这些语音信息传递到听者时,语言你的感知过程也就开始了。 人类用来产生语音的发音器官自下而上主要包括:肺部( 1 u n g ) 、气管 ( t r a c h e a ) 、咽( p h a r y n x ) 、喉( 1 a r y n x ) 、鼻腔( n a s a lc a v i t y ) 、口腔( o r a lc a v i t y ) 和上、下唇。它们作为一个整体形成了一个连续的管道。如下图所示: 甲状 气管 图2 :发音器官示意图 骨 其中喉部以上的部分称为声道,随着发出语音的不同,其形状是变化的, 喉的部分称为声门。 声带每开启和关闭一次的时间就是一个基音周期( p i t c hp e r i o d ) ,它的倒数 6 第二章语音信号处理 称为基音频率( p i t c hf r e q u e n c y ) 基音频率取决于声带的大小、厚薄、松紧程 度以及声门上下之间的气压差的效应等等。声门的形状越细长,声带就会被拉 的越长、越紧、越薄,基因频率就会越高。基音频率最低可达8 0 h z 左右,最 高可达到5 0 0 h z 左右。基音的范围随说话人的性别、年龄及具体实际情况而定。 例如老年男性偏低,小孩和青年女性偏高。基音频率不仅是反映说话人声学特 征的一个重要参数,而且基音频率会随着时间的变化模式反映汉语语音中的声 调变化。 2 1 2 语音的声学特征 语音是以声波的方式在空气中传播的。声波具有两个特点:一个是频率, 另一个是振幅( a m p l i t u d e ) 声音的频率与声音的音高有关。振幅则与声音的响 度( 1 0 u d n e s s ) 有关声音的频率高,声音就高;声音的频率低,声音就低 在很长的一段时间内,人们只知道声音与声音之间有区别,却不知道其中 的原因。法国物理学家傅立叶发现了各个声音之间的区别在于和弦( c h o r d ) 的 不同人们之所以能够听出美中乐器都有自己特殊的音色,就是因为它们之间 的和弦不同。一个声音的基音与倍音共同组成这个声音的和弦。其中频率最低 的和弦是第一和弦,其他的和弦一次是第二和弦、第三和弦、第四和弦甚至更 多的和弦。 一个复合音除了基频外,同时还有若干个倍音。每个复合音突出的倍音会 有所不同。每个复合音中,基频的频率最低,但是它的振幅最大其余各个倍 音的能量会逐渐的减小,振幅也会逐渐减小 基频与倍音的频率,取决于肺部用力多少以及声带紧张度如何。这些复合 音通过口腔共鸣,有的频率得到加强,有的频率消失。口腔中可以调节的器官 很多,包括舌、上颚以及居的变化都可能影响口腔的形状和阻尼大小使不同 的频率共鸣出来当把声道看成是一个发音的腔体时,激励的频率达到它的固 有频率,则声道会以最大的振幅来振荡,即产生共鸣。一般把这个频率称为共 振频率( f o r m a n tf r e q u e n c y ) ,简称共振峰( f o r m a n t ) 。 7 嵌 式声纹识别系统的研究,窑现 2 1 3 语言信号在时域和频域的表示 进行语音信号数字处理时,我们会得到它的时域波形。先将语音用话筒转 换成电信号再用a d 转换器将其转换成离散的数字采样信号后存入计算机内存 中去。 下图是一个女性说的“开始”的时域波形,语音数据是在实验室环境下用 普通麦克风录制的。其中采样频率为1 6 k h z ,每个采样点用1 6 位进行量化。 途中横轴为时间,纵轴为信号的幅度。从语音的时域波形图我们可以看出,语 音能量的起伏以及语音信号随时间变化的过程。 f 1 $ q “j f * “i 埘黼$ 圈3 :语音信号“开始”的时域波形 时域波形虽然简单直观,但是对于语音这样复杂的信号而言,一些重要的 声学特性要在频域中才能体现出来。无论从发音器官的共振角度还是从听觉器 官的频率响应角度来看,频谱都是表征语音特性的基本参数。其中共振峰就是 一个非常重要的频域参数,它可以决定信号频谱的总体轮廓或者谱包络 ( s p e c t r u me n v e l o p e ) 。对于声道而占,它的共振频率会有多个,元音一般可以 有3 5 个共振峰。 在语音的发音过程中,声道通常都处于运动状态,这个运动状态的时变过 程同振动过程相比要缓慢得多,因此一般假设语音信号时一种短时平稳信号, 在一个很短的时间内( 1 0 m s 3 0 m s ) 是相对平稳的,但在长时间的周期中语音 信号的特征会发生变化,这种变化的不同决定了产生语音的不同。根据语音信 号的这种短时平稳的特点,在每一时刻都可以用该时刻附近的一短段语音信号 分析得到一个频谱。图4 给出了“开始”的频谱特性。其中横轴表示频率,变 化范围是采样频率的一半。纵轴表示改频率的强弱,( 分贝d b 为单位) 。 第= 章语音信q 处g 图4 :“开始”的频谱特性 从图4 中可以看出,第一个频谱的峰值点在2 5 0 h z 左右,它反映的是基频。 第一个共振峰在5 0 0 h z 左右;第二共振峰在1 0 0 0 h z 左右;第三共振峰在 1 5 0 0 h z 左右。 2 1 4 语谱图 以时间n 作为横轴,o 纵轴,功率谱的值用灰度级表示的二维图像就称为 语谱图( s p e a r o g r a r ) 。由于短时傅立叶变换的时问分辨率和频率分辨率是相互 矛盾的,所以在语音分析中根据带通滤波器的带宽不同,又分为了两种语谱图 即宽带语谱图和窄带语谱图。宽带语谱图主要用于动态语音音色的研究,它给 出元音及浊辅音的共振峰频率及清辅音的能量汇集区。窄带语谱国主要用于音 高的研究,它给出元音的基频及其各次谐波。 奇 = 掣 静 嚣 时问t ( s ) 图5 :语谱图 自酚k h 。0 磁。 。叱讲书啪哪吨喵喵 鲁、醚霹*鼍 嵌入式声纹识别系统的研究与实现 2 2 语音信号的数字模型 研究和分析各种语音信号处理技术之前,我们先了解下有关语音信号的一 些基本特性。为了对语音信号进行数字处理,需要建立一个能够精确描述语音 产生过程和语音全部特征的数学模型,也就是根据语音的产生过程建立一个既 实用又便于分析的语音信号模型。语音是由气流激励声道,最后从嘴唇或鼻孔, 或同时从嘴唇和鼻孔辐射出来而形成的。传统的基于声道的语音产生模型,就 是从这一角度来描述语音的产生过程。它包括激励模型、声道模型和辐射模型, 这3 个模型分别与肺部的气流和声带共同作用行程的激励、声道的调音运动及 嘴唇和鼻孔的辐射效应一一对应。 2 2 1 激励模型 人发浊音时由于声带不断张开和关闭,会产生间歇性脉冲波。此时,激励 信号会是一个以基音周期为周期的斜三角脉冲串。此脉冲可看作加权的单位脉 冲串激励单个斜三角脉冲的结果。这时的整个激励模型用公式( 2 1 ) 表示: 彳 t u ( z ) = g ( z ) e ( z ) 2 青。石珂( 2 - 1 ) 其中c 为常数,t 为基音周期,e ( z ) 为单位脉冲串的z 变换形式 发清音时,声道被阻碍形成湍流,所以可以模拟成随机白噪声。通常使用 均值为0 、方差为1 ,时间或幅度上为随机分布的序列来表示。 2 2 2 声管模型 最简单的声道模型是将其视为多个不同截面积的管子串联而成的系统,这 就是声管模型。在语音信号的某一“短时”期间,声道可表示为形状稳定的管 道。由于语音的短时平稳性,假设在短时间内,各段管子的截面积a 是常数。 设第1 1 1 段和m + l 段的声管的截面积分别是4 、4 + l ,设吒= 4 - i + 4 + i ,称为 “面积和差比 ,其取值范围为一l k r 且设分子与分母无公因子及分母无重根,则上式可分解为部分 分式之和: m ) = 毫币可 仁5 ) 这就是并联型的共振峰模型 级联型和并联型结合起来的混合模型是比较完备的一种共振峰模型。该模 型能够根据不同性质的语音进行切换。 嵌入式声纹识别系统的研究与实现 2 2 4 辐射模型 声道的终端为口和唇,从声道输出的是速度波,而语音信号是声压波,声 压波与速度波二者之比称为辐射阻抗z 。它表征1 2 和唇的辐射效应,也包括圆 形的头部的绕射效应等。口唇端辐射在高频端较为显著,在低频端时影响较小, 所以辐射模型r ( z ) 应是一阶类高通滤波器的形式。口唇的辐射效应可表示为 下列一阶后向差分: r ( z ) = r ( 1 一z - 1 ) ( 2 - 6 ) 完整的语音信号数字模型可以用三个子模型:激励模型、声道模型和辐射 模型的串联来表示。其传递函数为下式: 日( z ) = u ( z ) v ( z ) r ( z ) ( 2 7 ) 2 3 语音信号的数字化和预处理 说话人的语音信号分析是说话人识别的前提和基础。只有分析出可表示说 话人本质特征的参数,才有可能利用这些参数进行高效的说话人识别所以说 话人识别率的高低,直接取决于对语音信号分析的准确性和精确性。 说话人所发出的语音信号中,既含有语音内容的特征,又含有说话人个性 身份的特征。但是,目前还没有很好的方法能准确地将它们分离出来。语音信 号的预处理主要包括以下几个步骤: ( 1 ) 语音采样和量化 原始模拟语音信号通过采样、量化两步之后,成为在时间和幅度上均为离 散的数字语音信号。根据采样定理得,采样频率大于信号的两倍带宽时,采样 过程不会丢失信息,利用理想滤波器可从采样信号中不失真地重构原始信号波 形。一般采样率为8 k h z 或1 6 k h z ,虽然采样过程将语音信号离散化时带来一 些失真,但一般人耳很难分辨出来。降低采样率可以减少数据量,这在嵌入式 系统中尤其珍贵。当采样率从1 6 k h z 降到8 k h z ,所造成的识别率下降不超过 1 ,但可以节省语音识别前端5 0 的动态存储空间,减少运行时识别前端2 5 的计算量。综合以上因素,在实际采样中我们都采用8 k h z 采样率。如果是 1 2 第二章语音信号处理 对已经录好音的文件进行处理,实际上就跳过了采样与量化这两步。 ( 2 ) 语音信号的预加重 语音信号经过采样、量化之后还要进行预加重处理。这是因为语音信号的 平均功率谱受声门激励和口鼻辐射的影响,所以高频部分8 0 0 h z 以上会按 6 d b 、倍频程跌落。预加重的目的就是提高高频部分,使信号的高频部分 变得平坦,便于进行频谱分析或者声道参数分析。预加重滤波器一般为一 阶,形式如下: h ( z ) = 1 - a z 川 ( 2 8 ) 口是预加重系数,典型的取值在0 9 4 , - - - , 0 9 7 之间。 假设在刀时刻语音采样值为x ( n ) ,则经过预加重处理之后的结果就是: y ( n ) = x ( n ) - a x ( n - 1 ) ( 2 9 ) ( 3 ) 加窗分帧处理 此时的语音信号实际上是一个时变信号,而它只有在短时间内才能表现出 准平稳特性。我们假设语音信号在l o m s - 3 0 m s 短时间内是平稳的。每一 个短时间段称为一帧,为了从语音信号中提取n 帧特征数据,我们需要采 用有限长度的窗函数序列w ( 万) 。则加窗函数运算为: s a n ) = s ( m ) w ( n - m ) ( 2 - 1 0 ) 在语音信号数字处理中常用的窗函数是矩形窗、汉明窗、哈宁窗等,它们 表达式如下所示( 其中n 是帧长) : 矩形窗( r e c t a n g u l a rw i n d o w ) : 以功= 惩 ( 凶匿瑚) ( 其他 ( 2 1 1 ) 喇= p 哺并 1 3 ( 2 - 1 2 ) 嵌入式声纹识别系统的研究与实现 喇= p 一甓) ) 署 仁埘 其中,很多情况下都采用汉明窗处理。 ( 4 ) 短时能量分析 语音信号幅度随时间有相当的变化,特别是清音段的幅度一般比浊音段的 幅度小很多。所以用短时能量能够比较合适的反映这些幅度变化。假设语音波 形信 为s c m ) ,加窗分帧处理后得到的的n 帧语音信号为( 朋) ,口l l ls ( m ) 满足 下式: ( 小) = w ( m ) s ( n + m ) 0 m n 一1 ( 2 1 4 ) w ( m ) = = 箸 其中,n 是帧长,t 是帧移长度,n = 0 ,t ,2 t ,第1 3 帧语音信号( 肌) 的短时能me 的计算公式如下: n - i 瓦= 霹( 胧) ( 2 1 6 ) e 是度量语音信号幅度值变化的函数,短时能量有以下几个方面的应用【3 】 首先利用短时能量可以区分清音和浊音,因为浊音的能量要比清音的能量大的 多:其次可以用短时能量对有声段和无声段进行判定,对声母和韵母分界,以 及对连字分界等等。在说话人识别中,我们主要用于对有声段和无声段进行判 定。 ( 5 ) 短时平均过零率 短时平均过零率是指每帧内信号通过零值的次数,实质上就是信号采样点 符号变化的次数。过零率在一定程度上可以反映出频率的信息。短时平均过零 率乙的公式是: - i z = ls g n s ( m ) - s g n s ( m - 1 ) i ( 2 - 1 7 ) m - o 其中,s g n 】是符号函数,即: 1 4 第二章语音信号处理 s g n x = l , ( x a o ) d ) ( 2 1 8 ) 2 4 语音信号线性预测倒谱系数( l i n e a rp r e d i c t i o nc e p s t r a i c o d i n g ,l p c c ) 特征参数的提取 线性预测是维纳于1 9 4 7 年首次提出的,此后,线性预测应用于许多领域中。 1 9 6 7 年,日本学者板仓( i t a k u r a ) 等人最先将线性预测技术直接应用于语音分 析和合成中。线性预测是语音处理中的核心技术,几乎普遍地应用于语音信号 处理的各个方面,是最有效线性和应用最广泛的语音分析技术之一在各种语 音分析技术中,它是第一个真正得到实际应用。 线性预测能够极为精确地估计语音参数,在估计基本的语音参数( 例如共 振峰、谱、声道面积函数) ,以及用低速率传输或者储存语音等方面。线性预测 是一种主要的技术。因为它可以用很少的参数有效而又正确的表现语音波形及 其频谱的性质,而且计算效率高,在应用上灵活方便。 线性预测分析的基本思想就是:语音信号相邻的采样点之间有很强的相关 性。因此,每个语音信号的采样值,可以用它前面的若干个采样值的加权和( 线 性组合) 来近似表示:预测误差定义为真实采样值和预测值之差,根据预测误 差均方值最小准则,可以唯一确定一组线性预测系数,这些预测系数就是线性 组合中所用的加权系数。 线性预测分析应用于语音信号处理,不仅具有预测功能,而且提供了一个 非常好的声道模型。这种声道模型对理论研究和实际应用都是相当有用的。因 此,线性预测的基本原理和语音信号数字模型密切相关。 线性预测( l i n e arp r e d i c t i o nc o d i n g ,l p c ) 分析的基本原理是将被分析的 信号用一个模型来表示,即将信号看作是一个模型的输出。这样的话我们就可 以用模型参数来描述信号图6 就是信号s ( n ) 的模型化框图。 u ( n )s ( n ) 1 5 框图 嵌入式声纹识别系统的研究与实现 图6 中l l ( n ) 表示模型的输入,s ( n ) 表示模型的输出。假设模型中只包含有限 个极点而没有有限值零点,系统函数则可以表示为: 日( z ) = o ,q 为实数 | - - 2 a l z ( 2 - 1 9 ) 在说话人识别系统中,很少直接使用l p c 系数,而是利用l p c 系数推倒出 倒谱系数,即线性预测倒谱系数l p c c 。它的主要优点是比较彻底的去掉了语音 产生过程中的激励信息。主要反映声道的响应,而且往往只需要几十个倒谱系数 就能较好的描述语音的共振峰特性。因此在说话人识别应用中得到了很好的效 果。 l p c c 参数的求解过程可以分为三步: ( 1 ) 语音信号的预处理。 ( 2 ) 根据d u r b i n 递推算法求解l p c 系数: e 。( o = r ( 0 ) l - i 民( f ) 一o t j - r ( i - j ) 岛= e 卜 研d = 毛 矽= 秽。1 一向屿n ,( 1 f ) 掣= ( 1 一砰) 掣一 ( 2 2 0 ) 公式中,上标( i ) 表示第i 次迭代,每次迭代都要重新更新q1 ,d2 ,qi ,直到i - - p 时,迭代结束。p 为预测系数的阶数。 ( 3 ) 用lpc 参数直接计算l p c c 。因为低阶倒谱参数对整个频谱参数斜率很 敏感,而高阶的倒谱参数对噪声很敏感,所以在实际计算时,要对倒谱进行加权, 或称为倒谱提升。其定义为: c 2 ( 2 2 1 ) 其中,m 定义如下: 小争警足 协2 2 ) 1 6 第二章语音信号处理 其中k 为倒谱的阶数。 2 5语音信号m f c c 特征参数的提取 寻找具有良好性能的特征及其提取算法是提高识别系统性能的根本途径之 一。一般来说要考虑两方面的问题:生成语音的发音器官的差异( 先天的) 与 发音器官发音时动作的差异( 后天的) 。前者主要表现在语音的频率结构上,后 者主要表现在频率结构的时间变化上。在我们的嵌入式系统中采用m f c c 作为 说话人特征向量。 人耳具有一些特殊的功能这些功能使得人耳在嘈杂的环境中,以及各种 变异情况下仍能正常地分辨出各种语音,其中耳蜗起了很关键的作用耳蜗实 质上相当于一个滤波器组,耳蜗的滤波作用是在对数频率尺度上进行的,在 1 0 0 0 i - i z 以下为线性尺度,而1 0 0 0 h z 以上为对数尺度,这就使得人耳对低频信 号比对高频信号更敏感。根据这一原则,研究者根据心理学实验得到了类似于 耳蜗作用的一组滤波器组,这就是m e l 频率滤波器组。 美尔频标倒谱系数( m e lf r e q u e n c yc c p s t r u mc o e f f i c i e n t , m f c c ) 将频谱转 换为基于m e i 频标的非线性频谱,然后转换到倒谱域上,由于充分考虑了认得 听觉特性,而且没有任何前提假设,m f c c 参数具有良好的识别性能和抗噪能 力,但是m f c c 的计算量和计算精度要求都很高,这给我们的嵌入式移植提出 了更高的挑战。 m f c c 是建立在傅立叶和倒谱分析基础上的。对短时音频帧上的采样点进 行f o u r i e r 变换,得到这个短时音频帧在每个频率上的能量。将整个频率分成万 个就构成了m f c c ( 也叫m c l 系数) 。如果对提取出来的m d 系数再计算其对应 的倒谱系数,就是m e l 倒谱系数。它广泛的应用于各种说话人识别和处理领域 中。 m f c c 的求解过程如下: ( 1 ) 设原始语音信号为j ( 疗) ,经过预加重、分帧、加窗处理后得到 每个语音帧的时域信号j ( 刀) 。 ( 2 ) 将时域信号工( n ) 后补若干0 以形成长为n 的序列,然后经过 1 7 d f t 变换得到x ( k ) 。 。 l , - - i | - 从的2 丢缸功e x p ( - j 2 砌嘉) ( o 白,k n - 1 ) ( 2 - 2 3 ) 其中n 称为窗宽。 ( 3 ) 将x ( 后) 通过m e l 频率滤波器组以( 七) 得到m e l 频谱。由线性 频谱x ( 七) 到对数频谱s ( m ) 的总传递函数为: n - i s c m ) = l n c lx c k ) 1 2 以( 七) ) k f f i 0 ( 2 2 4 ) 其中对于有m ( m = 1 ,2 ,。m ) 个滤波器的滤波器组, 当七 f i r e - 1 时也( 动- - 0( 2 2 5 ) 当f m - 1 f i r e + z 时以( 七) = 0 ( 4 ) 将s ( 肌) 经过d c t 变换得到m f c c 参数c ( 刀) : ( 2 2 7 ) ( 2 2 8 ) 如) = 萋咖胁( 掣) ( 嘶 肘 ( 2 1 2 9 ) 综合以上得,m f c c 的求解过程可以由下图表示: 纠预訾加l 三 司兰塑 叫窗卜叫! ! 卜 习s ( 耽) 波器r _ 图7 -m f c c 求解过程 d c t im f c c 输出 第三章说话人识别算法 3 1 说话人识别算法概述 第三章说话人识别算法 说话人识别发展到今天,研究者尝试了大量的说话人识别方法,由于识别 对象的不同( 与文本有关的、与文本无关的、文本提示型) ,实现方法也有很大 的差异。 与文本有关的说话人识别中,由于文本内容是已知的,识别时可以同时使 用语音信号中的语义特征和说话人特征,所以即使利用比较短的语料,也能从 中提取出稳定的说话人特征。因此,与文本有关的说话人识别系统往往能获得 比较令人满意的识别率。最常用的是基于动态时间弯折( d y n a m i c t u n e w a r p i n g , d t w ) 和隐马尔可夫模型( h i d d e nm a r k o vm o d e l s ,h m m ) 。在训练数据比较充 分的情况下,h m m 可以有效地把频谱特征的统计变化模型化。因此可以得到 比基于d t w 方法更好的识别率。而基于d t w 的系统性能比较稳定即使在 训练数据较少的情况下也能获得较好的识别效果。 虽然与文本有关的说话人识别系统较稳定,识别率也较高,但因为它文本 内容已知,存在着大量的冒充语音和用户使用不便等问题。而与文本无关的识 别方法在一定程度上解决了这些问题,是当前说话人识别技术的研究重点。研 究者比较常用的方法有:矢量量化( v e c t o rq u a n t i z a t i o n ,v q ) 、基于h m m 的 方法、基于人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ,砧州) 的方法等等近 几年来,一种被称为高斯混合模型( g a u s s i a nm i x t u r em o d e l ,g m m ) 的方法得 到普遍重视,它的数学模型实质上是一个状态的连续h m m 。下面我们分别介 绍下这几种常用的识别方法
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 七年级科学《生物的结构与生殖》单元整体教学设计
- 高二英语北师大版选择性必修一 Unit 1 Relationships Lesson 1 Teachers 教学设计
- 初中九年级数学与函数有关的定点交点最值问题专项复习教学设计
- 高中美术鉴赏第一课美术鉴赏及其意义教学设计
- 小学四年级道德与法治教学设计:蛇年话年俗 传承年味浓
- 九年级物理二轮复习教学设计:简单机械核心模型与实战突破
- 小学二年级道德与法治《传统游戏我会玩》活动化教学设计
- 高三生物二轮复习坐标图类情境分析专题教学设计
- 小学二年级美术《虾和蟹》教学设计
- 七年级英语一般将来时假期计划语法教学设计
- 黑龙江省龙东十校联盟2027届高三上学期11月期中质量测试语文试卷(含答案)
- GB/T 7251.3-2026低压成套开关设备和控制设备第3部分:由一般人员操作的配电板(DBO)
- 欧盟电池护照EU2023-1542数据架构全解:唯一标识访问权限与数据更新合规指南
- 钢筋弯曲机使用安全要求培训
- 2026年秋季开学时间管理课:做时间的主人课件
- 考研政治马克思主义基本原理核心知识点系统梳理框架
- ISO 14001-2026《环境管理体系 要求和使用指南》变化与应对行动说明表(雷泽佳编制-2026A0)
- (物理)2027版高中《基础自测小纸条》必修2(默写+背诵版)
- 2026年河北省中考英语试卷(含答案)
- 低压电缆头制作安装施工方案及技术措施
- 2026年中国东航行测笔试题库
评论
0/150
提交评论