（通信与信息系统专业论文）基于阵列神经网络的说话人识别系统研究.pdf

华北电力大学硕士学位论文摘要 .，.，.，.户. 摘 刁石 弓( 说话人识别是根据人的声音来识别人的 身份的一种生物认证技术，广泛应用于 人机接口、保安、军事、司法等方面。本文详细介绍了语音 信号预处理、端点检测 和特征提取的方法， 建立了用阵列神经网络作为分类器的说话人识别系统， 同时将小 波变换引 入到阵列神经网 络识别系统中。 实际测试表明， 基于小波神经网络的 识别 系统与 基于b p 神经网络的识别系统相比， 网络训练速度加快， 识别率也有所提高， 且阵列神经网络提高了识别系统的训练和识别响应速度，使复杂的分类问题简单 化，是说话人识别的一种有效可行的方法。 关键词:说话人识别 ，谱减法，特征提取，小波变换，阵列神经网络 abs t ract s p e ake r r e c o g n i t i o ni s a b i o m e t r i c s thatthe i den t i fi e r o f a p e r s o n c an b e r e c o 助i z e d v i a h i s v o i c e . i t i s a p p l i e dt o m an一 m a c h i n e i nt e r fa c e ， e n s u rep u b l i c s e c u r i t y ， m i l i t a r y a ffai rs ， j u d i c at u r e ， a n ds oo n . s p e e c hs i g n a l s p re 一 p r o c e s s i o n ， p o i nt d e t e c t i o n ， fe at u r e e x tr a c ti o n w e r e d i s c u s s e d . s p e ake r r e c o g n i t i o ns y s t e mb ase do na rr ay n e ur a l n e t w o rk w a s s e t up. a n d th e n ， th e m o d e l o f w ave 1 e t n e u r aln e t wor k w a s p r e s e nt e d . t h e sp e ake r rec o g ni t i o ns y s te m u s i n gw ave l e t n e u r a l net w o rk asthe c l ass i fi e r i s c o nstru ct e di nthi s p ape r.the e xpe ri me ntres u l t s s bowth atth e p r o p o s e d me tho d s hav e fas t e r tr ai n i n gs p e e d andh i g h e r rec o g n i t i o nr a t et h an the s y s t e mb a s e d o nb pn e uraln e t w o r k . a rr a yn e uro n n e t w o rk h avei n c r e as e dtr a i n i n gandr e c o g ni t i o ns p e e d ， s i m p l i fi e dc o m p l e xc l a s s i fy s y s t e m . t h e s y s t e mb a s e do n w ave l e t n e u r aln e t w o rki s u s e fu l a n d e ffec t i v e i n sp e ake r rec o g ni t i o n . c h aij un( c o m mun i c at i o n and i n fo r m a t i o n s y s t e m ) d i r e c t e d b y p r o fe s s o r z h aoz hendo n g k e y wo r d s :s p e ake r r e c o g ni t i o n ， sp e c t r um s u bt ra c t i o n ， fe atur e extrac t i o n ，w ave l et t r a n s fo rm ，a rray n e u r aln e two r k 声明 本人郑重声明: 此处所提交的硕士学位论文 基于阵列神经网 络的说话人识别 系统研究 ，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的 研究 工作和取得的 研究成果.据本人所知，除了文中 特别加以 标注和致谢之处外，论文 中不包含其他人己 经发表或撰写过的 研究成果， 也不包含为获得华北电 力大学或其 他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均己 在论文中作了明 确的说明 并表示了谢意。 学 位 论 文 储签 名 侧胜 声 一 日期 权 丝工 关于学位论文使用授权的说明 本人完全了解华北电 力大学有关保留、使用学位论文的规定，即: 学校有权 保管、 并向 有关部门 送交学位论文的原件与复印 件;学校可以 采用影印、缩印或 其它复 制手段复制并保存学位论文;学校可允许学位论文被查阅 或借阅;学校 可以学 术交流为目 的， 复制赠送和交换学位论文; 同意学校可以用不同方式在不同 媒体上 发表、 传播学位论文的全部或部分内容。 ( 涉 密的学位论文在解密后遵守 此规定) 作者签名 :一 奎 翼 一 一 早 卫 耳 导师签名: 日期 : 日期: 丰二 ， 劣 、 早二丝毕_ 华北电力大学硕士学位论文 第一章 绪论 语言是人类特有的功能，是相互交流最自 然、最直接、最方便的途径， 越来越 引 起人们的研究兴趣。在该领域，目 前的 研究工作主要集中在以下几个方面:语音 信号编码、语音合成、语音识别、 语音增强和说话人识别11 。本文讨论的内容是说 话人识别。 说话人识别可以 看作是语音识别的一种， 属模式识别的范畴. 和语音识别一样， 说话人识别也是通过对所获取的语音信号 进行处理，针对特征建模，然后依据相关 的判据做出判决，得出识别结果。但是，它们的区别在于说话人识别忽略了语音信 号中的语义内容，仅从语音信号中提取出表征个人的特征信息，即提取出包含于语 音信号中的个性特征，强调不同人之间的个性特征差异。说话人识别系统的基本构 成如图 1 一 1 所示。 语音输入 识别结果 图 1 一 1说话人识别系统的基本构成框图 语 音识别分类 语 音 识别 ( s p ee chreco g ni t io n) 主要 有 两 大 类: 语 音识 别 和说 话 人识 别。 语 音 识别的基本任务是准确地识别全部的话语，或者是 “ 理解”所说的话语的过程，而 说话人识别的基本任务则是通过对说话人语音信号的分析和特征提取自 动地确定 说话人是否在所登记的说话人集合中以 及说话人是谁的过程12 。 语音识别按照所要识别的 对象来分， 有孤立词识别 ( 即识别的词之间有停顿的 识别， 包括音素识别、 音节识别等) 、 连接词识别、连续语音识别与理解、 会话语音 识别等;按照识别方法分，有模板匹配法、随机模型法和概率语法分析法。 1 . 2说话人识别概述 说 话人 识 别 ( s peak err ec og ni ti o n)是 一 个语 音 信号 模式 识 别问 题， 根据实 现的 l 华北电力大学硕士学位论文 任务不同可以分为:说话人辨认( s peaker l d enti fication) 和说话人确认( s peak er veri ficatio n)。 说话人辨认是鉴别输入语音究竟是预先训练好的 谁的声音， 则说话人 辨认是一个多元判决问 题;说话人确认是判别输入语音是否与所宣称的参考说话人 相符， 显然说话人确认是一个严格的 二元判决问 题. 根据待识别语音内容的不同， 可分为与文本有关 ( t ex t 一 d epend ent) 和与文本无关(t e xt-in d ependeni ) 两种方式。 其中与 文本有关又称为固定文本(fixe d 一 t ext) ，它要求待识别的说话人按规定的文本内容发 音，与文本无关又 称为任意文本( free 一 te xt ) ，即用来识别的语音内 容可以 是任意的。 与其他生物识别技术类似，若考虑待识别的说话人是否在注册的说话人集合内，则 说话人识别可分为开集( 叩en一 se t) 识别和闭集(c l os e 一 s et ) 识别。 显而易见闭集识别的结 果要好于开集识别，但开集识别与实际情况更为一致。 2 . 1说话人识别的研究背景与现状 说 话 人识 别的 研 究 可以 追 溯到 上 个世 纪30年 代。 以1 9 3 7 年c . a . li nd be rgh 先 生的儿子的拐骗事件为开端， 研究人员对说话人声音的个性特征展开了科学的测量 和 研究 13 。 早期的 工 作 主要 集中 在 人 耳听 辨实 验 和 探讨 听音 识别的 可能 性 方面 。随 着研究手段和工具的改进， 研究工作逐渐脱离了单纯的听辨。 1945年贝尔实验室的 r . k . p o ot er发明了声音语谱图，它能够把 “ 声纹” 描述出来。如同识别指纹， 人们 可以通过对图形的 直观判断，来区分不同的人。1962 年贝尔实验室的l g.k er s ta 目 视观察语谱图进行识别，并声称在 12 个人的识别系统上得到了很好的效果. 这 是第一次介绍采用上述方法进行说人识别的可能 性。 19 6 6 年美国 法院第一次采用此 方 法 进 行 取 证 t41 。 从 6 0年代开 始， 随着数字滤波、 快速傅立叶变换、线性预测编码、同态信号 处理、 矢量量化等算法的不断出现和完善，语音时频特征，例如倒谱系数(ceps tr al c o e ffic i e nt s ) 、基音频率( p i t c h ) 、前向预测系数( p r e d i c t o rc o e mc i e nt s ) 和共振峰 (f 。 rmant) 等开始用于说话人识别， 加上微电 子技术的发展和计算机的普及，使得通 过机器进行自 动说话人识别成为可能。 b el l 实验室的 p ru zansk y 提出了 基于模式匹 配和概率统计方差分析的声纹识别方法，引起信号处理领域许多学者的关注 ，形成 了 说话人识别研究的一个高潮。1 9 6 3 年， h ar g re aves等采用带通滤波器组进行说话 人身份识别;1 9 6 8 年， j . w. gle nn 研究了反映发声器官生理特点的鼻音材料;1 9 72 年， s amb ur把线性预测用于说话人识别。 这期间的工作主要集中 在各种识别参数的 提取、选择和实验上，并将倒谱和线性预测分析等方法应用于说话人识别.70 年代 中期， a t al研究了 线性预测系数、声道的冲激响 应、自 相关系数、 声道面积函数以 及倒谱系数等不同的 特征参数在自 动说话人识别系统中的有效性， 并指出 倒谱系数 是较为有效的语音特征。之后，对语音特征参数的研究转到对环境变化的适应性问 华北电力大学硕士学位论文 题上. d avi s依据人耳听觉特性提出了 美尔频率倒谱系数，并得到了 广泛的应用; h e rmans ky 提出了感知线性预测分析的方法，并提出r a s ta 技术用于减少通信信 道的影响。 7 0 年代后， 声纹识别的研究重点转向 对各种声学参数的线性或非线性处理以 及 新的模式匹配方法上，如动态时间规整、 组成分分析、隐马尔可夫模型、神经网络 和多 特 征组 合 等技 术。 在 一年 一 度的国 际 声学、 语音 和 信号 处 理会 议 (i nt e m ation al c o n re r e n c e o n c o u s t i c ， s p e e c h ands i g n a l p r o c e s s i n g ， i c a s s p ) 论文集中，不断涌现 新的方法和技术， 说话人识别的研究已经逐渐从实验阶段进入实际应用阶段。 a l ，易于从语音信号中提取;不易 被模仿:尽量不随时间和空间变化。 说 话人 识别 常 见的 特 征参 数 主要 有四 类 11 : 1 .线性预测参数及其派生参数 通过对线性预测参数进行正交变换得到的参量，其中阶数较高的几个方差较 小， 这说明他们实质上与语句的内 容相关性小， 而反应了说话人的个性信息。 另外， 由于这些参数是对整个语句的平均得到的， 所以不需要进行时间上的归一化，因此 可以 用于与文本无关的说话人识别。由它推导出的多种参数，例如部分相关系数、 声道面积比函数、 线谱对系数以 及l p c倒谱系数， 都是可以应用的。目 前， l p c倒 谱系数和差值倒谱系数是最常用的短时谱参数，并获得了较好的识别效果。 2 .语音频谱直接导出的参数 语音短时谱中包含有激励源和声道的特性，因而可以反映说话人生理上的差 别。而短时谱随时间变化， 又在一定程度上反映了说话人的发音习惯，因此，由语 音短时谱中导出的参数可以 有效地用于说话人识别中。已经使用的参数包括功率 谱、基音轮廓、共振峰及其带宽、 语音强度及其变化等。现己 证实基音周期及其派 生参数携带有较多的个人信息，但基音容易被模仿，且不稳定， 最好与其他参数组 合使用。 3 .混合参数 为提高系统的辨识率，很多系统采用了混合参量构成的 矢量。如将 “ 动态”参 量( 对数面积比与基频随时间的变化 ) 与 “ 统计”分量( 由长时间平均谱导出) 相结合， 还有将逆滤波器谱与带通滤波器谱结合，或者将线性预测参数与基音轮廓结合等参 量组合方法。如果组成矢量的 各参量之间的相关性不大，则效果会很好，因为它们 华北电力大学硕士学位论文 分别反映了语音信号中不同的特征。 4 . 其他鲁棒参数 包括m el频率倒谱系数，以及经过噪声谱减或者信道谱减的 去噪倒谱系数等。 综上所述， 常用于说话人识别的 特征参数有: 语音短时能量、 基音周期( 现己 证 实基音周期及其派生参数携带有较多的 个人信息) 、语音短时谱或 b p f g特征( 包括 1 4 一 16个b p f)、 线性预测系数 l p c 、 共振峰频率及带宽、 l p c倒谱、 m f c c 系数等， 以 及反映这些特征动态变化的线性回归 系数等， 其他的特征参数还包括鼻音联合特 征、谱相关特征、相对发音速率特征、 基音轮廓特征等，另外，也可以对这些特征 进行变换加工，如 k 一 l变换等，而得到的二次特征。 2 . 4说话认识别的常用方法 目 前针对各种特征而提出的说话人识 别方法主要有以下几类: 动态时间规整方法( d t w) : 说话人信息不仅有稳定因素( 发声器官的结构和发声 习惯) ，而且有时变因素( 语速、语调、重音和韵律) 。 d t w 将识别模板与参考模板 进行时间对比，按照某种距离测度得出 两模板间的相似程度。 矢量量化方法伴q):把每个人的特定文本训练成码本， 识别时将测试文本按此 码本进行编码，以量化产生的失真度作为判决标准。利用矢量量化的说话人识别方 法的判断 速度快， 而且识别精度也不低。 马尔可夫模型方法( h m m) :是一种基于转移概率和输出概率的随机模型， 它把 语音看成由 可观察到的符号序列组成的随机过程，符号序列则是发声系统状态序列 的输出。在使用隐马尔可夫模型识别时，为每个说话人建立发声模型， 通过训练得 到状态转移概率矩阵和符号输出概率矩阵。识别时计算未知语音在状态转移过程中 的最大概率，根据最大概率对应 的模型进行判决。对于与文本无关的说话人识别一 般采用各态历经型 h mm:对于 与文本有关的说话人识别 一般采用从左到右型 h mm。h mm 不需要时间规整，可节约判决时的计算时间和存储量，在目前被广泛 应用. 其缺点是训练时计算量较大。 人工神经网络方法 ( a n n ) :它在某种程度上模拟了生物的感知特性，是一种 分布式并行处理结构的网 络模型， 具有自 组织和自 学习能力、很强的复杂分类边界 区分能 力以 及对不完全信息的 鲁棒性，其性能近似理想的分类器。目 前，人工神经 网络在说话人识别中己 经得到了广泛的研究。 例如， lvq神经网络的研究及其在说 话人 识别中 的 应用 研究 16 ， 基 于神 经网 络 的 生物 特征 身 份识 别技 术的 研究 17 ， 用人 工 神 经网 络实 现的 与 文 本无关的 说 话 人识 别 研 究15 等. 但神 经网 络 方法 在说 话 人数 目 很大时常会出现训练时间长或无法收敛等问 题。改进这一缺陷，常会用到聚类、 分级等思想。例如， 基于多级小波神经网络的 模糊说话人识别研究191 。本文采用的 5 华北电力大学硕士学位论文 是类似于分级判决的子网络集方法，把单个大网络化成许多部分的子网 络，再将各 个子网 络组合起来完成大网 络的功能。 2 . 5说话人识别的技术难点 尚未找到简单可靠的说话人语音特征参数。 语音信号中既包含了讲话内容的语义信息， 又包含了说话人发音特征的 个性信 息，是语音特征和说话人特征的混合体. 到目 前为止，还没有很好的方法将说话人 的个性 特征从语音特征中分离出来， 也没有找到简单的声学参数能够可靠地识别说 话人。 语音信号的变异性。 即使对同一说话人和同一文本， 语音信号也有很大的变异性。说话人的语音特 征具有时变特性，并常常与说话人所处的 环境、 情绪、健康状况有密切关系，也会 随 着时间的 推移和年龄的 变化而变化。另 外传输语音的通信信道的时变效应问题也 是语音信号产生变异的主要方面。语音信号的变异性从本质上使说话人特征空间发 生移动，说话人模式产生变异，从而增加识别过程中的不确定性。 识别性能在噪声环境下很难保持鲁棒性。 噪声鲁棒性的基本矛盾是当系统的训练环境与应用环境情况相差较大时，说话 人识别性能显著下降。其中鲁棒性特征参数的提取是关键问题。这方面的改进算法 有:对特征参数进行加权或滤波，自 相关的特征参数，将各种参数结合起来使用， 对各维参数进行分析去除无用的部分等等，但是它们在低信噪比时识别性能并没有 本质的提高。 此外，说话人识别的应用还受到伪装发音、播放录音等问题的困扰。 1 . 3常用语音库 语音库通常指为语言 研究收集的、用电子形式保存的语言材料。从事说话人识 别系统的研究，一般应该有标准的语音库。因为，一方面要用语音库测试程序，另 一方面要跟踪国际上在说话人识别方面的最新研究进展，必须拿我们目 前的水平与 之相比较， 知道我们的 差距有多大。正是标准语音库的采用，我们才能 在自 动语音 处理研究的各分支的发展和评价上取得显著的进步，特别是在语音识别和说话人识 别 方 面 110 1 . 现在， 国际上有几种比较常用的语音库， 下面简要加以介绍: 1 ) tim rr语音库: 它本来是一个用于自 动语音识别系统评估的语音库， 由m i t 、 s r i 和 ti 联合录制提供。由于它可以很容易地用低廉的价格购买到，所以被广泛地 华北电力大学硕士学位论文 用于说话人识别。它包括 4 3 8 个男性和 19 2 个女性的语音资料。语音库首先在安静 的环境中以z o k h z 的 采样率录制， 然后又重新采样， 采样频率降 低到 1 6 k h z 。 2)n tim rr语音库: 将 tim rr语音库的语音通过不同的电话线路后再重新采样 得到的语音库。 3)y 0 h 0 语音 库: y o h o 语 音数 据 库由rr t( 美国 国际 电 话电 报 公司 ) 根 据 美国 政府的有关标准收集整理。该语音库是第一个大容量的、科学控制的、高质量的语 音数据库， 可用于高可信度的说话人鉴别和说话人确认实验。 y o h o语音数据库共 有 138 个说话人( 108 个男性， 30个女性) ， 其中每个人都有4 个训练部分( e nrollm e nt) 和10个 识别 部 分(veri fi c ati on) ， 每 个 训练 部 分 包 含24次 读 音， 每 个识 别部 分 包含4 次读音，这样，每个人总共有 14 个部分，包含 1 36 次读音。语音内容由 3 个二位 数英文数字组成，如 “ twe nty 一 si x ， ei g ht y 一 one ， fi ft y 一 s even” ;语音文件的长度约为 2 到 3 秒，所用采样频率为 sk h z ，以 12位的形式进行线性编码，并以 16 位的形式 进行存储 川。 4) s w it c hb o ar d语音库:用于任意文本的说话人辨识的连续语音识别，由 tl 录制提供。包括 3 0 2个男性和 2 41 个女性的语音资料。语音内容是通过电话的日常 谈话，用 s k h z 的采样频率录制。 5)s pi d re 语音库:用于任意文本的说话人辨识，它是s wit ch b o ar d 语音库的 一个子集。 6) k ing语音库: 用于任意文本的说话人辨识或确认，由 i tt 录制。包括 51 个男性的语音资料，每个人的语音分成两部分:一部分通过电话录制，另一部分通 过高质量的麦克风录制。 目 前， 我国的语音库建设工作还处于一个发展的阶段。现在已经建立的 语音库 包括:汉语普通话语音合成语音库、桌面语音识别语音库、电 话语音识别语音库、 y s c 9 7 3 9 7 3电话语料库、s c s c 汉语普通话单音节语音语料库、c a sia系 列语音库、 r a s c系列语音库、国家语委现代汉语通用平衡语料库等。本文所用的 语音库来源于中 科院的测试语音库 c a si a 9 8 一 9 9 ，该测试库由 男声 33 人，女声 10 人组成， 每人发音 60 句， 每句 小15字组成; 发音人以20一 30 岁为主，说话人普通 话 口音未加控制，涉及中国多个主要口音区域。 1 . 4论文内容安排 本文的研究对象是任意文本的说话人辨识系统，针对系统的端点检测、特征提 取和模式分类三部分进行了仔细的研究，比较了 不同参数对系统辨识率的影响。 本 论文按照内容共分为六章: 华北电力大学硕士学位论文 第一章是引言，主要介绍本论文研究工作的 应用背景和国内外的 研究现状， 说 话人识别的技术难点、常用识别方法和常用语音库，以 及论文的章节安排和主要工 作内容. 第二章介绍语音信号预处理的基本知识， 主要包括语音信号的时域表示、预加 重和端点检测三个方面。根据语音增强的思想提出了 基于谱减法的语音端点检测算 法，去除静音段和噪声段对说话人识别的影响。 第三章介绍说话人识别的 常用特征参数。分析和讨论线性预测倒谱系数和美尔 倒谱系数及其差分的提取方法;然后，对所选特征参数进行筛选、加权、微分和组 合，形成混合特征参数，从不同的角度体现说话人个性特征。 第四 章是阵列神经网络概述，首先介绍神经网 络和小波神经网络的基本原理、 结构和学习训练方法:然后阐述小波神经作为模式分类器应用于说话人识别的结构 和优化方法;最后给出基于阵列小波神经网络说话人识别系统的结构和搜索算法。 第五章介绍了 系统具体的实现和实验结果的 分析。 第六章是研究工作的总结和展望。 华北电力大学硕士学位论文 第二章 语音信号预处理 语音信号预处理是说话人识别必不可少的基础知识，它主要包括采样、量化、 预加重、分帧、消噪和端点检测等。因为本文所用的语音来源于中 科院的测试语音 库 c a si a 98一 99，所以得到的 信号相当于已 经进行了采样和量化，现对其他方面进 行详细介绍. 21语音信号预加重 由于语音信号的平均功率谱受声门 激励和口鼻辐射的影响，高频端大约在 8 0 0 h z以上按 6 d b / 倍频程跌落， 即6 d b / o c t ( 2 信频)或加d b / a e c ( 1 0 信频) ，所以 求语音信号频谱时，频率越高相应的成分越小，高频部分的频谱比低频部分的频谱 难求， 为此要在预处理中进行预加重处理。 它的目的在于消除低频干扰尤其是 5 0 h z 或 60h z 的工频干扰， 将对语音识别更为有用的高频部分的频谱进行提升。使信号 的频谱变得平坦， 保持在低频到高频的整个频带中，能用同样的 信噪比求频谱，以 便于频谱分析。 通 常 采用 高 通数 字 滤波器h( 刁 封少 /z实 现 预加 重， 召 一般 取 接近1 的 数 ， 常 通 过多次试验确定合适的产 值. 2 . 2语音信号加窗分帧 语音信号从整体来看其特性及表征其本质特征的参数均是随时间而变化的，是 一个典型的非平稳过程， 但在一个短时间段内( 10一 30m s) ， 其特性相对保持稳定， 因 而可以看作是一个准平稳过程，即语音信号的短时平稳性。目前绝大多数的语音信 号处理技术均是在 “ 短时”的基础上，将语音信号分为许多段来逐段分析其特征参 数， 其中每一段称为一 “ 帧” ，分段的过程称为 “ 分帧”处理，通过对语音信号加 窗函数来实现，帧长一般取 1 0 一 30 m s 。分帧可以连续分段，但一般是通过一个滑动 窗口 进行交叠式分段，这样使帧与 帧之间 平滑过渡，保持了信号的连续性。 用的最多的三种窗口 是矩形窗、汉明窗、汉宁窗，表达如下 12: 川 矩形窗 协 ) 一 行 t v ， 0三n三n 一1 e ls仑 ( 2 一 1 ) 12 汉明窗 华北电力大学硕士学位论文 f o j 4 一 0 .4 6 co s( 2 二/扭一 1 ，0 ， 万 一 1 口 ! n 夕 = 嘴 t o ，e ls e ( 2一 2) 口 汉宁窗 f 0 5 (1 一 co s (2 ，/( 万 一 1 ) ，0 、 n 万 一 1 四 沪 ) =1 。 l v ，e l “ ( 2 3) 2 . 3语音信号时域分析 2 . 3 . 1短时能量和短时平均幅度 语音信号的能 量随时间而变化，清音和浊音之间的能量差别相当显著。因此对 短时能量和短时平均幅度进行分析，可以描述语音的这种特征情况。 设 语 音 波形时 域信号 为休 (n ) ，第n 帧短 时 能 量 定义 为 ti3 : 凡= 艺x (m ) w 肠 一 m ) ( 2一 4) 凡是度量信号幅度变化的函数， 它有一个缺陷，即是对电平高的信号非常敏感 ( 因为它计算时用的是信号的平方) ，为此采用另一个度量幅度值变化的函数，即 短时平均幅度函数: 城= 习x (m ) 响一 m) ( 2一 5) 2 . 3 . 2短时过零率 过零率可以反映信号的频率特性.当离散时间 信号相邻两个样点的正负号异号 时，我们称这为 “ 过零” ，即此时信号的时间波形穿过了零电平的横轴。统计单位 时间内 样点值改变符号的次数就可以 得到 平均过零率。对窄带信号来说，用平均过 零率来度量是相当精确的.由 于语音信号是一种短时平稳的宽带信号，因此在统计 平均过零率时往往按帧来计算，这样就可以得到短时过零率，其定义为113 1 : zcr 。 = 酬sgnx 恤 ) 一 sgnx (m 一 l)i.w(n一 司 ( 2 一 6) 其中， sgn x(m 。 生 1 ， x (m ) 七 。 ， x 伽 ) 乃 (以 ( 2一 1 3) 2 . 4 . 22基于谱减法的端点检测算法 频 谱分析是数字信号处理的主要内容之一， 进行语音功率谱分析则可以 根据语 音信号的有限数据在频域内提取被淹没在噪声中的有用信号。 在实际环境中，非语 音段主要包含的背景噪声是白噪声。白噪声的功率谱在整个频域内都是常数，而语 音信号则是 “ 有色”信号，功率谱在整个频域的变化较大 。所以可以根据语音和噪 声的频谱特性差异，检测语音段的起止端点。 谱减法是语音增强中常用算法之 一，由 于该算法的计算复杂度低、实时性强， 一直受到了语音增强研究者的 广泛重视， 在基本谱减法的基础上， 产生了很多改进 算法。本文基于谱减法的端点检测算法的基本思想是:先对语音信号求功率谱，用 谱减法的思想去除噪声信号的功率谱，然后根据去噪后的功率谱幅度进行端点检 测。算法的具体步骤如下: ( 1)经过零点漂移校正，归一化，分帧 ( 帧长为 16m s ，帧移为 s m s) 等预处理 后的 语 音 信号x 伽 ) 被 分 解成相 互重 叠的l 帧 信号 ， 这 些信号 是时 域 信 号， 分别 求 每 帧信号对应的短时功率谱 蜀，凡， ，sk，二，凡. ( 2)根据谱减法，用下列公式计算每一帧语音信号去噪后的短时功率谱: 良 = 卜一 瓦如 果 又 众(2 一 14 ) 因 ，其他 其 中 凡 为 语 音 信 号 的 短 时 功 率 谱 ， 瓦为 去 噪 声 信 号 的 短 时 功 率 谱 ， 乓为 估 计 的短时噪声功率谱。 噪声估计过程首先假定前几帧 ( 通常取前 10 帧)信号为背景噪声，计算这些 帧的短时功率谱，利用这几帧短时功率谱的平均值就可估计背景噪声的短时功率谱 初值。噪声功率谱的计算采用下述方法: 噪声短时功率谱为: 乓= 瓦x p + (l 一 p ) x sk( 2 一 1 5 ) 式 中， 反为 噪声 短时 功 率谱 平 均值 ， sk为 当 前 帧 信号 短时 功 率 谱， p 为 调 节参 数，通常取接近 1 的数。 可 以 得 到 语 音 信 号 去 噪 后 的 短 时 功 率 谱 为 : 瓦， 亏 2 ，二 ， 亏 * ， . . ， 交。 (3 ) 对去噪 后的 语音信号短时功率谱求短时功率谱幅度: l 3 华北电力大学硕士学位论文 、 一 郭川 = 1，. .，l，“ 为 帧 长 ( 2 一 1 6) 求得的短时功率谱幅度为:fi，凡，二 ，凡， 凡 。 (4 ) 用谱减法只能去除了噪声的部分功率谱，故需要合理设定门限值去除 残余 噪声对端点检测的影响。由于语音信号的最初的短时段可以视为非语音段， 仅有均 匀分布的背景噪声信号。 所以 利用最初几帧 ( 通常取前10帧) 信号计算其门限值。 具 体 算 法 为 115 】 : 前 10帧信号平均短时功率谱幅度为: 蠕= 亩 菩 凡” 一 ，2，. 二 ，1 “ ( 2 一 1 7) 凡 把fi ， 凡， ， 凡 。 分 成 两组， 大 于瑞 的 分 为一 组， 平 均短 时功 率 谱幅 度为 瓜 ， 小于凡 、 的 分为 另一 组， 平均短 时 功 率谱 幅 度为兀 耐 口 ， 判决 门限 为: ，_、 只，_ .5 叽 + 骊)， 月礁 2 ( 2 一 1 8) 9 瓜 十 0 .1 凡。 u ， 其 它 r.11selt 一一 凡 凡应该 在 一定的 范 围内 ， 考虑 到 运 用谱 减 法后 无 噪声 背景 下凡近似接 近于 零， 为了 避免这种情况， 将 ( 2 一 18)式改为: 凡= m ax 帆， 刀 )( 2 一 1 9 ) d是一个常数， 依实验设定。 (5 ) 用公 式 ( 2 一 19) 得到的 判决门 限f进 行 端点 判决 后，因 为 语音 段应 有一 定 的最小长度， 语音段间也存在一定的距离，所以 需要对语音端点判决准则进行后续 处理。 设 第 1 个 语音 段的 长 度局 = e ， 一 5 ， 其中 e ， 、5 ， 分 别为 第 1 个 语音 段的 终点 和 起 点， 第1 个 语音 段 和紧 接 其后的 第1 个 语音 段j 之间 的 距 离为叽 并 设 语音 段的 最 小 长 度为p ， 两语 音 段间 的最 短 长度 为夕( p 、 冲 依实 验设 定， 即 若是 语音 段， 其长 度不得 低于p， 并且两语音段间的最小 长度不得低于哟. 则语音端点的判决准则为: 准 则1:如果局 p 但凡 。 ， 则 第i， j 段 为 同 一 语 音 段 ， 将d ， 和 第 j 段 语 音 段 合 并至弓 ， 调 整语 音 帧序 号; 准 则3: 如果p z p，则第 1 段语音为连音段，需要进行语音段的分割。由先 验知识可知，两个字的分割点 应该在两字中间附 近，所以，可以设定一个阐值占 ， 在两字的中间分别向 左、右各搜索占 个采样点，以短时 功率谱幅度最小的帧作为两 字的分割点，最后调整语音帧序号. 24 . 3端点检测的算法比较 传统的双门限端点检测法基于短时能 量和短时过零率方法，如果在短时能 量和 短时过零率不能正常检测的条件下，传统的方法就不能有效地检测语音的起止端 点。所以 本文将基于谱减法的 端点检测法和传统的 短时能量方法、短时过零率方法 在 白噪声条件下进行了比较 ，图 5 一 1 给 出了一组比较曲线图。 屡 一 5 二1二门门匕已j 一今州黯酬妇黯一 11二 0 20 . 40 石0月11 2 采样点数 。 】厦 始 语 音 信 粤 14161 _ 8 、 l r 婆叫 黯 伽 姗 添 翩 2l0 06。 ，二 禄 二 ， 2 ” “ ，加白嗓声后语音信号 5 . 1 二 0 口 】 加加100 握 1 田顿 序 列 数， 印 。】短时能量方法 2 002 50 1 印 祯 序 列 致巧 。 通， 短时过零率方法 刀 02 6 d 华北电力大学硕士学位论文 甲八 目入 . 呱八八产气 . 八.卜 卜 印1 印 顿 序 列 戮 1 印2 田 . ，荃于诺减法的方法 图2 一 1各种端点检测方法的 性能比较 图2 一 1 中距离较大的两竖线内为检测到的 有效语音段， 从图中可以 看到当原始 语音信号淹没在白噪声中 后采用短时能量、短时过零率方法不能准确的 检测出 起止 端点，但采用基于 谱减法的方法后， 可以有效地检测出起止端点。 为了评估算法的准确 性， 在不同的噪声环境下，实验分别对 100 个随机的 语音 采样进行了分析，如果以端点划分的误差续3帧作为正确的评估标准， 在高信噪比 条件下 ( 3 0 d b以 上) ， 采用本文的方法或短时能量与短时过零率相结合的方法都可 以达到 1 00% 的检侧率; 在低信噪比条件下，用本文的方法在 odb时的检测率为 95.4 %，而短时能量与短时过零率结合的方法在 sdb时的检测率为 5 7 %，o d b时不 能进行正常检测。 华北电力大学硕士学位论文 第三章 语音信号特征提取 语音信号中 含有丰富的信息，且具有很大的冗余性，特征提取就是利用时域一 一频域分析、变换域处理等技术，并结合人的发音机理或人耳听觉特性从数字语音 信号中 提取出对识别效果起至关重要的信息，同时摒弃那些冗余的、易引 起识别模 糊性的特征。 一般将语音信号的特征向量分为两类:第一类为时域特征向量，通常将每帧语 音信号的各个时域采样值直接构成一个向量。第二类为变换域特征向 量，即对一帧 语音信号进行某种变换后产生的特征向量.前者的 优点在于计算简单， 缺点是不能 压缩维数且不适于表征幅度谱特性。与此对应，各种变换域特征向量的计算比较复 杂， 但能从不同的角度反映幅度谱的特征. 31 说话人识别常用的特征参数 语音信号是语义特征和说话人个性特征的结合体，它们以 极其复杂的形式交织 在一起，目前尚未找到有效的方法将语义特征和说话人个性特征加以分离。尽管如 此，语音信号的特征参数仍从不同的侧面反映出说话人的个性信息，是说话人个性 特征的重要来源。 说话人所发语音信号中所包含的个人信息有两种，一种是由 声道 长度、声带等先天性发音器官的个人差别产生的;另一种是由 方言、语调等后天性 讲话习惯产生的。 前者是以谐振峰频率的高低、带宽大小、平均基频、频谱基本形 状的斜率等所表现的;后者是以基频、谐振峰频率的时间图案、单词的时长等所表 现的. 多年来，人们对各种特征参量在说话人识别系统中的有效性进行了 大量研究， 并且 得 到了 许 多有 意 义的 成果 11920 .2i 。 总 的 说 来， 能 够 表征 说 话人 个性 特 征的 参 数 有:语音帧能量、语音音调特征即基音( p itch) 频率、语音信号的短时频谱、线性预 测系 数 ( l in e arp r e d ic ti o n c o e ffi c i e nt s ， l p c ) 、 共振 峰 ( fo rman t ) 频 率 及其 变化 轨 迹、 倒谱( c e p s t ru m ) 特征、线谱对( l i n e s p e c t r um p a i r ， l s p ) 特征、基音轮廓特征、部分 相关 (p a rt ial c o rr e lat i o n ， 狱r c o r)系 数 特征 等 . 目 前在说话人识别中较为常用的特征参数为线性预测倒谱系数(lp c c ) 与美而 倒谱系数( m f c c)。 二者都是将语音从时域变换到倒谱域上， 前者从人的发声模型角 度出发，利用线性预测技术求倒谱系数。 后者则构造人的听觉模型，以 语音通过该 模型( 滤波器组) 的输出作为声学特征， 可直接通过离散傅立叶变换( d f t)进行求取。 华北电力大学硕士学位论文 3 . 2线性预测系数 lpc 19 47 年， 维纳首次提出了线性预测这一技术。 之后， 它作为一种工具， 几乎普 遍地应用于语音信号处理的各个方面。线性预测技术应用到说话人识别中，不仅是 因为它有较好的预测功能，更重要的是它能提供一个非常好的声道模型参数估计 法。 人的发音器官可以用若干段前后连接的声管进行模拟， 这就是所谓的声管模型。 3 . 2 . 1线性预测的基本原理 线性预测理论是基于语音信号的相邻样本点之间有着很强的相关性，利用若干 “ 过去”的样本点来预测现在或未来的样本点， 采用最小均方误差逼近的方法来估 计模型的参数。 对于 一 个l p c 系统， 采样 点， 的 输出s( n) 可以 用前 面p 个 样 本的 线 性组 合 来表 不: 5 ( n ) a ， 5 ( n 一 1 ) + azs ( n 一 2 ) +二 + 户 户 ( n 一 )( 3 一 1 ) 其 中， al ，内 ， ，今为 常数 ，即 为l p c 系 数。 3 . 2 . 2线性预测系数的求取 通常采用高效的递推算法求解， 也就是德宾 ( d u r b i n) 递推算法。 若 预测器阶数为p: ( 1 ) 计算天 ( 0 ， 1 = 0 ， 1 ， 刃 ; ( 2 ) 计算了 0 ) = 天 ( 0 ) ; ( 3 ) 计算k l = r ( 1 ) /r( 0 ) : ( 4 )a l =k l : ( 5 ) 计 算了 1) 二 ( 1 一 无 ; 2班(0 ) ; ( 6 )令 1 =2 ; 7，计 算 一 (了卜 客 才 一 “派一 ，呼 2“ (卜!); ( 8 ) a ， = 气 ; ( 9 ) 计 算 a ， = 可 一 ， 一 气 a 写 ， ; ( 1 0 ) 计 算了 1从 ( 1 一 ki z ) 衫 1一1 ); ( 1 1 )1 p ; 若回答为 是，则令1 = 1 +1，转入( 7) 继续执行; (3 一 2) ( 3 一 3) ( 3 一 4 ) ( 3 一 5 ) (3 一 6) 华北电力大学硕士学位论文 若 回答 为 是为 否， 则 终 止递 推， 输出 嵘， 1 毛 ， 毛 p 便 是l p c 系 数。 上 面 的 砂 ， 是 j 阶 预 测 器 的 第， 个 预 测 系 数 . 因 此 对 于 一 个 p 阶 预 测 器 ， 在 递 推 过程中 将低于 p的各阶预测系数都求解了出来，而且也得到了最小预测误差能量 了 。 。 递推式中的凡是反射系数，也称为parlo r系数，其取值范围为: 戈1 11 = 1 ，2 ， ， 尸( 3 一 7 ) 反射系数的这个条件是保证系统拭2 ) 为 最小相位和系统稳定的必要条件。 3 . 3线性预测倒谱系数 l p c c 3 . 3 . 1同态处理基本原理 语音信号、图 像信号、通信中的衰落信号和调制信号等都是非线性信号，是乘 积性信号或卷积性信号.同态信号处理也称同态滤波，它实现将卷积关系变换为求 和关系的分离处理，即解卷。同态系统可以分为三个子系统， 如图 3 一 1 所示。第一 个系统，完成将卷积信号转化为加性信号; 第二个系统，是一个普通的线性系统， 满足线性叠加原理， 用于对加性信号进行线性变换;第三个系统是第一个子系统的 逆变换，它将加性信号反变为卷积信号。 早华 一 x，气 n)十 凡气 n) d . 交 (n ) 名 (n ) + 几 (n l 1 润 yl切少 十儿切州 不 斋 丽 图 3 一 1同态系统 的组成 设 输入的语音信号为: x (n ) = x l (n ) * x z (n ) ( 3 一 8) 其中xl ( n) 和勒 ( 的 分别是声门激励和声道响应序列。 号转化为加性信号。 它包括三部分，首先是进行2变换， 性信号: 2 x (n ) = x (z)= x ，