（信号与信息处理专业论文）语音净化系统的设计与实现.pdf

土查厶鲎亟鲎鱼迨塞堕置迕些墨筮盐丝至当塞丑 摘要 目前的各种语音应用系统都需要纯净的语音输入，然而当这些语音系统在实 际使用时，却很难得到满足要求的语音信号，实际的语音信号受到各种噪声尤其 是其他语音的干扰。这是限制目前各种语音应用系统的瓶颈，研究和设计能解决 干扰语音问题的语音净化系统具有特别重要的意义。然而，消除语音干扰是语音 增强技术中的难点，本文利用盲源分离方法，提出基于改进m s i c a 的语音净化处 理算法，并针对实际语音应用系统的特点设计并实现了语音净化处理系统。本文 主要有以下的工作和创新点： 以盲源分离为手段，研究语音净化算法。在研究几种盲源分离算法的基础上， 重点讨论了如何改进m s i c a 算法，使之能够提取出主语音信号，而不仅仅分离混 合语音。主要工作集中在：对输入混合语音利用谱相减去噪滤除非语音信号，从 而简化后续盲源分离的计算；提出基于分割谱的排序修正规则，并利用该规则从 f a s t i c a 分离信号中确定主语音信号，并在时域进一步处理残留的交叉干扰分量， 从而解决盲源分离排序不确定问题，改进了m s i c a 算法。通过仿真结果证明，语 音净化处理算法能从含有一个干扰语音的嘈杂环境中净化出目标说话人语音。并 且该算法很容易扩展到含有多个干扰语音的场景。 在系统设计和实现方面，提出了语音净化系统的软硬件设计方案，并将该方 案应用于车载免提及语音识别前端预处理。主要基于t m s 3 2 0 c 6 4 1 6 t e b ，研究了 语音净化算法的d s p 实现及浮点运算的定点实现和优化问题。利用嵌入式操作系 统d s p b i o s 设计语音净化软件平台：研究语音净化处理算法在定点c 6 4 1 6d s p 上实现的关键技术，以及降低算法复杂度提高实时性的优化问题。在方案设计中， 考虑到声源数目的不确定，还设计了可调节多通道的语音采集。 本论文对语音净化理论和实现进行了深入的研究，所提出的语音净化算法、 在d s p 上的实现以及设计的两个应用具有一定的创新性和实用性。 关键词：d s p ，语音净化，语音增强，盲源分离，独立分量分离( i c a l 第1 l 】负 土星丕堂亟堂焦迨塞亟置逢坐丕筮盐丝盐当塞塑 a b s t r a c t p u r ei n p u ts p e e c hi sr e q u i r e df o rs p e e c ha p p l i c a t i o ns y s t e ma tt h ep r e s e n tt i m e ， w h i l es a t i s f a c t o r y s p e e c hs i g n a l c o u l d n tb eo f f e r e df o r t h ed i s t u r b a n c eo fn o i s e e s p e c i a l l yu n d e rt h ec i r c u m s t a n c eo f o t h e rs p e e c he x i s tw h e nt h e s es y s t e m sa r ew o r k i n g a sar e s u l t ，t h e s es p e e c ha p p l i c a t i o ns y s t e m sd e g r a d ed r a m a t i c a l l y t h e r e f o r e ，i ti s m e a n i n g f u lt or e s e a r c h a n dd e s i g n s p e e c hp u r i f i c a t i o ns y s t e mw h i c hc a ns p l i tt h e p r o b l e mo fd i s t u r b i n gs p e e c h b yu s i n go fb l i n ds o u r c es e p a r a t i o n ( b s s ) ，t h i st h e s i s p r o p o s e sas p e e c hp u r i f i c a t i o na l g o r i t h mb a s e do na ni m p r o v e dm s i c aa n dd e v e l o p sa s p e e c hp u r i f i c a t i o ns y s t e ma c c o r d i n g t o p r a c t i c a ls p e e c ha p p l i c a t i o ns y s t e m c o n t r i b u t i o n sp r e s e n t e di nt h i st h e s i sl i s ta sf o l l o w s ： t h i st h e s i sf i r s te x p l o r e ss e v e r a lb s sa l g o r i t h m sa n dt h e nf o u c so ni m p r o v i n gt h e m s i c a ，w h i c hc a np i c ku pm a i ns p e e c hr a t h e rt h a no n l ys e p a r a t et h em i x t u r e i no r d e r t os i m p l i f yt h ec o m p u t a t i o no fl a t e rb s s ，t h en o n s p e e c hn o i s ec o n t a i n e di nt h ei n p u t s p e e c hi sc a n c e l l e db ys p e c t r u mc a n c e l l a t i o n ；ap e r m u t a t i o nc o r r e c t i o nr u l ei sp r o p o s e d w h i c hc a nh e l pm s i c ae s t i m a t e st h em a i ns p e e c hp r o p e r l y a n dt h e n f o l l o w e db y t d i c at or e m o v et h er e s i d u a lc r o s s t a l k c o m p o n e n t s f i n a l l y , t h ep e r m u t a t i o n i n d e t e r m i n a c yp r o b l e mo fb s si s s e t t l e d t h es i m u l a t i o nr e s u l t so ft h e s p e e c h p u r i f i c a t i o na l g o r i t h m ss h o wt h a tt h et a r g e ts p e e c hc a nb ee x t r a c t e df r o mt h en o i s y b a c k g r o u n de v e nd i s t u r b i n gs p e e c he x i s t ， w i t hr e f e r e n c et os y s t e md e s i g na n dr e a l i z a t i o n ，as o f t w a r e h a r d w a r ep l a no f s p e e c hp u r i f i c a t i o ns y s t e mi sg e v e n ，a n dt w os c e n a r i oa r ep r o p o s e db a s e do ns p e e c h p u r i f i c a t i o ns y s t e m - - - h a n d s f r e ee q u i p m e n ta n ds p e e c hr e c o g n i t i o np r e t r e a t m e n t b a s e d o nt m s 3 2 0 c 6 4 1 6 t e b w er e s e a r c ht h er e a l i z a t i o na n do p t i m i z a t i o no nf i x e d p o i m d s po fs p e e c hp u r i f i c a t i o na l g o r i t h m s d e s i g ns p e e c hp u r i f i c a t i o np l a t f o r mu s i n g d s p b i o s ；t h ek e yt e c h n o l o g yo fh o wt ot r a n s p l a n ts p e e c hp u r i f i c a t i o na l g o r i t h m so n t m s 3 2 0 c 6 4 1 6d s p si sd i s c u s s e d ，a n dt h eo p t i m i z a t i o na b o u tc o m p l i c a c yr e d u c i n ga n d r e a l t i m e i n c r e a s i n g i s g i v e nc o n s i d e r i n gt h eu n c e r t a i n t yo f s o u r c en u m b e r , a n a d j u s t i v ea n dm u l t i c h a n n e ls p e e c ha c q u i s i t i o ni sa l s od e s i g n e d k e y w o r d s ：d s p , s p e e c hp u r i f i c a t i o n ，s p e e c he n h a n c e m e n t ，b l i n ds o u r c e s e p a r a t i o n ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) 第1 v “ 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论奠中作了明确的说明并表示了谢意。 签名：硝日期兰血了 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：茎至茎里警导师签名：三( 三k 日期：川鱼! ：3 圭塑盔堂亟兰三堂鱼迨塞 亟煎塑丝丕缝的丝过鱼堡塑 第一章绪论 1 1 语音净化处理的意义 我们每天都在获取和认知大量的信息，然而这些信息纷繁复杂，我们很难判 断其准确性和真实性。真实的信息很有可能就被大量虚假的或者无用的信息所覆 盖，从而使人们感到疑惑甚至做出错误的判断。以目前的几种语音应用系统为例： 语音识别系统：近二十年来，语音识别技术取得显著进步，但是其识别率严 重依赖于输入语音的纯净度，一旦输入语音受到噪声特别是其他语音的干扰， 其识别率将大幅度下降，甚至完全丧失识别功能。 车载免提：为了符合新交通法的规定，越来越多的车主开始选用车载免提， 可是因为驾车时车厢内存在多种噪声，包括机械噪声、行驶噪声、车载音响、 其他人交谈声等，免提系统的通话性能大打折扣，在一定程度上又增加了驾 车的危险性。 助听器：传统的助听器仅具有单纯的放大功能和简单的语音滤波器，在噪声 环境中，将所有的接收到的信号一同放大，导致助听器的功能下降。若在有 两个或两个阻上的说话者存在的条件下，有听力障碍的人就更难把注意力集 中到某一个人身上。 移动通讯终端：移动终端对环境噪声非常敏感，人们在利用手机等进行语音 通信时，不可避免地会受到来自周围环境乃至其他讲话者或车辆喇叭声的干 扰。如在广场、车站、商场等公共场所使用时，受其他语音干扰更为严重。 上述语音应用系统都需要纯净的语音输入，但是在真实的使用环境中却无法 保证，不能在任何场合都保持高性能，因而其应用受到很大的限制，无法做到“全 天候的”实用化。解决输入噪声尤其是干扰语音问题尤为关键，因此，研究语音 净化系统，将其作为语音应用系统的预处理装置，向语音应用系统提供高质量的 原始语音信号，使语音应用系统的性能不再依赖输入语音的纯净度，是一项非常 有意义并十分迫切的工作。该系统将在语音识别、语音通信以及工业、家电、通 信、汽车电子、医疗、家庭服务、消费电子产品等各个领域得到广泛的应用。 1 2 语音净化处理的研究现状和前景 目前国内外关于获得纯净语音的方法主要是语音增强和麦克风阵列一股的 第l 贾 土堑丕堂亟堂焦迨塞 蚤童塑丝塑箍盟丝| 士当塞丑 语音增强方法都假设噪声是加性平稳的，但实际情况并非如此，尤其是在嗜杂环 境下使用语音系统，使用者不仅要受到有色非平稳的环境噪声的影响，还要受到 其他讲话者声波的干扰，难以实现从混合语音中提取所需的原始语音信号。而且 由于各语音信号频谱特征相似，声压量级相当，因而使用一般的语音增强方法难 以实现从混合语音中提取所需的原始语音信号，获得语音系统的高性能。麦克风 阵列则需要在远声场设置传感器，而这一点一般也很难满足。 近年来信号处理学界和神经网络学界共同感兴趣的热点研究领域盲源分 离为解决这一难题提供了新的更有效的方法。所谓盲源分离( b s s ) 就是在不知道源 信号和传输信道的有关参数的情况下，仅根据观测到的混合数据向量确定一个变 换，来恢复源信号。典型情况下，观测数据向量是一组传感器的输出，其中每个 传感器接收到的是源信号的不同组合。术语“盲”有两重含义： 源信号不能被观测： 源信号如何混合是未知的。 盲源分离的核心问题是分离矩阵的学习算法，它属于无监督学习，其基本的 思想是提取统计独立的特征作为输入的表示，而又不丢失信息。显然，当从信源 到传感器之问的传输很难建立其数学模型，或者关于传输的先验知识无法获得时， 盲源分离是一种很自然的选择。 盲源分离的开拓性研究起源于j u t t e n 与h e r a u l l t q 1 9 9 1 年发表的论文，他们提 出了一种基于反馈神经网络的分离方法，该方法采用奇次非线性函数构成h e b b 训 练，从而达到盲源分离的目的。c o m o n 2 1 是提出盲源分离的独立分量分析方法的第 一人。正是他们的工作极大地推动了盲源分离的研究工作，使得在短短的几年内 涌现了大量的有效算法，这些算法都通过了计算机仿真测试，获得了良好的效果。 但这些大部分都还处于理论研究阶段，而没有广泛地应用到实际中。而且非 常重要的一点是：盲源分离只求出分离的信号，至于分离出的几个信号中分别和 哪一个源信号相对应并没有作出解释，因而将盲源分离应用到语音净化中需要迫 切解决的一大难点就是分离信号的排序问题，此问题如果能够很好的解决，则分 离出信号和源信号的对应问题就可以解决，语音净化系统就可以从盲源分离的输 出信号中正确选择出主语音信号。而这一点正是本文在语音净系统中算法研究的 重点。此外，和语音增强和盲源分离一样，另个研究热点就是把语音净化算法 在嵌入式硬件系统上实现，因为毕竟应用语音净化的场合不能都使用计算机来完 成。目前国内外的研究者也大都局限在盲源分离的计算机仿真上，只有少数几位 学者在进行盲源分离硬件实现的研究 3 4 ，5 ，6 ，7 ，8 ，9 ，针对于语音净化的研究目前尚未 见到。 笫2 页 土星盔望塑堂焦监塞适量竖些丕箜的亟主上当塞狸 1 3 本论文的主要工作 本论文针对现有各种语音应用系统对噪声尤其是干扰语音比较敏感的缺陷， 设计并实现了一个语音净化处理系统，该系统可以对语音进行净化处理，从而将 主语音信号从含有干扰语音的噪声背景中净化出来。本文的创新点在于： 算法研究方面，以盲源分离为手段，提出了语音净化处理算法。该算法首 先通过谱相减去噪滤除非语音信号，再通过本文提出的改进m s i c a 算法滤际干扰 语音信号。改进m s i c a 算法将f a s t l c a 算法扩展到频域，利用基于分割谱的排序 修正规则并对f d i c a 输出信号进行排序，选择出主语音信号后再通过t d i c a 去除 残留交叉干扰量，从使盲源分离的输出信号顺序不确定问题得到解决。 在嵌入式软件设计方面，基于t m s 3 2 0 c 6 4 1 6 t e b 和t i 公司提供的 d s p b i o s 实时内核，设计语音净化软件平台。研究语音净化处理算法在定点d s p c 6 4 1 6 上实现的关键技术，以及针对t m s 3 2 0 c 6 4 1 6 降低算法复杂度并提高实时性 的优化问题，为在实际中应用打下了良好的基础。 在系统的应用方面，利用本文研究的语音净化系统设计了两个应用：车载 免提装置和语音识别前端语音净化装置。此外针对干扰语音数目不确定的实际情 况，设计了可调节多通道语音采集。 本文的具体结构安排如下： 第二章介绍了整个语音净化系统的组成及应用。系统由可调节多通道语音采 集和基于d s p 的语音净化处理两部分组成 第三章研究了语音净化处理系统中的算法。主要利用盲源分离来解决语音净 化问题，详细介绍了几种盲源分离算法和本文提出的基于改进m s i c a 的语音净化 算法，对该算法中的排序判决及排序修正准则进行了详细描述，解决了盲源分离 输出信号顺序不确定问题，并利用语音净化算法处理含有干扰语音和高斯白噪声 的语音，最后对算法进行了仿真。 第四章是嵌入式语音净化软件的系统部分设计。首先对嵌入式系统软件流程 做了简单的介绍，然后对系统部分中的些关键问题如建立和配置系统中需要的 对象、系统相应部分的初始化、串口中断程序的设计和软件中断程序设计作了细 致的分析。 第五章讨论了嵌入式语音净化软件的算法实现。详细介绍了语音净化处理算 法的嵌入及程序流程，并对算法的改进和优化以及在定点d s p 实现的关键问题进 行了分析，最后给出该系统的实验效果。 第六章介绍了基于语音净化系统设计的两个应用方案：车载免提和语音识别 前端预处理。 第七章对本论文的工作进行了小结并对今后的工作进行了展望。 第3 更 土生叁鲎亟堂焦逢塞 造置堂丝丕堑殴丝盐生塞塑 本文得到了以下项目的资助： l 、上海市教委曙光计划项目“混合语音盲分离技术及其新型移动电话研究” 2 、上海市科委应用技术开发项目“混合语音信号净化处理系统的研制” 3 、国家自然科学基金“基于2 d 系统理论的盲反卷积算法初始化方法研究” 第4 盟 上生丕堂亟主芏焦丝塞堂萱递些丕鱼盥堡盐皇塞塑 第二章语音净化系统设计 2 1 语音净化系统概述 司调节多通道语音采集语音净化处理 图2 1 语音净化系统组成框图 本文研究的语音净化系统可以对复杂噪声背景中的语音信号进行净化处理， 滤除包括干扰语音在内的背景噪声。在研究的过程中，本文采用了由易而难、循 序渐进的方式，首先利用c 6 4 1 6 t e b 实现基于j a d e 的语音净化算法，进而实现 本文提出的基于改进m s i c a 的语音净化算法。在研究的过程中我们发现，普通计 算机上的声卡只能采集一路语音信号，而要研究并测试语音净化系统对真实语音 信号的处理能力，至少需要提供同时采集的两路语音信号，为此，本文在利用 c 6 4 1 6 t e b 开发语音净化算法之前设计了可调节多通道语音采集系统，作为语音净 化系统中的语音采集部分，为d s p 上的净化处理部分提供不同通道数要求的语音 信号。其采集范围为1 8 通道，默认为双通道，该系统原理框图见图2 1 ，其工作 流程为：首先计算机上的l a b v i e w 通过控制信号控制p x l 4 4 7 2 采集语音，并将 数据通过l a b v i e w 从p x i 一4 4 7 2 的缓存中采集到计算机上，然后通过计算机上的 c c s 软件将采集到的语音文件送入c 6 4 1 6 t e b 进行净化处理，最后将纯净语音输 出。由图2 1 可以看出，整个混合语音净化系统分为两个部分：基于l a b v i e w 、 p x i 一4 4 7 2 的语音采集部分和基于c 6 4 1 6 t e b 的语音净化处理部分，本章将对其分 别进行具体描述。 第5 页 占鲞盔堂亟主堂焦监塞蚤童堡些丕筮笪熊盐墨塞翌 2 2 可调节多通道语音采集 在真实语音环境中，背景噪声中可能包含多个干扰语音信号，且干扰语音的 数目也是不确定的。若利用盲源分离算法进行语音净化，要满足的条件是观测信 号的数目不能少于信源的数目，因此需要设计一个通道数可调节的的语音采集系 统。在本课题研究中，主要研究只有两个观测信号、其中一个是干扰语音的情况， 因此本文没计了基于n ip x i 一4 4 7 2 和l a b v i e w 的可调节多通道语音采集。利用n i p x i 一4 4 7 2 进行高速数据吞吐和同步数据处理的特点，最大设计能力是可以同时采 集8 路语音信号，并可对采集声道数目、位速、音频采样级别、设备号、通道选择 和采集时间等进行调节，从而满足语音净化算法的要求。图2 2 n 语音采集的实物 图，图2 4 2 7 # j 语音采集的程序图和前面板图。 图22 可调节多通道语音采集实物图 2 2 1 语音采集硬件及开发环境 2 2 1 1 p x i 一4 4 7 2 采集卡 n ip x i 4 4 7 2 是一款高性能、高精度的p x i 总线模拟输入模块，是n i 动态信 号采集分析产品系列中专门用来进行动态信号采集应用而设计的0 0 。可用于语音 信号处理、声纳、音频频域测试与测量等需要高保真的信号采集领域。它有8 个 模拟输入通道可以同时进行采样，输入带宽为从直流到4 5 k h z ，可同时以最大 1 0 2 ，4 k s s 的速率、2 4 b i t 分辨率进行采样，并有包括外部数字触发的多种触发模式。 每个输入通道都有独立的软开关和麦克风前置放大器。 第6 页 土生盔堂亟堂焦监塞适壹登垡丕筮的遮盐董塞塑 2 2 1 2l a b v i e w l a b v i e w 是n i 推出的一种基于“图形”方式的集成化程序开发环境，在测 量测试、数据采集、仪器控制、数字信号分析、工厂自动化等领域获得了广泛的 应用1 。 一个完整的l a b v i e w 开发环境包括基本模块和扩展模块两部分。引擎部分是 整个图形化开发环境的核心，它包括编辑模块、运行模块和调试模块，其程序 v i ( v i r t u a li n s t r u m e n t ) 主要包括两个部分：人机交互的界面前面板( f r o n tp a n e l ) 和相当于源代码功能的框图程序流程i n ( d i a g r a m ) 。图2 7 显示了语音采集系统 的前面板的控制量和显示量。 2 2 2 语音采集设备驱动配置 首先安装n i - - d a q 驱动程序，此驱动可在安装l a b v i e w 时自动提示安装，用于 驱动底层数据采集卡工作，其次安装采集卡硬件，最后进行配置：运 ? m e a s u r e m e n t & a u t o m a t i o ne x p l o r e r ( m a x ) ，在d e v i c ea n di n t e r f a c e s 中选择所使用的n ip x i 一4 4 7 2 器件，对设备编号、模拟信号极性范围和模式、设备附件及过程控制各选项进行 配置。n i d a q q ，引入了物理通道、虚拟通道和任务的概念。物理通道是一个可测 量的终端或引脚，或者是生成的模拟或者数字信号，每一个支持d a q m x 的d a q 设备上的物理通道应该有一个唯一的名字；虚拟通道是包括名称、物理通道、输 入连接、测量或生成的信号类型、幅度信息等属性的集合；任务在d a q m x 中是一 个或多个虚拟通道的集合，包含通道时序、触发特性和其他属性，实质就是一个 要执行的测量或产生信号的操作。 具体设备配置步骤包括：创建虚拟通道或任务、测设通道、复制和删除通道、 浏览和改变通道属性。 l a b v i e w 中的数据采集实际上包含了模拟输入、模拟输出、数字输入输出和 计数器4 种信号输入输出方式。在本文的语音采集系统中用到的是模拟输入方式， 需要用n l a b v m w 中d a t aa c q u i s i t i o n 子模板的a n a l o gk a p u t 子模板中的若干个数据 采集v i 。采集过程可以用图2 3 表示。其中数据采集卡即p x i 一4 4 7 2 ，通过多路开关、 a d 转换芯片和数据缓存( b u f f e r ) 几个部件将多通道的模拟语音信号转换成数字信 号并存储在其缓存中，而计算机通过l a b v i e w 中的数据采集v i 对p x i 4 4 7 2 中的几 个部件的运作进行控制，p x i 一4 4 7 2 并d 计算机之间通过计算机总线通信，交换数据 和控制信息。 第7 贞 上生盔堂亟堂鱼监塞 适量堡垡丕鱼盟丝盐鱼塞塑 通道1 通道2 通道3 通道4 通道5 通道6 通道7 通道8 多路开关 控制信号 一 ? 计 l a b v i e w n 厂-算 1a 夕一_ 1 肌胁r _ 机 1 7 l 总 计算机 一 ! - o 数据 线 r 一 一 一 一 信号 数姑米集卡p x l 4 4 7 2 图2 3p x i - 4 4 7 2 模拟信号采集过程 一个多点多通道波形数据采集的过程一般需经过以下几个步骤，本文所描述 的可调节多通道语音采集也采取了同样的步骤： ( 1 ) 数据采集v i 通知数据采集卡( p x i 4 4 7 2 ) 相关的采集参数： a ) 采样频率，即多路开关进行一次扫描的频率； b ) 采样次数，即多路开关扫描的次数； c ) 采样通道，即多路开关对哪些通道进行扫描： d ) 数据缓存大小，确定每次将多少次扫描的数据存储到数据缓存中。 ( 2 ) 采样开始，多路开关对采样通道进行一次依次扫描，每个通道采样一个点； ( 3 ) 采样的模拟信号送至i j a d 转换器转换成数字信号； ( 4 ) 数字信号存储到数据缓存； ( 5 ) 重复( 2 ) 一( 4 ) 的操作，直到采集到了所需的采样点数，全部数据顺序存储到缓 存中： ( 6 ) 从数据采集卡的缓存中读取数据到计算机的内存中； 单点、单通道或不经过缓存的采样过程将上述过程作相应的简化即可。 2 2 3 主要v i 和端口 本系统可对语音参数及设备进行设定，系统的采集设置和保存数据部分程序 见图2 4 一图2 6 。表2 1 中列出了语音采集系统中涉及到的主要v i 图表、端口及主 要功能。 图2 4 中，d e v i c e 表示了配置d a q 设备时分配的设备号，p x i 4 4 7 2 的默认设备 号是l 。c h a n n e l s 指定了模拟输入通道的集合。扫描列表中通道的顺序定义了在采 集中通道扫描的顺序。采集部分由以下组成： 采集模块配置：利用a ic o n f i g v i 模块配置采集通道的模拟输入，给模拟输入 操作分配一个缓冲区： 第8 厦 土塑丕堂亟主堂焦迨塞适置塑些丕笪塑塑盐量塞理 开始采集：a is t a r t v i 模块设置扫描速率、采样扫描点数和触发条件，启动缓 冲区模拟输入： 采集有限采样点：利用a ir e a d v i 模块从数据采集的缓冲区读数据； 清除采集：利用a ic l e a r v i 模块清除与t a s k l di n 有关的模拟输入配置，并释放 包括缓冲区在内的相关内部资源； 将数据存储于w a y 文件。 名称和端口图一 主要动能描述一 黧 模 戳输入钥始化，给其分配一个任务i d o 崩瓤 模拟输入开始( 将数据暂存在数据采集卡缓存牵) 。 鳓p 鞲钟 毪戡。 模拟输入谤数( 丛数据采集卡的缓存中滨数至计算机中) 一 凰 模拟输入任务清除一 惑 指定文件保存路径的对活框一 门、 分支结构一 蛩 当程序出铬时指示。 惑 将波形数据保存至* r a v e 文件一 ；圜v 。 二维数组转置函数将输入数组按照矩阵转置规则进行转置一 嗣- 子数组函数用原来数组的部分元素构成薪的数组一 蛩， 数缎大小函数可以显示雒数组中每一维中数据成员的个数， 卜 群。l 。葛穗。 分解簇元素。将分解后的数据成员分别输出一 圜。 设备号。 圆。模拟输入通道一 i 鲢! 湖1 、 结果路径。 阑， 指名摸拟输入的所有通遂设置溯量模式一 黝。 设定时间限制一 表2 1 采集部分主要v i 及端口 若n u m b e ro f b u f f e r st oa c q u i r e 为0 ，l a b v i e w 采集非指定数据缓冲，否则 l a b v i e w 只采集指定数的缓冲。此处设为1 ，即两路语音放在一个缓冲区中。数 箱9 页 土星盔堂亟主堂焦鲨塞适置登丝丕箕的送盐量塞翌 据保存部分根据单双声道的不同采用不同的方式，如图2 5 、图2 7 所示，此v i 使用了c a s e 结构来实现信号的存储。保存声音文件时根据立体声和单声道的不同 进行设置，如图2 5 、2 6 所示，其中都使用了s n d w r i t e w a v ef i l e ，v i 。 图2 4 设置及采集部分 巴三二竺型l：剧 ， ，t ”“”州。n ”一 趣嘲 1 j 。厨 一气茹耖眵 叫 魄i ； 一! b b i b - - - 一 # 剐争气 f 同固 l一。，。，。，。一 图2 5 采集数据保存部分( 立体声) 第1 0 页 土竖丕堂亟主堂焦丝塞 亟置丝些丞鱼盟丝盐皇塞狸 图2 6 采集数据保存部分( 单声道) 图2 7 双通道语音采集系统前面板 2 3 语音净化处理硬件平台 语音净化系统要通过微处理器对麦克风采集的语音信号进行处理，然后将处 理后的信号输出而且输出的延时要足够小。这一处理过程不仅算法复杂、计算量 第1 1 页 土星盔堂亟堂焦鲨塞造置塑垡圣堑盟丝过兰塞塑 大，而且还有实时性的要求。因此，本文选取以通用d s p 为核心的嵌入式系统作 为语音净化系统的硬件开发平台。 2 3 1t m $ 3 2 0 c 6 4 1 6 t e b 理论上讲课题研究人员应该从底层硬件开发d s p 嵌入式系统，但考虑到本课 题的研究重点在于语音净化算法及其在d s p 上的实现，嵌入式系统只是一种实现 算法的载体。因此为了保证硬件平台的稳定性和可靠性，同时节省硬件开发时间 而保证算法研究时间，本课题采用的是美国德州仪器公司( t i ) 开发的 t m s 3 2 0 c 6 4 1 6 t e b 评估板，如图2 8 所示。 幽2 8t m $ 3 2 0 c 6 4 1 6 t e b t m s 3 2 0 c 6 4 1 6 t e b 评估板是一款高性价比、灵活易用、性能稳定的独立开发 平台。它的核心是t i 的d s p 芯片t m s 3 2 0 c 6 4 1 6 ，另外它还提供了许多标准接口 和相应的外围设备，大大方便了开发人员的使用。 选择这款评估板的原因有以下几点： ( 1 ) 语音净化算法非常复杂，有很多向量运算和指针线性寻址，这些正是d s p 处理 器的长处所在。d s p 处理器针对信号处理的特点，对系统结构和指令进行了特 殊设计，适合于执行d s p 算法，编译效率较高，指令执行速度较快。从而为满 足实时性的要求打下坚实的基础。 ( 2 ) t m s 3 2 0 系列是嵌入式d s p 处理器比较有代表性的产品之一，得到了广泛的应 用。就运算速度而言，该d s p 在工作频率6 0 0 m h z 的情况下，峰值性能可达 4 8 0 0 m i p s 。 ( 3 ) 这款评估板有丰富的硬件资源。除了c 6 4 1 6 本身丰富的片内集成接口外，这款 第i 2 受 土盘丕堂亟堂鱼迨塞适童塑丝歪筮的丝过生塞丑 评估板还提供了相关的接口元件和存储器元件。评估板的主要资源有以下几个 部分。第一、具有丰富的内存资源，其中有1 6 m 的s d r a m 和4 m 的f l a s h 。 第二、有一个多路音频串口、一路内部集成总线和一个标准的音频c o d e c ，这 主要完成音频和声音信号的输入输出。本课题应用的就是这一接口部分。第三、 该系统具有一个标准的j t a g 接口。计算机通过仿真器可以连接到目标板的 j t a g 接口，它既是计算机下传程序的通道，又是程序调试和运行过程中数据 传输的通道。第四、该系统具有扩展予板接口。通过子板接口用户可以根据自 己的需要扩展该评估板的功能。 ( 4 ) 具有强大、灵活的软件开发环境。c o d e c o m p o s e r s t u d i o ( c c s ) 是t i 公司推出的 d s p 集成开发工具，集成了c 6 0 0 0 的代码生成工具、软件模拟器、实时内核 d s p b i o s 、主机与目标机之间的实时数据交换软件r t d x 和实时分析工具。 并且，t i 公司配合c 6 0 0 0 推出了世界上第一个效率可以达7 0 8 0 的汇编语 言级c 编译器，它产生的代码的平均效率是以往d s p s 编译器的3 倍以上。另 外，c 6 0 0 0 独有的汇编优化器可以使开发者采用线性汇编语言得到近似标准汇 编的性能，因而降低了开发难度。 ( 5 ) t i 公司为c 5 0 0 0 和c 6 0 0 0 量身定做了强大的实时操作内核d s p b i o s ，它提供 了很多的开发手段、规范的开发标准和强大的开发工具，使设计变得更加简单、 开发周期更加短，为我们开发嵌入式d s p 系统提供了很大的方便。 综上所述这些资源使得该评估板成为用途广泛的硬件平台。对本课题而言， 它提供了标准的音频接口和麦克风接口，不要求开发人员的底层开发，大大节省 了开发人员的开发时间，缩短了开发周期。另外，t i 公司不仅为音频接口提供了 驱动程序，而且提供了方便的程序调用接口；用户可以很方便的利用这些驱动程 序实现音频接口的操作和控制。 2 3 2t m s 3 2 0 c 6 4 1 6 处理器结构 t m s 3 2 0 c 6 4 1 6 旧是美图t i 公司最新t m s 3 2 0 c 6 4 x 系列d s p 的代表产品，它是 目前运算速度最快的定点d s p 芯片之一。其结构如图2 9 所示，具有以下功能和 特点： ( 1 ) 时钟频率为4 0 0 6 0 0 m h z ，是t m s 3 2 0 c 6 2 x d s p 芯片的几倍，进一步保证了系 统的运行速度和实时性，指令周期为2 、1 6 7 、1 3 9 n s 。 ( 2 ) 采用v e l o c i t i 先进的甚长指令字( v e r y l o n gi n s t r u c t i o n w o r d s ，v l i w s ) 结构内核。 该内核由8 个独立的功能单元组成，其中，有6 个3 2 4 0 位的a l u 和2 个 乘法器。在每个周期，每一个a u j 都可以支持单个3 2 b i t s 、两个1 6 b i t s 或4 个8 b i t s 的加法运算；每个乘法器可以支持4 个1 6 1 6 b i t s 或8 个8 8 b i t s 乘法运算。 第13 页 土童盔堂亟堂鱼鲨塞 重置逆些墨笪盥丝盐当塞塑 指令字长达2 5 6 b i t s ，在每一个时钟周期，能同时取8 条3 2 - b i t 的指令分别 传给8 个功能单元，同时执行这8 条指令，最大峰值速度为4 8 0 0 m i p s 。这些指令 之间是相互独立的，各自控制一个功能单元 6 4 个3 2 b i t s 的通用寄存器 指令打包技术，减少代码长度 所有指令都是条件执行的 图2 9t m s 3 2 0 c 6 4 1 6 结构框图 ( 3 ) 该处理器的c p u 采用改进的哈佛总线结构，d s p 能够同时取指和取操作数， 这种总线结构大大提高了程序的执行速度，有效地缓解了数据瓶颈对系统性能 的限制。 ( 4 ) 具有类似r i s c 的指令集。 支持b y t e 寻址，数据可以是8 一1 6 - 3 2 6 5 一b i t 8 - b i t 的溢出保护 支持位运算 ( 5 ) 内置高效协处理器。有v i t e r b i 编解码协处理器( v i t e r b id e c o d e rc o p r o c e s s o r , 第1 4 页 土星盔堂亟堂焦途塞适量塑些丞筮衄丝盐皇塞塑 v c p ) 和t u r b o 码编解码协处理器( t u r b od e c o d e rc o p r o c e s s o r ，t c p ) 。 ( 6 ) 片内采用两级存储器结构。第1 级( 1 6 k ) 存储器包括相互独立的程序c a c h e ( l i p ) 和数据c a c h e ( l 1 d ) ，只能作为高速缓存被c p u 访问。第2 级( 1 0 2 4 k ) 存储器( l 2 ) 是一个统一的程序数据空间，可以整体作为s r a m 映射到存储器空间，也可 以整体作为第2 级c a c h e ，或者作为二者按比例的一种组合。片内存储器的访 问是与处理器的运算速度相匹配的，因此访问速度快，缓解了d s p 数据瓶颈。 这使得它在数据密集型应用中有着特殊的优势。 f 7 12 个外部存储器接口：6 4b i t 的e m i f a 和1 6b i t 的e m i f b ，具有1 2 8 0 m b y t e 的外部可寻址空间。 ( 8 1 增强型存储器直接存储( e d m a ) 控制器，具有6 4 个独立通道。 ( 9 1 具有一个主机口( h p i ) 。 ( 10 1 具有3 2 b i t 3 3 m h zp c i 主从模式接口。 ( 1 1 ) 3 个多通道缓冲串口( m c b s p ) ，多达2 5 6 个通道。 ( 1 2 ) 支持i e e e 一1 1 4 9 1 ( j t a g ) 接口。 2 4 本章小结 本章首先对整个语音净化系统结构及工作流程进行了概括性的描述；然后针 对语音净化在实际应用中会遇到声源数不确定的特点，利用n ip x i 一4 4 7 2 及 l a b v i e w 设计了可调节多通道的语音采集；接着对语音净化处理算法的硬件开发环 境t m s 3 2 0 c 6 4 1 6 t e b 以及c 6 4 1 6d s p 芯片的功能和特点进行了概要的介绍。 第1 5 页 上塑丕堂亟堂鱼迨至亟置逢丝歪堑盟亟盐量塞塑 第三章语音净化算法研究 在上一章中，本文对语音净化系统的组成和应用进行了简要的描述，然而该 系统是否有效，在很大程度上决定于该系统采用的软件，尤其是算法，所以本章 着重研究语音净化系统使用的算法并进行仿真。本章在盲源分离的理论基础上提 出了语音净化处理算法，并将其作为各种语音应用系统输入语音信号的预处理。 本章研究的语音净化算法的创新之处在于：既不同于通常意义上的语音增强，因 为语音增强只能处理非语音噪声；也不同于盲源分离，因为盲源分离具有排序不 确定性，不能确定分离信号该如何取舍；而是两者相结合，并提出通过排序修正 准则改善盲源分离的排序不确定性，使之能够适用于语音净化。 3 1 语音降噪的研究现状及难点 针对噪声问题，3 0 多年来，国内外学者针对语音净化问题研究了各种语音增 强算法，如： ( 1 ) 噪声对消法【1 3 、1 4 】 噪声对消法的基本原理是在频域或时域中从含噪的语音中直接减去噪声。其最 大特点是需要采集背景噪声作为参考信号，参考信号准确与否直接决定着噪声对 消法的性能。 ( 2 ) 自适应梳状滤波、1 5 】 由于语音中的浊音具有明显的周期性，这种周期性反映到频域中则为一系列分 别对应基频( 基音) 及其谐波的一个个峰值分量，这些频率分量占据了语音的大部分 能量，利用这种周期性，可采用自适应梳状滤波器来提取基音及其谐波分量，抑 制其他周期性噪声和非周期的宽带噪声。由于语音是时变的，语音的基音周期也 是不断变化的，能否准确地估计出基音周期以及能否及时跟踪基音变化，是这种 基于谐波增强算法的关键。 ( 3 ) 幅度谱相减法6 、1 7 对含噪语音信号进行傅氏变换，在频域中从带噪语音的幅度谱上减去噪声的幅 度谱来作为语音信号的幅度谱。利用人耳对语音相位的不敏感性，语音相位谱则 近似用含噪语音的相位谱代替。 ( 4 ) 功率谱相减法 t 3 1 这种方法是从含噪语音功率谱中减去噪声的功率谱，从而得到语音信号的功率 谱，进而决定语音信号各频谱分量增益，最终得到语音信号的估计值。 第16 页 上生盔堂亟堂焦迨塞煎童遣丝丕丝盟遮过生塞独 ( 5 ) 维纳滤波法1 1 3 、1 8 】 维纳滤波法是为了提取语音信号的时域波形，在最小均方误差准则下得到的最 优估计器。实际应用中，多采用非因果维纳滤波器的频域实现形式。 ( 6 ) 语音参数模型法【1 9 、2 0 】 语音的发声过程可以建模为一个线性时变滤波器。对不同类型的语音采用不同 的激励源。例如对于浊音