（模式识别与智能系统专业论文）基于声信号处理的交通事故自动检测方法研究.pdf

摘要 摘要 交通事故伤害已成为对人类生命安全的严重威胁，建立一个快速、高效的 应急救援系统，推动我国交通事故应急救援模式的转变，具有重大的现实意 义。传统的交通事件检测的研究专注于宏观的道路交通流信息，对交通事故这 种微观现象的检测重视不够，交通事故检测的实时性和准确度并不理想。 本文研究基于声信号处理的交通事故自动检测方法。该算法运行在车载 d s p 系统中，通过采集并分析处理车辆周围的声音，实时监测车辆的运行状 态。检测出交通事故发生后，由d s p 系统控制向后台的救护系统发出报警信 号。 使用模式识别的方法对声信号进行分析处理，分为三个阶段：预处理、特 征提取和实时分类。分类器的参数由离线训练得到。首先使用h a a r 小波变换提 取声信号的频域特征，采用单类支持向量机进行异常点检测以实现分类判别， 该方法在克服线性判别局限性的同时保证了良好的泛化能力， 与常用的线性判 别分析方法相比准确率有了显着提高，而且计算复杂度低，易于实现。 设计了基于d s p 的交通事故自动检测系统。在d s p 中融合使用了多种判别 信息，保证了系统既能实时运行又具有较高的检测准确率。仿真平台和实际场 景下的实验结果表明该算法的判别性能达到了实用化的程度。 本课题得到国家“8 6 3 ”计划项目“一体化重大交通事故快速救援系统”的 支持。 关键词信号处理哈尔小波交通事故异常点检测单类支持向量机数字信号 处理器 a b s t r a c t a b s t r a c t t r a f f i ci n j u r i e sh a v eb e c o m eas e r i o u si s s u et ot h es a f e t yo fh u m a nl i v e s ，i t so f g r e a tp r a c t i c a ls i g n i f i c a n c et oe s t a b l i s ha ne m e r g e n c yr e s c u es y s t e mt h a ti s f a s ta n d e f f i c i e n t ，s oa st oc h a n g et h et r a d i t i o n a lr e s c u em o d e h o w e v e r , t h et r a d i t i o n a lt r a f f i c i n c i d e n td e t e c t i o na p p r o a c h e sf o c u s e so nm a c r o s c o p i ct r a f f i c f l o wi n f o r m a t i o n ， p a y i n gl i t t l ea t t e n t i o no nm i c r o s c o p i cp h e n o m e n al i k et r a f f i ca c c i d e n t ，r e s u l t i n g i n u n s a t i s f a c t o r ya c c u r a c yo fr e a l t i m et r a f f i ca c c i d e n td e t e c t i o n i nt h i sp a p e r ，a c o u s t i cs i g n a lp r o c e s s i n gb a s e da u t o m a t i cd e t e c t i o nm e t h o df o r t r a 衔ca c c i d e n ti ss t u d i e d t h ed e t e c t i o na l g o r i t h ml u l l so nt h ed s pb o a r d ，b y c o l l e c t i n ga n da n a l y z i n gt h es o u n da r o u n dt h ev e h i c l e ，a n dr e a l - t i m em o n i t o r i n gi s c a r r i e do u t w h e nat r a f f i ca c c i d e n ti sd e t e c t e d ，t h ea m b u l a n c es y s t e mf a ra w a yw i l l r e c e i v ea na l a r ms i g n a l ss e n tb yt h ed s ps y s t e m t h i sp a p e ru s e st h ep a t t e mr e c o g n i t i o nm e t h o dt oa n a l y s i st h ea c o u s t i cs i g n a l s c o l l e c t e d ，i n c l u d i n gt h r e em a i ns t a g e s ：p r e p r o c e s s i n g ，f e a t u r ee x t r a c t i o na n d r e a l _ t i m e c l a s s i f i c a t i o n c l a s s i f i e rp a r a m e t e r sa r eo b t a i n e db yo f f - l i n et r a i n i n gp r o c e s s t h eh a a r w a v e l e tt r a n s f o r i l li su s e dt oe x t r a c tf r e q u e n c yd o m a i ni n f o r m a t i o n ，w h i l et h eo u t l i n e r d e t e c t i o nm e t h o do n e c l a s ss u p p o r tv e c t o rm a c h i n ei su s e df o rc l a s s i f i c a t i o n t h u s ，i t o v e r c o m e st h el i m i t a t i o n so fl i n e a r d i s c r i m i n a t i o na n dm a i n t a i n sag o o d g e n e r a l i z a t i o na b i l i t y c o m p a r e dw i t h c o m m o nl d aa l g o r i t h m ，i th a sh i g h e r c l a s s i f i c a t i o na c c u r a c y t h ep r o p o s e da l g o r i t h ma l s oh a st h ea d v a n t a g e so fl o w e r c o m p l i c a t e dc o m p u t i n ga n de a s yt oi m p l e m e n t d s p b a s e dt r a f f i ca c c i d e n td e t e c t i o ns y s t e mi sd e s i g n e d i nt h ed s ps y s t e m ， v a r i e so fi d e n t i f i c a t i o ni n f o r m a t i o ni si n t e g r a t e di n t ot h ec l a s s i f i c a t i o na l g o r i t h m ， w h i c he n s u r e sb o t hr e a l t i m ee f f i c i e n c ya n da c c u r a t ep r o p e r t yo ft h ed e s i g n e d s y s t e m b o t hs i m u l a t i o np l a t f o r ma n dp r a c t i c a lo n s i t ee x p e r i m e n t a lr e s u l t si n d i c a t e t h a tt h i sa l g o r i t h ma c h i e v e ss a t i s f a c t o r yp e r f o r m a n c e ，o u t p e r f o r m i n gm o s to fc u r r e n t a p p r o a c h e s t h er e s u l t so fs i m u l a t i o ne x p e r i m e n ts h o w t h a tt h i sa l g o r i t h mc a nb eu s e d i nap r a c t i c a la c c i d e n td e t e c t i o ns y s t e m t h i si s s u ei ss u p p o r t e db yt h en a t i o n a l “8 6 3 ”p r o j e c t ，w i t ht h es p e c i f i e di s s u eo f “i n t e g r a t i o no fc r i t i c a lt r a f f i ca c c i d e n te m e r g e n c yr e s c u es y s t e m k e y w o r d s ：a u d i os i g n a lp r o c e s s i n g ，h a a r w a v e l e t ，t r a f f i ca c c i d e n t s ，o u t l i n e r u a b s t r a c t d e t e c t i o n ，o n e c l a s ss v m ，d s p i i i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰 写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了 明确的说明。 作者签名：瓤 签字日期：2 叫p 上斟 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入 中国学位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文 的内容相一致。 保密的学位论文在解密后也遵守此规定。 阻公开口保密( 年) 作者签名：裁五拿 答字醐：d 巫卜 签字日期： 拍f d ，弓f 第1 章绪论 第1 章绪论 交通伤害已曰益成为威胁人类生命安全的一种世界性公害。世界卫生组织 在一份报告中指出，目前全球每天大约有1 6 万人死于各种伤害，其中，道路 交通事故造成的伤害构成主体，其造成的死亡人数超过伤害总死亡人数的1 5 ， 远远高于战争造成的死亡人数( 约占伤害总死亡人数3 4 ) 。 为了解决交通问题，欧洲、美国、日本等发达国家都在大力发展智能交通 系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，i t s ) 。智能交通的概念在1 9 9 1 年由美国智 能交通学会( i t sa m e r i c a ) 提出，并在世界各国大力推广。其基本思想是从系统 的观点出发，力图利用现有宏观交通设施将道路和车辆综合起来考虑以解决交 通问题。智能交通系统是将先进的信息技术、数据通讯技术以及计算机技术等 有效地综合运用于整个交通管理体系和车辆而建立起来的一种大范围、全方位 发挥作用的、实时、准确、高效、先进的运输系统。智能交通系统的主要目的 是提高道路的通行能力、提升交通的安全性和快捷性，并在此基础上节约能源 等。 中国是世界上交通事故死亡人数最多的国家之一。从二十世纪八十年代末 中国交通事故年死亡人数首次超过五万人至今，中国( 未包括港澳台地区) 交通 事故死亡人数已经连续十余年居世界第一。我国还处在交通事故与车辆同时增 长的阶段。随着各种车辆和交通流量的不断增长，我国交通安全正处于事故高 峰前的爬坡时期。据公安部交通管理局通报，2 0 0 9 年，全国共发生道路交通事 故2 3 8 3 5 1 起，造成6 7 7 5 9 人死亡、2 7 5 1 2 5 人受伤，直接财产损失9 1 亿元。 其中，发生一次死亡1 0 人以上特大道路交通事故2 4 起，全国万车死亡率为 3 6 。以上数据说明我国的道路车辆行驶安全水平需要进一步的提高，亟需发展 智能交通技术。在这样的条件下，根据国务院国家突发公共事件总体应急预 案的精神，我国科技部于2 0 0 2 年正式启动了十五科技攻关计划重大项目：智 能交通系统关键技术开发和示范工程。 重大交通事故检测技术的研究，将有助于建立一个快速、高效的应急救援 第1 章绪论 系统，为交通事故中人类生命构建最后的屏障，具有重大现实意义和社会意 义。 1 1 国内外研究现状和论文工作意义 1 1 1 传统的交通事件检测技术 目前，我国正在积极开展i t s 的研究，期望实现高速公路管理的系统化、 信息化。根据美国加州大学伯克利分校的i t s 中心出版的专业杂志p a t h 中提 供的分类，道路交通流参数可分为：车辆计数、车型识别与事故检测等。交通 事件自动检i 贝w j ( a u t o m a t i ci n c i d e n td e t e c t i o n ，a i d ) 是智能交通的主要研究方向之 一，主要着眼于宏观的道路交通流信息，如道路流量、车辆占有率、车流密度 等，对于交通事故这种微观现象可以进行间接的检测。 根据交通流信息来源的不同，目前广泛研究的方法主要有以下几种：基于 地感线圈的a i d ；基于全球卫星定位系统( g l o b f lp o s i t i o n i n gs y s t e m ，g p s ) 信号的 a i d ；基于视频信号的a i d 。地感线圈依据磁场强度变化的原理检测车流信 息，当车辆通过时引起线圈磁场强度的变化，可以获得车速、流量等参数。通 过这些参数判别车辆的停驶、车流量减小等交通事件，从而间接的检测交通事 故。地感线圈在安装和维修时必须开挖路面，阻断交通，极为不便，且检测参 数有限。 g p s 利用多颗卫星的三角定位原理进行工作，能精确定位g p s 接收终端的 地理坐标。随着g p s 技术的进步，已经越来越多地应用到交通领域中。通过在 车辆上安装g p s 接收终端，监控中心能实时的获得车辆的位置信息，并根据不 同时刻的位置信息计算出车辆运动信息，从而实现交通事件的检测。 视频检测在交通监控中的应用越来越广泛。通过对视频图像进行背景建 模、运动目标提取和分类、运动目标的跟踪等，能够检测出车辆信息，包括车 辆形状、大小、行驶状况以及车流量等，最后通过模式匹配和状态估计的方法 分析车辆的行为。但由于视频检测容易受天气状况、物体遮挡、目标与环境颜 二 色相似等困难的影响，检测率不高，对车辆行为的分析只能针对较简单的情形 且准确率不高。基于视频的车流量检测技术相对成熟，因此目前基于视频的 a i d 技术仍然以车流量这一宏观信息进行间接检测。 2 第l 章绪论 可见，传统的a i d 技术依赖于交通流信息，交通流信息的获取途径多样但 准确率均不高，导致了a i d 检测率不高，并且有时间延迟。现阶段来说，一旦 发生交通事故，最为有效的方式仍然是由目击者拨打报警电话，然而这种方式 要求目击者在场并能主动的及时报警，对救护人员来说事发地点难以准确定 位，对报警信息的甄别也很困难。因此需要一种直接而自动的交通事故检测方 法。 1 1 2 基于声信号的交通事故检测技术 为了准确识别交通事故的发生，必须对微观的交通事故的机理和成因进行 分析，是替代交通事件检测算法的更可靠解决方案，从道路交通状态的间接检 测转变到车辆状态的直接检测，能有效提高交通事故检测的准确性和稳健性。 当车辆发生碰撞事故时，速度在短时间内变为0 ，利用车载g p s 系统可以方便 地检测出车辆速度和减速度，通过设定减速度变化的阈值，判断事故的发生。 视频图像处理技术是一种有效的方法，通过对视频内容的分析可以获取车辆的 运行状态，然而，由于需要密集的设置视频检测站并且计算复杂的原因，经济 上并不适用，同时，受气象因素的影响也是需要考虑的。 相对于传统的交通流信息的获取方式，声信号具有硬件实现简单、计算速 度快的优点。在重大交通事故发生时，车辆的运行状态发生变化的同时，伴有 剧烈碰撞的声音，碰撞声与正常行驶时产生的噪声存在较大的差别。因此可以 通过声音传感器实时采集并分析车辆周围的声音，以判别车辆的运行情况，一 旦判断出事故发生，及时向后台的救护系统发出报警信号。 h a r l o we ta l ( 2 0 0 1 ) 最早开始使用音频信号检测交通事故的发生，采用的是离 线学习的方式：采集音频信号并计算其m e l 频率倒谱系数作为特征训练出一个 神经网络作为分类器。y u n l o n gz h a n ge ta 1 ( 2 0 0 4 ) 在采用线性判别分析( l i n e a r d i s c r i m i n a t i o na n a l y s i s ，l d a ) 作为分类器的条件下对比了离散小波变换 ( d i s c r e t ew a v l e tt r a n s f o r m ，d w t ) ，离散傅里叶变换( d i s c r e t ef o u r i e r t r a n s f o r m ，d f t ) ，离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 以及m e l 倒谱 变换( m e lc e p s t r u mt r a n s f o r m ，m c t ) 等声信号特征提取方法，认为使用h a a r 基 函数的小波变换为最优。a n k u s he ta 1 ( 2 0 0 7 ) 将这种基于h a a r 小波的l d a 方法用 1 第1 章绪论 于交叉路口的交通管理系统，并指出对h a a r 小波特征做主成分分析( p r i n c i p a l c o m p o n e n t a n a l y s i s ，p c a ) 可能进一步提升判别性能。 国内关于交通事故自动检测的研究大都是放在交通事故检测的框架下，陈 强( 2 0 0 5 ) 采用简单的基于距离的方法，通过设定声信号的小波特征的容差范围 检测交通事故的发生。 把这种基于小波特征的线性判别算法在应用于实际中还存在很多困难，首 先在于算法的一些假设在自动声检测中不能得到满足： ( 1 ) 真实的碰撞声音难以收集，可以用分帧的办法增加样本数，但是同一 碰撞实例分帧得到的样本不再满足独立同分布条件； ( 2 ) 非碰撞种类众多，在监督学习框架下难以利用其信息； ( 3 ) 线性分类器过于简单，不能捕获特征空间的非线性结构。 其次，之前自动声检测算法的研究都处于理论层面，检测的结果是在实验环境 下取得的，到目前为止仍没有一个可以实际运行的系统。由于需要硬件实现 上，考虑到计算代价和计算误差的影响，获取信号的时频表示时的一些变换实 际上是不可行的。 因此需要一种能运行于实际系统，检测准确率高，误报较少的交通事故检 测算法。检测系统需要现实可行，实时而稳定。 1 2 本文的主要工作 本文的研究内容是设计一个自动声检测算法，并在自动声检测系统中加以 实现，主要完成了以下几方面的工作： ( 1 ) 数字音频信号处理研究 对音频信号特性的分析是模式识别系统的基础，本文深入研究了音频信号 的处理方法以及与本文相关的音乐分类检索技术、时间序列相似性查询、被动 声目标识别技术和语音识别技术。 ( 2 ) 分类算法设计 分析了现有算法的不足之处，提出一种新的基于单类支持向量机( o n ec l a s s s u p p o r tv e c t o rm a c h i n e ，o c s v m ) 的交通事故自动检测算法。使用h a a r 小波变 换提取信号的频域信息，采用o c s v m 进行异常点检测以实现判别，在o c 4 第1 章绪论 s v m 的高斯核函数中采用马氏距离代替欧式距离消除了特征高度相关的影响。 相对于l d a 方法，o c s v m 能实现非线性的判别，形式更加灵活而没有陷入 过拟合。 ( 3 ) 自动声检测系统总体设计和实现 给出了总体设计方案，在d s p 系统上实现了基于h a a r 小波的单类支持向量 机算法，并通过与其他判别信息融合，克服了准确率高与实时检测的两难。并 给出仿真平台和真实场景下的实验结果。 1 3 本文的结构安排 本文的结构和各章节内容安排如下： 第1 章简要介绍了自动声检测的国内外研究现状以及当前存在的问题，引 入本文的研究意义，并介绍了本文的主要研究工作和结构安排。 第2 章对音频信号的基础知识进行介绍，包括经常使用的时域、频域及 时频处理方法，最后给出与本文直接相关的音频分类技术的概述。 第3 章设计一种新的自动声检测算法。首先介绍了对信号的预处理工 作：分帧、归一化和去噪。然后对信号进行时频特性分析，提取其能量分布的 特征。最后在分类器设计阶段，实现了线性判别分析和支持向量机并做了理论 上的分析，指出其不适合自动声检测这一问题。提出一种新的异常点检测的思 路。并使用基于距离的方法和单类支持向量机进行实现。 第4 章设计了自动声检测算法的运行平台。首先介绍了在系统设计的流 程，然后给出系统的硬件组成，分模块加以介绍。由于系统计算能力存在限 制，在软件设计中结合了多种判别信息进行自动声检测，在保证实时性的同时 取得了良好的检测准确率。最后，分析了测试场景与真实场景的差异，给出了 实际场景下的实验结果并与m a t l a b 仿真平台上的实验结果做对照，证明本文 提出的基于h a a r 小波的单类支持向量机算法具有鲁棒性好的优点。 第5 章对本文研究工作的主要内容和创新点进行了总结，对未来的研究工 作方向进行了展望。 第2 章音频信号处理基础 第2 章音频信号处理基础 音频是一种重要的多媒体信息来源，首先需要经过采样和量化成为数字音 频以后才能够被计算机所接受和处理。音频的内容从整体上来看可以划分成三 个等级：最底层的物理样本级、中间层的声学特性级别和最高层的语义级。自 动声检测技术关心的音频信号在声学特性级别的区分。 音频特征是音频分类的基础，因此，音频特征的选择与提取是音频分类问 题的重点，所选取特征应能够充分表示音频的分类特性，并对环境中的背景噪 声有一定的鲁棒性。采用数字信号处理技术提取音频信号的特性，通常可以分 为时域分析、频域分析及时频特性分析三种，其中时域分析方法主要针对音频 信号的波形，频域分析的方法主要是涉及某种形式的音频频谱表示，时频分析 则结合时间域和频率域对音频进行表示和分析。三者从不同角度对音频信号进 行描述。 根据音频信号的短时平稳特性，可以以固定长度的音频帧为单位，计算得 到帧的各项属性以表征信号，即为音频的特征。音频特征提取有两种不同的思 路，一种是从叠加音频帧中提取特征，其出发点是可认为音频信号特征的提取 与表达为短时平稳，短时提取的特征比较稳定。第二种方法是从音频片段中进 行提取，这是因为任何语义都存在时间延续性，时间刻度越长则提取音频的特 征越能更好的反映音频片段所蕴涵的语义信息。 2 1 声学基础 声音是通过物体振动产生的声波。是通过介质( 空气或固体、液体) 传播 并能被人或动物听觉器官感知的波动现象。声音产生于物体的振动，没有振动 就没有声音，演奏乐器、拍打门或者敲击桌面时，它们的振动会引起传播介 质空气分子有节奏的振动，使周围的空气产生疏密变化，形成疏密相间的 纵波，这就产生了声波，这种现象会一直延续到振动消失为止，因此声音是一 种压力波。声音产生于振动，但不是所有的振动产生的声音都能听见，因为人 耳能听到的声音频率范围为2 0 h z 2 0 0 0 0 h z ，低于2 0 h z 的声波为次声波，高 于2 0 0 0 0 h z 的声波为超声波。振动发声的物体称为“声源”，实际声源的形状 6 第2 章音频信号处理基础 是多种多样的，例如人的声带，扬声器的纸盆，各种机器等，要想从数学上严 格求解这些形状不规则的具体声源产生的声场是十分困难的，因此在理论上处 理时往往将它们理想化，即在一定条件下把它们近似的视为平面波、球面波和 柱面波等的声源。 声波具有以下性质： ( 1 ) 波长 由于声音信号是一种压力波，它每振动一个周期，从波峰到波峰或从波谷 到波谷为一个波长，通常记为入，单位为米( m ) 。周期的倒数称为频率，记为 f ，单位为赫兹( h z ) 。 ( 2 ) 声速 声速指声波在介质中的传播速度，不同的介质中，声波的传播速度具有很 大的差别，而且介质的温度对传播速度也有一定的影响。 ( 3 ) 声压 当声波传播时，介质各部分产生压缩与膨胀的周期性变化，压缩时压强增 加，而膨胀时压强减小，变化部分的压强与静压强的差值称为声压。 ( 4 ) 声场 存在声压的空间称为声场，声场中某一瞬时的声压值称为瞬时声压。在一 定时间间隔中最大的瞬时声压值称为峰值声压或巅值声压。在一定时间间隔 中，瞬时声压对时间取平方根值称为有效声压。 ( 5 ) 声强 在某点按指定方向测定的声强是该点上在单位时间内通过与指定方向垂直 的单位面积的声能的平均值。声强与声压有密切的关系。在自由场中，对于球 面波或平面波，某处的声强均与该处的声压的平方成正比。 信道是声源端到声音接收端之间传输介质的总称，声波在空气中传播的信 道是随机的，不易分析，一般认为有反射、绕射和散射三种方式，当声波入射 到一个尺寸远大于声音波长的物体时会发生反射，若声源与接收端之间的声波 被一个具有明显不规则表面的物体阻挡时则会发生绕射，当声波入射到粗糙表 面时，由于散射的作用，被反射的能量被扩展到所有方向。 声波在空气中传播时，除了球面波发散引起的声音衰减以及由于声波的反 7 第2 章音频信号处理基础 射、绕射和散射引起的损失，还存在环境和其他因素引起的衰减如风、温度和 湿度等。 2 2 时域特性 在信号处理技术中，所谓时域分析指将信号在时间范畴内进行处理，与此 对应的还有频域分析和时频分析。声音信号首先是一个时间序列，进行语音分 析时，最直观的就是它的时域波形。时域分析直观明了，计算简单而且运算量 小。 音频信号是不平稳随机过程，相隔很短的时间，音频信号特征可能会发生 很明显的剧烈变化，因此可以将音频信号分为一些相继的短段信号进行处理， 这就是短时处理技术，根据在研究域上的不同区分为短时时域处理技术和短时 频域处理技术。短时时域处理技术主要是计算音频的短时能量，短时平均幅 度，短时平均过零率和短时自相关函数，这些计算都是以音频信号的时间波形 为基础的。由于短时时域处理直观简单，在实际中得到了广泛应用。 模拟信号在时间上连续，无法被计算机处理，因此在时域分析前首先将模 拟信号转化为数字信号，即模数转换( a n a l o gt od i g i t a lc o n v e r s i o n ) 过程，其中 包括两个步骤：采样( s a m p l i n g ) 和量化( q u a n t i z a t i o n ) 。采样是把时间连续的 信号变成时间上不连续的信号序列，即数字化。采样频率指每秒钟采集信号的 次数，采样频率越高则失真越小。使用计算机处理采样信号之前，还需要量 化，即数字化采样信号信号的幅值，量化过程中，不可避免的会引入误差，量 化后信号与原始信号之差称为量化噪声，是一个平稳的白噪声，在量化区间内 服从均匀分布，与原始信号序列不相关。采样精度决定到声音的动态范围，如 8 位量化可以将声波分为2 5 6 级，而1 6 位量化可以分为6 5 5 3 6 级，因此声音 的保真度更高。 为消除采样量化后序列数据中的直流分量，需进行零均值变换。信号的均 值相当于直流分量，而直流信号的傅立叶变换是在w = 0 处的冲击函数，如果 不去除均值，在估计其功率谱时，w = 0 以及左右的频谱将不准确。 2 2 1 短时能量和短时平均幅度 音量代表声音的能量，对能量的分析主要集中在短时能量和短时平均幅度 8 第2 章音频信目女理摹m 上。对段声信号x ( m ) ，短时能量( s h o nt i m ea v e r a g ee n e r g y ) 定义为： e = i x ( m ) + w ( ”一m ) j 2 = l x c m ) + w ( n 一) 2 ( 2 一1 ) 其中，w ( ”) 是窗函数，n 是窗长。窗函数类型和长度的选择将直接决定短时能 量的性质，一般情况下，町选择哈明窗或矩形宙。 由于计算时对声信号取平方运算，因此短时能量对高电平信号很敏感。能 量的另一种度量方法短时平均幅度的定义为： 峨= lz ( m ) + w ( n - m ) = ix ( m ) l + w ( n m ) ( 2 2 ) 图21 为计算一段音频信号短时能量的结果： o。51152 2 5 33 5 x 对 ，5 1 1 3 4 ”“2 。，i|1l1 强障紧如划 图2 1 短时能量图 2 2 2 短时平均过零率 过零指时域波形穿过坐标轴，表现在离散信号序列上就是相邻两个采样值 异号。声音信号序列x ( n ) 的短时平均过零率( z e r oc r o s s i n gr a t e ，z c r ) 乙定义为 单位时间内的通过零线的次数： 巴 乙= is g n x ( n ) l s g n x ( n 1 ) j + w ( n 一小) ( 2 - 3 ) 其中，s g n x 】是取符号函数，它和窗函数w ( n ) 的定义如下： 缸20 ) “ 0 、 2 音频信 * 摹础 w ( h ) ：j 1 ( o - n 5 n - 1 ( 2 - 5 ) 0 t h e r w i s e ) 图22 显示了一段音频信号的短时过零率计算结果： ：幽 扩奇上燎趟鹄 图2 2 短时过零率图 噪声对过零率有很大的影响，若随机噪声反复穿过坐标横轴，则会产生 “虚假”过零现象为了提高过零率计算的鲁棒性可以对原始信号进行带通 滤波，另一种有效的方法是将过零定义为穿越预设的门限。 短时平均过零率可以在一定程度上反映频率的高低，通常用于端点检测， 如在语音识别中用于计算清音的开始及结束位置。另外，由于大多数音乐信号 集中在低频部分，其z c r 不表现出突然升高或坠落的特性所以有时也用z c r 来区分语音和音乐信号。 2 2 3 短时自相关函数 短时自相关函数是在信号的第n 个样本点附近用短时窗截取一段信号，做 自相关计算所得的结果，即 r ( 女) = z ) + w 枷一坍) 4x ( m + 女) + w 0 一( 卅+ t ) ) 。+ nk l 一” ( 2 6 ) 2 t ) + x ( m + t ) 短时自相关函数的一个根确用的性质若原信号x f 曲是周期信号，周期为 t t 则其短时自相关函数母( ) 也是周期信号，周期也是t 。 第2 章音频信号处理基础 2 2 4 线性预测系数 线性预n 9 ( l i n e a rp r e d i c t i o nc o e f f i c i e n t ，l p c ) 是6 0 年代末发展起来的一种 高效的语音信号处理技术。其基本思想是：对音频信号的各个取样值，可以用 它过去的若干个取样值的线性组合来表示。预测误差定义为真实取样值与预测 值之差。如果利用过去p 个取样值来进行预测，称为p 阶线性预测。在数字信 号处理中，线性预测经常称为线性预测编码( l p c ) ，因此也可以看作是数字 滤波器的一部分。在系统分析中，线性预测可以看作是数学建模或者最优化的 一部分。 p 预测的信号值圣o ) = 一a , x ( n - i ) x ( n 一力是前面观测到的值，a i 是预测系 数。预测产生的误差e ( n ) = x ( 玎) 一曼( 玎) ，x ( n ) 是信号的真正值。 在参数a ，优化中最常见的选择是均方根准则，也称为自相关准则。在这种 方法中减小了最小均方误差的期望值，可以通过解y u l e w a l k e r 方程得到。 一种更快的算法是n o r m a nl e v i n s o n 在1 9 4 7 年提出的l e v i n s o n 递归法， 它递归地计算方程的解。后来d e l s a r t ee ta 1 提出了一种称为s p l i tl e v i n s o n r e c u r s i o n 的改进方法，它仅需要一半的乘除计算量，它在随后的递归层面上使 用了参数矢量的特殊对称特性。 实际运用中，不是希望用l p c 预测采样点的值，而是对音频帧建立一个线 性预测模型，该模型的p 个系数构成短时音频帧的特征。 线性模型虽然是对非线性情况的近似，然而由于计算复杂度低、稳定性 好，仍得到了广泛应用。 2 3 频率特性 根据音频理论，音频信号由不同时刻、不同频率及不同能量幅度的声波组 成，人之所以能够感受到音频信号，是因为人耳作为滤波器在不同时刻感受到 不同频带上不同能量的结果。由于采样点的幅值只代表局部信息，音频信号的 其余信息则需要做频域分析才能得到。傅立叶分析寻找在音频信号持续时间内 能量较高的频率成分即谐波，用具有不同频率和幅度的谐波刻画和构造出音频 信号。 2 3 1 傅里叶变换 傅里叶变换在物理学、声学、光学、结构动力学、数论、组合数学、概率 第2 章音频信号处理基础 论、统计学、信号处理、密码学、海洋学、通讯等领域都有着广泛的应用。在 信号处理中，傅里叶变换的典型用途是将信号分解成幅值分量和频率分量。设 一维信号分别为：厂( f ) ，t ( 一o o ，+ o 。) ，其f o u r i e r 变换后的频率信号f ( w ) 为： ，( w ) = f = f ( t ) e 一少7 d t ( 2 - 7 ) 离散傅里叶变换是傅里叶变换在时域和频域上都呈离散的形式，对n 点序列 x 】) ，其离散傅里叶变换为： m 】：n - ie f 生n “札以】k = o ，l ，n 。l 。( 2 - 8 ) 在实际应用中通常采用快速傅里叶变换计算d f t 。 2 3 2m e l 频率倒谱系数 m e l 倒谱系数( m e l f r e q u e n c yc e p s t r a lc o e f f i c i e n t s ，m f c c ) 模拟了人耳的听觉 特性，在有信道噪声和频谱失真的情况下具有较好的稳健性，在语音识别实际 应用中得到较多运用。 m f c c 的典型提取过程为：对帧内信号进行预加重以提升高频分量，然后 做加窗处理，常用的窗函数有汉明窗、矩形窗等。对处理后的采样信号进行快 速傅里叶变换，得到音频帧在每个频率上的大小。为了表达人耳的感知特性， 需要把一般频率上的能量映像到更加符合人类听觉的m e l 频谱上，通过一组三 角滤波器实现，它们在m e l 频谱上是等间隔的。每个滤波器的输出就是该频率 段上的能量系数，称为予带能量。为了更加有效的表示，还需要对能量系数取 对数，并进行离散余弦变换，最后得到的系数就是m f c c 特征。 2 4 时频特性 在现实生活中，某些信号具有很强的时变性，对于这些时变剧烈的音频信 号，仅仅在频谱空间上面进行的傅里叶分析有一定的局限性。这就需要对信号 进行时频分析。鉴于傅里叶变换不含时空定位信息，d e n n i sg a b o r 于1 9 4 6 年 提出短时傅里叶变换，可用于时频分析，但窗口大小是固定的。1 9 8 4 年，j e a n m o r l e t 和a g r o s s m a n 又提出了具有可变窗口的自适应时频分析方法：小波变 换。由于其多分辨率下的时频分析，已经在图像处理和语音分析等众多领域得 到了广泛的应用。 1 2 第2 章音频信号处理基础 2 4 1 短时傅里叶变换 短时傅里叶变换( s h o r tt i m ef o u r i e rt r a n s f o r m ，s t f t ) 通过将信号截断来表征 信号的时变频谱现象。在连续时间的例子，一个函数可以先乘上仅在一段时间 不为零的窗函数( w i n d o w 如n c t i o n ) 再进行一维的傅里叶变换，w ( t ) 是窗函数。 s t f t x ( t ) = x ( r ，w ) = 广x ( t ) w ( t r ) e 叫d t ( 2 9 ) 沿时间轴滑动窗口可得到整个时间轴上的频率分布，这样获得了比较好的时频 定位特性。 离散情况下： s t f t x n = 彳( 聊，w ) = x n w n - m l e j w n ( 2 10 ) 在短时傅里叶变换的基础上，可以得到短时功率谱。短时功率谱实际上是短时 傅里叶变换幅度的平方，它是信号x ( n ) 的短时自相关函数的傅里叶变换。 当我们分析频率较高部分信号时应该用更窄的窗，反之用宽窗，但s t f t 一旦选定窗过后，分辨率就固定了，若要其他分辨率则需要更换窗。使得时频 分析的计算量一直很大，对一个时变的非平稳的时变信号来说并不是一个合适 的分析方法。同时窗函数对信号也存在干扰。 2 4 2 小波变换 1 9 0 9 年a l f r e dh a a r 对在函数空间中寻找一个与傅里叶类似的基时发现了 小波，即现在所称的哈尔小波( n a a rw a v e l e t s ) ，但是一直没有得到学术界的重 视。上世纪7 0 年代，j e a nm o r l e t 提出了小波变换w t ( w a v e l e tt r a n s f o r m ) 的概 念。m e y e r 于1 9 8 6 年创造性地构造出具有一定衰减性的光滑函数，他用缩放 ( d i l a t i o n s ) 与平移( t r a n s l a t i o n s ) 均为2 7 ( j 0 的整数) 的倍数构造了l 2 ( r ) 空间的 规范正交基，使小波得到真正的发展。1 9 8 8 年，法国科学家s t e p h a n em a l l a t 提 出了小波变换的主要算法。他在构造正交小波基的时侯，提出了多分辨率的概 念，从空间上形象地说明了小波的多分辨率的特性，并提出了正交小波的构造 方法和快速算法：m m l m 算法。 小波( w a v e l e t ) 指的是小区域、长度有限、均值为0 的波形。与f o u r i e r 变换 相比，小波变换是时间( 空间) 频率的局部化分析，它通过伸缩平移运算对信号 函数逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自 动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了f o u r i e r 变 第2 章音频信号处理基础 换的困难问题，成为继f o u r i e r 变换以来在科学方法上的重大突破。小波分析是 一种常用的时频分析方法，具有多分辨分析功能，被誉为数学显微镜。 若r ( r ) 表示平方可积的函数空间，对于函数吵( ，) r ( 尺) ，若满足 上g ( t ) d t = 0 ，则称沙( f ) 为小波函数。可以引入参数口，b 对妙( r ) 进行伸缩和平 移得到函数曲( f ) 满足公式 少曲( f ) = 坨弘t ( a t 一6 ) ( 2 11 ) 则沙曲( f ) 即伸缩因子为a ，平移因子为b 的小波函数，可以用它来对信号( r ) 进 行小波变换： ( 口，6 ) = 上f ( t ) g a b ( t ) d t ( 2 - 1 2 ) 小波变换通过平移母小波( m o t h e rw a v e l e t ) 口- - j 获得信号的时间信息，而通过 缩放小波的宽度( 或者叫做尺度) 可获得信号的频率特性。连续小波变换过程如 图2 3 所示。 i 畦， 图2 3 连续小波变换 连续小波变换的具体步骤如下： ( 1 ) 将小波沙( f ) 和原始信号f ( t ) 的开始部分进行比较。 ( 2 ) 计算系数c ：该系数表示该部分信号与小波的近似程度，系数c 的值越 1 4 第2 章音频信号处理基础 大表明信号与小波越相似。 ( 3 ) 把小波向右移，距离为k ，得到新的小波函数o 一七) ，然后重复步骤1 和2 。继续把小波向右移，得到小波沙0 2 k ) ，重复步骤1 和2 。按上述步骤一直 进行下去，直到信号f ( t ) 结束。 ( 4 ) 扩展小波y ( f ) ，例如扩展一倍，得到小波函数为少o 2 ) 。 ( 5 ) 重复步骤( 1 ) 一( 4 ) 。 小波的缩放因子越小，表示小波越窄，度量的是信号的细节，表示频率w 较高：相反，缩放因子越大，表示小波越宽，度量信号的粗糙程度，表示频率 w 比较低。缩放因子和平移参数都选择2 。0 为大于0 的整数) 时的小波变换又称 做双尺度小波变换( d y a d i cw a v e l e tt r a n s f o r m ) ，是离散小波变换( d i s c r e t ew a v e l e t t r a n s f o r m ，d w t ) 的一种形式。一般来说，离散小波变换通常