（信号与信息处理专业论文）基于hrtf的虚拟声源定位系统研究以及arm平台实现.pdf

捕蔓 摘要 人类的听觉系统是非常复杂和精细的人耳可以根据双耳声声音，准确的辨别声源方位，即人 耳具有辨别方位的能力人们进行了很多研究工作，期望能揭开人耳定位的机理 双工理论认为，耳问时问差和耳阃强度差是人耳定位的主要依赖线索，然而它无法解决三维空 问的声音定位问题。双工理论没有考虑到耳廓对声波的反射作用，人们意识到耳廓对声音的定位起 着重要作用，提出了声源定位的耳廓效应。实际上，到达人耳的声信号受到人的外耳、肩部以及躯 干的滤波作用，这些声学滤波器效果目前统一的用与头相关传递函数h r t f ( h e a d - r e l a t e dt r a n s f e r f u n c t i o n ) 表示，用于解释人耳对声信号的定位问题 本文基于h r t f ，实现了虚拟声源定位系统，主要工作包括z ( 1 ) 职r f 的测试：要进行虚拟听觉的研究，建立一套完整的i m t f 数据库是必需的。本文基于 最大长度序列- 5 ( m a x i m u m l e n g t h s q u e n c e s ) 、( o l a y 码，时域扩展脉冲t s p ( t i m e - s t r e t c h e d p u l s e ) 信号、白噪声和单脉冲对h r t f 数据以及双耳房间脉冲响应进行测量，同时比较了不同测量方法的优 劣； ( 2 ) 勰t f 的插值：臁t f 的插值可以解决测试的数据库方位分辨率不够高的问题，进行实时插 值还可以节省存储空间文中首先介绍了经典的线性插值和p c a 插值；针对双线性插值要求方位角 和仰角间隔都是固定的限制，提出t - 元线性插值算法；针对现有的频域插值算法运算量大，时域 插值精度不高的问题，提出了基于最小相位重构的h r t f 时域插值算法，插值精度高，计算开销小， 适合实时处理； ( 3 ) 基于腿t f 的虚拟声源定位系统在a r m 上的实现：给出了系统的实现方案，在硬件方面详 细分析了系统接口，在软件方面给出了驱动程序和应用程序的设计步骤，并对程序设计和算法的有 关细节给予了详细分析 关键词t 与头相关联的传递函数，耳间时间差，最大长度序列，g o l a y 码，最小相位重构，主元分 析，插值，a r m ，嵌入式l i n u x 操作系统 a b s t r a c t t h eh u m a na u d i t o r ys y s t e mi sv e r yc o m p l e xa n ds u b t l e b a s e do nt h eb i n a u r a ls o u n df r o mt w oe a r s ， h u m a nc s nd i s t i n g u i s ht h ep o s i t i o no fs o u n ds o u r c ew i t he x t r e m e l yp r e c i s e n e s s m u c hr e s e a r c hw o r kh a s b e e nc l o n et oe x p l o r et h eh u m a nh e a r i n gm e c h a n i s mr e c e n ty e a r s d u p l e xt h e o r yb e l i e v e st h a tt h ep e r c e p t i o no f s o u n dl o c a l i z a t i o nm o s t l yd e p e n d so ni t da n dl i d ，b m i t 啪n o te x p l a i ns o u n dl o c a l i z a t i o ni s s u e si nt h r e e - d i m e n s i o n d u p l e xt h e o r yd o e s n tt a k et h er e f l e c t i o no f s o u n dw a v e 5b yt h ep i n n ai n t oa c c o t m t a c t u a l l y , t h es o u n ds i g n a l st oc a r sa t ea c o u s t i c a l l yf i l t e r e db yt h e p i n n a , b e a da n dt o r s oo ft h el i s t e n e r t h ef i l t e r i n gc a nb ed e s c r i b e db yah e a d - r e l a t e dt r a n s f e rf u n c t i o n ( h r t f ) b a s e do nt h eh r t f , t h i sp a p e rr e a l i z e st h ev i r t u a ls o u n dl o c a l i z a t i o ns y s t e m t h em a i nc o n t e n to f t h e w o r ki n c l u d e s ： ( 1 ) h r t fm e a s u r e m e n t ：i t sn e c e s s a r yt oe s t a b l i s ht h eh r t fd a ) a b a s ef o rt h er e s e a r c ho fv i r t u a l a u d i t o r ys p a c e b a s e do nm l s ，g o l a yc o d e ，t s p , w h i t en o i s e 。s i n g l ei m p u l s e ，t h ep a p e rm e s s u l et h eh r t f a n db i n a u r a lr o o n li m p u l s e 旭s p 沁a l s ot h ep a p e rc o m p a r e st h ep e r f o r m a n c eo fd i f f e r e n tm e a s u r e m e n t m e t h o d ( 2 ) h r t fi n t e r p o l a t i o n ：r e s o l u t i o no fh r i rd a t a b a s ec 锄b ei m p r o v e db yi n t e r p o l a t i o n , a n ds t o r a g e s p a c ec a l lb er e d u c e di fr e a l - t i m ei n t e r p o l a t i o ni si m p l e m e n t e d f i r s t l y , t h ep a p e ri n t r o d u c e st h ec l a s s i c a l 1 i n e a ri n t e r p o l a t i o na n dp c ai n t e r p o l a t i o nm e t h o d s s i n c eb i l i n e a ri n t e ) p o l a t i o nm e t h o dr e q u i r e st h ef i x e d i n t e r v a l so fa z i m u t ha n de l e v a t i o n , t h ep a p e rp r o p o s e sd u a ll i n e a ri n t e r p o l a t i o na l g o r i t h m t or e d u c et h e h i g hc o m p u t a t i o nr e q u i r e m e n to ff r e q u e n c yd o m a i ni n t e r p o l a t i o na l g o r i t h ma n dp r e c i s i o nc o n s u a i t 憾o f t i m ed o m a i ni n t e r p o l a t i o na l g o r i t h m , t h ep a p e ra l s od e d u c ean e 、vi n t e r p o l a t i o nm e t h o di nt i m ed o m a i n b a s e do nt l l em l n i m u mp h a s er e c o n s t r u c t i o n t h ei n t e r p o l a t i o nm e t h o di s v e r ys u i t a b l ef o r r e a l - t i m e p r o c e s s i n gw i t hh i g hi n t e r p o l a t i o np r e c i s i o na n dl o wc o m p u t a t i o n c o s t ( 3 ) i m p l e m e n t a t i o no fv i r t u a ls o u n di o c a l i z a t i o ds y s t e mo na r mp l a t f o r m ：t h ep a p e rg i v e st h e s t r u c t u r ea n dp r o c e d u r e so fv i r t u a ls o u n dl o c a l i z a t i o ns y s t e m t h e n ，b a s e d0 na r m p l a t f o r m , t h ep a p e r a n a l y z e ss y s t e mi n t e r f a c ea n dg i v e sd r i v e rd e s i g n k e yw o r d s ：h e a d r e l a t e dt r a n s f e rf u n c t i o n , t h ei n t e r a n r a lt i m ed i f f e r e n c e , t h em a x i m u ml e n g t hs e q u e n c e s ， g o l a yc o d e ，m i n i m u m p h a s er e c o n s t r u c t i o n , p r i n c i p a lc o m p o n e n ta n a l y s i s ，i n t e r p o l a t i o n , a r m ，e m b e d d e d l i n u xo p e r a t i n gs y s t e m 1 1 1 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名：拯毯日 期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：杰殛燮导师签幺臻物 名：c 渺” 第1 章绪论 第1 章绪论 声音在人类生活中具有重要意义，人们就是靠声音传递语言、交流思想的。人耳具有辨别方向 的能力，现实生活中我们可以容易的根据听到的声音确定声源的位置。声音可以由声波传到人的两 耳时所具有的强度差( 声级差) ，时间差( 相位差) ，音色差等信息来区别。这些差别作用到人的中 枢神经系统，使中枢神经系统对声音传来的方向做出心理判断，这就是我们所说的“听觉定位” 本章主要简单的介绍虚拟听觉空问的基本原理，给出了h r t f 的概念并分析了h r t f 包含的方 位信息，最后介绍了虚拟声源定位的研究方向和应用。 1 1 虚拟声源定位理论简介1 1 l 1 2 1 1 1 虚拟听觉空间( v i r t u a la u d i t o r ys p a c e ) 的概念 虚拟现实技术是通过头盔式的三维立体显示器。数据手套，立体声耳机等作用于用户，对用户 的控制行为做出动态的响应。可以使人产生身临其境的近乎完美的感觉。虚拟现实技术需要综合运 用三维图形生成技术、多传感交互技术、多媒体技术、人工智能技术和人机接口技术等一系列高新 技术 虚拟听觉空间是虚拟现实技术的重要组成部分，它将不包含环境信息的声信号进行处理，使得 处理过的声音能够再现声场的空间尺寸、空间开阔程度和声源所处方位等空间信息，将该声信号通 过耳机播放使得聆听者可以通过听到的声音得到声源的空间印象。虚拟声源定位和虚拟环绕声是虚 拟听觉空间的两个研究方向，本文重点研究虚拟声源定位方面的理论和实践。许多学科的研究者致 力于虚拟听觉空间的理论探讨和工程实现，使得这门技术迅速发展，并在军事、3 d 游戏、计算机和 家用电器的音效处理中得到广泛的应用。 1 1 2 哈斯效应( h a a se f f e c t ) 哈斯的实验证明：两个声源同时分布在水平面，如果一个声源与另一个声源的延时量不同，双 耳听音的感受是不同的，可以分成以下三种情况来说明： ( 1 ) 两个声源中一个声源与另一个声源的延时量在5 3 5 m s 以内时，就好像两个声源合二为一， 听音者只能感觉到超前一个声源的存在和方向，感觉不到另一个声源的存在。 ( 2 ) 若一个声源延时另一个声源3 0 5 0 m s ，已能感觉到两个声源的存在，但方向仍由前导所 定。 ( 3 ) 若一个声源延时量大于另一个声源为5 0 m s 时，则能感觉到两个声源的同时存在，方向由 各个声源来确定，滞后声为清晰的回声。 在有混响的房间，根据哈斯效应，定向只是依赖于最先到达两耳声音的时间差。这在一定程度 上揭示了时间差这个线索在入耳定位中所起的重要作用。 1 1 3 德波埃效应( d e b e i a ie f f e c t ) 德波埃的实验是：放置左、右声道两只音箱。听音者在两只音箱对称线上听音，给两只音箱馈 入不同的信号，可以得到以下几个定论： 东南大学硕士学位论文 ( 1 ) 如果给两只音箱馈入相同的信号，即强度级差a l = 0 ，时闯差a t = o ，此时只感觉到一 个声音，且来自两只音箱的对称线上 ( 2 ) 如果两只音箱的强度级差a l 不为0 ，此时听音感觉声音偏向较响的一只音箱如果强度 级差a 大于等于1 5 d b ，此时感觉声音完全来自较响的那一只音箱 ( 3 ) 如果强度级差a = 0 ，但两只音箱的时问差a 7 不为0 ，此时感觉声音向先到达的那只 音箱方向移动。如果时间差a t 大于等于3m s 时，感觉声音完全来自先到达的那只音箱方向 德波埃效应是立体声定位系统的另一基础，它描述了人耳同时听到数个声源时方向感的有限性， 这指出了声级差在语音定位中的作用 1 1 4 劳氏效应( l l o y d se f f e c t ) 劳氏效应是一种立体声范围的心理声学效应。劳氏效应揭示：如果将延迟后的信号同向叠加在 直达信号上，通过耳机重放时其放声效果与单通路耳机放声没有区别。如果将延迟后的信号再反相 叠加在直达信号上，会产生一种明显的空间感，声音好像来自四面八方，听音者仿佛置身于乐队之 中。这种现象可以解释为若第二个信号有延迟并以1 8 0 度相位差到达双耳，意味着对不同的频率有 不同的时间延迟，由此对不同的频率有不同的入射方向，从而得到赝立体声的主观印象。劳氏效应 从心理学角度揭示了环绕声的产生机理为以后的虚拟环绕声的发展奠定了基础。 1 1 5 双耳效应( b i n a u r a le f f e c t ) 耳朵能够准确地感受空气中因声波的传递而带来微小压力的变化。如果声音来自听音者的正前 方此时由于声源到左、右耳的距离相等，从而次声波到达左、右耳无时间差，此时感受出声音来 自昕音者的正前方。如果声音来自听音者的某一侧，声源到左、右耳的距离不相等，听音者感受到 声音的强弱不同时，可知道声源与听音者之间的方向和距离。这说明双耳的时间差效应和声强差效 应是人耳辨别声源方位最重的依据，这就是所谓的“双耳效应”9 。 一般认为，在中、低频t f 1 4 m 时，和h 。基本上与 r 无关) ，并且与头部等效尺寸口以及头和耳廓的形状有关。 以下讨论h r i r 的一些细节特征，主要有： 一耳问时间差( i t d ) ：图1 2 给出了水平面方位角9 0 度左右耳h r i r 及它们的频谱的差异，由 于声源靠近右耳，可以看出左耳的h r i r 比右耳的h r i r 有明显的时间延迟，体现耳问时间差。 3 一一 东南大学硕士学位论文 耳闻强度差( 1 i d ) ：腻图1 2 可以看出左耳h r i r 比右耳的h r i r 幅度要强一些。体现耳闻强 度差。 - h r t f 会出现明显的峰值点和谷值点，曾经认为峰点频率i ，j 、谷点频率 6 1 对前后定位起关键作 用，且谷点频率是进行定位的主要依据。但是这种解释对于人耳的空间方位辨别而言似乎过于 简单了。m a c p h c r s o n “ s l ( 1 9 9 4 ，1 9 9 7 ) 通过应用不规则的宽带信号作为激励声源所做的一系列心 理声学实验工作也证实了诸如h r t f s 的峰点和谷点特征太过简单了，并不能给人类的空间方位 辨别提供充足的线索，也有研究者试图通过修正频谱来突出峰点和谷点特征，其效果并不理想 一h r i r 在某些时刻变化剧烈，这是由于耳廓对入射声波的反射作用，左耳的h r i r 波形较右耳 的h r i r 波形起伏变化更为剧烈在频谱特性上则表现为左耳的h r t f 高频分量要充足些。 _ 前后对称方位的h r i r 不同：图l ，3 给出了前后对称方位( 水平面方位角4 5 度和1 3 5 度) 的 h r i r 及其频谱的差异，表现在时域上为后方1 3 5 度的h r i r 的时间起点有一个相对的时延，这 是由于耳廓对后方声波的遮掩效应使得后面对称方位的声波到达的时间要晚一点：表现在频域 上是前后方位h r t f 的谷点位置有明显的差异，后方h r t f 的高频分量衰减比较大，人们企图 利用h r t f 的这些优点来区分前后方位，解决混淆锥的问题。 _ h r t f 具有个性化：相同的测试环境下测试者的外耳参数决定了测试者的h r i r 。图1 4 - 给 出了c i p i c 数据库中三个测试对象的h r i r 及其频谱，从h r i r 看出，主脉冲的时间起点和幅 度存在很大的差异，从h r t f 看出频谱的幅度，峰点和谷点不一致。 图i 2 水平面方位角9 0 度左右耳h r t f 差异( h r t f 数据来自m i t ) 面 已 g 鲁 5 三 f r e q u e n 州k ( b 濒域差异 国i 3 前后对称方位h r t f 差异( h r t f 数据来自m i t ) 4 第l 章绪论 2 暑1 暑。 星， 2 0 5 115 ( a ) 三个砧掰晶槛耳h r i r 扣 01234 ( b ) 三个勰黑耳惭 图1 4 水平面方位角_ 8 0 度三个测试对象h r i r 及频谱差异( h r t f 数据来自c i p i c ) 1 3 虚拟听觉研究的问题及研究现状加1 i l l l 2 l1 1 3 10 4 11 1 5 1i s 2 1 h r t f 的测试：要开展h r t f 的应用研究，首先要进行h r r f 测试，建立完整的数据库。经过 近2 0 年的探讨，人们对h r t f 的测试方法已经有了比较深刻的认识。hr r f 的测试一般是在消音室 进行的，测试者会预先设定好要测试的方位，每个方位的h r i r 对应于2 0 0 5 0 0 阶的f i r 滤波器， 测试的数据量是非常巨大的。测试工作除了需要较好的测试设备等硬件条件，还需要研究激励信号 的选择问题，不同的激励信号会导致不同的测试结果，研究各种激励信号对测试结果的影响是一项 重要的工作。目前人们尝试的激励信号主要有单脉冲，m l s 序列，g o l a y 码，t s p 信号。测试的对 象一般为假人和真人。假人的头部尺寸一般是取一个平均值，由于不同的个体h r t f 是不一样的， 很多的测试实验进行了一定数目的真人h r t f 的测试。 h r t f 的建模：h r t f 的测试结果一般表现为定长度的f i r 滤波器，最简单的处理方法是直接 的应用这些测试数据，但是这样需要比较大的存储空间，实时处理的运算开销也比较大，特别是一 些嵌入式系统对存储空间和运算速度的要求都比较苛刻，这样的测试结果不便于实际应用。在一定 的准则下，i i r 滤波器可以用较少的阶数逼近原来的测试结果，一些试图减少滤波器阶数的建模方法 被提出来，包括p r o n y 算法，y u l e w a l k e r 算法，g a 算法，b m t 算法，也有研究者从人耳心理感知方面 进行建模。 h r t f 的插值：h r t f 的测试是在预先设计好的方位上进行的，由于h r t f 测试本身的复杂性， 只能测试一定数量的方位的h r t f 数据。在实际工作中会用到一些并未测试的方位的h r t f 数据， 特别是在运动声源的模拟中，为了保证声源的连贯性，需要一个方位分辨率较高的h r t f 数据库， 从而必须进行插值，另一方面系统的存储空间是有限的，特别是嵌入式系统的存储量非常有限，使 得不能存储足够多的h r t f 数据，从而对未存储方位的h r t f 数据可以插值得到。上面的论述中我 们可以看出h r t f 插值可以解决两个问题，一是解决已有的h r t f 数据库分辨率不高的问题，二是 解决系统存储量的有限性，缓解存储空间的紧张局面 h r t f 的个性化：人的耳廓、躯干、肩部和头部尺寸的大小形状差异很大。h r t f 的谱特征因个 体不同存在差异，大量个人化h r t f 的获取和存储是很困难的事情，通常在工程中使用非个人化 h r t f 。非个人化h r t f 可以通过大量受试者的h r t f 测量实验结果取平均获得，也有采用典型外耳 5 东南大学硕士学位论文 尺寸的假人作为实验对象获得h r t f 使用非个人化h r t f 的虚拟空间定位效果较之个人化h r t f 差，这是可以理解的，现在不少研究工作致力于研究人体耳廓、躯千、肩部和头部尺寸与h r t f 谮 特征的关系。并通过简单的人体参数测量快速获得个人化的h r t f 头中效应：实际的工程实现中将经过h r t f 处理后的声音经由扬声器或耳机播放来再现虚拟声 源的位置。通过耳机播放时常常感觉声像常集中在人头内部，没有空间感和外部感，这就是头中效 应问题。这主要是h r t f 的铡试是在消音室进行的，h r t f 仅反映了从声源到听者耳膜的直达声的 传输函数，实际的听音环境还会有早期反射声和后期混响声，甚至在一些环境中后期混响声会非常 的强烈，这使得通过h r t f 模拟的听觉空间不够真实目前的研究试图模拟真实的声场并且在不降 低定位精度的条件下获得较好的外部感 另外采用h r t f 定位处理中存在如下问题：( 1 ) 使用非个人化的h r t f 进行音频定位的定位精 度比较低；( 2 ) 声源定位的前后颠倒比较严重，例如听者很难或者无法区分水平面4 5 度和1 3 5 度这 两个前后对称的方位，人们曾经期望h r t f 可以解决这个问题，事实上h r t f 在这个问题上所发挥 的作用是很有限的；( 3 ) 垂宣方位的方位辨别结果更差。作者进行的主观定位实验清楚的验证了这 些结论，有关实验的细节这里不再详细介绍，可参见文献 1l 】。 人们对h r t f 本身的问题的研究和认识已经达到一定的深度，但是也存在很多无法解决的难题 简单的仅仅是在h r t f 本身做文章可能不会有助于问题的进展，进一步理解和揭示人类双耳定位的 机理，需要更加深入的探讨声信号对人的作用和人对声信号的感知，这还有很长的路要走。 1 4 虚拟声源定位的应用嘲 在军事中的应用：军方重视这方面的研究，旨在开发更完善的人机界面，用听觉设备感知更多 的信息，从而减轻由于计算机显示屏带来的过重的视觉负担，例如，美国航空航天局在加州的艾姆 斯研究中一o ( n a s a a m e sr e sf r o 正积极开展这方面的研究工作。他们开发了称作四通道空问听觉显 示系统的设备，用于肯尼迪空间中心的发射任务。肯尼迪空间中心的通信手册上列有三千多呼叫符 号，这其中大部分是四个独立的字母，如n t o c 等。在航天飞机发射时，通话人戴一只耳机监视着 多个无线电频率，常常必须从多通道混合的语音中区分出这四个字来。为此，艾姆斯研究中心开发 了称作a s a d ( a m e ss p a t i a la u d i t o r yd i s p l a y 的简称) 的装置用于提高上述通信系统的可懂成度。它 将四个不同的通信信道置于听者的四个不同的虚拟听觉方向上。听者佩戴一副耳机，听到的每一通 道的呼叫符号具有不同的空间特征，就象四个人站在听者的四个不同方向上对之讲话。 在驾驶员模拟训练系统中的应用：这种系统将虚拟视觉、听觉和运动感觉的技术相结合，当驾 驶员进行各种操作时，系统将逼真地营造出相应的各种感官感受。在听觉方面根据汽车的“速度” 等虚拟出来自不同方向的发动机、轮胎与路面、风、以及刹车的声音。如果出现错误操作导致“交 通事故”，系统还可以虚拟出相应激烈碰撞声音。 在3 d 游戏中的应用；普通的2 d 游戏中画面 ；l 二维的为多。随着计算机性能和游戏制作水平 的提高，3 d 成为主流，对图形和声音的3 d 效果有着非常高的要求，从而可以虚拟出一个真实的游 戏场景。从极品飞车2 开始，几乎所有的3 d 运动类游戏都把音效作为一个非常重要的卖点，除 了营造一个栩栩如生的游戏音乐背景外，人们需要依靠声音来判定自己在三维虚拟游戏中的方位， 有玩家在进行极品飞车系列游戏时，更习惯用声音来判断紧随其后的对手车辆企图从哪个方向 超车，而不是打开倒车镜窗口来观察。而在第一人称射击游戏中，利用声音来判q 对手的位置就更 为关键了。通过声音来判定声源的位置乃至距离比起视觉来更加直观和有效，并且减轻了视觉的负 担，无疑这是游戏玩家和游戏开发者所追求的最佳目标。基于h r t f 的理论，产生了大量的建模算 法。为了方便游戏开发者进行音效方面的编程工作，诞生了最为普及的d i r e c ts o u n d3 d 、a 3 d 和e a x 三种编程接1 3 ，游戏开发者只需要用一小段代码直接调用编程接口中提供的标准参数即可，而无需 考虑声音是在声卡内部如何工作的。 6 第1 章绪论 1 5 本文的主要工作和组织 本文主要研究与h r t f 相关的理论和工程实现方法，并在p c 机和a r m 嵌入式系统上实现了这 些方案。在实验室的两年时间中，作者非常幸运的参与了实验室的多项研发项目，本文所研究的理 论和方法都是基于作者工作中遇到的实际问题而进行和展开的。 从2 0 0 6 年3 月起作者参与实验室与华为公司有关虚拟声场的合作项目，在p c 平台用v c + + 编 写软件由于在项目中需要用到c i p i c 数据库中没有测试的h r t f 数据，利用已有的h r t f 数据进 行插值可以得到这些未知方位的h r t f 数据。根据这个实际问题，本文总结了已有的经典h r t f 插 值算法，并在算法的计算复杂度和通用性方面傲了一些改进。第三章的内容是这项工作的总结。 2 0 0 6 年1 2 月实验室购置了h e a d 人工头进行声学方面的测试工作，作者主要完成了个性化房间 脉冲响应和h r t f 的测试。第二章分析和总结了声学测试中常用的测试信号，对比了它们的性能， 最后给出了实际测试结果 从2 0 0 7 年1 月起作者参与了实验室一项国防科研项目，主要工作是在a r m 平台上利用嵌入式 l i n u x 操作系统编写应用层软件，系统硬件的设计正在进行。第四章的内容是这项工作的反映，主要 包括开发平台的硬件资源介绍，音频接口驱动程序的设计分析和音频应用程序的开发流程，比较了 w i n d o w s 平台和l i n u x 平台下音频应用层软件开发的异同点。 最后在第五章对全文进行了总结，并且提出了下一步的工作目标。 7 第2 章基于人工头的h r t f 测试 第2 章基于人工头的h r t f 测试 本章的主要工作是完成基于人工头的个性化房间脉冲响应和h r t f 的测试，为此首先介绍和分 析了几种常用的h r t f 测试信号；同时介绍了h r i r 中i t d 参数的提取方法以及和h r i r 的最小相 位重构理论。 2 1 典型的h r t f 测试环境 现在很多研究机构进行了h r t f 的测试工作，如加州大学戴维斯分校图像处理和集成计算中心 c l p l c ( c e n t e rf o ri m a g ep r o c e s s i n ga n di n t e g r a t e dc o m p u t i n g ) 1 2 6 1 , 麻省理工学院m i t ( m a s s a c h u s e t t s i n s t i t u t eo f t e c h n o l o g y ) 的媒体实验室口”，威斯康星大学m a d i s o n 分校神经生理系的实验室，n a s a 的a m e s 实验室，澳大利亚悉尼大学a u d i t o r yn e u r o s c i e n c e 实验室”“，法国i r c a m 和a k g 共同组 成的l i s t e n 课题组口q ，日本名古屋大学l t a k u z a 实验室p 0 1 ，华南理工大学应用物理系口1 i ，日本 s u z u k i y 实验室、电子通信研究所( r e s e a r c hi n s t i t u t eo f e l e c t r i e a lc o m m u n i c a t i o n ) 、东北大学和 s h i m i z u 公司的技术研究所共同组成的课题组1 2 9 以上机构测量的h r t f 数据库有的已经在互联网 公布，供学术研究甚至允许商业使用。 图2 1 2 3 给出了兰个典型的h r t f 测试环境。图2 1 是位于美国威斯康星大学的m a d i s o n 分校 w a i s m a n 中心的心理听觉实验室的消声室，图中所示是一个位于弧面上的不同俯仰角度上的扬声器， 受试者位于圆心，方位角可变。 图2 2 是美国w d g h t p a t t e r s o n 空军基地a r m s t r o n g 实验室的听觉定位设备，该设各位于消声室 中。共计2 7 2 个节点位于一个直径为1 4 英尺的球面上，每个节点放置一个扬声器，节点之间方位角 和俯仰角间隔1 5 。，听者可以由机械控制来转动身体，便于测量数据的采集。 圈2 3 是加州大学戴维斯分校c i p l c 的测试环境。实验是在具有隔音效果的房间中进行的，所 有的测量对象位于半径为1 米的球面中心，两耳的对称中心位于球面坐标系的球心处，声源在球面 移动。实验中没有束缚测量对象头部的位置，测量对象能够自己调节，如果头部发生较小的移动可 以通过耳间时间差的突然变化而检测出来，当观察到有明显的谱陡变化时，这个数据集将被丢弃。 测量对象的耳道被堵塞起来，在耳道入口处用探针式麦克风接收传输过来的信号。 图2 1 美国威斯康星大学m a d i s o n 分校w a i s m a n 中心的心理听觉实验室的消声室 9 东南大学硬士学位论文 图2 2 美国w r i g h t p a t t e r s o n 空军基地a r m s l r o n g 实验室的扬声器笼 图2 3c l p i c 中k e m a r h r t f 测量 2 2 现有数据库的坐标体系郾i 1 2 7 1 在测试之前要确定测试使用的坐标体系， 义的坐标体系。这两种坐标体系是不一样的， 现在使用的有两种：c 1 p 1 c 定义的坐标体系和m i t 定 其中m i t 定义的坐标体系被更多的测试机构所采用 声源的位置是通过耳闻极坐标中的方位角口和仰角来指定的。c i p i c 定义的坐标体系是：方位 角口是指声源所在的位置与两耳中间对称平面之间的角度，而不是表示水平的经度方向，所有方位 角相同的方位轨迹是与中垂面平行的平面，c i p i c 定义方位角从9 0 度到9 0 度，左耳为一9 0 度，右耳 为9 0 度；仰角是指声源投影到两耳中间对称平面上的位置与水平面之间的角度，而不是表示垂直 的纬度方向，所有仰角相同的方位轨迹是经过两耳连线这条直径的半圆，c | p i c 定义仰角从9 0 度到 2 7 0 度，其中正下方为9 0 度，正前方为0 度，正上方为9 0 度，正后面为1 8 0 度。图2 4 分别画出了 具有相同仰角和方位角的两条轨迹。可以认为左耳处的方位角是9 0 度，而仰角可以是任意值；右耳 处的方位角是9 0 度，而仰角可以是任意值。 o 第2 章基于人工头的h r t f 测试 图2 4c i p i c 定义的坐标体系 m i t 的坐标体系与地理上定义的经度纬度是一致的，方位角与经度一致，仰角与纬度一致。方 位角从0 度到3 6 0 度，正前方为0 度，右耳为9 0 度，正后方为1 8 0 度，左耳为2 7 0 度。仰角从9 0 度到9 0 度，水平面仰角为0 度，水平面以下的仰角是负值，水平面以上的仰角是正值。正上方的仰 角为9 0 度，可以认为方位角为任意值；正下方的仰角为- 9 0 度，可以认为方位角为任意值。图2 5 给出了m i t 定义的坐标体系的平面示意图。 j ；t 2 3h r t f 直接测试法【2 习 图2 5m i t 定义的坐标体系 右耳 按照第一章式( 1 1 ) 给出的h r t f 定义，需要测试自由声场和存在测试对象两种情况下耳膜处 的声压级。图2 6 描述了自由声场信号u ( n ) 与耳膜信号y ( n ) 的采集过程。在自由声场条件下，由计 算机产生的矩形脉冲d ( n ) 作为输入信号经过扬声器( 传递函数为s ( n ) ) ，延迟f ( h ) ，再经过探针式 微音器( 传递函数m ( n ) ) ，得到探针式微音器测的系统输出“( ) 。存在测试对象的条件下，同样的 输入信号d ( ”) 经过扬声器，时间延迟正( ”) ，该方位的h r t f , 探针式微音器，得到系统输出y ( ”) ，不 同的是此时微音器被植入麻醉后的动物耳道中，并接近于耳膜处。a d 与d a 产生的影响被忽略。 这些信号之间的关系为： 篇：端：怒：船臻：州。， c z ， i j ，( 月) = d ( ”) 5 ( ) + 五( ”) + 蜮h ) 所( h ) 、 东南大学硕士学位论文 忽略时延_ ( 月) 和正( ) 的差异，可以得到y ( h ) ；口( 月) ( n ) 即 h ( 出) = y ( m ) ，u ( ) 佃lr l i l l j l f 场激励们哆的寨裳 号 ( ”茸膜处听觉信号的采集 图2 6 文献 2 2 】给出的f e t f 测试原理图 2 4 基于m l s 序列的h r t f 测量1 3 1 l 2 4 1m l s 序列生成方法 m l s 序列是一种基本的伪随机序列，在包括声学测试的许多领域得到广泛应用。n 阶的m l s 序列是周期长度为2 ”一1 的周期序列，可以通过带有反馈结构的移位寄存器获得。图2 7 给出m = 4 的m l s 序列生成多项式联x ) = x 4 + x + l ，初始值设置为口，口：a a 。= 1 1 1 l ，m l s 序列的详细计算过程如 表2 1 所示 图2 7 基于反馈寄存器的最大长度序列产生流图 表2 1 一个周期最大长度序列生成过程 步骤 ( 口3 ，口2 ，口l ，a o )g o 步骤 ( a 3 ，口2 ，a l ，口o ) a o 0 1 1 1 1 190 1 1 00 10 1 1 111 01 0 1 11 20 0 l ll 1 1 0 1 0 11 30 0 0 ll1 2l o l 00 41 0 0 0o1 31 1 0 1l 50 1 0 0oj 41 1 1 0 o 6 0 0 1 001 51 1 1 1 1 71 0 0 1l1 6o 】1 11 81 l o o 0 1 2 第2 章基于人工头的h r t f 测试 2 4 2m l s 序列测试h r t f 原理1 3 5 j 嗍 m l s 序列j ( n ) 的圆周自相关函数为： 丸c 一，= x c o r r c s c 一 ；i | k 刍- l - i s c t p t 一+ t ，c = 一：。* 占c ，。c ：， 厶i _ o l 一。，一v 由于m l s 序列的自相关函数近似于脉冲信号，因此基于m l s 序列的测试系统原理如式( 2 4 ) 和式( 2 5 ) 所示 m 。( 月) = ( n ) o j 加) ( 2 ，4 ) ( h ) = 脚( 月) o s ( 竹) = 【 ( 月) 0 5 ( h ) 】o j ( 月) ( 2 5 ) = 域月) o 【墨( 疗) o j ( ) 】鲜坂n ) o 烈”) = 联h ) 其中 ( 月) 表示待测试的系统传递函数，( 一) 表示实际测试的系统传递函数，。( 月) 为测量系统输出 信号，0 表示圆周卷积。 测试系统得到s ( ) 和 ( 一) 的圆周卷积( h ) 后，基于式( 2 5 ) ，将测量系统输出信号m 。( h ) 和m l s 序列进行圆周互相关计算，即可估计得到系统的传递函数。 利用m l s 序列计算系统的脉冲响应原理阐述如下： _ m l s 序列“ ) 长度为z ，月；o 1 一z l ，系统的单位脉冲响应麒月) 长度为n ，月o , j n - i ， 这里要求 n 。 _ m l s 序列s ( 月) 经过系统 ( h ) 的输出是5 ( ”) 和 ( ) 的线性卷积： y ( h ) = ( n ) + 5 ( n ) = h ( j ) s ( n - j ) ( 2 6 ) 我们需要的输出“一) 是s ( ”) 和城一) 的点的圆周卷积： y ( 月) = 【 ( ”) o s ( ”) l = h ( j ) s ( n - j ) t ( 2 7 ) 为了得到s ( h ) 和 ( n ) 的点圆周卷积需要进行一些处理。将两个s ( ”) 衔接在一起组成一个新 的序撇加k 。嚣；爿- 1 籼腓为系统的输入得到输出信翱咖坳m 只要舍弃z ( 月) 的前面点，取从+ 1 点到2 l 点：( ”) 作为输出即可。 y ( h ) = z ( n + l ) ，h = o ，i l 一1 。此时的y ( 月) 就是5 ( h ) 和 ( h ) 的点的圆周卷积。 s ( 一) ，x ( ”) ，z ( 一) ，y ( 一) 之间的关系见图2 9 。这样做是由于输入是一个周期序列，输出也是一个周 期序列，y ( ”) 的形成如图2 1 0 所示。 臣正臣正 匦互匦互臣匠匹匝 二墨亘工歪卫枷， 匝妇j 二工亟正巫匹巫正面r = 厦匦圃却 臣匠e 五工= 工亟西三妇， 图2 9j ( h ) ，x ( h ) ：( ”) ，y ( ”) 之间的关系 奎查查兰堡圭兰篁堡苎 n - i = ： ) 们= k 溉”一玑 ，1 0 图2 1 0 “ ) 形成示意图 - 下面具体给出详细的推导过程，用。代表圆周卷积，用。代表圆周相关。 l - i “”) = 【 ( h ) o s ( 月) 】l = h ( j ) s ( n 一，) 。，n = o ，1 一1( 2 8 ) j 神 硒) = p ( 月) 。y ( h ) l = 艺s ( ，m h + 0 。 = j ( f ) h ( j ) s ( n + i 一，) 。 h( 2 9 ) = ( ) s ( i ) s ( n + i 一，) 。 = 芝： ( ) 屯( n 一，) 。= f 敝一) 。丸( 一) l 式( 2 9 ) 对应的频域关系是： ( i ) = ( ) y ( ( 2 1 0 ) 综上使用m l s 序列测试系统脉冲响应的步骤和计算过程为： 1 ) 生成m 阶长度为= 2 ”一t 的m l s 序列s ( ”) ； 2 ) 将两个j ( ) 衔接在一起组成长度为2 l 的序列： 砌，= ，。翌，苌裂一。 亿m 3 ) 测量