（电路与系统专业论文）基于听觉显示的电子行走辅助技术研究[电路与系统专业优秀论文].pdf

基于听觉显j 1 ; 的电子行走辅助技术研究 浙江大学硕 卜 学位论义 基于听觉显示的电子行走辅助技术研究 摘要 随着世界盲人数量的不断增加和社会对盲人关注程度的不断提高， 有关辅助 盲人出行问题的电子行走辅助 ( e l e c t r o n i c t r a v e l a i d s e t a )技术的研究也应运 而生。 本文探讨了听觉显示和电子行走辅助技术相关的科学和技术， 以及各自的 发展及其相互之间的关系。同时，基于现有的e t a技术特点，提出e t a的概念 模型和系统的三个发展阶段， 分析和总结了e t a的一般设计原则和要求， 为e t a 设计和开发提供了的必要的基本信息。 根据对现有 e t a 系统的优缺点分析，本文认为采用图像输入和听觉显示技 未 的e t a 系 统 具 有 很 大 的 发 展 潜 力 。 其 核 心 是 利 用 计 算 机 视 觉 技 术 检 测 环 境 图 像中 方向 和 障 碍 物 信息 ， 并 根 据合 理的 映射 方案 将环 境 信急 用 声 音展 现a 用 户 。 au d i o ma n 原型系统首次提出采用可听化和听标 ( 和/ 或耳标) 两种听觉显示 来 传 递图像信息。 本文以用户为中心的交互设计原理为基础， 从可用性和用户体验的 角度对系统提供的几种方向映射方案进行了简单的评估。 评估结果表明: 这种直 观而“ 自 然” 的数据声音映射方式使用户不需要长时间学习 就能快速理解该系统 所提供的用来表现环境信息的声音。因此，a u d io ma n 所建立的用户听觉模型比 现有的e t a系统更有效。 关键词:电子行走辅助系统，人机交互，听觉显示，可听化，听标，耳标， 图像处理，目标检测 基十听觉显小的电子行走辅助技术研究浙江大学硕 ! 学位论文 r e s e a r c h o f e l e c t r o n i c t r a v e l ai d b a s e d o n a u d i t o r y d i s p l a y abs t r ac t wi t h t h e i n c r e m e n t o f b l i n d p e o p l e a n d m o r e a t t e n t i o n t o t h e m , e l e c t r o n i c t r a v e l a id s ( e t a ) i s a d v a n c e d . i t a s s i s t s b l i n d p e o p l e i n i n d e p e n d e n t , s a f e o r ie n t a t i o n a n d m o b i l i t y b y g i v i n g s p a t i a l i n f o r m a t i o n w h i l e w a l k i n g . s o m e k n o w l e d g e a n d d e v e l o p m e n t a b o u t a u d i t o ry d i s p l a y a n d e t a a r e i n t r o d u c e d a n d d i s c u s s e d , a s w e l l a s t h e r e l a t i o n s h i p b e t w e e n t h e m. me a n w h i l e , t h e c o n c e p t i o n m o d e l a b o u t e t a a n d i t s t h r e e d e v e l o p m e n t p h a s e s a r e i n t r o d u c e d , s o m e d e s i g n p r i n c i p l e s a r e a l s o s h o w e d in d e t a i l . t h e k n o w l e d g e d i s c u s s e d i n t h i s p a p e r i s v a l u a b l e t o d e s i g n a n d d e v e l o p t h e e l e c t r o n i c t r a v e l a i d f u r t h e r . r e s e a r c h o f e t a b a s e d o n c a m e r a in p u t a n d a u d i t o ry d i s p l a y , i t h a s a b e tt e r d e v e l o p i n g p r o s p e c t . o n g o i n g r e s e a r c h p r o j e c t , a u d i o ma n , u s e s s o n i f i c a t i o n a n d a u d i t o ry i c o n o r e a r i c o n t o t r a n s m i t i n f o r m a t i o n . t h e d a t a - s o u n d m a p p i n g h a s t h e m o s t r e la t i v i t y b e t w e e n r e a l d a t a a n d s o u n d d a t a . i t w i l l h e l p t h e b l i n d s u n d e r s t a n d t h e i n f o r m a t i o n o f t h e s o u n d m o r e q u i c k l y a n d e f f e c t i v e 琢a n d w e ass e s s s o m e m a p p i n g a b o u t o r i e n t a t i o n w it h q u e s t i o n n a i r e s u r v e y a n d t h e r e s u lt s s h o w t h e u s e r l i s t e n i n g m o d e l o f a u d i o ma n i s b e tt e r t h a n t h e c u r r e n t s y s t e m s . k e y w o r d s : e le c t r o n i c t r a v e l a i d , h u m a n c o m p u t e r i n t e r a c t i o n , a u d i t o ry d i s p l a y , s o n i fi c a t i o n , a u d i t o ry i c o n , i m a g e p r o c e s s i n g , o b j e c t d e t e c t i o n 第一章 绪论浙江大学硕士学位论文 第一章 绪 论 当今世界，人类所面临的问题不再是数据的缺乏，而是如何从以指数增长的 数据积累中发现知识， 于是数据挖掘 ( d a t a m i n i n g ) 便应运产生。 可视化技术作 为数据挖掘的主要技术之一， 采用直观的图形方式将信息模式， 将数据的关联或 趋势呈现给决策者。 然而， 在处理连续多变的数据时， 经常会出现视觉过载的现 象，大大影响决策者的判断能力;同时，可视化的显示维度有限，当呈现大于3 维数据时， 显示的效果将大打折扣。于是， 在数据显示技术中， 考虑到听觉具有 许多视觉不具备的优点:如听觉通道对声音具有非方向性和非随意注意的特性， 不受空间 和照明 条件的限 制: 对数据 微小变 化和数 据走向的 把握 非常 敏感1 11等 等。 尤其对连续多维海量数据的处理和分析中， 视觉通道表现出的力不从心和用 听觉通道重现数据的优势， 使人们开始考虑利用听觉来解决视觉不能单独完成的 任务，降低视觉工作强度。 另一方面，听觉显示技术的研究对一些视力暂时受障人士 ( 如夜盲症病人、 视力模糊的老年人、因受现场的烟雾困扰导致视觉下降的消防员等) ，尤其是视 力完全失去的盲人都很有意义。 随着世界人口的增加和老龄化的发展， 盲人的数 量也不断地增加，如何解决盲人的出行问题已成为全世界各国共同关注的问题。 从上个世纪 7 0 年代开始，各国研究者为盲人开发了各种障碍物检测系统。这些 系统利用传感器 ( 如超声波、 摄像头等) 获取环境信息， 经过计算机处理转换成 听觉信号，使盲人根据所提供的声音信号在行走中定向 o r i e n t a t i o n ) 和移动 ( m o b i l i t y ) 。 这种利用集成电路技术和计算机技术开发的设备又称为电子行走辅 助 系 统 ( e le c t r o n ic t r a v e l a i d s e t a s ) 2 . 本文是将听觉显示技术应用于电子行走辅助技术的研究，设计和开发了 a u d i o m a n 系统。盲人用户通过听取系统提供的声音， 判断道路的方向 和基本障 碍物的位置，进而辅助其行走。 1 ， 1 1 . 1 . 1 听觉显示技术研究 听觉显示研究的意义 人 机 交互 ( h u m a n - c o m p u te r i n t e r a c t i o n ) 是 研 究 人、 计算 机以 及 他 们 相 互 影 响 第一章 绪论 浙江大学硕 卜 学位论文 的技术。 设计良 好的人机交互方式不仅能大大提高工作效率， 而且能降低用户的 生理和心理负荷， 尽可能减轻身心的疲劳: 从另一方面看， 在相同的生理和心理 负荷下， 用户能同时执行更多的任务。 计算机的出现极大地提高了人们认识自 然、 改造自 然的能力。 但人们在轻松获取大量数据的同时， 也体会到信息爆炸所带来 的负面影响， 大量的数据增加视觉负荷， 因此， 需要一种能有效的显示海量数据 中的信息显示方式。 听觉是人与外界交流信息的重要途径，其重要性仅次于视觉， 心理学认为人 类从外界获取的信息量约有 巧%来自听觉通道。 听觉是视觉很好的辅助手段， 它 可以增加用户接收的信息量，或分流从过多的单纯依靠视觉通道获取的信息量， 减轻视觉通道的负荷， 从而减轻视觉疲劳。 通过不同的感觉通道获取信息能够提 高工作绩效， 这意味着综合使用多种感觉通道向用户传递信息的多通道用户界面 有利于提高人机交互的效率。 1 . 1 . 2 听觉显示研究的历史与现状 在听觉显示( a u d i t o ry d i s p l a y ) 研究中有三个基本概念，可听化 3 ,a s ( s o n i f ic a t i o n ) ， 听 标 6 1 ( a u d i to r y i c o n s ) 和 耳 标 6 1 ( e a r c o n s ) 。 可 听 化 就 是 用 非 语 音声音信号表达信息， 即为了便于交流和解释， 将所研究领域的数据的联系转化 为以听觉信号表现的感觉的联系。 可听化有利于进行监控或者帮助理解从其它通道获取的信息。 就其本质上讲 是一门交叉性学科， 涉及到统计学、心理学、 计算机科学、 声学、艺术到工程学 许多方面。 统计学家感兴趣的是寻找一条用可听化表现和概括数据的途径， 正如 目前广泛使用的可视的图形方式; 心理学家研究人类是如何感知和解释声音， 进 而探索有效的可听化方法。 计算机科学家寻找合适的应用场合， 使得用软件实现 听觉显示能让用户感觉更自 然， 以及如何合成声音呈现给用户。 工程师感兴趣的 是可听化如何与硬件整合才能更好地发挥作用: 物理学家研究声音的属性对可听 化方法的影响; 音乐家关心哪些种类的声音用于可听化更为有效， 以及可听化在 艺术上的应用价值。 对于信号处理专家， 在目 前模式识别技术与人的听觉所固有 的模式识别能力相去甚远的情况下，可听化不失为模式识别的一条很好的途径。 但早在可听化概念提出以前， 就存在听标和耳标的听觉显示方式， 它们通过 声音的突发性或声音序列来表示数据。 听标是计算机事件和属性与通常有声事件 和属性之间的映射 ( 如将计算机查找过程和翻书的声音联系起来) ;耳标则是听 觉用户界面中使用非语音的音频，向用户提供关于某个计算机对象、 操作， 或者 交互的 信息， 比听标更抽象。目 前设计的盲人手机用户界面 7 1 就是利用听标和耳 标的一个实例， 它使手机的界面更适合盲人用户使用。 对听标和耳标的这种数据 一 声音映射，是一种离散数据映射。 第一章 绪论 浙江大学硕士学位论文 可听化注重状态变化过程， 可用来描述连续多变的数据， 是听觉显示的一 个 重要研究方向。通过 “ 听， ，用户获取需要的信息， 或提取瞬态、突变信息， 属 于连续数据映射。目 前，国外在可听化这方面进行了一定的研究。 如盖革计数器 3 1( g e ig e r - c o u n t e r ) ， 脉 冲 血 氧 计 3 1 ( p u ls e - o x i m e te r ) , “ 量 子口 哨 ” ( q u a n t u m w h i s t le ) 3 1 ， 等等。医学数据实现可听化后， 医生通过 “ 听” 心电图 8 1脑电图 9 , 10 1 或其 他复杂数据 ( 如膝关节震动信号 1 1 1 ) ， 判断病人的身体状况，实现计算机辅助听 诊， 大大提高了医生的效率， 同时也降低了因视觉的疲惫而忽略微小细节的概率。 此外， 股市数据的可听化 i 2 分析行情的趋势;地震科学家能够在几分钟内“ 听” 完2 4 小时的地震检测数据 1 3 1 ;为视觉障碍用户提供听觉导盲辅助工具， 解决视 障 人 士安 全出 行问 题 t4 - n 。 在国内 ， 用听 觉显 示 来 研究 相 关 领 域的 数 据资 源 的 课题也开展了不少工作。如，浙江大学c a d 利用室内 声学的 可听 化模拟厅堂的 听音环 境， 对三维空 间 音 质 进 行 可听 化 仿 真2 0 1 自1 9 9 2 年起， i c a d ( i n t e r n a t i o n a l c o m m i tt e e o f a u d i t o r y d i s p l a y ) 每两年召 开一次年会，2 0 0 0年后每年一次，讨论有关听觉显示的问题，建立了一套基本 的理论和应用原型。 1 . 1 .3听觉显示应用前景与发展趋势 一个成功的可听化系统能够帮助用户快速的理解声音所表达的信息， 通过听 觉通道从数据汪洋中获取有用知识， 缓解视觉过载或代替视觉完成其不能完成的 任务。因此，可听化技术具有很广的实际应用前景: 1 )数据挖掘 ( d m) :可听化技术将同可视化技术那样成为常用的数据挖掘 技术之一。尤其在处理多维、连续多变数据时，可听化将得到比可视化更好的 效果。 2 ) 导盲设备研究6 3 1 :听觉系统作为视觉障碍或失明 用户主要的信息获取通 道，通过听觉显示和可听化技术帮助他们获取更多的环境信息。如解决消防队 员因现场的恶劣环境使其视觉受障问题;电子行走辅助 ( e t a) 系统解决盲人的 出行问题;等等。 3 )数据监控:当用户必须从多种信息源获取知识的情况下，容易产生视觉 过载，这时可以考虑从听觉通道来缓解视觉过载。如在机器房里，操作师一边 要控制机器一边要关注屏幕上不断变化的数据报表。数据报表的可听化不仅解 决了 数 据过载的问 题，同时 还提高了 操作的 安 全性 2 11 4 )其他还有数据表示/ 理解、数据探查/ 分析、分类任务等。 第一章 绪论 浙江人学硕十学位论文 1 . 2电子行走辅助 ( e t a)技术研究 1 . 2 . 1 e t a技术研究的意义 根据世界卫生组织 ( wh o)和国际防盲协会 ( i a p b )的调查报告显示，全 世界约有 1 . 8 亿人患有眼部疾病，其中盲人数多达4 0 0 0 - 4 5 0 0 万。随着人口的增 加和老龄化， 盲人的数量在2 0 2 0 年预计将达到7 5 0 0 万人。 在中国，目 前视力残 疾人口 达8 7 7 万人，占我国总人口约0 . 7 %。因此，这些残疾人的出行问题，以 及如何提高他们的生活质量，已经成为全世界各国共同关注的问题。 目前， 许多城市为残疾人提供了无障碍设施， 如盲人道， 方便了盲人的出行。 但由于数量少， 又经常出现被占用的现象， 盲人出行的问题仍得不到很好的解决。 白色拐杖作为最原始至今仍在普遍使用的导盲辅助工具。 借着拐杖盲人可以察觉 出地上的障碍物、 路面的不平坦、 坑洞与台阶等环境中的状况。 然而要具有此能 力必须经历相当长的训练与学习，同时其获得的信息只能局限在比较小的范围。 同时，因为拐杖不宜掩饰， 在现实社会中，白 色拐杖几乎成为盲人的标志， 这对 盲人的感情和自 尊心产生一定程度的影响，并使其逐渐产生对拐杖讨厌的情绪。 基于这些因素的影响， 各个领域的研究者们 ( 如工程师、 心理学家等) 努力研究 和开发各种电子行走辅助系统， 帮助盲人获取道路方向和障碍物位置等在行走中 需要注意的一些路面信息; 同时， 对导盲设备的外形不断的改进， 使盲人更容易 接受。 因此，电子行走辅助技术的研究与发展， 不仅能说明一个社会的经济发展 情况，也体现了社会人文精神的发展状况，是一个非常有意义的研究课题。 同时，电子行走辅助系统的研究是一项交叉性学科的研究，它将有助于进一 步加强工效学领域、 计算机控制等领域的学者和专家们的联系与合作， 做到把认 知心理学成果成为计算机研究者的工具。 1 .2 .2 e t a技术研究的历史与现状 e t a系统12 2 1 是利用传感器获取的 环境数据信息， 提取环境特征信号后转换成 易于盲人理解的非视觉信号 ( 触觉、听觉信号) ，进而辅助盲人独立而安全行走 的电子辅助系统. 在电子行走辅助系统出现以前， 盲人普遍使用的导盲工具是“ 白 色拐杖” ， 拐杖上没有安装任何其他电子辅助设备， 故称其为“ 白色” 。 随着盲人 数目的增加， 不断引起社会的高度关注: 以及集成电路设计技术和计算机处理能 力的快速发展，从上个世纪7 0 年代开始，各国学者和专家们开始研究和开发能 用于辅助盲人行走的具有各种功能的电子辅助系统。早期的 e t a系统有 l as er c a n e 12 3 1 、 声 音 探 路 者 ( s o n ic p a th f in d e r ) 12 4 1 . n o tt in g h a m o b s t a c le d e te c to r 困 o d ) 12 5 1 , r f i s h 提出的图 像声音系统12 6 等。 随后， 各国( 美国、 加拿大、 澳大利亚、 意大 第一章 绪论浙江大学硕 卜 学位论文 利、日 本、 马来 西亚、 香 港和台 湾 5 0 1等) 学 者 展开了 各自 的 研究， 其代 表胜 的 研究工作有: g u i d e c a n e 盲人智能助手3 2 1 ， 等等 少。 !2 1 , p e o p le sensor), n a v b e lt 2 9 ,3 o 1 , v o i c e 系 统 【3 1 , t y fl o s 。然而在国内，有关e t a的研究报道和文献资料几乎很 电子行走辅助系统作为盲人的 “ 眼睛”辅助盲人行走，需要获取环境中各种 信息。 现存e t a系统主要通过两 种方式获取环境信息: 声纳输入( s o n a r i n p u t ) , 指通过各种微波传感器或多 种传感 装置的 组 合3 3 j检测信息， 如 激光 ( 2 3 1 、 红 外线、 超 声 波3 4 。 代表系 统 有: l a s e r c a n e 2 3 1 , n a v b e lt 2 9 , i ， 光信 标导 航系 统 (3 5 等。 图 像 输 入 ( c a m e r a in p u t ) ， 代 表 系 统 有 : v o i c e 系 统 川 、 肠fl o s 盲 人 智 能 助 手 3 2 1 s k a l u w a h a n d i 的盲人辅助系统 1 , y k a w a i 的盲人辅助系统5 2 等。 此外， 有些 系统结合了这两种信息获取方式，为盲人获取更丰富的环境信息。 对视觉障碍的盲人来说，e t a系统一般将环境信息以盲人可以接受的形式显 示表现给盲人， 如通过听觉系统或触觉系统。因此， 从信息显示方式的角度， 现 今存在的e t a系统可分成:听觉代替视觉系统，如n a v b e lt , v o i c e 系统等; 触 觉 代 替 视 觉 系 统， 如p e o p le s e n s o r 12 8 等。 根据不同的环境信息提取方式和信息显示方式， 现存的e t a系统的携带方式 也各有特色，主要分手持式和穿戴式两类。 这里只简单介绍e t a系统的发展情况，具体e t a的分类以 及各自 技术的优 缺点比较可以参考第三章电子行走辅助技术研究概括。 尽管各国学者和专家们已经花了三十多年的时间研究和开发各种电子行走辅 助系统， 但系统的普及和应用并不是很理想， 绝大多数都是处在实验室阶段的开 发和试验中。这主要是因为目 前的e t a系统有的功能太简单，满足不了用户的 需求;有的人机界面需要长期学习， 不能有效使用; 有的结构非常复杂， 导致价 格昂贵; 种种原因使系统的普及受到很大的影响。 因此， 需要从工效学评价和用 户心理学角度，开发一种结构简单、体积小、易使用、低成本的e t a系统或设 备。 1 . 3 e t a与听觉显示的关系 在现有e t a系统中， 环境信息转换成以声音和触觉的形式向用户展现。 声音 信号包括语音信号和非语音信号。 相比触觉显示的方式， 听觉显示具有很多优势。 首先， 用语音的听觉显示能很直观地告诉用户所包含的信息， 用户不需要花费很 多时间去学习和辨别显示的信号。 其次， 对非语音信号来说， 人的听觉系统有很 强的辨别周期和非周期事件， 和检测连续信号中微小的频率变化的能力， 能理解 第一章 绪论浙江人学硬 1 学位论文 或监视包含于其它相对比 较稳定的 信号中的复杂的暂态数据; 通过改变非语音信 号的多个参数， 如频率、 幅度、 方位等， 从而改变声音的音调、 音色、 节奏和方 位等特性。 从多维度地表现连续变化的、 复杂的高维数据。 然而用触觉来显示高 维数据时，其可变的维度 ( 即可编码空间)远不及声音信号。 另一方面，从听觉显示和触觉显示的实现角度来看，听觉显示展现的声音变 化比触觉信号的变化更容易理解并被用户接受。 为了辅助盲人能安全而独立地行 走，一般电子行走辅助系统需要告知盲人行走的方向、各种障碍物 ( 如垃圾桶， 消防栓，电线杆， 水坑等)的位置。 然而这些环境信息并不是独立出现的，行走 的方向是一种连续的信息， 需要时刻都传达给盲人; 道路上存在的障碍物也可能 出现多种的情况。 因此， 需要将多种环境信息同时传达给盲人。 这在实现过程中， 用听觉显示比触觉显示更容易。在听觉的显示实现过程中，用户只需戴上耳机， 表征多种环境信息变化的声音都通过该耳机向用户。 无论多复杂的数据也都是通 过耳机传达给用户。 然而， 触觉的显示实现过程中， 由于信息显示维度比较有限， 对复杂的多变化的环境信息并不能通过单个触觉接触器就能完全的表示， 因此需 要多个触觉通道来表示不同的环境信息; 同时多个触觉显示的接触器安装在用户 比较敏感的部位 ( 如手指，嘴唇等) ，长久的使用能引起局部肌肉疼痛，麻痹等 副作用，也会让用户感觉不适。 综上所述，由于听觉显示具有比触觉显示不可替代的优点 ( 详细讨论可参见 第三章中对现存e t a系统的比 较) ，因此，更多的e t a系统采用听觉显示代替 视觉显示的部分功能，为盲人用户实现环境信息的重现。 虽然声音能用多个维度显示数据信息各维度的情况，但仍需要很好的设计方 案才能使信号合理的展现给用户。 因此， 如何设计一种有效的听觉显示方案， 使 用户能快速而准确地理解声音所提供的信息， 并判断环境中的各种信息， 是成功 的电子行走辅助设备的关键。 1 . 4本文的工作和主要内容 结 合 我 们 在 听 觉 显 示 与 可 听 化 研 究 方 面 的 积 累 (6 ,7 ,4 9 ,6 2 ,6 3 1 ， 利 用 计 算 机 视 觉 与 听觉显示技术的研究成果开展了e t a的研究工作。采用图像输入和听觉显示是 e t a研究的两个重要分支，也是本文的重点工作。本文主要做了如下工作: d 分析和概况了现存e t a技术和系统的发展情况，并对采用各种信息提取 和信息显示技术的优缺点进行了分析、 比较和总结。 从人类工效学评价角度提出 设计e t a系统的原则和要求。 为以 后在e t a技术和系统研究和开发提供了一定 的参考价值。 2 ) a u d io ma n 原型系统运行于实验模拟环境，其通过摄像头获取环境信息。 第一章 绪论 浙江大学硕 卜 学位论文 本文完成在单帧图 像的基础上进行模拟环境中的 道路方向 和简单障碍物的检测。 3 )提出了以可听化和听标/ 耳标的听觉显示技术实现环境信息到声音的映 射。并根据人机交互设计的原理， 从可用性和用户使用体验的角度， 对系统提供 的多种环境信息的听觉显示方案进行简单的测试和评估。 本文主要内容的章节安排如下: 第一章分析了听觉显示和电子行走辅助系统研究的意义以及相应的研究现 状， 指出电 子行走辅助系统的 研究是一项非常有意义的研究。 同时也介绍了与听 觉显示相关的三个重要概念:可听化、听标和耳标。 第二章介绍了与听觉显示密切相关的基础知识及其实现方法。 第三章详细介绍了现有 e t a系统的发展和结构特点。根据 e t a系统技术特 点， 提出e t a系统的概念模型，并从多个角度对 e t a系统的优缺点进行比较和 分析;分析和总结e t a的一般设计原则和要求。最后，还介绍了几种具有代表 ,胜的e t a研究案例。 第四章设计一种采用可听化和听标/ 耳标不同的听觉显示来传递图像信息的 电子行走辅助系统，称之为a u d i o ma n 系统。本章将详细介绍a u d i o ma n 系统的 结构及其流程图。 根据人机交互设计的原理， 设计和实现了系统数据声音映射的 概念模型。 最后， 对图像处理与数据映射和声音合成两个模块的主要实现方法进 行了信息的介绍。 第五章对各种听觉显示方案进行了分析; 并介绍了两种用户听觉显示的学习 界面和系统的运行方式。 并从可用性和用户体验对系统提供的四种方向映射方案 进行了评估。 第六章则是对本文的工作进行的总结，并提出a u d i o ma n 系统还不够完善并 仍需要继续开发的部分。 第二章 听觉显示基础与实现方法浙江大学硕士学位论文 第二章 听觉显示基础与实现方法 可听化是通过数据到声音的映射向用户传达信息， 用户对可听化的数据的感 知认识是任何可听化应用成功的关键。 人们对听觉进行了大量研究， 取得了许多 有价值的成果。 基于这些研究， 人们发现在多种情况下用声音表现数据是有效的。 本章主要介绍与听觉显示有关的一些基础知识和听觉显示的实现方法。 2 . 1听觉显示的基础 2 . 1 . 1声音的维度 声音的形成是由物体振动时产生音波， 通过空气传到耳膜，经过大脑的反射 被感知13 6 1 。发音体的振动是由 多种谐音组成，形成在时间上变化的各种波形。 波形决定了 声音的音色。如图2 - 1 所示的两个正弦波。 y - 轴表示压力，x 一 轴表示 时间。 压力的大小表示声音的振幅， 即声音的响度。 如果声波由重复的波形组成， 而各个小的重复的波形是周期的， 因而， 组成的波形也是具有周期性的。 音乐语 言的各种要素， 包括音调、响度、 音色、 方位等， 它们的互相配合，具有千变万 化的表现力。 压力 图2 - 1 两种不同频率的声波 t )音调 ( p i t c h ) 音调是表达声音相对幅度的一个最直接的方法。声波的频率的对数变化与音 调的变化成线性比。 一般， 将高的音阶或频率表示大数据，就像在视觉上， 用红 色来表示比较大的数据，而不用蓝色。 第三章 听觉显 : 基础与 实现方法 浙江大学硕士学位论文 我们可以将数据映射给任意频率， 但将数据与我们所熟悉的音乐标准的音阶 联系起来更容易映射成通俗、 易懂的声音模式。 一个八度音 1 2 3 4 5 6 7 十高音1 ) 具有1 2 个音阶 ( 1 , #1 , 2 , #2 , 3 , 4 , # 4 , 5 , # 5 , 6 , # 6 , 7 ) ，因此音调 提供了数据信息显示内容的比较丰富的带宽。 但音调也有缺点。 对某种声音的频 率能被听到， 就必须持续相当数目的周期; 而对低音阶， 且具有长周期的声音比 高音阶的要持续更久的时间才能被听到。尽管带宽大，但 1 2 个音阶很难被区分 开来。 2 )响度 ( l o u d n e s s ) 响度与强度不同，响度是人听到声音的强弱的不同，是受主观因素影响的。 而强度指声音所固有的能量， 是客观存在值。 响度的大小与声音波形所携带的能 量 有关。 纯 音的 响 度1 与 平 均压 力 变 化 量如有关( 单 位为n e w to n / m ) 3 7 1 1 = 2 0 x l o g o ( 却/ 如。 ) 如。 为 参 照 量， 一 般印。 = 2 x 1 0 s ( n / m z ) , 1 的 单 位为d b 。 由 于 人 耳的内 部 不太相同结构能形成不同的声音振动， 所以对响度的感觉受频率的很大影响。 例 如， 频率为1 0 0 h z ，响度为5 0 d b的声音听起来很像柔软钢琴的声音， 但如果改 为频率为6 0 h z时， 人耳几乎听不到什么声音。 响度与音波的幅度是非线性关系。 如由两个相同乐器同时演奏产生的同频率的纯音的相加， 所达到的响度并不是单 个乐器产生的响度的两倍。实验结果3 7 1 表明， 具有相同响度的声音，在可听范 围的频率里 ( 人耳能听到的频率范围是2 0 到2 0 , 0 0 0 h z 之间， 最敏感的区间是 2 0 到4 0 0 0 h z ) ， 很低和很高频率比 在中间频率所需的强度。 声音响度表现的是声波幅度的大小，但强度还受到其他声音参数的影响，尤 其是频率和音色。 例如， 低频总比 高频听起来柔软。 在高音阶后播放低音阶比单 独用更能区分不同。 由于这些原因， 强 度不是一种线性关系。 不同的乐器能产生 不同的强度， 如果音量都变小， 强度的变化就很难被发现。因此， 在可听化设计 过程中， 结合不同的音色时必须小心使用强度。 因为对强度的识别能力比对音调 的识别能力差，因此如果用强度的两个或三个值 ( 如，小，中和大)来表示数据 的某一参量会更有效。 3 )音色 ( t i m b r e ) 发音体的振动由多种谐音组成，其中有基音和泛音，泛音的多寡及泛音之间 的相对强度决定了特定的音色。 器乐音色中主要分弦乐器和管乐器， 各种打击乐 器的音色也是各不相同的。 人们区分音色的能力是天生的。 通过音色能分辩出钢 琴和锣鼓的声音， 尽管奏的是同一音阶。 声音合成能力决定了 用音色来显示数据 的范围。 例如， 随机型的数据对应于白噪声。 因为我们能很容易就辨别出从随机 第二章 听觉显示基础与 实现方法 浙江大学硕 学位论文 噪 声 到 有 规 律 声 音的 变 调， 因 此 能 在 大 量 的 数 据 中 检 测 到 有规 律的 信息 。 如 果 注 意 不 到 这 种 数 据 映 射， 或 数 据的 采 样 值 太 少 而 不 能 分 辩， 可以 增 加 另 一 种 波 形 ， 对己 有 的 音 色 产 生 可 控 的 影 响 。 好 的 映 射 关 系， 能 将 音 色与 某 种 数 据 概 念 联 系 起 来 ， 就 好比 语 音 识 别 中 的 应 用 一 样， 所 不 同 的 是 语 音 识 别 是 通 过 计 算 机 提 取 语 音 特 征 识 别 某 一 个 人， 而 音 色 识 别 是 在 某 种 映 射 情况 下 ， 人 通 过 学习 能 从 音 色 联 系 到数据的特征。 4 )方位 ( l o c a t i o n ) 方 位指声源的 位置。 一 般而言， 用软 件合成技术很难有效的 控制声 音的 方位， 除非房间的四周都装有扬声器。 一般二维的 立体声显示 ( 即 水平和垂直方向) 很 难实 现实时的 效果。 ( 美国 ) 国 家航空 和宇宙 航行 局( n a s a ) 艾姆斯研究中 心推出 一项技术， 通过一种耳机能在三维的空间实时地定位四 个声源3 8 1 。这种设计能 在可听化中大大地提高方位潜在应用能力。 5 )和声 ( c h o r d )和共鸣 ( r e s o n a n c e ) 两个以上的音按一定的规律结合。 和声的功能作用直接影响到力度的强弱、 节奏的 松紧和动力的大小。 此外， 和声的 音响效果还有明暗的区别和疏密浓淡之 分，从而使和声具有渲染色彩的作用，更能表现丰富的数据信息。 当一个发音体振动时，引起了其它物体的振动，并发出了声音，这种振动就 是共鸣。 6 )节奏 ( r h y t h m) 和持续时间 ( d u r a t i o n ) 从音乐作品的旋律与和声中所用的高低不同的音归纳出来的音列。 这些音互 相联系并保持着一定的倾向性。 而调性则是调式的中心音 ( 主音)的音高。 在许 多音乐作品中， 调式和调性的转换和对比， 是体现气氛、 色彩、 情绪和形象变化 的重要手法。 音乐语言的各种要素互相配合， 具有千变万化的表现力。 旋律尽管 是音乐的灵魂， 但其它要素起了变化， 音乐形象就会有不同程度的改变。 在一定 条件下，其它要素甚至可起重要作用。 除了这些声音固有的特性， 在声音的表现方面还具有一些特殊的手法，如颤 音、 断音、 滑音、 渐强、 渐弱等。 数据映射到不同表现形式就能表示不同的信息。 2 . 1 . 2听觉的基本特性 许多听觉显示技术使用频率、 强度、 音色等声音属性来表示高维数据的不同 特征，即在处理海量数据时，必须利用声音多维度才能不失真的表现数据信息。 然而大量研究表明， 声音的几个维度( 响度、 音调、 音色) 之间在听觉上是相互影 响的 3 7 ,3 9 - 4 5 ， 这些维度中的 任何一个发生变化能 够影响对其它维度的感知。 因此， 当用这些变量表示数据的值时， 就可能产生错误的感知。因此， 在研究和设计听 第二章 听觉显示基础与实现方法 浙江人学硕士学位论文 觉显示方案时， 必须先了解人对声音的听觉认知是一个复杂的感知过程， 人耳对 声音 具有不同 的 特性4 6 ， 如听 觉的强 度 特性、 时间 特性、 空间 特性和 掩蔽效 应。 ( 一) 听觉的强度特性 1 )声音强度绝对感受阂 人的听觉器官对声音强度的感受能力有一定的限度。 若声波的声能或声压太 小， 就引不起人的声音感觉。 刚好使人听到声音的声能强度， 称为听觉的绝对闽 值。 人的听觉绝对闭值易受声波频率的影响。 一般认为低于2 0 h z 和高于2 0 0 0 0 h z 的声音， 即使强度增大， 人耳也难以感觉到它的存在。 人耳对2 0 -2 0 0 0 0 h z 范围 内不同频率声音的绝对阐值有明显差别。图2 - 2 表示人听到同样响度的声音时， 其声压级与频率的关系， 即达到同等响度级时声音与强度的关系曲线， 每条曲线 都是一条等响曲线。它表明在可听频率范围内，频率越低绝对阂值越高，而 1 0 0 0 - 8 0 0 0 h z 的声音， 绝对闺值都较低且变化较小。 频率高于8 0 0 0 h z 以后绝对 闭值又呈陡然上升趋势。 声音的响度与声音的频率有关。在实验中让频率和响度向同一方向变化( 同 时增大或同时减小) ，另一组实验让这两个维度向相反的方向变化，收听者认为 前者的总的变化要明显一些， 因此不同频率的声音达到同一响度所要求的声音坡 度有明显的差别。图2 - 2不是直线关系，成为等响曲线。可见人在 4 0 0 0 h z 纯音 时。对响度最敏感。也就是说各种频率的声音强度相等时，4 0 0 0 h z的声音听起 来最响。因此， 在精度要求较高的场合， 应注意知觉的这种不对称性， 尽量减小 各维度之间的相互影响。 而当某个变量的状态变化显得特别重要时， 将该变量同 时映 射到声音的 频率和强度， 很可能会有更好的表现5 3 ons 1 2 0 . 一一一 1 0 0 .一一月 .、 g 0 6040 羚器袜 - 2 0 贡 1 0 0 2 0 1厂5 0 0 1 0 0 0 - 5 0 0 0 2 0 0 0 0 颇串 ( h x 1 图2 - 2 等响曲 线图 2 )声音强度差别感受阂 人对声音强度差别的辨别能力也有其最低限 度。 若两个声音强度相差太小 人就不能分辨它们在响度级上的差别，只有当两个声音的强度差别达到某一值 后， 人才能感觉到一个声音比另一个声音响。 人刚刚能分辨出两个声音响度级上 不同时的强度之差， 称为声音强度感觉的差别阂限。 人对声音强度的差别感受闲 第三章 听觉显小基础与 实现方法浙江大学硕 卜 学位论文 限不仅依赖于声音的强 度，而且也取决于声音的 频率。 ( 二) 听觉的时间特性 频率是声波的时间特性的表现。 人对声音频率的辨别能力一般用频率差别阂 限来衡量。 频率差别闭限指人恰能分辨出两个声音音高有差别时的频率差异。 据 研究， 声音的频率差别闽限是被测声音的频率和响度的函数。 声音响度不变时频 率差别闺限随声音频率提高而增大，特别在频率高于2 0 0 0 h z 后频率差别闺限陡 然上升。 ( 三) 听觉的空间特性 当一个听觉正常的人通道一个声音时， 一般都不仅能辨别这个声音来自 哪个方 向， 而且还能判断声源的距离。 这是听觉空间特性的表现。听觉所以能对声源进 行空间定位， 主要是源于听觉的双耳效应。 位于不同方向的声源发出的声音达到 左右耳的距离有一定的差别。 来自 左侧的声音达到左耳的距离比右耳近， 来自 右 侧的声音达到右耳的距离比左耳近。 人的双耳时间差异感觉非常灵敏。 人通过对 一个声音在双耳发生的时间差异和强度差异的感觉，就可对声源的方位做出判 断。 对声音方位判断的准确性与声源所处的方位有关。 对来自同一水平面上的声 音， 正左和正右侧的方位判断准确性最高。 对水平面声音的方位右比垂直面声音 的方位容易判断。 ( 四) 声音掩蔽效应 一个较弱的声音( 被掩蔽音) 的听觉感受被另一个较强的声音( 掩蔽音) 影响 的现象称为人耳的 “ 掩蔽效应” 。被掩蔽音单独存在时的听闭分贝值，或者说在 安静环境中能 被人耳听到的纯音的最小值称为绝对闻闲。 实验表明， 3 k h z -5 k h z 绝对闻闺值最小， 即人耳对它的微弱声音最敏感; 而在低频和高频区绝对闻阐值 要大得多。 在掩蔽情况下， 提高被掩蔽弱音的强度， 使人耳能够听见时的闻闽称 为掩蔽闻闺( 或称掩蔽门限) ， 被掩蔽弱音必须提高的分贝值称为掩蔽量( 或称闺 移) 。 己 有实验表明， 纯音对纯音、噪音对纯音的掩蔽效应结论如下: 1 )纯音间的掩蔽对处于中等强度时的纯音最有效的掩蔽是出现在它 的频率附近。低频的纯音可以有效地掩蔽高频的纯音，而反过来则作用很小。 2 )噪音对纯音的掩蔽噪音是由多种纯音组成，具有无限宽的频谱。若掩 蔽声为宽带噪声， 被掩蔽声为纯音， 则它产生的掩蔽门限在低频段一般高于噪声 功率谱密度 1 7 d b ，且较平坦;超过5 0 0 h z 时大约每十倍频程增大 l o d b 。若掩蔽 声为窄带噪声， 被掩蔽声为纯音， 则情况较复杂。 其中位于被掩蔽音附近的由纯 音分量组成的窄带噪声即临界频带的掩蔽作用最明显。 所谓临界频带是指当某个 纯音被以它为中心频率， 且具有一定带宽的连续噪声所掩蔽时， 如果该纯音刚好 第二章 听觉显示基础与 实现方法 浙江大学硕 卜 学位论文 能被听到时的功率等于这一频带内噪声的功率，那么这一带宽称为临界频带宽 度。而当某个纯音位于掩蔽声的临界频带之外时， 掩蔽效应仍然存在。 人的听觉是一个复杂的感知过程， 涉及到听觉、理解、先验知识等。这里讨 论的是语音信号对听觉感知的影响， 如上述的强度、频率、方位、 掩蔽。由于听 觉的这些特性， 使在用户听力空间 ( u s i n g l i s t e n i n g s p a c e u l s )中声音各维度 之间存在着动态影响， 如音调和频率是非线性的关系， 当频率增加一倍， 产生的 音调并不会增加一倍; 又如高音调低响 度产生的效果与低音调高响度产生的效果 很难被分辨出来。 因此， 要使声音所提供的 信息与用户所理解的信息能快速地达 到一致，就要充分考虑这些因素的影响，避免提供的信息模糊化。 2 . 1 . 3声音表达数据信息的原则 听觉显示的设计要设法使显示的声音的特点与人的听觉系统的特点相匹配。 这 种匹 配 包含两 层 意思 4 6 1 : 一 是 指 所 显 示的 声 音的 强 度、 频率 和组 合 方式上 必 须限制再听觉系统所能承担的限度内， 才可能实现向人传递信息的目的; 其次显 示的声音要与人的听觉能力实现优化匹配， 如某一剧烈变化的信号用不断变化的 频率表示还是用不断变化的幅度表示更适合人的感知能力?因此， 在听觉显示和 可听化设计过程中，因尽量满足优化匹配的原理提高信息传递的有效性和准确 性。 利用声音传递消息是必须对声音进行编码。声音信号可利用声音的