（电路与系统专业论文）听觉显示开发平台的设计及应用.pdf

y 5 8 1 2 4 0 听觉显示开发平台的设计及应用 摘要 本文首先从人机交互的角度出发，指出传统的数据显示技术的局限性，提出 可听化研究的意义，回顾其历史及现状。介绍了听觉显示的理论、技术及应用， 分析了当前国内外的一些比较典型的听觉显示工具的优点、局限性，预测听觉显 示工具的发展趋势。 针对可听化研究人员的层次的多样性、需求的多样性和目前听觉显示工具的 局限性，提出了一种通用的适用于多个不同层次的用户的听觉显示开发平台 a d k ，重点讨论a d k 的结构、各模块接口的设计与实现。a d k 提供脚本支持功能 和多种交互方式，这是其它听觉显示工具所不具备的。 最后在a d k 的基础上完成了可听化汽车仪表、大鼠心电图的可听化和卫星遥 感数据可听化的设计与调试。 关键词：人机交互可听化听觉显示工具脚本开发平台 寨枣醐每擎、导师同意 勿全文公布 d e s i g n & a p p l i c a t i o n o f a u d i t o r yd i s p l a y d e v e l o p m e n t p l a t f o r m a b s t r a c t i nt h ep a p e r ，w ef i r s t l y p o i n to u tt h el i m i m t i o n so ft r a d i t i o n a l d a t a d i s p l a y t e c h n o l o g y f r o mh u m a n c o m p u t e r i n t e r a c t i o n v i e w p o i n t w ep u tf o r w a r dt h e s i g n i f i c a n c e o fs o n i f i c a t i o n ，a n d r e t r o s p e c t t h e h i s t o r y a n dc u r r e n ts t a t u so f s o n i f i c a t i o n t h e n ，w e i n t r o d u c et h e t h e o r i e s ，t e c h o n l o g i e s a n d a p p l i c a t i o n s o f a u d i t o r yd i s p l a y l a t e r , w ea n a l y s et h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft y p i c a l a u d i t o r yd i s p l a yt o o l s ，a n dp r e d i c tt h ef u t u r e 舡e n d si na u d i t o r yd i s p l a yt o o l s w ed e s i g na d k ( a u d i t o r yd i s p l a yt o o l k i t ) ，a l la u d i t o r yd i s p l a yd e v e l o p m e n t p l a t f o r m ，t om e e tt h ed i v e r s en e e d so fs o n i f i c a t i o nr e s e a r c h e r so fd i v e r s ec o m p u t e r a b i l i t y , a n dt oo v e m o m es o m eo ft h el i m i t a t i o n so fp r e s e n ta u d i t o r yd i s p l a yt o o l s m u c h e m p h a s e si sl a i do n t h es t r u c t u r eo f a d k ，a n d o nt h ed e s i g na n d i m p l e m e n to f i n t e r f a c eo fa d k sm o d u l e s s c r i p tf u n c t i o na n dm u l l t i p l ei n t e r a c tm o d e sa r et w o d i s t i n g u i s h i n gf e a t u r e so f a d k w eh a v en o tf o u n da n ya u d i t o r yd i s p l a yt o o l k i tt h a t s u p p o r t t h et w of e a t u r e sb e f o r et h et i m ew h e nw ef m i s h e dt h e p a p e r b a s e do na d k ，w ed e s i g nt h r e es o n i f i c a t i o n a p p l i c a t i o np r o t o t y p e s ，i e s o n i f i c a t i o no fc a rm e t e r , e l e c t r o c a r d i o g r a mo fw h i t em o u s ea n ds a t e l l i t er e m o t e s e n s i n gi n f o r m a t i o n k e d v o r d s ：h u m a nc o m p u t e ri n t e r a c t i o n ，s o n i f i c a t i o n ，a u d i t o r yd i s p l a y t o o l s ，s c r i p t ， d e v e l o p m e n tp l a t f o r m h 第一章绪论 第一章绪论 1 1 人机交互面临的挑战 人机交k ( h u m a n c o m p u t e ri n t e r a c t i o n ) 是研究人、计算机以及他们相互影响的技术。设计 良好的人机交互方式不仅能大大提高工作效率，而且能降低用户的生理和心理负荷，尽可能 减轻身心的疲劳；或者从另一方面看。在相同的生理和心理负荷下，用户能同时执行更多的 任务。人机交互在过去的3 0 年得到了广泛的关注与研究。也取得了相当好的成果。交互设 计( i n t e r a c t i o nd e s i g n ) 也逐渐成为国内人们日益关注的学科在一些大学逐步设置了相关 课程。 计捧机的出现极大地提高了人们认识自然、改造自然的能力。在计算机技术发展的早期， 其主要任务是使人们从简单繁琐的计算中解脱出来，将精力集中于具有创造性的研究方面。 在技术进步的同时一些新的问题逐渐显现出来，对传统的人机交互方式提出了挑战。 1 1 1 海量数据的处理 随着计算机软硬件技术的飞速发展，计算能力的迅速增强。科学家和研究人员获得了越 来越多的可以处理的数据他们需要理解并解释这些数据。这种计算能力的增强迅速改变着 我们学习、交流和探索世界的方式。传统的研究领域如地震监测、气象、天文观测、地质勘 探等数据的处理，和一些新的象人类基因组计划、虚拟人计划这样的巨大的工程，产生了 庞大的需要处理和开发的数据集；另外，许多应用领域，如军事领域、社会科学领域、商业 和政府部门的普通计算机用户需要从大量复杂抽象的数据集中及时地发现有用的信息，据此 作出合理的决策 1 1 2 传统交互方式及其局限性 作为人机交互的连接点，用户界面实现了用户与机器的有机的结合，它是人和计算机实 时交互的基础。 用户界面的发展大致经历了命令行界面( c o m m a n dl i n ei n t e r f a c e ，c l i ) ，图形用户界 蕊( g r a p h i c u s e r i n t e r f a c e 。g u i ) ，现在图形界面仍然占绝对地位。目前计算人机交互界面 的主流是w i m p 界面，w i m p 即窗口( w i n d o w s ) 、圈标( i c o n ) 、菜单( m e n u ) 、指点设备 ( p o i n t e r s ) 它成为用户界面的主流有几方面原因： 首先，它具有爽目的视觉效果，如丰富多彩的背景、多种不同风格的字体和美观的图标 等等：其次菜单界面与命令行界面相比，用户只需要再认而不是记忆系统命令。大大降低 了记忆负荷：第三，基于窗口的显示方式以前所未有的视野让用户看到了计算机内存储的信 息，同时也提高了人机交互的带宽；最后，图形用户界面具有一定的文化和语言独立性，并 可以提赢视觉目标搜索的效率”。 图形用户界面过多的依赖于视觉通道，不仅使视觉通道造成过载，也使得有视觉障碍的 i j 户儿乎无法使用计算机。传统视觉用户界面至少在下列情况下不同程度地存在问题1 ：( 1 ) 视觉反馈受限如屏幕空间小，典型情况如手持设备，同时呈现给用户的信息量小。( 2 ) 视觉信 息过载当使用高分辨率显示设备呈现信息或在多显示器系统中，通常要求用户同时处理的信息 量非常大，从而造成暇户视觉信息过载，蚀要信息被遗漏。( 3 ) 盲人或视觉缺陷者。( 4 ) 缺乏 临场感。在娱乐系统、虚拟现实、系统仿真等应用领域。没有声音的人机滞舌环境会缺少临场感 或沉浸感。( 5 ) 信息感知效率低。人类在现实环境下获取信息的方式是“多通道”的耳闻目睹， 纯视觉的信息感知不仅会造成视觉信息过载，而且效率较低。( 6 ) s 1 i p - o f f 现象时常发生。所谓 第一章绪论 s 1 i p - o f f 是指在用户操作的过程中用户选择一个视觉目标，比如对话框中的“确认”按钮， 但是在用户按下鼠标按钮，同时把注意从对话框移开，准备进行下一步任务时，鼠标有可能有移 动，点击的是“确认”按钮附近的“取消”按钮( 同样使对话框消失) 。而用户对此却一无所知。 在菜单项选择时同样的情况也经常发生。 人们轻松获取大量数据的同时，也体会到信息爆炸所带来的负面影响，大量的数据会导 致过载。要从海量数据中获取所需要的信息，一种有效的方式使以某种适当的方式显示数据 的特征。 视觉是人类获取信息的最重要的途径，大约8 0 以上的信息是通过视觉系统获得的。 近年来显示数据最普遍的方式就是通过视觉技术。例如图表、直方图、时序图等。 1 9 8 7 年美国国家基金会提出科学计算可视化技术，主要针对于三维大规模数据场的可 视化处理技术及其应用，其核心是将三维数据转换为图象。它涉及到标量、矢量、张量的可 视化、流场的可视化、数值模拟及计算的交互控制、海量数据的存储、处理及传输、图形及 幽象处理的向螭及并行算法毒9 f ，广泛应用于医学及医疗、地震勘探、气象预报、分子结构、 流体力学、有限元分析、天体物理、海洋观察、地理信息、洪水预报、环境保护等领域。科 学计算可视化的出现。有助于科学家和研究人员分析这样大量的数据，这些技术确实非常有 用然而。科学计算可视化技术也有它们的局限性，对于理解数据的某些特征是不够的，虽 然这种技术还没有走到尽头，但有些研究人员认为，用户解释和理解视觉信息的能力已经接 近极限研究人员正在探索有效的替代方法，一种最有前途的新的方法就是听觉显示。 1 2 可听化研究 现实生活中，人们可以凭借视觉、听觉、嗅觉、触觉、味觉等感觉通道来和外界进行信 息交换，可以毫不费力地处理大量的信息而不会导致某个通道过载，也不会因为某个通道的 缺失而不能和外界沟通，其它诵道会替代或者是协助完成信息交换。通过多个感觉通道与外界 进行信息交换，能提供适当的冗余信息，获得高效、自然的人机交互效果。 1 2 1 可听化研究的意义 听觉也是人与外界交流信息的重要途径，其重要性仅次于视觉，心理学认为人类从外界 获墩的信息越约有1 5 米白听觉通道。而传统的数据显示技术几乎都是单纯通过视觉技术显 示、反馈需要的信息界面中声音的使用仅限于告警，近年来随着语音识别合成技术的发展， 增加了语音输入、语音菜单、语音提示( 输出) 等功能，也仅用于极其有限的场合，这与现 实生活中人们通过各种感觉通道所获取信息的比例极不相称。人们在现实生活中对声音的使 用不仅仅限于告警和语音，在人耳能感知的范围内，这些声音只是微乎其微的一部分。 听觉是视觉很好的辅助手段，它可以增加用户接收的信息量，或者是分流从过多的单纯依靠 视觉通道获取的信息量，减轻视觉通道的负荷，从而减轻视觉疲劳。通过不同的感觉通道获取信 息能够提高工作绩效，这意味着综合使用多种感觉通道向用户传递信息的多通道用户界面有利于 提i 队机交互的效率。 越来越多的迹象表明，声音适合于表现高维数据而不会使用户出现信息过载。在有许多 变化参量或者必须同时监视暂态的复杂信息的场合非常适合用声音显示。在某些特定的环境 f ，象听觉显示这样的数据显示技术不仅是有效的，而且是必要的。例如，视觉被其它任务 完全占用，或者由于故障导致视觉通道不可用，如果有数据需要显示，必须采用其它通道， 在信噪比足够大的情况下，听觉显示无疑是最好的选择。 可听化( s o n i f i c a t i o n ) 就是用非语音声音信号表迭信息。5 “。即为了便于交 流和解释，将所研究领域的数据的联系转化为以听觉信号表现的感觉的联系。 第一章绪论 可听化有利于进行监控或者帮助理解从其它通道获取的信息，就其本质上讲是- - f q 交叉 学科。涉及到统计学、心理学、计算机科学、声学、艺术至工程学许多方面。统计学家感兴 趣的是寻找一条用可听化表现和概括数据的途径，正如目前广泛使用的可视的图形方式；心 理学家研究人类是如何感知和解释声音，进而探索有效的可听化方法。计算机科学家寻找台 适的应用场合，使得用软件实现听觉显示能让用户感觉更自然，以及如何合成声音呈现给用 户。工程师感兴趣的是可听化如何与硬件整台才能更好地发挥作用：物理学家研究声音的属 性对可昕化方法的影响：音乐家关心哪些种类的声音用于可听化更为有效，以及可听化在艺 术上的应用价值。对于信号处理专家，在目前模式识别技术与人的听觉所固有的模式识别能 力相去甚远的情况f ，可听化不失为模式识别的一条很好的途径。 研究人员正在开发可用于实时应用的工其，应用的范围从医院手术室的监视到象飞行器 控制这样的1 ：作压力很大任务。可听化成为种新的可用于模式识别、数据分析的工具，其 应用范闱还扩展到并行程序设计、医学、地球物理学、金融市场分析、微观世界和空间探索 等许多领域。 1 2 2 可听化研究的历史及现状 早在可听化这一概念出现之前，就有盖革计数器、声纳、听觉温度计，以及许多医学和 驾驶员座舱的听觉显示等成功的例子。 国外最早的关丁听觉通道用于人机交互的论文发表于二十世纪五十年代从八十年代开 始，人们已经意识到，人机交互中有必要利用视觉之外的通道并开始了较广泛的研究。国 外在可听化方面的研究主要集中在美国、加拿大、西欧、巴西、日本、澳大利亚及回归前的 中国香港等地如s a n t af e 大学的g r e g o r yi “l m e r 等人在复杂数据集的理解和实时监视等方 面做的：1 ：作目前正在研究混沌系统和基于遗传算法的模型的听觉表现；澳大利亚国立大学 的s t e p h e nb a r r a s s 等人在听觉信息设计方面，加拿大的w o o s t e r 大学的j o h ngn e u h o 孵人在 听觉显示及知觉维度间的相互影响等方面，英i 国g l a s g o w 大学的s t e p h e n b r e w s t e r 等人在多通 道人机交互方面，p r i n c e t o n 大学在通用的声音合成工具包s t k 、音乐合成与建模等方面，都 进行了深入研究s t k 可用于多种平台上的可听化工具的开发：砌c e 大学、s t a n f o r d 大学、 h a r v a r d 大学、b i e l e f e l d 丈学、德固b o r n 大学。香港以及巴西的一些大学的心理学家和信号处 理方面的专家也进行了可听化理论与应用研究( 详细内容参考文后的相关链接) 。九十年代 部分成果进入应闱阶段”。 九十年代中后期国内有北京大学、中科院软件所和浙江大学等单位开始对多通道多媒 体界面进行了深入研究”，如中科院软件所在多通道用户界面开发环境及三维c a d 人机对 话方面的研究；在界面中使用语音识别、合成等技术己相当成熟，如北京大学信息科学中心 视觉与听觉信息处理国家重点实验室在语音信号处理与听觉计算模型方面的研究：中国科学 技术大学电子：1 ：穰与信息科学系对语音信息处理进行了大量研究，其汉语文语转换系统 ( t e x tt os p e e c h ) 摧体技术达到国际领先水平。但对于非语音听觉交互仍没有作深入的研 究，至丁从人机交互的角度研究听觉显示和可听化技术，有关论文屈指可数”“。可昕化研究 还处于起步阶段并且局限于特定领域，例如浙江大学c a d & c g 国家重点实验室等单位在3 d 虚拟声音、建筑声学仿真等方面的研究”1 ”，以及信电系与心理学系合作进行人机交互方面 的研究，同时也进行了许多可听化应用研究方面的探索。 自1 9 9 2 年起，i c a d ( i n t e r n a t i o n a l c o m m i t t e eo fa u d i t o r yd i s p l a y ) 每两年召开一次年 会。2 0 0 0 年后每年一次，讨论有关听觉显示的问题，建立了一套基本的理论和应用原型。 目前国内夕 主要对如下课题进行研究：1 ) 非语音声音信号的声学特征和用户听觉模型：2 ) 人机交互技术中的听觉通道扩展：3 ) 听觉显示原理技术、系统实现和设计原则。 第一章绪论 1 3 听觉显示工具 听觉显示工具主要是为了显示数据，提供可听化的界面而设计的。因而，它的声音是交 互式的、实时的、可控制的，不象音乐那样只能播放无法灵活地加以控制，而且这种变化 是不可预料的，只与具体的数据有关。听觉显示工具的最大优点就是可以把高维度的数据变 成一维的声音。其设计跟具体应用中所针对的数据有着密切的关系。 听觉显示工具根据要显示的数据分类，基本上有两种：一种是基于离散数据的显示它 目前运用于报警响应事件：另外一种是基于连续数据的显示，它目前应用比较少，如脉冲 血氧计”，地蠖预报”“按照所处理数据时效来分类，可以分为实时的和非实时的。脉冲 血氧计是实时的地震预报而是非时实的。按照声音显示原理分：一类是声音控制工具，基 r 卢音的产生、复制和声音效果的变换；另一类是基于发声体的物理特性的建模。目前应用 比较广泛的是声音控制工具，我们在3 4 节所介绍的几种工具主要是声音控制工具。 目前已有不少可用于听觉显示的工具，包括软件和硬件在本文的3 3 节和3 4 节有比 较详细的介绍这些工具在许多方面有出色的表现。但大多是针对特殊的用户群体和特殊的 硬件；有的太复杂，用途太专一。不适合于可听化研发。 1 4 本文的工作 本文第一章分析了传统的人机交互方式的优缺点。以及在海量数据处理等方面的困境。 就当前广泛使j j 图形用户界面和可视化技术的的局限性，结合人与外界进行信息交互的特 点指出了可听化是一种最有前途的替代方式。 第二章介纫了儿个学科中与可听化密切相关的基础知识。第三章介绍了听觉显示模型、 昕觉显示技术舶应用及典型的数据一声膏映射模型，分柝了当前国内外的一些比较典型的听 觉显示i ：具的优点局限性及未来发展趋势。 第四章针对可听化研究人员的层次的多样性、需求的多样性和目前听觉显示工具的局限 性提出了一种通坩的适用于多个不同层次的用户的听觉显示开发平台a d k ( a u d i t o r yd i s p l a v t o o l k i t ) 。该平台采刚模块化结构，由主控模块、数据处理模块、映射模块和声音合成模块 等四个模块组成，可以根据需要修改、定制功能。可以定义用户自己的数据处理算法。a d k 包括两种用户接c i ：a p i 接口和脚本腧令行接口，三种不同的交互方式：脚本方式、命令 行方式和g u i 方式。本章重点讨论a d k 的结构及各模块接口的设计与实现本章结尾，提 出了a d k 舶功能扩展。 本文最后在a d k 的基础上完成了几个可听化应用的设计与调试。 第二章听觉显示基础 第二章听觉显示基础 可听化通过数据到声音的映射向用户传达信息，因此。对可听化的数据的知觉理解是任 何可听化应用成功的关键。人们对听觉进行了大量的研究取得了许多有价值的成就。在这 些研究的基础上，人们发现在多种情况下用声音表现数据是有效的。本章主要介绍与听觉显 示有关的一些基础知识。 2 1 听觉的特点 1 听觉的优势 首先听觉对暂态特性或者随时间的变化特别敏感。人的听觉有很强的辨别周期和非周 期事件检测连续信号中微小的频率变化的能力，在这一点上听觉明显地优于视觉显示。快 速变化的或者暂态的数据用视觉显示可能会变得模糊不清或完全丢失，却很容易由简单的、 经过精心设计的听觉显示检测出来。因此，可听化在理解或监视包含于其它相对比较稳定的 信号中的复杂的暂态数据的场台是很有用的。 其次，听觉具有全向特性可以引导视觉“听觉是视觉的眼睛”t 7 3 这些特性使得声 音非常适合用于监视和报警等方面，特别是当警报会来自许多可能的位置，或者视觉不能专 注于所监视的区域时更是如此。 听觉其它方面的优势包括：可并行输入( 监视或处理多个数据集的能力) ，快速检测( 尤 其在i ：作压力人的环境) ，容易学习和使用，能辨别数据流的联系或趋势“。这些都是听觉 研究比较活跃的领域。 m c c o r m i c k 和s a n d e r s 经过观察研究井综合了p a t t e r s o n 和d e a t h e r a g eb h 的建议， 提山在下列情况下。听觉显示优于视觉显示： ( 1 ) 原始的信号本身就是声音信号。 ( 2 ) 消息比较简短。 ( 3 ) 当前消息不需要参考前面的消息。 ( 4 ) 消息需要及时地反映事件。 ( 5 ) 发出警告或需要立即响应消息。 ( 6 ) 表现某些类型的连续变化的信息如飞行器，无线电测距或者航线信息。 ( 7 ) 视觉系统已经过载。 ( 8 ) 语音通道已经完全被占用。这种情况下用于听觉显示的信号耍与语音信号有明显的差 别，很容易被检测出来。 ( 9 ) 作为视觉的先导。 ( 1 0 ) 接受者要在不同的地点之间移动。 2 听觉的不足 声音信号可全方位接收既是听觉的优势。同时也使得来自任何方向的干扰信号都可以 起作用，要消除干扰比较困难。听觉的空间定位精度远远低于视觉，要求精确的空间定位的 任务不能单靠听觉来完成。另外，听觉显示也不适合于长时问的单独使用。 3 多通道人机交互 发挥各通道的优势，而且更符合人们的习惯，并能提供适当的冗余信息，获得高效、自 然的人机交互效果。同时提供听觉信息与视觉信息，可使人获得更强烈的存在感和真实感”； 在数据的视觉显示中加入适当的声音信号，能够强化视觉显示效果，或者消除视觉显示中的 歧义；此外，将一部分信息以听觉显示，可以同时显示更多的信息。 5 第二章听觉显示基础 2 2 语音与非语音 语音是最显然的信息携带声音( i n f o r m a t i o n c a r r y i n gs o u n d ) ，语音是人类交流的主要方 式，它同时也是一种特定的表达听觉信息的方式，通常人们认为听觉界面中使用合成语音或者 是录制的语音最方便，但只用语音表达听觉信息有几个缺点：( 1 ) 因为语音比较慢，如果要 表达一个相对较为复杂的信息，就需要较长的句子，这通常都会使用户厌烦：( 2 ) 听重复的 语音让人厌烦，语音并不总是最合适的表达方式，也有许多事件是语音很难表达的。如撕纸 的声音比语音更适合表达“删除文件”这一事件。( 3 ) 由于语音相对更有强迫性和更容易分 散注意力因此在常规任务中的听觉反馈要尽量避免使用语音。 当然，语音仍然是一种非常有用的传达信息的方式。特别是在一些常用的界面中尤其明显。 一个可能的应用方式应当是使用简短的抽象声音作为即时反馈然后，如果用户不理解抽象声 音的意思根据要求( 比如：按键) 或者是一定时间的延迟后给出语音提示。 在听觉界面中使用的非语音声音包括自然声音、乐音等等。非语音在听觉界面中的应用包 括以下儿个方面： ( ”科学计算可听化方面的应用。听觉显示在可听化方面的应用几乎都是使用非语音的。 ( 2 ) 针对盲人或者是视觉有缺陷的用户，使他们也能够使用计算机。 ( 3 ) 用户界面方面的应用。本文介绍的应用都是针对非语音。 理论上米说，主要有两种产生处理非语音声音的方法，一种方法是数字采样和存储，如 果需要的薛同步搜索和播放：另一种方法是通过改变相关的声音参数，在一个较高的层次 上模式化声音数据。这相对米说，需要比较小的存储率“。 2 3 声音的维度 2 3 1 基本概念 声音有纯音和复合音之分。纯音是最简单的声波有频率和振幅两个最基本的特性。复 台音为由两种或多种纯音混合而成的声音，其频率最低和振幅晟大的声波成分称为基音，也 称第一谐波：基音的频率决定乐音的音高，谐波成分决定音色。声波是声源在介质中向周围 传播的振动波声波的传播速度随传播介质的特性而变化。最大的气压偏离值称为声波的振 幅它表示声波的强度。声压的绝对值一般要换算成声压级。换算公式如下： ，p n ( d b l = 1 0 l o g 二= 2 0 l o g 二_ j l hp 0 式中n 为声压级分贝值；i 和p 分别为以分贝标定的待测声音的声能( 尔格，厘米2 ) 和 声压( 达因，厘米2 ) ；i o 和p o 为理想条件下1 0 0 0 h z 纯音达到正常人的听觉阈值的声能和声 压，它们的数值分别为l o 尔格，厘米2 和0 0 0 0 2 达因，厘米2 。 硭 。 甩 黛 置 图2 1 听觉曲线图2 2 纯音的音调和频率之间的关系 6 第一二章听觉显示基础 灵敏度用最小声音压力水平线( s p l ，s o u n dp r e s s u r el e v e l ) 表示( d b ) 。人耳对不同频率 的灵敏度不同。灵敏度与频率之间的关系可在听觉曲线( a u d i t o r yc u r v e ) 上描述，如图2 1 所示。灵敏度用最小声音压力水平线( s p l 。s o u n dp r e s s u r el e v e l ) 表示( d b ) 。通过测量在听 力频率范围内的刚能昕纯音的s p l 确定听觉曲线。一般认为人类的听力范围为2 0 2 0 0 0 0 h z ， 对理解语音相当重要的频率范围在4 0 0 3 0 0 0 h z 之间，在听觉曲线下面的区域是听不到的， 在听觉阈值线以上的区域引起疼痛，在这两条线之间是听力有用范围，为听觉响应区域。阴 影区域指明了会话语音的频率和强度。 听觉听阐包括强度阈和差阈。在多次作用下能有5 0 的次数引起听觉的最小声压级称 为强度阚听阚随频率变化，5 0 0 - 4 0 0 0 h z 之间的阈值最低。差阈是指两个声音引起听觉差 别的最小可觉藉，也随频率变化。6 3 h z 时。人耳能区别相差为0 5 h z 的纯音，而在1 0 0 0 h z 时，著阈增加到1 4 h z , 频率越高，差阈越大。 2 3 2 声音的维度 声膏是一种多维皮媒体。声音的维度包括音调、响度、音色、方位( 多声道) 、节奏、 节拍和持续时问等响度与幅度或者响度与声强之间没有线性关系，音调与频率也不是线性 的关系( 豳2 2 ) 。 音调声音的一个主要参数，主要决定于频率。只有声音的规则波形持续一定的时间，声 音的音调才能被人感受到，如果使用音调来传达信息，没有接受专业音乐训练的用户对离散 的音调区分能力很差，但普通用户都可以区分出两种声音之间音调上的不同，可以听歌曲和唱 歌，表明人类对音调的变化比较敏感。因此使用间歇的音调变化来映射信息应该是比较方便的。 音色声音最常用的维度，音色是泛音结构、和声内容等等构成的复杂功能，这些声学元 素通过傅立叶分析，人部分能够在声谱分析图中看到”1 。音色的最大优点在于：几乎不需要任 何参照物，离散的音色就可以很轻易的辨认出来，比如笛子、口琴、小提琴等的音色，可以很 容易的辨认出并能够长时间的记忆 响度与频率有关( 图2 1 等响度曲线) ，频率相同时响度和声音强度之间呈指数关系。人 耳对于响度的区分度较差，区分离散的音量大小是非常难的。目前常用的分级方式把音量分为 1 0 个不同级别的音量大小，使用离散的响度不能区分所有1 0 个级别，如果和音调配合，在短 时间内音量方面的变化还是可以感觉到的。 节奏、持续时间和节拍这些维度是声音固有的。节奏是音乐中交替出现的有规律的强弱、 氏短的现象；节拍是衡量节奏的单位在音乐中有一定强弱分别的一系列拍子在每隔一定时间重 复山现如2 4 、4 4 、3 4 拍等。持续时间的差别非常明显时才容易区分。p a t t e r s o n 认为如果 声音具有相同的节奏，即使它们的频谱差别很大，也极易混淆“1 ，因此，如果使用节奏这个维 度，应该使节奏尽鬣的不同。 方位是听觉显示的一个非常有用的参数。但是很多常用的电子设备，比如：移动电话， 都是非立体声的如果使用立体声作为听觉界面的输出，方位就成了一个可用维度。通过使用 立体声或者是环绕声，信息可以很好的映射到空间维度。 听觉定位主要因素是到达两耳声音的时间差与强度差。我们在听到一个声音的时候会留 意声源在哪里。声音来自正前方时，定位误差是最小的，大概2 3 5 度；而来自正后方时，定 位误差是擐火的，大概是2 0 度。 2 3 3 声音各维度之间的相互影响 许多听觉显示技术使用频率、强度、音色等声音属性来表示高维数据的不同特征，这种 方法的一个潜在的问题就是，一个变量的变化可能会影响到对另一个变量的变化的感知一大 量的研究表明，声音的几个维度( 响度、音调、音色) 之间在听觉上是相互影响的。”。“， 第二章听觉显示基础 这些维度中的任何一个发生变化能够影响对其它维皮的感知。当用这些变量表示数据的值 时，就可能产生错误的感知，当单个的维度发生变化时，根据方向和持续时间的变化，感觉 也会不同。研究表明，声音的强度上升和下降相同的幅度时存在着知觉不对称性“。“1 。 在实验中让频率和响度向同一方向变化( 同时增大或同时减小) ，另一组实验让这两个维 度向相反的方向变化。收听者认为前者的总的变化要明显一些。在精度要求较高的场合，应 注意知觉豹不对称性，尽量减小各维度之间的相互影响。而当某个变量的状态变化显得特别 重要时将该变量同时映射到声音的频率和强度，很可能会有更好的表现”“。 n u e h o f f 等人用可听化技术对股市数据进行分析将单一股票的价格和数量分别映射到 卢音的频率和幅度通过声音判断价格和数量。发现知觉的相互影响和不对称性对显示的解 释有满在的影响，根据频率判断价格受幅度变化的影响，同样，根据幅度判断股票数量也受 频率变化的影响。 2 4 听觉的多种效应 1 鸡尾酒会效应 在一个嘈杂的环境中在多个对话和各种环境声音混杂的条件下，人类能够把注意力集 中在某个对话上的能力。这个效应可咀在听觉界面中有意识地使用，在某种程度上，这比使 h j 二维的视觉桌面显示要优越。 研究表明，用多个声音线索来表明来自不同数据源的不同事件，在听觉桌面中跟踪和显示 这些卢音线索比监视多个层叠窗口的运动要来得容易。如果配合使用三维空间声音和其他的 一些声音效果。可以更好的区分不同的声源”“。 在听觉桌面环境下，多个应用程序或者是一个程序的多个不同的线程，可以同时进行。 例如，可以让一个应用程序在后台运行。利用听觉显示其运行状态，用户可以同时浏览网页， 附加的背景声音不会干扰前台的人机交互。如果后台应用程序需要一些输入，用户可以把它 们调到前台，同时终止或者挂起原来正在进行的任务。当然。如果后台应用程序输出过多的 声音，很箨易产生一个嘈杂的环境，从而对前台正在进行的交互造成干扰。因此后台的程序 在音簧方面应该明显的低于前台的应用程序。 2 掩蔽效麻 掩般效应( m a s k i n g ) 即由于个声音的存在而使人耳对别的声音之听觉能力降低( 听阑 升高) 的现象对纯音而言，掩蔽效应有如下特征：( 1 ) 强声掩蔽弱声；( 2 ) 低频声容易掩蔽 高频卢( m p e g 3 的卢青压缩算法利用了这一规律) ：( 3 ) 频率相近的纯音容易掩蔽但过分接 近则会产生差频。反而使掩蔽效应降低。( 4 ) 成分相近的复音容易掩蔽。如立体声的左右声 道。但复音掩蔽会改变音色。掩蔽效应的典型应用是电子降噪系统。 3 流效应 流效应( s i r e a m i n g ) 是指人类常常把几个不同的声音感受为一个虚拟声源发出的声音。 4 回声、反射、变形等效应 如果听者距离声源近的话，直接声音比回声要高，随着听者距离的拉远，直接声音减弱， 而在接收的声音中同声和反射的成分增加。回声可以运用到一些在较远的位置发生的事情。 声音的严重变形可以用来表明一些故障的发生。这使我们可以对不同的应用程序，在不同 的上下文环境中使用同样的一套非语音来完成多个任务。一方面，这方便用户记忆，同时 也很容易和它们表征的事件相关联。 5 优先效应” 声音方位的感知依靠晟先达到耳朵的声音，这个效应就是优先效应( t h ep r e c e d e n c e 第二章听觉显示基础 e f f e c t ) 。并且在第一个声音到达后7 0 m s ，其它的声音受到抑制。但是后到耳朵的声音会影 响人对先达的声音品性。这和哈斯效应、掩蔽效应描述相似。 6 哈斯效应” 当有两个声源时，如果其中一个声音略为比另一个声音延迟到达l o 一3 5 m s ，则听起来 所有的声音似乎都是来自超前的那个声源而滞后的那个声源意识不到它的存在，这种现象 叫哈斯效应，它是声学家哈斯( h a s s ) 在实验中发现的故名。略斯效应与掩蔽效应是立体声 重放系统的基本定位因素。 2 5 用声音信号表达信息的原则 d e a t h e m g eb h 在1 9 7 2 年提出了声音用于警告和空间信息获取和空间定位的原则， p a t t e r s o n 对飞行器显示系统中的声音进行研究，提出了驾驶员坐舱中( 警告) 声音设计的原 则可能在计算机界面中也是适用的”。m c c o r m i c k 和s a n d e r s 在其它观察中综合了两人的 建议提出了一些听觉显示的通用的原则。综合以上的建议并结合s t e 曲e n 、朱祖祥等人 的研究”，提出以下原则。 听觉显示的通用的原则： ( 1 ) 兼容性( c o m p a t i b i l i t y ) 。要求切实可行。选择信号维度及其编码，利用用户已有的知 识或者自然联系。例如高频声音与上升、高相联系，凄厉的声音和紧急事件、危险相 联系。 ( 2 ) 可分离性( d i s s o c i a b i l i t y ) 。要求可以很容易地从任何正在进行的声音输入( 噪声或有 意义的输入) 中辨别出用于显示的听觉信号。如果一个人要同时听两个或更多通道的 声音，那么应该尽可能使这些通道的频率不同。 ( 3 ) 逼近性( a p p r o x i m a t i o n ) 。表现复杂的信息时考虑采用两步信号：( i ) 吸引注意力的 信号。吸引注意力的同时识别信息的大致分类。( i i ) 精确指定的信号。前一步吸引 注意力之后，在已识别的大致范围内指定精确的信息。 “) 简洁性( p a r s i m o n y ) 。提供给操作者的信号只包含必要的信息，不要使听觉通道过载。 在任何给定的虑用中。只有少量的信息需要显示，过多的显示信息会导致混乱，使操 作人员过载。例如在三里岛核危机中，被激活的听觉警告超过6 0 个。 ( 5 ) 一致性( n v a r i a n c e ) ，任何时候必须为相同的信号指定相同的信息。需要频繁切换听 觉显示任务的情况下。这种指定可有效避免用户从一个任务转换到另一个任务时出现 的不适应或者谡操作；而且。用户使用一个新的听觉显示系统时，以前积累的经验仍 然有效。可以缩短学习时间。 听觉显示设计中除咀上通用的原则之外，还应尽可能采用以下原则： ( 6 ) 设簧适当的信号强度也就是说，根据周围环境噪声水平，确定适当的信号强度。使 信号不至丁被噪声淹没s t e p h e n 认为，信号应该比背景噪声高，且高于听觉阙值l o 2 0d b p a t t e r s o n 提出，警告信号应该比背景噪音高出1 5 2 5d b 8 1 。可能的情况下， 应允许用户调摧通道的增益。 ( 7 ) 听觉显示使用的声音的频率建议在1 2 5 5 0 0 0 h z 。警报和警告信号频率在2 0 0 5 0 0 0 h z ， 如有可能晟好在5 0 0 3 0 0 0 h z ，因为人耳对这一频段的声音最敏感。如果信号需要 传播较远的距离( 1 0 0 0 英尺) ，使用1 0 0 0 h z 以下的频率，因为高频声音在空气中衰减 快。如果信号需要穿过隔离物或绕过障碍物时，使用5 0 0 h z 以下的频率。最好能避开 噪声中最强的频率“。 ( 8 ) 采用间断的或变化的信号。避免使用稳定的信号，而采用间断的变化的信号，这可以 减小知觉的适应性所带来的负面效应。 9 第二章昕觉显示基础 ( 9 ) 用稳定的独特的信号表示“正常”，以突变信号表示“异常”，因为人耳对频率或幅度 的变化敏感。 ( 1 0 ) 表达变化的信息时，强度的变化比频率的变化效果好听力正常的人都可以检测到声 音强度的变化。在信号中采用间歇的重复的变化，比连续信号的一次变化效果好。耳 朵更有可能每隔1 2 秒检测一次声音变化，而不是更长的时间间隔。 ( 1 1 ) 不同的声音信号尽量分时呈现，其时间间隔不宜短于1 秒。 ( 1 2 ) 避免昕觉维度的极端情况，代码数目不能超过使用者的绝对辨别能力。高强度的声音 信号会使人震惊，破坏听觉显示的表现效果。 2 6 听觉感知的研究方向 听觉感知研究，从个体听觉的维度( 如音调，节拍，响度，声音定位) 的研究到听觉流、 听觉注意和多通道显示这样的更复杂的现象的研究都取得了进展。当前人们密切关注学习对 听觉显示绩效的影响。通过训练可以强化听觉显示缋效，识别一些典型的听觉模式。例如， 训练有素的声纳操作人员具有特殊的识别能力；h a n s 作过用可听化技术辨别化学物质的试 验，发现被测试的化学专家，很容易适应复杂豹听觉显示，他们能理解声音表达的不同模式， 训练前区分化学物的准确率为9 0 训练后的准确率为9 8 ；在盲人行走辅助系统e t a ( e l e c t r o n i ct r a v e la i d s ) 训练中，利用听觉代替视觉获取路面情况并做出相应动作，如障碍 物回避，方向导航，训练前后用户的表现差别很大没有接受“训练”的用户认识路面状况 的成功率只有4 3 而接受“训练”的用户认识路面状况的成功率就高达8 0 7 ”“。而学 习是基本的感知和高级认知过程的结合，人们有必要进一步研究听觉显示的绩效与训练时问 的关系。 现在正在探索的可听化应用研究有面向视觉正常的用户群体和面向有视觉障碍的用户 群体的。听觉研究中一些主要的研究领域都试图证明听觉通道在应用中优于其它通道，特别 是暂态特性非常重要或视觉通道负荷过重的场合将来的听觉感知研究将主要集中于几个方 面： ( ”数据到适当的声音特性之间的映射。映射符合人们的自然习惯声音就容易引起人们 的注意。所表达的意义也容易迅速理解，但自然声音可控制的参数又太少，不适合表 现多变量的数据集可以合成容易操纵的结构化的声音，或者结合“自然”的声音。 ( 2 ) 理解动态的声音感觉不同知觉维度问存在相互影响声音的不同维度的动态变化也 会影响到听觉赙知效果，即使只有一个维度变化也存在知觉的不对称性“，这些都 会直接关系到听觉显示的续效。 ( 3 ) 研究听觉流。一个好的可昕化设计可以增强用户同时监视处理多路数据的能力，至于 这方面有多少潜力，这一过程中的记忆负荷、注意力以及其它影响信息传递的因素还 不完全清楚人们所熟知的听觉的鸡尾酒会效应绝大多数是关于语音方面的，而不是 非语音的 ( 4 ) 听觉中的突变( s a l i e n c e ) 的定义和分类。理解数据挖掘中哪些场合，激烈变化的声音事 件( 或模式) 优于视觉表现。 ( 5 ) 发展可听化在多通道中的应用。多通道交互通常有许多优势”。，能提高人机交互的 效果，但并不总是最好豹解决方案。实验表明，在许多场合，听觉+ 视觉比单通道所 产生的效果要差”1 。如果数据的可听化要与其它的通道相结合，就需要通过实验研究 不同知觉之间的相互影响。 1 0 ， 第三章听觉显示技术及工具 第三章听觉显示技术及工具 3 1 听觉显示模型 3 i i 可听化系统 一个完整的可听化系统主要由数据获取、数据预处理、数据处理、声音映射和合成、放 音等儿个部分组成( 图3 ”。数据获取部分从各种数据源获取原始数据，通过数据预处理 部分滤波去掉干扰信号，可能还需要数据处理部分适当提取数据特征，然后经过数据一声音 映射输出卢青参数，再由得到的声音参数合成声音输出声音的采样值，最后放音，由人来 进行分析判断蜃终结果。 图3 1 可听化系统 我们日常生活中的报警信号同时采用听觉和视觉交互，人们就不容易忽视危险的存在。 例如在地震数据分析中，决策失误的损失很大传统的分析方法本来就很难准确地预报地震， 可听化作为新兴的还未成熟的技术也是处于探索阶段，不能依赖单通道的结果。因为医生的 决策对病人至关重要，如用于医学领域，在视觉界面没有负面影响或者视觉没有被占用的情 况下应尽可能与传统的视觉界面相结合。另外在厅堂设计可听化中还需要考虑声音图象 同步问题”“” 3 1 2 听觉显示研究 听觉显示是一个比较新的领域相对于g u i