（计算机应用技术专业论文）基于笔式交互的音乐喷泉仿真系统.pdf

浙江犬学硕士学位论文 摘要 摘要 笔这种自然交互方式已经存在了数千年，人们已经习惯了使用笔作为交互设 备，其交互方式中体现了一种社会的文化氛围，是一种更自然、更高效的交互方 式；从计算机技术的角度来看，笔交互的硬件技术已经相当成熟，各种各样的笔 交互设备琳琅满目；相关的软件技术也有很大的发展，同时促进了许多相关研究 领域的交融，带动了相关学科的发展。 对于音乐喷泉的设计，本文运用草图这种快捷、简便、更具创造性的设计方 式，利用笔式交互中的草图识别算法，在随意性与准确的设计之间取得平衡，使 得对于喷泉外观的设计变得轻松自如。在分析了以往喷泉水流控制方法的基础 上，本文提出了一种利用笔交互设备实时控制水流运动的设计方法，突破了以往 从音乐分析和理解出发，然后才能编码的局限。 本文在研究和分析了现有的多种新颖的交互方式以后，设计了一种被命名为 t o o l c u r s o r 的快速就地工具切换技术，它不仅可以被笔交互工具来操纵，而且可 以被普通的鼠标所控制，通过对用户实验数据的分析，证实其相比普通的t o o l b a r 在性能上有大约2 6 4 的提升。本文充分利用了笔交互设备的三维空间信息，给 出了一种针对t i l t m e n u 的改进方案，大大提高了交互舒适性。 音乐喷泉被广泛应用于城市和景区的美化，如何对其进行模拟被越来越多的 研究人员关注。音乐喷泉的粒子数量可以达到百万级别，传统的粒子系统方法几 乎不可能实现对如此海量粒子的实时运动计算与绘制。本文提出一种大规模音乐 喷泉的实时模拟方法，借助音乐数据建立音乐喷泉的粒子运动模型，通过充分挖 掘图形处理器强大的并行处理能力，突破了海量粒子系统实时运动计算及实时绘 制的瓶颈，并且针对喷泉水滴的特点，改进了绘制方法，成功地实现了对大规模 音乐喷泉的实时模拟。 关键词：笔式交互，音乐喷泉，粒子系统，g p u ，t o o l c u r s o r ，r e v o l v e r m e n u 浙江大学硕上学位论文a b s t r a c t a b s t r a c t p e ni san a t u r a li n t e r a c t i o nm e t h o dw h i c hh a sb e e nu s e df o rt h o u s a n d so fy e a r s p e o p l ea l m o s tg e tu s e dt ot h eh a b i tt h a tu s i n gt h ep e na sa ni n t e r a c t i v ed e v i c e ，a n di t i n h e r i t e dt h el o n g s t a n d i n gc u l t u r eo ft h es o c i e t y , s oi ti sam o r en a t u r a la n dm o r e e f f i c i e n tw a yo fi n t e r a c t i o n f o rt h ep e n b a s e di n t e r a c t i o n ，t h eh a r d w a r et e c h n o l o g yi s a l r e a d yq u i t em a t u r e ，av a r i e t yo fi n t e r a c t i o ne q u i p m e n t sa p p e a r e d ，a n dr e l a t e d s o f t w a r et e c h n o l o g yh a sg r e a t l yd e v e l o p e d i t sag r o w i n gc o n c e r nf o rm a n yr e s e a r c h e r sa st ot h er e a l t i m es i m u l a t i o no f m u s i cf o u n t a i ns i n c ei ti saf a s c i n a t i n gd e c o r a t i o no fc i t i e sa n ds c e n i cs p o t sw h i c h c o m b i n e sm o d e mt e c h n o l o g y , m u s i c ，a n dw a t e r s c a p e ，e t c m o d e mm u s i cf o u n t a i nh a s t h o u s a n d so fv e n t s ，w h i c hm a d ei ti m p o s i n ga n dv e r yl a r g e u n f o r t u n a t e l y , i th a s g r e a t l yi n c r e a s e dt h ed i f f i c u l t yt os i m u l a t ei t i nt h i sp a p e r , w ec h a n g ea n di m p r o v es o m ep e n b a s e di n t e r a c t i o nt e c h n o l o g i e s ， t h e ya r eu s e dt ob u i l dt h es y s t e ma n dm a k e t h ed e s i g nj o bv e r yf u n n ya n de f f i c i e n t i nt h i sp a p e r , an e wa p p r o a c hf o rr e a l t i m es i m u l a t i o no fl a r g es c a l em u s i c f o u n t a i ni sp r o p o s e dw h i c hi n c o r p o r a t e sf l u i dd y n a m i c s ，p a r t i c l es y s t e m ，m u s i c s y n c h r o n i z a t i o na n dg e n e r a lp u r p o s eg p uc o m p u t a t i o n t h ef o u n t a i np a r t i c l e sa r e d y n a m i c a l l ys y n c h r o n i z e dw i t hm u s i cd a t a ，a n ds i m p l ed y n a m i c se q u a t i o n so fp a r t i c l e s a r eu s e dt os i m u l a t er e a l i s t i cf o u n t a i nb e h a v i o r t h er e a l - t i m eu p d a t eo fp a r t i c l e a t t r i b u t e ss u c ha sp o s i t i o n ，s p e e da n dt h er e a l - t i m er e n d e r i n go fp a r t i c l e sa r ea c h i e v e d t h r o u g ht h ea v a i l a b i l i t yo fh i g hp a r a l l e lp r o c e s s i n gp o w e ro fm o d e mg p u s an e w p a r t i c l er e n d e r i n gm e t h o db a s e do na d a p t i v es a m p l i n gi ni m a g es p a c ei sa l s op r o p o s e d f o rt h es a k eo fp a r t i c l er e a l i s m t h ep r o p o s e da l g o r i t h mh a sb e e nv e r i f i e da n dc a nb e e a s i l yi n t e g r a t e di n t oi n t e r a c t i v ea p p l i c a t i o n sf o rr e a l - t i m ef o u n t a i ns i m u l a t i o n k e y w o r d s ：p e n - b a s e di n t e r a c t i o n ，m u s i cf o u n t a i n ，p a r t i c l es y s t e m ，g p u ， t o o l c u r s o r ，r e v o l v e r m e n u 浙江大学硕十学位论文图目录 图目录 1 1 音乐喷泉1 1 2p d a 设备6 1 3 数码纸8 1 4 影拓三代9 2 13 d sm a x 2 0 0 9 菜单工具1 4 2 2m i c r o s o f to f f i c e2 0 0 7 迷你工具栏15 2 3t o o l c u r s o r 示意图17 2 4t o o l c u r s o r 状态转换17 2 5 实验设计18 2 6 性能比较19 2 7 友好性分析19 2 ；t i l t m e n u 2 1 2 9r e v o l v e r m e n u 2 2 2 1 0r u b i n e 单笔画识别2 5 2 1 l 多笔画识别2 7 3 1 笔、水流实时控制3 3 3 2 光标参数计算原理3 4 3 3 动态光标的实现3 5 3 4t o o l c u r s o r 的实现3 6 3 5t o o l c u r s o r 的系统应用3 6 3 6 草图识别3 8 3 7 图元位置调整3 9 3 8 图元大小调整3 9 3 9 喷头数目设置4 0 3 1 0 喷泉形态设置4 1 3 1 1 音乐喷泉设计实例4 2 4 1 音乐喷泉仿真流程4 4 4 2 粒子属性存储4 5 4 3 双缓存技术4 6 4 4 粒子绘制4 7 4 5 总体效果4 8 4 6 近景效果4 9 4 7 绘制速率一4 9 图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图 浙江大学硕士学位论文 第1 章绪论 第1 章绪论 1 1 研究背景 视景仿真( v i s u a ls i m u l a t i o n ) 经过多年来的发展，在技术上越束越成熟， 井被应用到立体电影、虚拟现实、模拟娱乐等很多现代流行的领域中。人工喷泉 是一种将水或其他液体经过一定压力通过喷头喷洒出来而形成的具有特定形态 的组合体，现在己经逐步发展j j j l 大类：音乐喷泉、激光水幕电影、趣味喷泉等。 音乐喷泉作为园林设计和视听艺术相结合的景观形式，被越米越多的城市作为当 地标志性的同林艺术形式，并受到广大人民群众的喜爱。因此在视景仿真的众多 领域中，对音乐喷泉的仿真变得十分有必要，得到了广大研究者的重视，深入其 中探寻方法。 现实中的音乐喷泉如图1 1 所示，主要利用p l c ( p r o g r a m m a b l el o g i c c o n t r o l l e r ) 来编辑，并使用一定的程序产生变化来组合水流的运动形态或对于 图i1 音乐喷泉 某一首音乐随时组合各种不同的水型，水流可以由泵的直接开关来控制，也可以 浙江大学硕士学位论文第l 章绪论 用变频技术来改变水压的大小，或者改变水柱的角度。因此从设计一组音乐喷泉 的外观、位置，直到根据一首乐曲设计音乐喷泉的水流运动是一项复杂而又繁琐 的工作，音乐中除了音高这样可以直接被数字化的量以外，其他的类似情感表达 的音乐成分都需要人这种意识主体来感知，根据一段音乐来设计一组喷泉的运动 变化，就变得如同根据音乐来填词一样具有很强创造性，即使设计者已经设计完 成了针对一首乐曲水流运动的构思，但由于p l c 的编程难度远远大于简单的用笔 记录下填好的词，编程需要很长的时间将这些构思转化为代码并展现给设计者， 整个音乐喷泉的设计时问变得十分长，有统计显示平均针对一首曲目的编程时间 是3 至5 天，如果效果不尽如人意其修改时间更是让人难以忍受。 笔这种自然交互方式已经存在了数千年，人们已经习惯了使用笔作为交互设 备，其交互方式中体现了一种社会的文化氛围，是一种更自然、更高效的交互方 式；从计算机技术的角度来看，笔交互的硬件技术已经相当成熟，各种各样的笔 交互设备琳琅满目；相关的软件技术也有很大的发展，同时促进了许多相关研究 领域的交融和互动，带动了相关学科的发展。此外人们由于长期使用纸和笔，从 而对其还有特别的偏好，这是因为其有直觉性( 草图的使用和灵感的捕获) 、使 用的手眼协调性( 视觉与手动的互动) 和便携性。因此我们希望对音乐喷泉的仿 真设计可以变得像填词一样，利用笔交互计算，勾画喷泉外观，控制喷泉形态等 等，只要有了构思就可以轻松的用笔来描绘设计的蓝图，从而形成一系列音乐喷 泉的整体设计流程，缩短设计周期，然后通过仿真，设计者可以查看设计效果， 如果不满意，可以方便的去修改原有设计，这样不仅在视景仿真中使其变得简单 易行，而且可以对现实音乐喷泉的设计提供可靠的帮助。 1 2 笔式交互简介n 1 计算机已经渗透到人们生活的方方面面，贴近自然、以人为本的用户界面和 交互研究成为了当今世界人机交互领域的研究主题。人机交互研究的一般目标是 探寻更新更好的交互方式和方法，使人与计算机甚至其他机械设备之间的环境更 加协调。对于人类已经使用数千年的笔和纸这样的交互形式，交互者对其的认知 2 浙江人学硕士学位论文第l 章绪论 更加深入，在过去很长的一段时间里设计者仅仅局限于把笔作为一个鼠标的替代 物或把笔交互技术等价于模式识别。随着计算机技术的不断发展，这种认识逐渐 淡化了，笔式用户界面取得了巨大的发展。 与其它交互设备相比，笔这种交互设备有一个十分明显的特点，就是易于控 制，可以进行十分高效和自然的勾画和设计，在一些需要很强创造性的交互场合， 这种交互形式便于留住灵感，并将其快速符号化为计算机数据。音乐喷泉的设计 是一项极富创造性的工作，借助笔这种交互工具，用户可以运用草图这种简单、 快速、便捷的设计形式完成对其的设计，以便在设计灵感闪现的时候，能够很好 的记录它们。 1 3 笔式交互的研究和发展n 1 笔式交互作为一种交互，长期以来都是人机交互的一个重要组成部分，被很 多大学和研究机构重视，投入了大量的人力物力对其进行研究，对这个方向的发 展做出了很多贡献。a g e n t s 是m i t 启动的一种多模式界面项目，其中包含了 研究有关智能笔技术的相关内容，该项目试图将智能笔技术和语音识别、表情识 别等结合起来，以提高用户界面的交互效率和舒适性。对于类似草图勾画为主要 技术特征的笔式交互，这些研究者们进行了大量的研究，把一些类似物理仿真或 机械设计领域的设计应用成功的运用到了笔交互系统中，例如a s s i s t 。c m u 大 学人机交互学院也有很多这方面的研究工作，他们在嵌入式工具箱系统g a r n e t 中加入了对笔式交互系统的支持，同时设计实现了通过勾画设计图形用户界面原 型的工具s i l k 。b e r k e l e y 大学g u i r 实验室开展了大量的笔式用户界面研究，其 中以基于笔的设计工具为主，如网站的设计d e n i m ，同时也设计实现了支持笔 交互界面丌发的工具系统s a t i n 。加拿大多伦多大学的相关研究小组把笔式交互 作为其重要研究方向之一。从理论上到应用上都取得多项成果 以中国科学院软件研究所为代表的国内研究机构和组织也致力于笔式交互 的研究，例如戴国忠老师的科研团队在笔的字处理、概念设计和交互平台等方面 进行了深入的研究，并取得了很多成果，他们提出了e g o m s 模型、p i b g 界面范 浙江大学硕：匕学位论文第l 章绪论 式和笔式界面开发方法等诸多笔式交互技术。 对笔式交互的研究带动了它在商业领域中的应用。上世纪9 0 年代初，g o 公 司是一家典型生产笔交互应用产品公司，他们的p e n p o i n t 作为一种基于t a b l e t 的 操作系统，开启了这方面应用的先河。在此之后，有很多公司都相继推出了自己 的笔交互系统或设备，比如微软的w i n d o w sf o rp e nc o m p u t i n g ，这个系统虽然具 有c o m p a q 公司为其专门制造了的计算机设备，但这个产品并未获得成功；苹果 公司也是这个方向的积极参与者，他的笔式用户界面系统n e w t o no s ，一度成为 当时最为成功的产品。 在同本，一些公司一直致力于笔式交互软硬件的研发和生产，如：w a c o m 、 t o s h i b a 、h i t a c h i 、n e c 、s o n y 等。尤其是w a c o m 公司，一直致力于创意、改 善人与电脑的关系并使之协调的发展，1 9 8 3 年，w a c o m 率先研制并将数位板和 无线压感笔投入市场，初期主要用于电脑辅助c a d 设计，取得了很大的成功。 1 9 8 8 年w a c o m 的数位板和无线压感笔开始进入欧美市场，不仅在电脑辅助c a d 设计，更在d t p 市场掀起狂潮。w a c o m 有效地解决了电脑笔输入的难题，随着 电脑技术与电脑软件的技术发展，在多个领域创造着高效与完美。w a c o m 公司的 产品不仅在电脑辅助c a d 设计、d t p 、c g 等领域占据着支配地位，更已成为业 界最高技术与最新潮流的引领者。 1 4 笔式交互设备 普通个人电脑或者类似的设备，其用户界面主要由用于交互计算的软硬件两 个环境组成。随着相关硬件技术的发展，使用笔交互设备实时记录笔迹数据成为 一件简单易行的工作，而且各种硬件设备为数字笔迹技术提供了多种多样的应用 环境，从连接在桌面个人电脑上的t a b l e t 、手持的p d a 设备到白板或整个墙壁。 各种各样的设备通过计算机网络相互连接，从而可以进行信息的交流与资源的分 配。随着交互环境的不断增多，笔式交互技术有广泛的应用前景。 1 4 1 硬件基础 笔输入设备所具有的最基本功能是将笔尖在一些模拟纸张设备上的位置转 4 浙江大学硕十学位论文第l 章绪论 化为某一坐标平面系下的( x ，y ) 坐标，同时为输入和视觉反馈等用户操作提供 支持，其本质是将具有笔交互特性的设备信息数字化并传入计算机。现在有的笔 交互设备已经可以将笔的三维倾斜度和笔尖的压力等信息输入计算机。 磁跟踪技术：磁跟踪是目前应用十分广泛的一类方位跟踪器。它利用加了电 压的线圈在交互区域内形成磁场，用固定在笔上的三轴磁探测器探测磁场的变 化，利用电磁发射信号和感应信号之间的耦合关系确定被测对象的方位。 电跟踪技术：电跟踪也可以用来对笔交互设备进行跟踪，但应用并不是十分 广泛。该技术利用了手和普通笔具有导电性来实现跟踪。 红外线跟踪技术：由密布在显示区四周的红外线接收和发射管构成水平和垂 直方向的扫描网格，形成一个扫描平面网，当有物体阻挡住网格中的某对水平和 垂直扫描线时，就可以通过被阻挡的水平和垂直方向的红外线位置确定( x ，y ) 坐标。 超声波跟踪技术：基于超声波测距的平面定位系统是采用声学测量的定位方 法。超声波传感器检测距离的主要的方法是检测传感时间，传感时间是指超声波 从发射器发出到超声波接收器接收到声波所经历的时间间隔。声源与目标之间的 距离与声波在声源与目标之间传播所需的时间成f 比。这样通过传感时间就可计 算出声源与目标之间的距离。交互用的笔设备是一个超声波发生器，在交互区域 的两个端点安置超声波接收器，这样就组成了一套基于超声波测距平面跟踪定位 的系统。 光跟踪技术：在交互笔中安装有一个激光发生器，可以通过把激光投向书写 纸，待其反射回笔中安装的接收器来分析当前笔所在处的坐标值。 基于桌面的个人电脑是目前主流的计算机设备，研究人员和硬件制造商针对 个人设计了增强的笔交互环境。在早期的笔式交互环境中，采用光笔来直接和现 实世界进行交互，随着交互软硬件技术的不断发展，目前主要采用的是通过一个 和个人电脑相连的t a b l e t 设备实现笔交互功能。 5 浙正人学颂士学位论文 第l 章绪论 1 4 2 手持计算设备和电子白板 在移动计算环境中，笔作为一种便携的交互设备被广泛地应用。在目前的手 持p d a ( p e r s o n a ld i g i t a la s s i s t a n t ) , i 某些手机设备中都设置有笔交互装置，如图 12 所示，人们叮以通过笔在p d a 的小屏幕中进行文字的书写或完成其他的交互 任务。p d a 相对于传统电脑而言，其优点是轻便、小巧、可移动性强，同时又不 失功能的强大，其缺点是屏幕过小，且电池续航能力有限。手持p d a 有一定计 算能力，它往往作为信息消费者的前端，需要联网得到后台计算资源的支持。 嘲l2p d a 设备 白板是一种多媒体演示设备，它经历了复印式电子白板和交互式电子白板两 个阶段，是现代化多媒体办公及教学必不可少的设备。早期最为著名的白板设备 足x e r o xp a r c 的l i v e b o a r d 。主要的电子白板类型有：复印式电子自板、交 互式电子白板等。 浙江大学硕： 学位论文第1 章绪论 1 4 3 平板电脑 从微软提出的平板电脑概念产品上看，平板电脑就是一款无须翻盖、没有键 盘、d , n 足以放入女士手袋，但却功能完整的个人电脑。比之笔记本电脑，它除 了拥有其所有功能外，还支持手写输入或者语音输入，移动性和便携性都更胜一 筹。通过克服传统个人电脑、手持移动设备和笔记本电脑的缺点，并结合他们的 优点，新一代具有较大交互区域和较强处理能力，而且可以移动的计算设备t a b l e t p c 被推出。其外形相当于一本书籍的大小，功能类似电子笔记本，据有体积轻 巧、经济省电等特性。t a b l e tp c 让使用者可以在高分辨率的液晶屏幕上进行书写 而不是受纸张数量限制，并可以通过无线网络随处上网。 1 4 4 智能a n o t o a n o t o 主要体现为三个组成部分：数码纸、a n o t o 智能笔及a n o t o 软件平台。 a n o t o 智能笔和普通的笔外观和功能都有相似的地方，可以在普通的纸张等书写 介质上书写，但它的书写信息( 笔的轨迹、压力和方向细心) 会被设备自动捕捉 并储存。同时，这些信息可以通过短程的无线通讯方式传入处理能力较强的计算 机。 数码纸是通过在普通纸上印刷“点阵”及其它图文内容产生的。通过图1 3 的示意图，我们可以很直观的看到数码纸及纸上的点阵。当a n o t o 笔在这种纸上 书写时，鼻头上的微型摄像机不断拍摄纸面上笔尖附近的小店，分析这些点的排 列结构，获得笔尖的坐标位置，进而获得笔画轨迹。此外，a n o t o 笔还能记录用 户书写时所用力度的变化等不可见的特征信息。获得的数字笔迹信息被储存在 a n o t o 笔罩。a n o t o 笔通过u s b 接口、红外或者蓝牙接口，把笔迹数据传送到计 算机里作后续处理。 7 浙江大学自十学付论它镕i 章绪论 图l3 数码纸 唑f 1 4 5w a e o n a 笔交互设备 w a c o m 公司是全球顶尖的用户界面产品e 产商，一直致力于创意、改善人与 电脑的关系并使之协调的发展。除阿木总公司外，w a c o m 在美国、德国与中国设 有分公司，并在欧美及亚太地区都设有公司或办事机构。2 0 0 0 年5 月w a c o m 在 北京建立了c f l 国全资子公一j 。全面致力于中国数码图形影像事业的发展。 作为世界领先的绘画板和数位板领导厂商，w a c o m 公司提供了丰富的绘画板 或者数位板产品线，w a c o m 绘画板( w a e o m 数位扳) 包括影拓、非凡、贵凡、 丽图等系列绘画板或者数位板，从高端到低端，不仅可以全面满足不用用户群的 乜q 作需求，而且提供了极具竞争力的性价比，特别是这些数位板所具有的高品质 经过了市场的检验、获得了广泛的好评。 在实际使用过程中，我们研究了w a c o m 公司出品的影拓三代数位板如图14 所示，它具有高达5 0 8 0 1 p i 的分辨率：细腻表现全面改良的笔型设计；轻松舒适 提供多种功能笔尖；科学合理人性化的5 键鼠标操作方便流畅。结合w a c o m 公司提供的s d k ，可以方便的实现对其的编程。 浙江大学砚i 学位论文 第1 章绪论 目i4 影拓二代 1 _ 5 音乐喷泉仿真方法 类似喷泉这样的物体如火、烟、雾等，形态千变万化，具有不规则的几何外 形和内在的不确定性，虽然目前在这一领域已经有较多的算法和理论，但总体来 说，对其模拟仍充满挑战。在诸多的方法中，使用较多并且效果较好的是粒子系 统的方法。 l 5 1 粒子系统 r e e v e s 在1 9 8 3 年首次提出粒子系统的概念。1 ，在此之前虽然有比如动态纹 理、元胞自动机等等诸多方法，但粒子系统被证明是最成功的方法，在模拟各种 小规则变化的物体和现象中得到广泛的应用。 粒子系统主要用来解决由大量按一定规则运动( 变化) 的微小物质组成的大 物质在计算机上的生成与显示的问题。每个粒子需要一些属性来和其他粒子区 别。通常在一个系统中的所有粒子有一个相同的属性集。 有一些适用于粒子的典型属性： 1 位置( p o s i t i o n ) ；粒子在绘制空间中所处的坐标位置。 处理运动粒子的每个粒子系统都需要知道每个粒子的位置。 浙江大学硕士学位论文第1 章绪论 2 速度( v e l o c i t y ) ：包括速率( s p e e d ) 和方向( d i r e c t i o n ) 位置的改变依赖于速度。速度是一个矢量表明系统由多快和粒子的运动方 向。每一时问间隔，速度用于改变粒子位置。 3 加速度( a c c e l e r a t i o n ) ： 和速度作用于位置一样，加速度作用于速度。粒子的加速度通常适用于外力 作用。外力经常是重力，或者是粒子间的引力或斥力，常见的粒子系统中都具有 例如重力这样的加速度分量。 4 生命值( l i f e ) ： 每个粒子都有着自己的生命值，随着时问的推移，粒子的生命值不断减小， 直到粒子死亡( 生命值为0 ) 。一个生命周期结束时，另一个生命周期随即开始， 有时为了使粒子能够源源不断地涌出，必须使一部分粒子在初始后立即死亡。 5 衰减( d e c a y ) ： 就象人会衰老一样，每个粒子也有它自己的生命周期，d e c a y 就是用来控制 粒子生命周期的一个物理量。 通常粒子的产生是由粒子发生器控制的。粒子发生器主要由一组粒子行为参 数以及在三维空间中的位置所表示。粒子所具有的参数主要包括粒子生成速度、 粒子颜色、粒子初始速度向量、在粒子生命周期中的变化、粒子寿命以及其它参 数等等。使用大概值而不是绝对值的模糊参数估据全部或者绝大部分是很正常 的，一些参数定义了中心值以及允许的变化。典型的粒子系统更新循环可以划分 为两个不同的阶段：参数更新模拟阶段以及渲染阶段。每个循环执行一帧动画。 在模拟阶段，根据生成速度以及更新问隔计算新粒子的数目，每个粒子根据 粒子发生器的位置及给定的生成区域在特定的三维空间位置生成，并且根据发生 器的参数初始化每个粒子的速度、颜色、生命周期等等参数。然后检查每个粒子 是否已经超出了生命周期，一旦超出就将这些粒子剔出模拟过程，否则就根据物 理模拟更改粒子的位置与特性，这些物理模拟可能象将速度加到当前位置或者调 整速度抵消摩擦这样简单，也可能象将外力考虑进取计算正确的物理抛射轨迹那 样梭杂。另外，经常需要检查与特殊三维物体的碰撞以使粒子从障碍物弹回。由 l o 浙江大学硕上学位论文第1 章绪论 于粒子之间的碰撞计算量很大并且对于大多数模拟来说没有必要，所以很少使用 粒子之间的碰撞。 每个粒子系统都有用于其中每个粒子的特定规则，通常这些规则涉及到粒子 生命周期的插值过程。例如，许多系统在粒子生命周期中对离子的阿尔法值即透 明性进行插值直到粒子演灭。 在更新完成之后，通常每个例子用经过纹理映射的四边形s p r i t e 进行渲染， 也就是说四边形总是面向观察者。但是，这个过程不是必须的，在一些低解析度 或者处理能力有限的场合粒子可能仅仅渲染成一个像素，在离线渲染中甚至渲染 成一个元球，从粒子元球计算出的等值面可以得到相当好的液体表面。另外，也 可以用三维网格渲染粒子。 1 5 2g p u 的应用 由于c p u 运算能力和内存带宽的限制，传统的粒子系统能处理的粒子数量较 少，在满足实时模拟的条件下，粒子数量最多只能达到几万。尽管利用优化算法 ( 如s l o d ( s i m u l a t i o nl e v e l s o fd e t a i1 ) 技术) 可补偿一部分c p u 运算能力的 不足口1 ，但效果并不理想。 高性能图形处理器( g p u ) 性能的不断发展，使得g p u 在浮点运算能力上大 大优于c p u ，使其在很多领域有着广泛的应用：视频编解码中的运动补偿h 3 和 d c t i d c t 畸1 计算、加速光线跟踪哺1 、体绘制口1 和实时阴影计算阳1 等。在g p u 应用于 流体模拟方面，l i 等人阳1 用l b m ( l a t t i c eb o l t z m a n nm e t h o d ) 来模拟流动效果； j e n sk r u g e r 等人n 们利用g p u 在基本代数运算的基础上，实现了共轭梯度法和高 斯一赛德迭代法，从而更进一步地求解2 d 波动方程和不可压n s e s ( n a v i e r s t o k e s e q u a t i o n s ) ；b a t t y 等人1 利用g p u 采用共轭梯度法来模拟流体运动。在g p u 应 用于粒子系统方面，l u t zl a t t a n 2 1 实现了并行处理大规模粒子系统的方法；j e n s k r u g e r 等人n 3 1 用g p u 来实现火焰、流体等的建模和绘制；s a t o 等人n 们使用g p u 实时地绘制水滴从玻璃窗上滑落；k i p f e r 等人n 5 1 利用g p u 实时地绘制大量粒子并 检测其碰撞。 浙江人学硕士学位论文第l 章绪论 音乐喷泉作为一种视觉和听觉相结合的艺术景观形式，正越来越被大众所喜 爱。现代音乐喷泉少则一、二十个喷口，多则成百上千、甚至数干个喷口，气势 宏伟，规模庞大，已经成为很多旅游城市和景区一道亮丽的风景，但这大大增加 了对其视觉模拟的难度。音乐喷泉的粒子数量可以达到百万级别，传统的粒子系 统方法几乎不可能实现对如此海量粒子的实时运动计算与绘制。 本文将提出一种基于图形硬件加速的大规模音乐喷泉实时模拟方法，通过分 析和提取音乐数据对喷泉进行粒子运动建模，利用高性能图形处理器强大的并行 处理能力，使得能够对海量粒子进行实时运动计算与绘制。这种方法既保证了对 音乐喷泉特征的描述，又保证了绘制速度，在绘制效果和效率间取得了较好的平 衡。 1 6 本章小结 音乐喷泉在人们的日常生活中变的越来越常见，但是纵观全国各地众多的音 乐喷泉，形式雷同的比较多。这是由于p l c 的编程难度较大，需要很长的时间将 设计者的构思变成符号化的程序，如果希望把效果展现给设计者，必须完成对整 个喷泉的施工，整个音乐喷泉的设计时间变得十分长，有统计显示平均针对一首 曲目的设计和编程时间是3 至5 天，如果效果不尽如人意其修改时间和重复劳动 更是让人难以忍受。 笔这种交互方式已经伴随人类的发展历史存在了数千年，在当代这样的信息 化社会中，它仍然占据着特殊的位置。笔这种交互设备与其它交互设备相比有一 个明显的特点，就是易于控制，可以进行十分高效和自然的勾画，非常有助于一 些需要很强创造性的交互场合，以便于留住灵感，并将其快速符号化为数据。 本文试图将计算机上的笔式交互技术运用到针对音乐喷泉的设计和仿真中， 针对音乐喷泉的设计阶段，提出和改进了相关的笔式交互方式，在设计完成后的 绘制阶段，采用粒子系统来模拟喷泉，提供了一种针对大规模音乐喷泉的绘制方 法。 1 2 浙江人学硕士学位论文第2 章音乐喷泉设计的笔式交互 第2 章音乐喷泉设计的笔式交互 当今社会人们越来越依赖于计算机等相关设备的帮助，与这些设备相关的科 学技术都已经融入到人们的日常生活中。对于人和设备打交道，肯定离不开交互 技术，而用户界面是其必不可少的一个环节，贴近自然、以人为本的用户界面和 交互研究成为了当今世界人机交互领域的研究主题。从人类用符号化的图形来记 录信息、传承智慧开始，笔和纸这样的交互形式就已经具有了它最本质的雏形， 数千年来，人们一直沿袭着这种传承方式。因此相对而言，交互者对笔这种交互 形式的认知更加深入，基于现有的计算机技术的发展，笔式用户界面已近取得了 长足的发展。 2 1 相关笔式交互技术 u i ( u s e ri n t e r f a c e ) 设计是指对软件所具有的的人机交互、操作逻辑、界面 美观等的整体设计，它是人机交互领域的主要研究方向。好的u i 设计不仅是让 软件变得更美观和有个性有品味，还要让软件的操作更加舒适、简单、自由，充 分体现软件的功能和定位。在研究领域，有很多人力和物理都投入到u i 这个研 究方向中，期望能够得到更好更高效的软件交互方式。 在漫长的软件发展过程中，界面设计工作一直没有被重视起来。做界面设计 的人也一直被称为“美工 。其实软件界面设计就像产品的外观包装，是产品的 重要买点。一个好的界面会给人带来舒适的视觉体验，拉近人与电脑的距离。界 面设计不是简单的美学应用，他需要根据不同的使用者、使用环境、使用方式来 设计，是具有科学性的艺术设计。检验一个界面是否成功的标准既不是某个项目 开发工程师的意见也不是项目成员投票的结果，而是面向用户的评价。所以界面 设计要和用户实验紧密结合，它是一个不断为用户满意而改进设计的过程。 在交互界面的研究中，如何找到一种高效的命令选择方式，一直是研究者的 研究重点。工具栏( t o o l b a r ) 、浮动面板( f l o a t i n gp a l e t t e ) 、快捷键以及弹出式菜 1 3 浙扛大学顾上学位论文隼2 晕哥喷昂设”镫式变 单等都提供了一种在多种工具问切抉的交互方式。 在用户界面交互设计的发展历程中，有许多的高效交互工具涌现，比如第一 利，将命令的选择和实施相结合的交互工具t o o l g l a s s 【i “，在使用中用户使用他的 非惯用手控制一个浮动的菜单面板，而惯用手用来进行命令选择和实施，并完成 相应任务；c o n t r o lm e n 0 ”j 是一种放射状的菜单，它可以使用户在一次鼠标点击 过程中完成命令选择任务；f l o w m e n u t ”】也是一种放刺状的菜单，同样可以在一 次鼠标点击过程中完成命令选择任务，只不过它更严格依靠鼠标轨迹来确定工具 间的切换：h o v e r w i d g e t s l l 9 1 是一种小工具，可以根据鼠标路径来判断用户是否要 选择特定的工具，以便将工具移向便于选择的位置。这一系列构设计部在不同程 度和交互环境中增加了交互的效率和友好性。 现阶段，根多优秀的设计都已经被流行软件所使用。在3 d s m a x 2 0 0 9 中结合 了p i e m e n u l 2 0 引1 技术和 ir a c k i n g m e n u l 2 2 1 技术，实现了如图2 1 所示的菜嗥形式。 这种菜单形式具有p i e m e n u 的外形，可以有效的将按钮排列在箭头光标周围，使 得按钮总是靠近箭头光标位置，便于选择；它又具有t r a c k i n gm e n u 的特性，可 以使得菜单区域总是跟随箭头光标的移动而移动，在更大的平面范围内保证了按 钮排列于箭头光标周围。更重要的一点是，由于3 d sm a x 这款软件有设计对笔式 交互的支持，该交互工具可以很方便的被笔式蹬各所控制。 图2i3 d s m a x 2 0 0 9 菜单丁具 在m i c r o s o f to f f i c e2 0 0 7 中设计了一种叫做“迷你工具栏”的交互技术，如 图22 所示。该技术在用户完成一定的操作时，箭头光标周围会显示一个小的工 具栏区域，上面显示有用户最可能用到得少数几个工具，方便用户选择。 1 4 浙江人学硕士学位论文第2 章音乐喷泉设计的笔式交互 卜j _ 。、。二、二“_ l lb 言。 、 = 2 2 圈2 2m i c r o s o f to f f i c e2 0 0 7 迷你上具栏 在以上两种交互设计中，都采用了使待选工具尽可能靠近箭头光标的方法以 提高交互效率，但同时而临些问题，工具显示数量相对于传统的t o o l b a c 来说 比较少，也就是随能够高效完成的工具切换数量是比较有限的，以3 d sm a x 2 0 0 9 的菜单来说只有8 个常用工具可以高效交互。m i c r o s o f t o f f i c e2 0 0 7 的迷你工具栏 在一定程度上缓解了工具数量的不足，但是在用户做其他操作时这个迷你工具栏 是隐藏着的，一般用户很难完全记住不同操作完成后会显示出什么样的迷你工具 栏，因此往往用户会在迷你工具栏出现以后花去一定的时日j 来观察所需要的工具 在不在其中以及它的位置，还有它遮挡了很大的交互区域。本文描述的 i b o l c u r s o r 将很好的解决上述工具切换方式所而临的问题，采用新的设计方法，更好的提高 箭头光标位置工具切换的效率和友好性。 2 1 1t o o l c u r s o r 通过对图形用户界面软件使j ；| j 者的观察和实验，可以看到一个用户的关注区 域往往在箭头光标所在位置，正如g e o r g ef i t z m a u r i e e 等【2 3 1 得到的结果，如果能 够在箭头光标f l 勺指向功能之h 再加入命令选择或工具切换的功能，那么这样的 交互方式必然会比较高效。对于设计者而言，很反感类似弹出式菜竹这样遮挡了 很大块设计区域的交互工具，而箭头光标大小的交互工具可以有效的解决这一问 题。在当前流行的很多设计软件巾，如p h o t o s h o p 、3 d sm a x 等，即使足最新的 版本都还保留了一个默认位于左侧的浮动工具栏，这充分说明工具栏作为一种虽 然设计年代久远，却是被实践证明了的非常有效的交互工具。 我们提出了被命名为t o o l c u r s o r 的工具，将很好的解决工具切换方式所存在 的问题，通过采用新的设计方法，更好的提高光标位置工具切换的效率和友好性， 浙江大学硕士学位论文第2 章音乐喷泉设计的笔式交互 同时也提高了其对笔式交互的支持。 2 1 1 1t o o l c u r s o r 技术 t o o l c u r s o r 是一种小型的图形用户界面工具，可以被笔、鼠标以及触摸屏等 输入设备所控制。t o o l c u r s o r 技术基于f l o a t i n gp a l e t t e 和t r a c k i n gm e n u ，在将二 者结合的同时又以光标的形式，产生了新的交互特性。 t r a c k i n gm e n u 是一种在箭头光标下显示一个具有图形工具并可移动的半透 明菜单，使用一个点击范式来实现工具切换，和普通的菜单不同，当箭头光标移 动到菜单边缘并继续移动时，菜单会和箭头光标同步移动，使得图形工具始终保 持在箭头光标附近。 对于t o o l c u r s o r 来说，它分为两个主要组成部分：第一是t r a c k i n gt o o l ，我 们将t r a c k i n gm e n u 缩小到一个箭头光标的大小