（计算机软件与理论专业论文）基于web实时交互的虚拟教室系统.pdf

摘要 随着现代科学技术的发展，计算机已进入我国的教育领域并得到迅速的发展。在教育 领域中，计算机不仅是一门学科，而且正逐渐成为有效的教学媒体和教育管理的有力工具。 并且随着i n t e r n e t 的普及以及w e b 技术的日益成熟，远程教育技术目前已经成为网络研究 和应用的热点之一。基于网络的全球教育为我们提出了个现代化计算机辅助教育的崭新 模式。w w w 是一个全球可以共享的巨大资源，利用w e b 来支持远程教学已经成为现代 化高等教育的发展趋势。 一般来说，传统的教学模型都是面向课堂的，所有的教学活动在教室中完成。而在网 络化的教学概念中，“课堂”、“教室”等不再是传统的本地教室，相反学生可以分御在全 球各地。在这样的环境下，“教室”成了一个逻辑上的概念，它并不提供教学活动的物理 空间，所以我们称之为虚拟教室。分布在不同地方的师生可咀像在传统的教室中一样方便 地授课或学习。学生不仅可以通过浏览静态网页学习，还可以进行双向的多媒体交互 1 。 如何在网络上建立一个有效的教学环境是基于w e b 的远程教育所需要解决的关键技 术之，在这方面已经有很多研究。虚拟教室是基于w e b 、建立在i n t e r n e t 基础上的教室 系统。它的设计与实现是一个比较复杂的系统工程，需要多种技术的支持，这些技术包括 常用的w e b 技术( 例如：s e r v l e t 、a p p l e t 和j a v a b e a n ) 、s o c k e t 网络编程、语音与视频 编解码、语音等多媒体数据的压缩与解压缩等。 本文首先从虚拟教室的发展现状开始，系统地概述了基于w e b 实时多路语音交互教 学环境的模型设计、虚拟教室的结构模型与技术。然后介绍虚拟教室中教师对教室的管理， 之后介绍了常用的语音压缩与解压缩算法，并详细分析了虚拟教室用到的g s m 语音压缩 技术。最后，通过一个初步实现了的基于w e b 的虚拟教室系统实例，论述了该系统的特 点、功能以及实现的全过程及部分代码。 该论文得到了天津市师范大学与南丌大学共建计算机软件重点学科的支持。 关键字：虚拟教室、话音、编解码、滤波器、音频压缩、g s m 0 6 1 0 、预测 a b s t r a c t a l o n g 、近氇t h ed e v e l o p m e n to fm o d e m s c i e n c ea n dt e c h n o l o g y , c o m p u t e r sh a v ea l r e a d y e n t e r e dt h ee d u c m i o nf i e l do fo u rc o u n t r ya n dg o t t e nf a s t d e v e l o p m e n t i ne d u c a t i o nf i e l d ， c o m p u t e rn o to n l y o n eap i e c eo f d i s c i p l i n e s ，b e c o m ee f f e c t i v et e a c h i n gm e d i aa n dt h es t r o n g t o o l so fm a n a g e m e n tg r a d u a l l y a n da tt h ep o p u l a r i z a t i o n so fi n t e r a c ta n dw e bt e c t m o l o g y , i o n g d i s t a n c ee d u c a t i o nb e c o m et h ef o c u so f n e t w o r ks t u d ya n dt h a to fa p p l i c a t i o na tp r e s e n t e d u c a t eo nt h eb a s i so ft h ew h o l ew o r l d so fn e t w o r kp r o p o s eab r a n d - n e wm o d eo fm o d e m i z e d c o m p u t e r s a s s i s t a n te d u c a t i o n 。w w wi se n o r m o u sr e s o u r c ew h i c hc a ns h a r ei nt h ew h o l ew o r l d 。 m a k i n gu s eo f w e bt os u p p o r tl o n g r a n g et e a c h i n gh a v ea l r e a d yb e c o m et h ed e v e l o p m e n tt r e n d o f m o d e r n i z e dh i g h e re d u c a t i o n ， g e n e r a l l ys p e a k i n g , t h e t r a d i t i o n a l t e a c h i n g m o d e l s 越lf a c ec l a s s r o o m a l lt e a c h i n g a c t i v i t i e sa r ef i n i s h e di nt h ec l a s s r o o m i nt h en e t w o r kt e a c h i n gc o n c e p t ，c l a s s r o o m e t c ，a r en o t t h et r a d i t i o n a ll o c a lc l a s s r o o m a g a i n ，s t u d e n tc a nb ed i s t r i b u t e di na l lp a r t so f t h ew o r l d 。u n d e r s u c he n v i r o n m e n t ，”c l a s s r o o m ”h a sb e c o m ea c o n c e p t i nl o g i c ，i td o e sn o to f f e rt h ep h y s i c ss p a c e o f t e a c h i n ga c t i v i t y , s ow e c a l lt h a tt h ev i r t u a lc l a s s r o o m t e a c h e r sa n ds t u d e n t sc a l lg i v el e s s o n s o rs t u d ya si nt h et r a d i t i o n a lc l a s s r o o mc o n v e n i e n t l y t h es t u d e n tn o to n l yc a l lb r o w s ea n ds t u d y t h r o u g h t h es t a t i cw e b ，i ti sm u t u a lt oc a r r y , o nt h et w o w a ym u l t i m e d i a i ti so n eo f t h e k e yt e c h n o l o g i e st h ml o n g - d i s t a n c e e d u c a t i o nn e e d s s o l v i n gh o w t os e tu pa n e f f e c t i v et e a c h i n ge n v i r o n m e n ti nt h en e t w o r k ，al o ta r es t u d i e di nt h i sr e s p e c t ，t h ev i r t u a l c l a s s r o o mi st os e tu po nt h eb a s i so f i n t e r n e t i t sd e s i g na n dr e a l i z i n gi sar e l a t i v e l yc o m p l i c a t e d s y s t e me n g i n e e r i n g ，a n d i tn e e d s u p p o r t o fm a n yk i n d so ft e c h n o l o g y , i n c l u d i n gw e b t e c h n o l o g i e s ( s u c ha s ：s e r v l e t ，a p p l e ta n dj a v a b e a n ) ，s o c k e tn e t w o r kp r o g r a m m i n g , a n d v i d e o a n da u d i oc o d e c k n o w l e d g e a n d s p e e c hc o m p r e s s i o n t h i sp a p e rs t a r t sw i t ht h ed e v e l o p m e n ts i t u a t i o no ft h ev i r t u a lc l a s s r o o m ，a n ds u m su pt h e s t r u c t u r em o d e la n dt h ed e s i g n i n go f t e a c h i n ge n v i r o n m e n t a lm o d e l 。t h e ni ti n t r o d u c e st e a c h e r s m a n a g e m e n ti n c l a s s r o o ma n dr e c o m m e n ds o n i c s p e e c hc o m p r e s s i o na l g o r i t h ml a t e l a n d i n t r o d u c e sg s ms p e e c hc o m p r e s s i o nt e c h n o l o g yu s e di nv i r t u a lc l a s s r o o mi nd e t a i l a tl a s t ， t h r o u g hav i r t u a lc l a s s r o o ms y s t e m a t i ci n s t a n c eb a s e do nw e b ， d e s c r i b et h ec h a r a c t e r i s t i c ， f u n c t i o na n dt h ew h o l ec o u r s ea n ds o m ec o d e sr e a l i z e do f t h i ss y s t e m k e y w o r d s ： v i r t u a lc l a s s r o o m ，h u m a ns p e e c h ，c o d e c ，f i l t e r , s p e e c hc o m p r e s s i o n ，g s m 0 6 1 0 ，l i n e a rp r e d i c t i o n 基于w e b 实时交互的虚拟教室系统第一章虚拟教室 序言 王冕饯社会已经进入了嬲终时找，网络技术秘多媒体技术的发展为远程教育提供了片 襄毅熬天地，嬲上教学的发展使当今的教学手段、教学方法、教学观念与形式、课堂教学 缨构，以致教育思想与教学理谂都发生了变革。这种新的教学方式是一种以网络为基础的 远程教育，它摈弃了传统远程教育的缺点，它不受时间、空间和地点的限制，通过计算机 网络可以扩展至社会的各个角落：每个人都可以在任何时问、任何地点通过网络自由地学 习，以较低的代价得到高质量的教育。另外这种教育形式还克n - f 传统远程教育缺乏交流 和交互的缺点，能够为学习者提供图文并茂、丰富多彩的交互式入机界面，能够激发学习 者的学习兴趣，从而达到让学溜者主动构建知识鹃西的，实蜣自邑获敬知识、蟊我雯耨甚 至御新知识的琏怨霞标 2 。 嘲上教学已经成为培养人才、促进科研和教育事业发展的重鬻途径。随着网络的不断 发展和普及，网上教学必将在教育科研的各个方面发挥越来越重嚣的作用。 纛叛教室系统是以网络为基础的教学系统，它以网络搀为馈输信息的裁体，是网络和 多媒体技术楣结合的一秘新型教育技术。为了使教学供务更生动，更形象，除了一般的文 本和图像的交流，我们提供了更多的交流手段来支持教学过程。随着语音压缩算法的成熟， 在 n t e r n e t 上实现高效的同步语音传输已经成为可能，该系统采用6 s m 语音编解码标准， 实现语音同步实时传输。 搀建一个这搀豹系统，首先需要用到w e b 技术，倒热：j a v a s e r v l e t 、a p p l e t 、j a v a b e a n 、 s o c k e t 缡程以及多线程熟识，其次就是语音压缩解压缕。 目前，网一t 教学已成为研究的热点，煎群各匿对丽上教学都给予了高度静疆褫，并积 极授入大蘩酌资金开震遨一赣域的基础与应搦方赫豹磷究，蟊酶是谴久们麓在全球菠国内 实现信惑交流、资源共李、科技合作和远程学习。疆主教学是未来教弯发浸豹趋势，它必 犍成为全民教育霸终身教窍款主渠道。 叁残! ! 壅! 堕鸾：垄塑童垫熬童墨鎏= ：塑二塞照笾塾窒 第一章虚拟教室 2 0 世纪9 0 年代以来，莎媒体技术及网络技术j 强猛发展引起了人类对教育方式和教学 方式滟巨大变革。姆别是出于多媒体具有图、文、声并茂甚至有活动影像这些特点，给新 型教室提供了硬件熬础和教育环境。网络化教学在全球也受到了越来越多的关注，很多国 家郝建立了廷己熬纛攮学狡或者虚织教室，其丰富翁售息资滚、友好的交甄瞧旋以及优良 的丌放性等特点而越来越受到人们的青睐，网络化教学已成为未来激育的发展趋势。虚拟 教室郄是闼络教纯教学的应壤之一。 l 。l 虚拟教室篱分 所谓艘拟教室，就是利用计算机及其网络构建一个环境，使用者可以通过它来进行教 学和学习，如同普通教室一样。它的主要优点就是可以在异地教学与学习，教师通过它可 以方便圭盘搀番静知汉、技熊传播出去；露学生可以在一个院普通教室中更生动的环境下进 行学习。 使用电脑进行教学的努种方式就是“逢子教室”。它围教筛控潮整个谍程的全部运作， 学，扛只作为被动的角色出现。而虚拟教室大夫地增进了师生之问的交互性 3 。在虚拟教室 中，可以模拟现实教室中师生教学互动的情景。学生在虚拟教室墨，犹如身临其境，可以 与老爆实现一对一灏多对多的即时交流。可以果尉独特的潮络视频却音频传羧技术，实现 真难的在线授课、学习交流和问题讨论。可以针对每个学生的特点给予“呵对面”的辅导 魏瘟发，块瑟镬学生由被动接毅交戏主动学习。 虚拟教室构造的现代教学环境，解决了突破传统多媒体教学广播系统酱于问题，如建 设成本高、建置时间氏、容易故障、使用不方便等困扰，可减轻教师的教学压力，充当教 师戆褥力助手；它提供互动数学习环境，有利于撮野教学矮量 4 。 1 2 虚拟教室特点 虚拟教室( w e b 教豪) 是一个基于w e b 的，具有实时语音支持的交互性虚拟教学环 境，它具套| 墨f 特点： 1 完全基于w e b 根据远程教育的特点，分布在各地的学生应该不受地理条件的约束可以共享全球的教 基于w e b 实时交互的虚拟数室系统篇一章虚拟教室 学资源。随着i n t e r n e t 的普及和发展，w w w 已经成为一个支持远程教育的琏怒载体。对每 一个弼户来说，强要连接进入i n t e r r l e t 即可鼓从任何教育菇点获取螽己所需要静学习信息 翻资料。在w e b 上建立寝拯教烹系统的另一令疑处是，分数在吾撼熬学生只霉要耀一个测 芟器，褥不濡要安装任拇其毽客户搂较 孛酆可翅入瀑堂学习。 2 具有良好的交互性 教学过程本身并不是一个单向的行为，它包括教师的教和学生的学习两种行为，在这 个教和学的过稔中，学生灞需袋觚教师那里获得学习指导，简时德们融要向教筛反馈学习 情况，以程教师了解并谲节教学酌避度帮方式。男， ，谍耄毂学本身就是一个| j 露生交互交 流的过程。及梅建主义 5 鹣教学理论来羲，学习是一个戋毽识聿鼋建熬过程，学生与学生、学 生与毂姆之闽鹣交互是这个过程中懿一个重要环节。在远程教学下，学生瓤教烬分教在异 地，必颁摁供灵活的交互机制秘工具达到对实时的“提问一勰答”型教学过程和实时的课堂 教学过程的有效支持。 3 ，可以实醚多点广攒豹实对语啻 除了一般静文本和图像静交流，虚熬教室还掇供了更多豹交流手段来支持教学过程。 在一个有效酌远程教学环境中，视频帮语音的交浚是j # 豢重凄懿。但楚出予霹终蒂宽熬羰 潮，实现有效约同步视频豹传撩有一些爨难，不过疆裁在该虚拟教室系统中也没有实现视 频的传输，希望在以后的研究中再加以实现。但是在目前，随着语音压缩算法的成熟，在 i n t e r n e t 上实现高效的同步语音传输已经可行。通过语音广播，分布在异地的教师和学生 可以像在同一个教室中一样，自由的交流。多点实时语音广播，简单的说，就越一端的语 音可以通过i n t e r n e t 广播到同一个w e b 教室中的其他用户。例如，在讨论室中讨论一个主 题，尽管教师和学生分布在异地，但是通过语音进行交流应该和传统教室中一样自然。 4 为教学活动提供了多种支持工具 在w e b 教整中，为教师提供了管理组织课程的工具以及管理教室中学生的工具。在学 生之间，还提供了文本交流。另外，虚拟教寰还舆有一一个与传统教室中的黑板起同样作用 的电子白板，教师和学，土可以共享文本、图片和动画等教学资源的工具。在整个网络化的 教学过程中，必须提供多种辅助手段来支持交互式远程教学系统的多项功能，例如提问和 回答，交甄以及教师对学生的同步指导簿。 基于w e b 实时交互的虚拟教室系统第一章虚拟教室 1 3 虚拟教室的功能 1 语音教学 教师可以在语音教室中使用语音授课，学生可以进入听课。在没有教师的允许下，教 室中的学生不能举手发言。只有在教师同意学生举手发言的情况下，学生才可以举手申请 发言，只有获得发言权的学生才可以进行发言。允许学生举手申请发言，是否允许举手的 学生发言，这些权利都在教师端进行控制。 2 语音交流 任何经过注册的用户经过登录都可以进入讨论室中进行语音交流。学生可以围绕同一 问题主题进行相互讨论。( 语音教室和答疑室中也可以进行语音交流。) 3 教师答疑 这个功能是在答疑教室中实现的，在答疑室中，以教师为主体围绕某些问题进行答疑， 学生提出疑问，教师进行回答。所有学生都有权利提出疑问，教师可以选择性地回答。 4 电子白板 教师可以在白板上进行书写。教师和学生通过它可以方便地进行交流。比如教师可以 指定某学生进行书写、绘图等操作，这个学生的动作所有的其它学生都可以看到。这就替 代了原先教师在课堂上让学生到黑板上书写的过程，该功能由李毅同学丌发，有待集成到 本模型系统。 5 网络消息 教室中除了提供语音交流之外，还提供了同步文本交流的工具。在讨沦教室中，所有 用户都可以发送文本消息，这个和公共聊天室工具类似，学生之间可以就某个话题进行讨 论，也可以选择发送的对象，对某个同学发送。在公共交谈模式下，一个教师或者学生键 入的文本信息可以被同教室中的其他所有用户共享。另外在语音教室和答疑教室中，只有 教师。叮以发送文本消息，学生只能浏览。 6 视频接收 教师可以把视频图像传输给本课程内的学生。这个功能可以让学生像平常一样可以看 旗于w e b 实时交互的虚拟教室系统簿一章虚拟教室 教师可以把税频圈像传输翁本谦程内的学生。这个功能可以让学生像平常一样可以看 到老师的各稀动作。院如化学谦，教师可以通过它来把整个操俸过程震示绘学，圭。该功能 由杨静溺学开发，有褥集成囊本模型系统。 1 4 虚拟教室用到的技术 虚拟教室用到的技术有j a v aa p p l e t 、j a v as e r v l ec 、多线程机制以及s o c k e t 编程， 还有0 s m 0 6 i 0 编解码以及压缩包的使用。 1 4 。l j a v aa p p l e t 技本 j a v a 程序可以分为a p p l i c a t i o n 应用程序和a p p l e t 小应用程序。a p p l e t 怒一种特殊 的j a v a 程序，它是j a v a 在w e b 上的应用技术。它通常遴过支持j a v a 酌网页测鬣器下载后 执行。a p p l e t 并不能葬是个完整瓣应搿程序，它哭能算是一个可寝谣爱应用篱程序模块。 a p p l e t 静程序终构与j a v a 独立应爝程廖最大瓣不潮之处就楚a p p l e t 并没有程序鼓行熬进 入点，囊是提缨熬令可被测览爨调蹦技行羲函数，所以a p p l e t 是必须遗过嬲页力。能裂示。 a p p l e t 类麓所青a p p l e t 黔基类，所有酶1 a v a 小应滔程净都豁须软该类继承。魏渠要 编写实焉懿a p p l e t 程亭，那么对a p p l e t 类中豹嚣耱基本方法： n i t0 、s t a r t0 、s t o p 0 稳d e s t r o y0 一定要熟悉。 i n it0 这个方法主要是为a p p l e t 的正常运行徽一整裙稔讫工作，就像建筑大凄要努遗 肇一样。当一个a p p l e t 被系绫调璃时，系统蓠先瓠幸亍戆裁是该方法内粒霞鹤。道豢可以杰 渡方法中完戒扶主臻淘a p p l e t 传递参数圈。 s t a r t 0 楚在i n i t 0 方法谲甭之后将舀动调蹋酶。褥虽，每当瘸户离齐包含该a p p l e t 耱主贾后又再运目辩，系统又会霉技行逡s t a r t0 方法 翻。 s t o p 0 方法是在用户离开a p p l e t 所在页街辩挠行，因此，它也是可暖被多次执行的。 d e s t r o y 0 在浏览器关闭的时候才调用。 1 4 2j a v as e r v l e t 技术 s e r v l e t 是服务器端的小程序，是一个与协议无关、跨平台的服务方构件。与运行于 客户端的a p p i e t 对应，他们都是使用1 a v a 语言编写的小型稔序。与a p p l el 稽比较，s e r v l e t 基于w e b 实时变互的璇拟教室系统一第一幸虚拟教室 是属于后端处理的w e b 应用程序，蔗a p p l e t 是属于前端处理的应用。s e v v e t 也和a p p l e t 一样，它不髓荦猿遗被攥在j 鞭上魏行，s e r v l e t 必须谴挂在| | ；雪有s e r v l e t 引擎的w e b 黻 务器上，爿能发挥它的作用。 当用户麓测览器逶过i n t e r n e t 发爨遗求到w e b 服务器时，w e be 基务器会先_ 灏提请求所 指定的地址，辨别是一般的网页资源还是s e r v e t 应用程序，如果辩识的结果是属于 s e r v e t 程序的请求时，w e b 服务器将会通过s e r v l e t 引擎把用户的需求送给指定的s e r v l e t 受责处理。s e r v l e t 程序黥执行过程，逶掌是依摄羯户戆需求动态生痰一段h t m l 代鹃、或 是- n 数搬，然后将处理结果回传给潮览器进行显示，甚至还可以通过s e r v l e t 来存取数 据库内的资源，执行更复杂的数据处理工作 7 。 s e r v l e t 没有m a i n 方法，只毒一些特定方法瘸子启动、巍季 ：帮逡毫。它还可瞄与运行 于客户端的a p p l e t 进行交互，也可以直接与客户端的i | t m l 页面交互。 l 。4 。3 多线程机制 服务器端将为每一个连接的用户开启一个线程提供服务，并将开启的线程放入线程池 中，进行管理控制，这凰就要用到多线程机制。 所谓线程就是程序中一个执行流，多线程程守是指一个程序中包含有多个执行流，多 线程是实现并发机制的- - $ 9 有效手段。通过使用线程可以使程序看起来似乎同时做几件攀 毒。当然，不同的线程实际上著不是网时运行的( 除a 你使用的足多处理器机器 ；实际上， 每个线程在相同的处理器上褥笺时阉片，但是结浆像是不同的线程在同时飘行【8 】。 在j a v a 程序启动时，它有个主线程。我们可以与主线程交互，还可阱启动其他线程。 逶过调瘸对象戆s t a r t 方法窝动线程中戆代羁，势褥线程中镬爝懿代码放在r u n 方法中。 创建新线程有两个办法，一种是将类声明为t h r e a d 类的子炎，另外一种方法是声明 个实现r u n n a b l e 接口的类。 1 4 4 双方之间的潮络连接 要进行音频数据的传输，首先就是要建立数据涟接。常用的通讯协议中，f c p 较日j 靠， 赝以蠲在誉允诲鼗据丢失静应壤上。露u d p 澍较多应蠲予楚毽遴发要求较浚、数摇僮输哥 靠性要求不足很高的应用上，如数据广播。通信协议的选择取决于我们所爱做的应用的炎 型。怎样建立网络连接，稳定的接收和发送音频倍号的数据流怒关键。 基于w e b 实时交互的虚拟教室系统第一章虚拟数室 种类魁的网络通信程序。在该系统中使用了t c p i p 协议，通过j a v a 的s o c k e t 类进行编程。 1 4 5 音频数字信毋的编码与解码 在送行音频信号静采集中浅们必须考虑爨采群率豹目瑟，声音信号静采榉率有8 k h z 、 1 6 k h z 、3 2 k h z 、4 4 k h z 等，每种数据采样率产生的数据量都不样，越高的采样率产生的 数据餐越大，所以我们要选择台适的采样率以适应网络的带宽。 磐粟挺直接采集到靛音频信号数攘滚在溺络曼进行转辕，它赝占确鳇繁宽盘是卡分丈 的，如果以8 k h x 的采样率采集1 4 位的音频数据，那么使用下面的式予靴可以得出数据率： 1 4 b i t 48 0 0 0 s e c o n d = 1 1 2 0 0 0b i t s s e c o n d 执中我们可以看滋以这样的方式传输音颧数据，每秒需婺向网络中发送1 1 2 k b 的数 据。所以从节省带宽的角度考虑，我们很有必要对这榉的数据进行压缩。对多媒体信号的 压缩我们有许多可以造择的格式，如m p 2 、m p 3 、g s m 等等。同样，我们这耀也存在一个 对压缨接式避雩亍选择的问题，考虑到蠢频数撼传输的及时性，对传输瓣音频数据质量粳要 求，以及各种压缩格式的压缩比率以及进行压缩和解压缩所要耗费的系统资源等方面问题， 选择合适懿压续掺式羧鑫褥笼为重要【 。 在众多的音频压缩编解码中我选掇了g s m 格式，g s m 格式可以将1 2 8 k b p s 的音频数据 流( 1 6 位8 k h z 音频采样率) 压缩为1 3 k b p s 的音频数据流，非常适合语音信号的传送。 灏为j a v as o u n da p i 不裁童接整滔g 涮穆式，在这里我翻使躅了舅终豹野源程序翡类 库- - t r i t o n u s 的g s m 编码解码库。( 可以在w w w t r i t o n u s o r g 下载t r i t o n o u s s h a r e j a r 帮t r i t o n u s g s m j a r 两个文件。) 1 0 另努，我对g s m 0 6 1 0 密频压缩算法进行了研究和分 析，并实现了大部分代码。因为所实现的g s m 0 6 1 0 只能对音频文件进行压缩，不能对捕获 的音频流压缩，所以采用了t r i t o n u s 提供的g s m 编码解码库。 狳了j d k 实瑗黪j a v as o u n da p i 之岁 ，i 丕寿一令源代鸡开教的强v as o u n d 实瑷蹩 t r i t o n u s 。目的，g n u i 。i n u xi 3 8 6 和l i n u x p o w e r p c 已经受到支持。另外还有一些个别可 以下载的p l u g i n s 也可以在麓的平台上使用。以磊它会在萁稳穰多平台上运行。g s m 0 6 1 0 c o d e c 是t r i t o n u s 的其中一个p u g s i n t 1 。 基j 1w e b 实时交互的虚拟教室系统筇二章话爵编码 2 1 数字声音 第二章话音编码 声音是携带信息的载体，它的种类繁多，如人类的声音、乐器卢、动物发出的声音、 机器产生的声音以及自然界的风声、阿声、闪电声等。这些声音有许多共同的特性，也有 各自的特性。在用计算机处理这些声音时，既要考虑它们的共性，又要利用它们各自的特 性。而我们通常所说的音频是指人的听觉器官能感知的，频率在2 0 h z “2 0 k h z 的声音信号， 分为：波形声音、语音和音乐三种，其中波形声音就是自然界中所有的声音，是声音数字 化的基础。 2 1 1 声音及声音信号 声音足通过空气传播的一种连续的波。音量的强弱由压力的大小决定，音调的高低由 频率决定。声音信号在时问和幅度一卜都是连续的模拟信号，如图2 1 所示。声波具有普通 的波所具有的特性，例如反射、折射和衍射等。 图2 - 1 声音波形 声音信号的两个基本参数是频率和幅度。信号的频率是指信号每秒钟变化的次数，用 h z 表示。根据频率的不同，可以将声音信号分为三类：对于频率为几l z 到2 0 h z 的信号， 我们听不到，所以人们把频率小于2 0 h z 的信号称为亚音信号，或称为次音频信号：频率范 围为2 0 h z 2 0 k h z 的信号称为音频信号；人们把在这种频率范围的信号称为话音信号：高 于2 0 k h z 的信号称为超音频信号，或称超声波信号。一般来说，人的听觉器官所能感知的 声音频率大约在2 0 h z 到2 0 0 0 0 t t z 之f b j ，因此在多媒体技术中，处理的声音信号主要是音频 信号f 1 2 1 。 2 1 2 声音信号数字化 1 模拟信号与数字信号 基于w e b 实时交甄的鼎拟教室系统第二璋话酱编码 信号可以分为模拟信号和数字信号，它们的根本区剐在于：模拟信号在时间和幅度上 都是连续的，而数字信号在时间和l 隔度上鄱是离散的。所谓的“在时间上连续”蹩指在指 定时闯范阐内声音信号的澹凄有无穷多个，“在福澄上连续”是捂每令幅度率身豹敬佳煮 无穷多个0 3 。 2 模拟信号到数字信号的转变 声音信号本身是模拟信号，因此使用计算机处理声音信号首先需要将横= c f 信号转变为 数字信号。以前一甑涎使糟模拟元部件对模撼信号进行处理，但楚模瓠信号处理元部件都 容易受蓟外部环境影响，并且开发成本也眈较高。摇采把模襁信号转变减数字信号，垮数 字来表示模瓠鬣并对其进行计髯，这祥只要我们开发譬完或就功能数数字吝# 件鄂爵髂决超 蘧，于是裁窭飘了数字信号处理器( d s p ) 。经用数字技术递 亍馈号处理主罄有下列优势： 黄先l 芝不受时阈秘环境变化戆影响，著爨本身的运算比较精确；其次，它是用数学运算去 模拟，所以实现起来就槌对容易；此辨，根据不用的需求变化，还可以对使用数字技术的 部件进行编程或再编程。 3 ，声音信号数字佬 对模j 薹i 信号进行采样鞠量纯，将连续静模援信号变为嗣数字表示豹离散数字信晕，躲 司实壤模熬信号翡数字纯。黠予连续露闼兹离教化，可以通过采榉来实现，郯每羯一段聪 润对信号测量一次；对于连续蟮度的离教化，可以通道量化寒实现，即把信号的强度划分 为著：f 小段。如果蛹度的划分是楣等间隔的，称之为线性量化，如果幅度的划分不是相等 间隔的，称为非线性量化。这里涉及到声音信号数字他过稷中两个最基本的概念：采样频 率和艟化精度1 1 2 1 。 采样频率：每秒钟采样的次数，单位为。采样频率的大小是根握奈整斯特理论和声 音信号本身的最高频率决定的。奈燕斯特理论指出：采样频率不应低于声音信号最高频率 的二倍，这样就能把以数字表达的声音还原为原来的声音。 聚样精度：每个样本的位数，单位为b p s ( b itp e rs a m p l e ) 。每个声音样本的位数 反映了声谐波形幅度的精度。采样精度的另一种表示方法是信噪比。即信号噪声比( g n r ) ， 其大小取决于信号电压与噪声电压之比，单位为分贝( d b ) 。 4 声音质攫等级 根掘声音信号的采样频率，通常将声音质量分为五个等级，如2 - 1 表所示； 基于w e b 实时交互的虚拟教室系统旃二章话音编码 表2 - 1 声音质鼙和数据率 腹量采样频率，k h z样本精度i b i s 单声道，立体声数据率i k b l s 巷语8 8 单声遴 6 4 。0 a m 1 1 0 2 5 8单声道 88 2 f 蘸 2 2 0 5 0 1 8立烙声 7 0 5 。6 c d 4 , 4 。l 1 6立体声 1 4 1 1 2 d a t 4 8 王6 立体声 1 5 3 8 0 2 2 话音编码概要 随着数字电话平订数据通信容量r 益的增长，由予受到带宽的限制，雨浅们又不希望明 显燃低传送话音信“g - 的质量，所以对话啬傣号进行压缩是提高通信褰量的重要措施。话音 信号编码的技术基本可以分为两大类：第一粪方法慧在尽可能遵循波形豹蘸提下，将模拟 波形进行数字化编码；第二类方法是对模拟波形进行一一定处理，但仅对语音和收听过程中 能牧至目的浯音遂彳亍编码。其中语音编谒的三种最常用的技术是脉冲编码调制、差分莘拜增量 调制。通常，公共交换电话网中的数字电话都采厢这三种技术。第二类语音数字化方法主 要与用予窄繁传输系线或有限容量的数字设冬敬语音编妈嚣毒关。袋髑该数字化技术麴设 备一般称为声码器，声码器技术现在_ 丌始展开应用，特别是用于帧中继和i p 上的语音。 除压缩编髑技术外，人们还应用许多其它节省带宽的技术来减少语音所占带宽，优化 网络资源e a t m 和帧巾继网中的静音抑制技术可搀述接中的静音数携消赊，但并不影响其 它信息数据的笈送 1 4 j 。 2 2 i 话音的形成原理 了解话爵的形成暇理以及特性对声音数据的压缩编码有非常重要的意义。 当肺部中的空气受到挤压形成气流，气流通过声门( 声带) 沿着声道( 由嘲、喉、【 控等鳃成) 释赦出去，就澎戒了话音。普遥男人的声遵从声门到嘴静平均长度约为1 7 磋米， 这个拳实反映在声音信号中就h 干日当予在1m s 数量级内的数据具有相关性，这种相关称为短 烈褶芙 s h 。r t t e r m c o r r e l a i o n ) 。声道也被认为是一个滤波嚣，这个滤波器有许多共振 峰，这些共振蜂的频率受随时间变化的声道形状所控制，铡如舌的移动就会改变声道的形 基于w e b 实时交互的虚拟教室系统第二章话音编码 、扶。许多话音编福器闻一个短期滤波稀来模叛声邋。但由予声遴形状的交亿比较慢，模拟 滤波器姻传递函数的修改不霈要那么频繁，典型值在2 0 m s 左右。 压缩空气通过声门激励声邀滤波器，根据激励方式不同，发出的话音分成三种类型： 浊音，清音和舔破音。 i 浊音( v o l c e ds o u n d s ) 漆音是一种称为准周羯脉冲激融所发出的音，这嵇准溺期脒冲是在声f 1 羽开然后关闭 时中断肺部到声道的气流所产生的脉冲，所阻浊音的激励源被等效为椎周期的脉冲信弩。 声| 、 打，f 翻关闼豹速率呈现为音节的大小，它的速率可通过改变声道的形状和空气的 压力来调整。浊音表现出在音节上有高度的周期性，它在2 2 0m s 之间，这个蠲麓性称为 长期周期牲【1 2 】。蹦2 - 2 淡示了某一浊音段的波形，音节周期大约8m s 。 2 清音( u n v o i c e ds o u n d s ) 毽2 - 2 浊啻段的波形示搠 潘音是瞧不稳定气滚激励艇产生的。声门打开，声带不扳动，声音靠空气在声遂翟离 速收缩产生，这样发出的声音建清音。清音的激励源被等效为一种白嗓声信号。图2 3 是 它的波形示倒。 3 。爆破音( p l o s i v es o u n d s ) 爆破啻是在声道关阉之后产生压缩空气然后突然打开声道所发出趵声音。 基于w e b 密瓣交互嚣纛瓠教窀系统棼- 二章旗萎鳊鹃 糕 霉 图2 3 清音段的波形示例 缀然各种磊榉的话音都有可能产生，绲声道的形状，手激励方式的变化相对比较慢，因 此话音在短对闯溺期( 2 0 蕊s 豹数量缀) 警西良被谈为楚漆定态静，蠢簸蹙菠基本不变静。 从上阁中可以肴划话音信号鼹示出的高度周期性，这是幽于声门的凇周期性的振动和声道 的谐振所引起的。话音编码器就是企图揭示这种周期性，目的是为了减少数据率黼又尽可 髓，誉牺牲声音的袋量 2 】。 2 2 2 话音编译码器的分类 递常把已有戆话音编译鹅器分残潋下三季孛类型：波形缡译码器，啻濒编译码嚣强混合 编译码器。一般来说，波形编译码器的话音质量高，位数据率也很商；音源编译粥器的数 据率很低，产生的合成话音的音质有待提黼；混合编译粥器使用音源编译码技术和波形编 瀑鼹技术，数摄率帮音质介予宅翻之阗。潮2 4 表示了粒翦这三秘编漳码爨魏话音矮量和 数据率的关系。 话音蹬擞 镌 良 孛 黧 坏 124霆1 3 2e 4 穗建瘁誉埘0 阁2 - 4 普通编译码器的音质与数据率 基于w e b 实耐变互的席拟教室系统第二章话音编码 1 波形编译码器( w a v e f o r mc o d e r ) 波形编译羁抟懋想是，不巅鼹生成话蠢豹信号鹣l 壬 莓翘识，姆话音褫为璐露遴豹声 音，直接对波形信号进行采样和量化产生一种重构信号，它的波形与原始话音波形尽可能 毯一致。一般来说，这种编译码器戆复杂秘度魄较低，数撂速率在1 6 k b s 以上，质釜也稍 当高。但是如果低于这个数据速率时，音璇将会急剧下降。例如p c m 、d p c m 、a d p c m 等。 波形编码的特点：高话音质量、高码率，适用于高保真音乐及语音。 2 音源编译鹃器( s o u r c ec o d e r ) 音澡缡译码嚣瞧h q 参数绽泽码嚣、声弼器。它豹思想跫企图从话音波形信号中提取生 成话音的参数，使用这些参数通过话音生成模型熏构出话音。针对话音的啻源编译码器叫 徽声蔼器。在话音生裁模澎中，褥声遘等效残一个陡露阙焚纯匏滤波器，我们穆之为嚣交 滤波器。因此我们需要传递给解码器的信息就是滤波器的规格、发声或者不发声的标志和 有声话音的音节阂灏，并盟每隔1 0 2 0i l l s 更薪一次。声鹤嚣的禳鲞参数篾可篌稽对域憨 方法也可以使用频域的方法确定，这项任务由编码器完成。具体的应用如：线性预测编码 l p c 阻及藏他各种改进型。 音添缓妈筑数疆率奁2 。4 她s 一4 8 k b s 左毫，甚至毽抵，照谮耆矮羹只链达麴中等， 特别是自然度较低。增加数据率对提高合成话音的质量无济于事，这是因为受到话音生成 模型的隘锖l 。尽管它的音矮晓较低，僵它鹣保密性能婷，因诧这种编译蕊器一直嗣在军事 上。 音源编码的特点：压缩比大，计算量大，数据率低，音质不离。 3 。澄合编译码器( h y b r i de o d e i 、) 混合编译码器综合使用上述两摊技术。它将波形编码鞠音源编码组会起来，毙服了原 有波形编码和音源编码的弱点，结合各自的长处，力图保持波形编码的商质量和音源编码 蛉羝速率。使蠲的激励信号波形尽可能接近于原始话音信号豹波形。波形编译码器虽然可 撮供高话街的质量，但是数据率很高，并且如果低于1 6 k b s 的话，音质会急剧下降。而音 深编码豹数据率虽然攫低，毽是话音震量篷 # 零鬣。多躲_ 申激聚线性读潮缡鹃m p l p c ，援 划脉冲激励线性预测编码k p e l p c ，码激励线性预测编码c e l p 等都属于混合编码技术。 混合编码的特点：数搌率和音质介予波形编码和音源编码之f f i j 。 肇卡w e b 实i 蛙交夏的嶷撼教室系统一一筵二章鼗酱缩诲 2 3 话音编码常用的知识 话音编码的过秘中要雨鄹禳多稍关的知识，例麴在话音信号静数字亿过程申要麓到鬣 化，蕊量化分为均匀量化鄹非均匀爨纯两静。其中在非线性量化中，我们簧甭莉a 律和 律压扩知识，另外在话音编码中还有一种普遍使闻的预测技术等等。 2 3 ，1 蚜蔼量仡 对采移褥至l 鹣傣号采霁l 褪等酶蹙诧淄蕊送行星他，这种量纯穆为均匀爨纯。均匀量化 裁麓采用樱溺熬“等分尺”泉度量袋样得到鹣耀发，也弥为线性量化，如2 - 5 黧联示。 誊 化 精 密 数 据 x lx 2 黾舄x 6 采样输八样本值 囤2 - - 5 均匀爨佳 用这种方法量化输入信号时，无论对大的输入信号还是小的输入信号律都采用相同 瓣鬃化闻隔。为了适应幅凄天的输入信号，丽时又瑟满足精度要求，裁需簧增热糕术酌位 数。但是，对话音信号柬说，大信号出现的机会并不多，增加的样本位数就没有充分利用。 为了克服这个不足，就出观了非均匀量化的方法，这种方法也h q 做非线性璧化 1 2 】。 2 。3 2 毒豢均匀量讫 非均匀量化又称为非线形量化，它的旗本想法是，对输入信号进行量化时，丈的输入 信学采用太的量纯黼隔，j 、静输入信号采麓小酶鬣化阔隔，翔下黼掰示。这祥就可以在满 足楷度要求的情况下用较少的位数来表示。声音数据还原时，采用相同的规则。 在非线性量化中，采样输入信号幅度和量化输出数据之间定义了两种对应关系，一种 称为h 律压扩算法，另一秘穆为a 律压扩簿法。 一 一 ， 娃于w e l l 实时交互的虚手虬教宦茉统一一第二章话背编码 x l x 2 x 3 勘x 5x 6 蕞撵赣天擗