（计算机应用技术专业论文）基于mpeg4的多媒体网络教学系统.pdf

摘要 信息时代给人类社会带来了新的挑战和机遇，传统的以教师、 课堂、课本为中心的教学模式将越来越不适应信息社会的需要。随 着计算机技术和网络技术的飞速发展，利用网络进行教学已经成为 一种必然趋势。多媒体网络教学系统是开展多媒体网络教学的支撑 环境。本文对目前的一些多媒体网络教学系统进行了分析讨论，结 合校园网络教学的特点，设计开发了一套基于m p e g 4 的多媒体网 络教学系统。 系统的设计目标是在校园网上建立虚拟的网络课堂，使地理上 分散的学生和教师能在同一时间里加入虚拟网络课堂，进行教学活 动。教师使用该系统在网络虚拟课堂上授课，学生不但可以同步的 看到教师机的屏幕内容、听到教师授课的声音，而且可以看到教师 授课时的形象和动作。同时，该系统还提供电子自板讨论功能，为 网络分布式教学提供了一种良好的交互环境。所设计的系统具有视 音频广播、屏幕图像广播、课件制作等功能。系统的实现综合采用 了m p e g 4 技术、流媒体技术、网络技术、数据库技术和同步多媒 体集成语言s m i l 等，采用微软的v i s u a lc + + 作为开发工具。对所开 发的系统进行了功能单元测试和实际的系统联机测试，结果表明系 统性能可以满足网络教学的基本要求。 系统实现中解决的关键问题和特色主要有以下几个方面： ( 1 ) 在视音频直播功能的实现中，通过使用北京算通公司的 c v 5 0 0 视频采集卡和c v 5 0 0s d k 进行视音频数据采集，并采用当今 最新的图像和语音编码压缩标准m p e g 4 作为视音频数据的采集格 式，既保证了图像的质量，又大大缩减了视音频所占的带宽，从而解决了多媒 体数据量大、网络带宽利用率低的问题；同时，通过设置环形缓冲区 的办法来调和网络传输延时与图像质量之间的矛盾，取得了较好的效 果。 ( 2 ) 在屏幕图像直播功能的实现中，通过采用“屏幕拷贝法”， 解决了课件的多媒体链接和屏幕滚动难以控制问题。 ( 3 ) 在课件实时制作功能的实现中，通过采用s m i l 语言制作了 一个图形化的s m i l 编辑工具，为教师提供一个操作简单的s m i l 文 档制作编辑环境；用s m i l 和r e a l o n e 播放器实现了视音频流、图像 流在客户端的同步播放。 关键字：m p e g 一4 ；流媒体技术；s m i l ；网络教学系统 h a b s t r a c t n e w c h a l l e n g e sa n do p p o r t u n i t i e sa r eb r o u g h tt oh u m a n i t ys o c i e t yi n i n f o r m a t i o ne r a t r a d i t i o n a lt e a c h i n gm o d e c e n t e f so nt e a c h e r ，c l a s s r o o m a n dt e x t b o o kw i l lg r a d u a l l yb eu n f i tf o rt h en e e do f i n f o r m a t i o ne r a w i t h t h e r a p i dd e v e l o p m e n to fb o t hc o m p u t e ra n dn e t w o r k s t e c h n o l o g y , n e t w o r k s t e a c h i n g w i l lb eac e r t a i nt r e n d t h et h e s i s a n a l y s e s s o m e c o n t e m p o r a r y m u l t i m e d i an e t w o r k s t e a c h i n gs y s t e m ，a n dd e s i g n s a m u l t i m e d i an e t w o r k s t e a c h i n gs y s t e mb a s e do nm p e g 一4 ，c o m b i n e d w i t h t h ec h a r a c t e r i s t i co f n e t w o r k st e a c h i n go n c a m p u s t h ea i mo ft h i st h e s i si st ob u i l dav i r t u a ln e t w o r k sc l a s s r o o mo n c a m p u sn e t w o r k b yw h i c h ，s t u d e n t sa n dt e a c h e r si nd i f f e r e n tp l a c e sc a r l j o i ni nt h et e a c h i n ga c t i v i t ya tt h es a n l et i m e w i t ht h es y s t e m s t u d e n t s c a nn o to n l yr e c e i v et h ec o n t e n t so ft h et e a c h e r ss c r e e n ，v o i c eb u ta l s o r e c e i v et h ev i d e oo ft h et e a c h e r sm o v e m e n t m e a n w h i l e ，t h es y s t e m p r o v i d e st h ef u n c t i o no fe l e c t r o n i cw h i t e b o a r df o rc o m m u n i c a t i o n 西e d e s i g n e ds y s t e mi n c l u d e sf u n c t i o n so fa u d i oa n dv i d e ob r o a d c a s t ，s c r e e n i m a g eb r o a d c a s t ，i n t e r a c t i o n o fe l e c t r o n i c w h i t e b o a r d ，r e a l - t i m e c o u r s e w a r e m a k i n g ，e t c t h e r e a l i z a t i o no ft h e s y s t e m r e l i e so i l t e c h n o l o g i e so fm p e g - 4 ，s t r e a m i n gm e d i a ，n e t w o r k ，d a t a b a s e ，s m i la n d t a k e sv i s u a lc + + o fm i c r o s o ra st h e d e v e l o p m e n tt 0 0 1 r e s u l t s o f f u n c t i o n a lu n i tt e s t i n ga n d p r a c t i c a ls y s t e mn e t w o r k i n gt e s t i n gs h o w t h a t t h es y s t e mc a nf u l f i l lt h en e t w o r k s t e a c h i n gr e q u i r e m e n t t h ec h a r a c t e r i s t i ca n d k e yt e c h n o l o g i e so f t h es y s t e ma r ea sf o l l o w s ： ( 1 ) i nr e a l i z i n gt h el i v eb r o a d c a s to f a u d i oa n dv i d e o ，t h ep r o b l e m o fi m m e n s em u l t i m e d i ad a t aa n dl o wn e t w o r k sb a n d w i d t hu t i l i z a t i o n i i l r a t i oi ss o l v e db yu s i n gm p e g - 4a sf o r m a to fa u d i oa n dv i d e od a t a a u d i oa n dv i d e od a t aa r ec o l l e c t e d b yv i d e o c a r dc v 5 0 0w h i c h d e v e l o p e db yb e i j i n gs u m t o n ec o m p a n y ；m e a n w h i l e ，t h e c o n t r a d i c t o r y b e t w e e nt h ed e l a yo fn e t w o r k s t r a n s m i t t i n ga n d t h eq u a l i t yo ft h ei m a g e i sw e l ls o l v e d b ys e t t i n ga b i - b u f f e ra r e a ” ( 2 ) i nr e a l i z i n gt h el i v eb r o a d c a s to f t h es c r e e ni m a g e ，m u l t i m e d i a i n t e r l i n k a g e a n ds c r e e n r o l l i n g c o n t r o li s a c c o m p l i s h e db y “s c r e e n - c o p y i n g ” ( 3 ) i nr e a l i z i n gr e a l t i m ec o u r s e w a r em a k i n g ，ag r a p h i c a le d i t i n gt o o l o fs m i li sm a d eb ys m i ll a n g u a g e ，p r o v i d i n gas i m p l et e x t e d i t i n g e n v i r o n m e n t ；t h el i v eb r o a d c a s t & a u d i o a n dv i d e os t r e a m ，i m a g es t r e a m a n dt e x ts t r e a mi nc l i e n tr e a l i z e sb y u s i n gs m i l a n dr e a l o n e p l a y e r k e yw o r d s ：m p e g 一4 ；s t r e a m i n gm e d i at e c h n o l o g y ；s m i l ；n e t w o r k s t e a c h i n gs y s t e m 第一章绪论 1 1 开发多媒体网络教学系统的意义 随着科学技术和信息产业的迅速发展，信息已经成为科学技术和社会经济发 展的重要资源。由于计算机技术、通讯技术的迅速发展，使得知识的更新速度越 来越快，呈加速度趋势。根据联合国教科文组织的统计，人类有史以来积累的知 识约占1 0 ，而近3 0 年的知识积累占9 0 。高新技术的迅速发展，导致新产业 的不断涌现，老的产业不断变革，客观上就要求人们不断的学习和补充新的知识 和技能。据国外学者统计：一个大学生在学校只能获得其所需知识的1 0 左右， 其余的9 0 则由他在以后的工作中，不断学习获得【l 】。所以，如何解决知识激增、 职业更新频繁而导致的人们对知识大量积累的需求，已成为教育形式和方法改革 的必然。计算机教育就是人们利用计算机科学这一现代科学技术解决教学中的许 多问题的成功实践。计算机教育改变了以往教学中形式单一、信息量小等诸多弊 病，其中多媒体辅助教学则是计算机教育中的重要组成部分。多媒体辅助教学能 实现个性化教育，发挥被教育者的积极主动性，具有良好的视觉、听觉效果，友 好的人机接口，丰富的知识表达能力等优点。 多媒体技术是一种以交互方式将文本、图形、图像、音频、视频等多种媒体 信息，经过计算机设备的获取、操作、编辑、存储等综合处理后以种单独或合 成的形态表现出来的技术和方法 2 1 。特别是将图形、图像和声音结合起来表达客 观事物，在方式上非常生动、直观、容易接受。多媒体技术以计算机技术为核心， 将现代声像技术和通信技术融合在一起。多媒体系统的应用以极强的渗透力进入 了教育、娱乐、档案、图书、展览、建筑设计、现代商业、通信、艺术等人类工 作和生活的各个领域，正改变着人类的生活方式和工作方式，成功的塑造了一个 绚丽多彩的划时代的多媒体世界。 多媒体系统并不是将多媒体进行简单的相加，而是各种媒体功能的相互融合 和补充。每一种媒体都有它自己的优势和不足，如果将多种媒体组合成统一的系 统，各种媒体的功能上互为补充，系统的整体功能要比各种媒体的功能的总和更 丰富、更有效。这样的教学系统称为多媒体教学系统【3 1 。这种系统不仅具有计算 机系统的交互性特点，还具有视听设备在图像和声音上呈现的优势，它所能提供 的教学环境更能激发学生的学习积极性和主动性，提高教学效率，改善学习效果。 记忆研究表明，对同样的教学材料，单用听觉，3 小时后能保持所获得知识的7 0 ， 3 天后降为1 0 ；单用视觉，3 小时后能保持所获得知识的7 2 ，3 天后降为2 0 ； 如果视觉和听觉并用，3 小时后能保持所获得知识的8 5 ，3 天后降为6 5 。因 此在学习过程中同时使用听觉和视觉，能明显的提高学习效率和记忆。如果给 学习者以复述的机会，即以交互的方式进行学习，其效果会更明显，这正是多媒 体教学的作用和意义所在【4 j 。 正是因为多媒体辅助教学有着众多的优越性，使之已经成为新一代教育的发 展方向。市场上的多媒体辅助教学产品层出不穷。很大程度上丰富了学生的课程 外的教育，如某一学科的辅导软件等。但是这还远远没有达到人们预想的效果， 也还远远没有达到计算机教育能实现的程度。那就是多媒体教学必须与网络结合 起来! 没有网络，多媒体辅助教学系统就只能是单机的、学生自主学习的、没有 教师辅导的学习方式，这显然不能满足正规化日常教学生活的需要。因此，迫切 的需要把多媒体计算机技术和网络通信技术紧密结合，构建基于计算机网络的多 媒体网络系统，使之既具有多媒体信息处理和人机交互功能，又实现网上多媒体 信息传递、资源共享和同步交流，大大扩展单机多媒体系统的功能，从而构成支 撑多媒体网络教学理想的协同教学环境。特别是近几年，国家高校普遍扩招，发 展迅速，造成师资、教学设备等紧缺。利用网络教学，广大受教育者可突破传统 教育在教育资源( 师资、教材、实验和演示设备等) 和教学方法( 统一进度、集 中式和单向传授等) 方面的限制，实现优秀教育资源和教育方法不受时间和空间 等约束的共享，受教育者可以根据自己的水平和时间情况安排自己的学习计划和 学习进度，实现传统教育无法做到的“个性化教育”，同时由于多媒体技术的运 用，教学过程中能充分利用文本、图像、图形、音频和动画等多媒体进行交互， 从而激发学习兴趣，提高教学质量。 综上所述，计算机多媒体网络教学系统具有以下几种优势： 1 、学习者可以同时接受到声音、图像、视频、文本同步的多媒体信息的刺 激信息量成倍增加。 2 、学习者以人机交互方式参与学习，根据自己的实际接受能力，掌握知识 的深度和广度，自由选择课程的某些章节和内容，变被动阅读为主动阅读。 3 、学习者可以依靠多媒体教学系统本身的指导进行学习，还可以依靠自我 评价和反馈信息系统来控制学习过程。 4 、在计算机多媒体教学系统参与教学的环境下，教师与学生是点对点的授 课形式。因此，教师对学生的指导更具针对性。 5 、教师还可以直接在计算机上备课，根据教学需要，组织相关的多媒体教 学材料，利用操作系统的有关软件工具，把一些问题归纳进计算机中，在课堂上 省略了“板书”，使课堂的有效利用时间增加。 6 、在传统教学过程中，包含教师、学生、教材等三个因素。利用传统教学 法，师生之间虽然是面对面的信息交流，但由于这是一种以教师为中心的教学方 式学生处于被动地位而不利于个别化学习。而多媒体计算机教学系统则可以使 师生运用多种媒体进行信息交流，这种教学活动的优势，除了加强师生之间的交 流外，学生还可以进行个别化的学习和自我监测。按照多媒体教学系统提供的多 种形式的交互手段，学生能够根据自己的需要来安排学习的内容和进度，这样就 有效地控制了教学信息流通的速度，增强了教学效果。 理论和实践使我们认识到，利用网络，以计算机技术为核心，将现代声像技 术和通信技术融合在一起，汲取传统教学的经验向多媒体化的网络型教学系统过 渡是现代化教育发展的必然方向，研究多媒体网络教学系统具有十分重要的现实 意义。 1 2 多媒体网络教学系统的现状 多媒体网络教学是一种新兴的教学模式，它把不断发展的多媒体技术和网络 技术同传统的教学相结合，产生一种有效、迅捷而又不受时空限制的教学方式， 而且可以节省大量的师资，因此引起越来越多的力量投入到多媒体网络教学系统 的研究中来。目前流行的多媒体网络教学系统，根据其设计原理及实现方式的不 同可归为三大类：纯软件实现方式、软硬件结合实现方式、纯硬件实现方式p j 。 1 、纯软件实现方式 纯软件实现方式是指运行于底层数据网环境之上，完全用软件来实现的多媒 体网络教学系统，多媒体影音信号及控制信号均通过底层数据网进行传输。此方 式的特点是成本较低，无需添加其他附件安装维护简单，软件版本容易升级。 但由于图像传输需经过压缩解压技术完成，故对计算机硬件配置及网络速度有 较高限定要求，目前基于底层网的纯软件方式在图像和声音传输效果尤其语音教 学功能方面还有待于进一步提高完善。但是，随着计算机性能的不断提高以及网 络技术、数据压缩技术的突飞猛进，采用纯软件方式是网络教学系统的发展趋势。 2 、软硬件结合实现方式 此种方式是通过在每台电脑中插装一块多媒体网卡，并用专用的多媒体传输 网线将每台电脑串接起来。以此来实现多媒体影音信号的独立通道传输，这样就 确保了影像的同步全屏传输，且对学生机的硬件配置要求不高，无需加声卡，多 媒体网卡上自带语音功能。此方式的特点是成本较高。而且由于多媒体控制信号 仍需借助于底层数据网实现传输，故每台电脑中需安装软件驱动程序，整个系统 安装、维护比较起来有一定难度，需具备一定的网络常识。这种方式弥补了纯软 件方式影音传输质量不高的缺点，但仍对运行环境要求较高。 3 、纯硬件实现方式 纯硬件方式同样是在每台电脑中插装一块多媒体网卡，但此卡已智能化带有 c p u ，自行完成系统的控制处理任务，多媒体影音信号、控制信号均由专用多媒 体网线独立传输，系统自成体系，不依赖底层数据网而运行。不占用主机及数据 网资源，不用再安装驱动程序，也无需考虑操作系统平台兼容性问题。纯硬件方 式的最大特点是对电脑硬件配置要求低( 2 8 6 以上就可以) ，安装维护简捷，即插 即用。但此方式成本较高。这类纯硬件产品给那些不会操作计算机又想使用网络 教室的老师带来了方便。这种方式弥补了纯软件和软硬件结合方式的不足，但硬 件设计周期较长，更新速度慢，定型后的专门硬件功能简单，交互性较差，如果 在校园网上建设这样的系统，价格会十分昂贵，而且无法在i n t e m e t 上实现。 在我国，利用网络进行教学还处于起步阶段。目前在国内较有影响的多媒体 网络教学系统主要有：台湾艾康公司的h i c l a s s ，南京远志资讯公司的l a n s t a r ， 武汉开达公司的新教室，灯塔科技公司的w i n s c h o o l 等。这些系统能完成基本的 教学功能，又各有其特色。这些比较有代表性的系统分别具有如下一些特点： n ) 南京远志资讯公司的l a n s t a r 多媒体网络教学系统采用纯软件方式，只 需一套软件安装到网络服务器上，即可实现多媒体网络教学的全部功能。无需添 加任何硬件设备和额外布线，系统安装和维护方便，易于扩充功能和升级。其主 要缺点是：在已建成的低速网络上实现实时性较差，系统兼容性不好。 f 2 1 武汉开达公司的新教室多媒体网络教学系统采用纯硬件方案实现每个 用户都需添加影音传输卡与传输通道。它能支持任何网络系统，无需任何驱动狸 序，无内存驻留程序，兼容性好，能达到影音的实时同步传输。其主要缺点是 系统功能较简单。价格比较昂贵。 ( 3 ) 台湾艾康公司的h i c l a s s 多媒体网络教室，采用软硬件结合方式。其主 要控制功能通过教师机控制台完成，学生机内有驻留的程序完成本机的某些控制 功能，使用外置式影音传输盒与相应通道。它较好的将软硬件的优势结合在一起， 但是它的兼容性比较差，实际使用效果不是很理想。 下面通过一个表格将几种有代表性的多媒体网络教学系统的主要功能进行 简单比较，如下表所示。 表l - i 几种多媒体网络教学系统比较 h i c a l s s 标准版l a n s t a r 软件版新教室 屏幕及影音广播 屏幕监看 ， 语音监听 辅导及示范 、， 远端遥控 远程复位 电子举手 电子黑屏 电子白板 学生分组 分组交流 自动点名 从对以上几种多媒体网络教学系统的分析来看，目前的网络教学系统没有得 到广泛使用的主要原因是价格普遍偏高，可靠性不高，系统的成熟性以及稳定性 都还不尽如人意。 1 3 本文的研究目的 通过对国内各系统的研究分析，考虑到目前高校校园网建设已初具规模的实 际情况和高校资金紧缺的状况，怎样利用现有的计算机技术及多媒体网络等技 术，并加以综合集成，建设既满足一定的教学要求，又在技术上和经费上可行的 多媒体网络教学系统，是一个亟待解决的问题。 对于校园教学来说。面授总是第一位的，但是对于很多热门课程，受教师和 教室大小的限制，直接面授的学生数量有限，因此需要能够提供一个网络虚拟教 室使学生通过网络能够同步听课。另外，对于些课程冲突的学生来说，他们希 望能够随时通过网络点播教师讲课时的实况，点播的实况不仅包括教师的声音、 影像，而且应该包括教师讲课时的电子讲义和板书。此外，考虑到校园网带宽普 遍较窄，学生点播时间相对集中，且多媒体数据信息量巨大，为了在同一时间内 能让尽可能多的学生点播上节目，必须对多媒体数据进行压缩。根据这样的需求， 我提出了基于m p e g 一4 的多媒体网络教学系统。 本系统采用v c + + 、s m i l 、s q ls e r v e r 、d r e a m w e a v e r 等工具开发，综合 使用了流媒体技术、网络技术、数据库技术和网页制作技术。系统实现了教师授 课场景和声音的实时广播、教师机屏幕图像的实时广播以及教师与学生、学生与 学生之间通过文本形式的实时交互功能。 2 1m p e g 4 第二章相关技术和方法 多媒体信息主要包括视频、图像、音频和文本，其中视频、音频、图像等信 号的信息量是非常大的。例如，n t s c 图像以大约6 4 0 x 4 8 0 的分辨率，2 4 b i t s 像素，每秒3 0 帧的质量传输时，其数据率达2 8 m b 字节秒或2 2 1 m b 位秒。 以这个速率保存的1 5 秒的未压缩视频图像将占用4 2 0 m b 字节的内存空间，显然 这样大的数据量对于当前的网络带宽和存储空间而言是难以接受的，其解决的唯 一途径就是压缩1 6 i 。 m p e g 是动态图像专家组( m o v i n g p i c t u r e se x p e r t sg r o u p ) 的英文缩写，这个专 家组始建于1 9 8 8 年，它隶属于i s 0 i e c j t c l s c 2 9 w g l l ，是制定“活动图像和 音频编码标准”的组织。该组织先后于1 9 9 2 年和1 9 9 5 年制定了视频、音频编码 的国际标准m p e g 1 和m p e g 2 ，并又于1 9 9 9 年制定了一种基于对象的视频、音频 编码标准，即m p e g 4 。 2 1 1 从m p e g 一1 、m p e g 2 到m p e g 4 的转变 m p e g l 是针对1 5 m b i t s 速率的数字存储媒体运动图像及其伴音编码制定的 国际标准。m p e g 2 主要是针对数字视频广播( d v b ：i n g i t a l v i d e ob r o a d c a s t i n g ) 、 高清晰度电视( h d t v ：h i g h - d e f i n i t i o nt v ) 和数字视盘( d v d ：d i g i t a lv i d e o d i s c ) 等制定的4 m b i t s 9 m b i t s 运动图像及其伴音的编码标准。因此，这二者 的应用相对单一，主要的目标是提高压缩比，并改善音频、视频质量。采用的技 术主要是基于信息论的波形编码理论。 与m p e g 1 、m p e g 2 不同，m p e g 4 并不仅仅着眼于定义不同码流下的压缩编码 标准，而是更多地强调多媒体通信的交互性和灵活性，以及多产业领域的融合。 m p e g 4 的目标定义大致来源于两方面：一是极低比特率下的多媒体通信，二是多 产业多媒体通信的融合，主要有通信业、计算机业、消费电子业和娱乐影视业。 m p e g 4 就是试图达到以上两个主要目标而制定的多媒体通信标准。因而，一方面， m p e g 一4 要求有高效的压缩编码方法，另一方面，m p e g 一4 要求有独立于网络的基于 7 视频音频对象( a v x 寸象：a u d i o v i d e oo b j e c t s ) 的交互性。 2 1 2m p e g 一4 的内容与特点 m p e g 一4 提供了一系列技术以满足视听内容的提供者、网络服务商和最终用户 的要求。对于视听内容的提供者，m p e g - 4 使得他们有更大的灵活性和更丰富的内 容，同时，这些视听内容易于重复利用，并且易于管理，便于保护知识产权。对 于网络服务商，m p e g - 4 能对多媒体信息在不同网络中提供透明的传输。m p e g 一4 的 多媒体信息独立于网络特性并能针对不同网络特性进行优化传输。对于最终用 户，m p e g 4 支持更多的功能，尤其是支持对a v 对象的交互作用。 为了达到这些目标，m p e g 。4 采用如下方法： ( 1 ) 采用“a v 对象”来表示听觉、视觉或者视听组合内容。“a v 对象”的基 本单位是“原始a v 对象”，它们可以是二维背景、一个说话的人像( 没有背景) 或者与这入相关的说话音等。可见在m p e g 4 中，可交互的“a v 对象”一改过去图 像帧或音频帧的结构，加入了更大的灵活性和交互性。 ( 2 ) 允许组合已有的a v 对象以生成复合a v 对象，并由此生成视听场景( a v 场景) 。在m p e g 4 中，一个场景已不再由一帧的视频、音频序列组成，而是由许 多“a v 对象”按照一定的坐标和层次组织起来的。m p e g ，4 采用一种叫做合成 自然混合编码s n h c ( s y n t h e t i c n a t u r a lh y b r i dc o d i n g ) 的方法来组织这些“a v 对 象”。 ( 3 ) 允许对“a v 对象”的数据灵活地多路合成与同步，以便选择合适的网络 来传输这些“a v 对象”数据。在m p e g 4 中，一个a v 对象用一个或多个基本流来表 达。这些流还带有一些有关传输服务质量q o s 的参数( 如最大码流率、比特误码 率) 和一些其它参数( 如流类型信息和流同步信息) 。一般而言，我们将这些多 路合成和同步的a v 对象数据流分为四层：基本流层( e l e m e n t a r ys t r e a ml a y e r ) 、 访问单元层( a c c e s su n i tl a y e r ) 、灵活多路合成层( f l e x i b l em u l t i p l e x i n g l a y e r ) 和传输层( t r a n s p o r tm u l t i p l e x i n gl a y e r ) 。其中，前两层主要是针对 a v 对象的内容而分的层，后两层主要是针对传输而分的层。层次的流结构，不仅 使a v 内容表达组织方便灵活，而且使a v 对象流独立于网络而传输方便。 ( 4 ) 允许用户在接收端生成a v 场景，与a v 对象进行交互操作。在接收端， m p e g 4 允许用户进行如下的操作；改变场景的视角来欣赏a v 场景，将a v 场景中的 8 a v 对象拖到不同的地方，通过点击( e l i c k ) 一个具体的a v 对象来触发一系列事 件，选择不同的语种等。当然，这些场景的交互性取决于a v 场景设计者，而m p e g 4 为这种设计提供了可能。 ( 5 ) 支持a v 对象的知识产权与保护。由于m p e g 4 的语法支持广泛的a v 对象和 a v 对象的编辑组合，因此，区分不同a v 对象、a v 场景的知识产权应当在m p e g 4 的 语法中得到体现。 2 1 3m p e g 一4 的主要技术1 8 i ( 1 ) 多媒体传送集成框架d m i f ( d e l i v e r y m u l t i m e d i a i n t e g r a t i o nf r a m e w o r k ) d m i f 主要解决交互网络中、广播环境下以及磁盘中多媒体应用的操作问题， 通过传输多路合成比特信息，建立客户端和服务器端的握手和传输。与过去不同 的是，由于m p e g 4 码流中。包括许多a v 对象，一般而言，这些a v 对象都有各自的 缓冲器，而不仅仅是视频缓冲器和音频缓冲器。 ( 2 ) 语法描述 m p e g 一4 定义了一个句法描述语言来描述a v 对象比特流表示和场景描述信息。 这个句法描述语言是对c 十+ 的扩展，不仅易于表达其a v 对象特性，而且也易于 软件仿真实现与模型验证。 ( 3 ) 音频对象的编码 视频、音频的压缩编码自然仍是m p e g 一4 的核心所在。不过，与以前的m p e g 一1 、 m p e g 2 不同的是：m p e g 一4 不仅支持自然的声音( 如语音和音乐) ，而且支持基于 描述语言的合成声音( 女i m i d i ) 。 1 ) 自然声音编码 m p e g 一4 研究比较了现有的各种音频编码算法，支持2k b it s 6 4 k b it s 的自然声音编码。如8k h z 采样频率的2k b i t s 4k b i t s 的音频编码，一般 采用码激励线性预测c e l p ( c o d ee x c i t e dl i n e a rp r e d i c t i v e ) 编码技术：而从 1 6 k b i t s 以上码率的编码，则可以采用时频( t f ) 变换编码技术。这些技术实 质上借鉴了已有的音频编码标椎如g 7 2 3 、g 7 2 8 以及m p e g 一1 和m p e g 一2 等。 2 ) 合成声音编码 在合成声音编码当中，m p e g 4 7 i 入了两个极有吸引力的编码技术：文本到语 音( t e x t t o s p e e c h ) 编码和乐谱驱动合成编码技术。这为网络上低比特率下交 互的带有语音的游戏铺平了道路。事实上，合成声音编码技术是一种基于知识库 的参数编码。特别值得一提的是m p e g 一4 的乐谱驱动合成技术，在该技术中，解码 器是由一种特殊的合成语言结构化的音频管弦乐团语言s a o l ( s t r u c t u r e d a u d i oo r c h e s t r al a n g u a g e ) 驱动的。其中的“管弦乐团”是由不同的“乐器” 组成的。当解码器不具有某一“乐器”时m p e g 4 还允许解码器从编码器下载该 “乐器”到解码器，以恢复合成声音。可见，m p e g ，4 不是提供一组m i d i 音乐标准 中的“乐器”。而是提供了一个可随时扩充的“管弦乐团”，因此，其可“演奏” 的乐谱自然更加丰富多彩。 ( 4 ) 视觉对象的编码 同样，m p e g 一4 也支持对自然和合成的视觉对象编码。合成的视觉对象如2 d 、 3 d 动画，人的面部表情动画等，这些合成图像单独编码，不仅可有效压缩，而且 还便于操作。 对自然视觉对象的编码，也是m p e g 一4 的重点。对于静止图像，m p e g 一4 采用 零树小波算法( z e r o t r e ew a v e l e ta l g o r i t h m ) 以提供高压缩比，同时还提供多 达1 1 级的空间分辨率和质量的可伸缩性。对于运动视频对象的编码，m p e g 一4 采用 了离散余弦变换( d c t ：d i s c r e t ec o s i n et r a n s f o r m ) 和离散余弦逆变换 ( i d c t ：i n v e r s e dd i s c r e t ec o s i n et r a n s f o r m ) 以支持对象的编码。为了支持 基于对象的编码，m p e g 4 引入了形状编码模块。为了支持高效压缩，m p e g 一4 仍然 采用了m p e g 一1 、m p e g 2 中的变换、预测混合编码框架。 对于实时的极低比特率的应用，如可视电话，m p e g 4 视频编码采用极低比特 率视频v l b v ( v e r yl o wb i t r a t ev i d e o ) 核进行编码、类似于i t u 的h 2 6 3 直 接对矩形视频编码，而不采用形状编码模块同时，也提供一些高层特性，如基 于内容的编码。与此同时m p e g 4 还支持有误码信道传输下的健壮性，提供了更 好的同步和误码恢复机制。 ( 5 ) 场景描述及其它场景描述 主要用于描述以上单个的a v 对象如何在一具体a v 场景座标下的组织与同步 等问题。同时还有a v 对象和a v 场景的知识产权保护等问题。 2 2 s m i l 2 2 1s m i l 的设计目标及定义 在基于文本的h t m l 的w e b 页面出现不久，开发者们开始寻找一种能在w e b 页面 中包含更丰富媒体的方法包括音频和视频。由子w e b 出现以前，存在多种多 媒体的文档格式，而且存在不同文档格式的播放器，不同的播放器播放相应的文 档格式的多媒体数据。当w e b 成为一种重要的信息发布工具时，为了在w e b 上发布 多媒体内容的信息，各开发商制造了各种相应的插件。但不同的插件只能播放相 应文档格式的内容，为了播放许多不同种类的媒体内容，用户必须安装多个播放 器的插件。要统一格式，使用户安装了一个播放器插件以后，就能播放多种格式 的多媒体内容。这就是s m i l 语言的设计目标。1 。 s m i l 是w 3 c 的同步多媒体集成语言( s y n c h r o n i z e dm u l t i m e d i a i n t e g r a t i o nl a n g u a g e ) ，是一种与x m l i o 完全兼容的标记语言，其宗旨是将多 媒体对象集成到同步表现中。可把文本、静止图像、音频、视频等媒体内容组合 在一起“”。 2 2 2s m i l 语法简介n 1 i 1 9 9 8 年万维网联盟( w 3 c ) 正式推荐了同步多媒体集成语言s m i l 。1 9 9 9 年8 月3 日，在第一个草案的基础上，w 3 c 推出了s m i lb o s t o n 版本。2 0 0 1 年3 月1 日又 推出t s m i l2 0 版本。s m i l2 0 有了许多重要的扩展：包括可重复使用的模块、 通用的动画设计、改良的交互功能以及电视综合功能等。 s m i l1 0 规范作为基础，对于如何描述同步多媒体演示文档作了详细的规 定，下面对s m i l 元素、s m i l 文档结构和语法等作简单介绍。 ( 1 ) s m i l 文档的结构 s m i l 文档的根元素是s m i l 元素，它可以有一个i d 属性，用以表示这个s m i l 元素，属性的值必须是一个标准的x m l 标识符。s m i l 元素可以包含两个子元索： h e a d 和b o d y 元素，整个文档的结构如下。 文档中h e a d 元素用于描述演示中与时间行为无关的信息，而b o d y 元素则包含 了各个媒体对象的同步和链接信息。 ( 2 ) s m i l 文档头 s m i l 文档头由一个h e a d 元素组成，用来描述演示中与时间行为无关的信息。 h e a d 元素有个i d 属性用以标识该元素，并且可以有如表2 一l 所示的子元素。 表2 1h e a d 元素的子元素 元素名作用允许出现的次数 l a y o u t描述演示的空间布局 1 次 m e t a定义文档的各种属性多次 1 ) l a y o u t 元素 l a y o u t 元素定义文档体中的元素如何在播放窗口中布局。l a y o u t 元素可以 包含r o o t l a y o u t 和r e g i o n 两个子元素。用r o o t l a y o u t 元素来定义播放窗口 的大小，用r e g i o n 元素来定义备区域的名称、位置及尺寸。当区域互相重叠时 通过设置参数z i n d e x 的值来确定互相覆盖的顺序。z - i n d e x 是z 轴方向上的坐 标，相当于区域的层号，z 值可取正、负或小数，默认值为0 ，数值大的区域覆 盖数值小的区域。参数f i t 决定显示内容随区域尺寸变化的方式，可取f i l l 、 m e e t 、s l i c e 或h i d d e n ，默认值是h i d d e n 。r o o t l a y o u t 元素和r e g i o n 元素的 具体属性如表2 2 、2 - 3 所示。 2 ) m e t a 元素 m e t a 元素可以用来定义各种文档属性，如作者、版权等，并对它们赋值，每 一个m e t a 元素定义一对文档属性值。例： 表2 - 2 r o o t - l a y o u t 元素的属性 属性名含义 默认值 i d区域标志 t i t l e区域标题 b a c k g r o u n d - c o l o r 背景颜色 t r a n s p a r e n t h e i g h t 区域高度 w i d t h 区域宽度 表2 - 3 r e g i o n 元素的属性 属性名含义默认值 i d 区域标识 t i t l e区域标题 b a c k g r o u n d c o l o r 背景颜色 t r a n s p a r e n t 区域尺寸同对象尺寸的适配原则， f i th i d d e n 有f i t , h i d d e n ，m e e t ，s c r o l l 和s l i c e t o p 顶部位置 0 i e f t左边位置o h e i g h t 区域高度 w i d t h区域宽度 z - i n d e xz 轴索引值 ( 1 ) s m i l 文档体 s m i l 文档体包含在标签 和 之间，用于指定s m i l 文件中所有 文件片来源和时间信息及链接行为。任何给定的s m i l 文档只能有一个主体，而 且主体必须出现在文档头的后面。b o d y 元素可以拥有的子元素如表2 - 4 所示。 在这些子元素中，r e f , v i d e o 、a u d i o 、a n i m a t i o n 、i m g 、t e x t 、t e x t s t r e a m 称为 媒体元素，用来指明访问的文件片的媒体类型，如视频、音频、动画、图像、文 本块、文本流等。 s e q 和p a r 称为同步元素，用来规定不同媒体元素问的同步特性。其中， l3 和 之间的所有元素都以顺序形式播放， 和 之间的所有元素都以 并行形式播放。默认为s e q 。在p a r 和s e q 元素中，b e g i n ，e n d ，d u r , e n d s y n c ，r e p e a t 用来指定演示的时序行为。其中b e g i n ，e n d ，用来显式地指定播放多媒体对象的起 始、终止时间。d u r 用来显示地指定北方对象的持续时间。e n d s y n c 用来指定p a r 元素的结束同步时间。r e p e a t 用来指定元素的重复播放次数。 表2 - 4b o d y 元素的子元素 元素名作用允许出现次数 r e f通用媒体对象 任意次 a n i m a l 【i o n动画 任意次 a u d i o音频任意次 l m g 图片任意次 t e x t 文本任意次 把x t s t r e a m文本流任意次 v i d e o视频任意次 s e q 序列元素任意次 p a r 并列元素任意次 s w a t h选择元素任意次 超链接元素任意次 a n c h o r超链接元素任意次 s w i t c h 为选择元素，它可以使开发者根据具体情况选择不同的元素，从而实 现针对不同用户的设置( 带宽、语言或偏好) 而提供不同的媒体元素内容。 a ，a n c h o r 为超链接元素。它使得用户可以由一段媒体链接访问到