（控制理论与控制工程专业论文）多媒体网络教学支撑环境的研究.pdf

浙江大学硕士学位论文多媒体网络教学支捧环境的研究 摘要 乳2 3 6 主8 多媒体网络教学是一种传统的教学与现代的多媒体技术和网络技术相结合的新 兴教学方式，它提供了一种易于协作学习的、可视化的教学环境。本文就是对这种新 兴的教学的软件支撑环境的研究。课题中研究了两种多媒体网络教学的软件支撑环 境：屏幕和声音共享系统和视频广播系统。 屏幕和声音共享系统采用c s 结构，客户端负责接收服务端屏幕和声音网络数 据包，根据接收的数据包重现服务端屏幕和声音，以及记录客户端输入设备动作并发 送给服务端。服务端则负责获取屏幕画面和音频并压缩发送给客户端，接收客户端输 入设备动作数据包并对应作出响应。视频广播系统也是采用c s 结构，服务端是把视 频和音频信号通过视频采集压缩卡压缩成m p e g 流，然后通过多播方式广播到客户端， 而客户端则是把m p e g 流解压缩后播放。 r 关键词：多媒体，网络，客户机，服务器，多猿 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 a b s t r a c t t h em u l t i m e d i an e t w o r kt e a c h i n gi san e wt e a c h i n gm o d e l ，i n c l u d i n g m u l t i m e d i at e c h n o l o g ya n dn e t w o r kt e c h n o l o g yi nt r a d i t i o n a l t e a c h i n g i t p r o v i d e sam u t u a ll e a r n i n ga n dv i s u a lt e a c h i n ge n v i r o n m e n t t h i sp a p e rj u s t i n t r o d u c e st h i sn e w t e a c h i n gs o f t w a r ee n v i r o n m e n ts y s t e m w ed e v e l o p e dt w o t e a c h i n gs o f t w a r ee n v i r o n m e n ts y s t e m s ：t h es c r e e na n d a u d i o s h a r i n gs y s t e m a n dt h ev e d i o b r o a d c a s t i n gs y t s t e m t h es c r e e na n da u d i o s h a r i n gs y s t e m i sc l i e n t s e r v e r a r c h i t e c t u r e c l i e n tt r e a t sw i t hr e c e i v i n gt h es c r e e na n da u d i od a t ap a c k a g e f r o m s e r v e r , r e c u r i n g t h es c r e e na n ds o u n db a s e do nr e c e i v e d d a t a ，a n d r e c o r d i n gt h ea c t i o no fc o m p u t e ri n p u te q u i p m e n t s e r v e rh a st w ot a s k s ，o n ei s c a p t u r i n gt h ec o m p u t e rs c r e e ni m a g ea n da u d i o ，a n dt h e nc o m p r e s s i n gt h o s e d a t a ，f i n a l l ys e n d i n g t h o s ed a t a p a c k a g e t oc l i e n t t h ea n o t h e ri sr e c e i v i n gd a t a f r o mc l i e n ta n d e x e c u t i n g t h o s ea c t i o n s t h e b r o a d c a s t i n gs y s t e m i s c l i e n t s e r v e ra r c h i t e c t u r et o o ，s e r v e rs e n d sm p e gs t r e a mt oc l i e n t ，w h i c hw e r e g o tf r o mt h em p e g e n c o d e r c l i e n tr e c e i v e sm p e gs t r e a mf r o mm u l t i c a s t g r o u p a n d p l a y s b a c k k e yw o r d s ：m u l t i m e d i a ，n e t w o r k , c l i e n t ，s e r v e r , m u l t i c a s t 浙江大学硕士学位论文多媒体网络教学支撑环境的研究 第一章绪论 多媒体技术“1 的应用是九十年代计算机的时代特征，我们所说的媒体，在计算 机的领域有两种含义：一是指存储信息的实体，如磁带、磁盘、光盘和半导体存储 器；另一是指信息载体，如数字、文字、声音、图形、图像等。多媒体技术中的媒 体是指后者。多媒体教学就是利用多媒体计算机及其它设备进行的教学，多媒体计 算机的实现是基于数据的压缩技术和多种媒体的同步，而多媒体技术用于教学，则 又基于多媒体计算机技术及多媒体计算机网络的发展。 那什么又是多媒体昵? 多媒体”1 ( m u l t i m e d i a ) 是融合两种以上媒体的人一机交 互式信息交流和传播媒体。在这个定义中需要明确几点： 多媒体是信息交流和传播媒体，从这个意义上说，多媒体和电视、报纸、 杂志等媒体的功能是一样的。 多媒体是人一机交互式媒体，这里所指的机”，目前主要是指计算机，或者 由微处理器控制的其他终端设备。因为计算机的一个重要特性是”交互性”，使 用它就比较容易实现人一机交互功能。从这个意义上说，多媒体和目前大家所 熟悉的模拟电视、报纸、杂志等媒体是大不相同的。 多媒体信息都是以数字的形式而不是以模拟信号的形式存储和传输的 传播信息的媒体的种类很多，如文字、声音、电视图像、图形、图像、动 画等。虽然融合任何两种以上的媒体就可以称为多媒体，但通常认为多媒体中 的连续媒体( 声音和电视图像) 是人与机器交互的最自然的媒体。 电视也是使用活动画面和声音来表达和传播信息，也使用文字、图片和图形来点缀， 多媒体和电视到底有什么不同? 这需要让我们简单地回顾一下计算机和电视机所走 过的历程，看看多媒体和电视在技术上的差别。计算机是2 0 世纪4 0 年代的伟大发 明，一直沿着数字信号处理技术的方向发展，而且是沿着数值计算和金融管理发展 起来的。6 0 年代文字进入计算机，7 0 年代图像、声音进入计算机，8 0 年代电视进 入计算机，进入9 0 年代个人计算机已经能够实时处理数据量很大的声音和影视图像 信息。电视是2 0 世纪2 0 年代的伟大发明，在5 0 年代开发电视技术时，用任何一种 数字技术来传输和再现真实世界的图像和声音都是极其困难的，因此电视技术一直 第l 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 沿着模拟信号处理技术的方向发展，直到7 0 年代才开始开发数字电视。由于数字技 术具有许多优越性，而且数字技术发展到足以使模拟电视向数字电视过渡的水平t 电视和计算机才开始融合在一起。由于多媒体和模拟电视采用的技术不同，对于同 样内容的信息或者节目，它们所表现出的特性就很不相同，对人们所产生的不同影 响也引起了许多有识之士的高度重视。 我们现在看的模拟电视的特性是线性播放，简单地说就是影视节目是从头到尾 播放的，而收看者是最活跃的人，人与电视之间，人是被动者而电视是主动者；多 媒体是由计算机参与的，计算机的一个重要特性是交互性，就是人们可以使用像键 盘、鼠标器、触摸屏、声音、数据手套等设备，通过计算机程序去控制各种媒体的 播放，人与计算机之间，人驾驶多媒体，人是主动者而多媒体是被动者。 在世界教育界有个人们关注的焦点：c t i ( c o p u t e ri nt e a c h i n gi n i t i a t i v e 计算机用于教学创新) ，它是英国于1 9 8 9 年设立的、旨在对英国高等院校的教学进 行重大革新的项目，其目标是计算机、多媒体与远程通信技术的结合实现对高等院 校所有学科从教学模式、内容动组织形式的彻底变革。多媒体技术和网络技术的结 合而成的多媒体网络系统具有图文并茂，信息共享与通讯等特点，把电视机所具有 的视听合一功能与计算机网的人机交互、立即反馈、远程通讯功能结合起来，提供 了一种易于协作学习的、可视化的教学环境，能有效地激发学生的兴趣和创新意识。 这种全新的多样化的教学模式“1 大致可以分为以下几种： 1 ) 网络通信学习模式 网络通信学习模式是通过计算机局域网及利用专用硬件进行信息传输的多 媒体教学系统来进行教学的。在这种环境下，教师的指导主要是通过教师机的 屏幕播放功能来完成的。教师可将自己的屏幕上示教的画面、声音广播给学生， 并通过耳机和麦克风与学生交谈；可在自己的屏幕上移动“教鞭”引导学生观 看重点内容，也可遥控某学生机，使之按指定的步骤操作。这样可将计算机演 示、教师指导和学生操练融为一体，从而有效的组织教学，实现科学的教学管 理。 2 ) 开放式教学模式 在开放式教学模式下，教学不再限于学校之内，可在联网的基础上将社会、 家庭、学校紧密结合起来，实现社会一体化教育。教学内容不再局限于教科书， 第2 页 浙江大学硕士学位论文多媒体网络教学支撑环境的研究 学生可通过教育网、i n t e r n e t 等接受知识：在教学组织形式上，可突破学校年 纪。班级为单位的授课形式，实现交互式集体合作与个别化学习结合的形式， 学生具有学习时间、地点、进度的主动控制权，可随时随地考试毕业。多媒体 网络教学系统将提供生动形象的全息教学信息，实现普通教学与广播电视教学 融为一体的远程双向交互式教学，从而改变高等教育的办学方式。 3 ) 教师为主导的教学模式 以教师为主导的教学模式是在多媒体演示教室中进行的。仅采用多媒体计 算机、大屏幕投影仪、摄像机、白板等一套设备即可。教师采用多媒体写作工 具，设计好电子讲稿，然后在计算机上演示并投影在大屏幕上，若需示范操作 及举例，直接对计算机操作，其结果同步显示在大屏幕上。这种模式可使教学 变得轻松而富有情趣，节省教师大量的板书时间，加大信息量的传授，缩短学 时，增加教学效果。 正是因为这些新颖的教学模式具有如此不同于传统教学的优点引发了社会的注 意，于是各种基于这些教学模式的支撑环境的研究也就迅猛的发展起来，以期能够 产生对于传统教学的变革。 本论文就是对基于以上的两种教学模式( 网络通信学习模式、教师为主导的教学 模式) 及其拓展模式的软件环境的研究，这个软件支撑环境可以分为两个部分： 1 )视频广播系统： 把采集到的视频和音频压缩成m p e g 流，然后在网络上传输和播放。这部分就 是对应上面的教师为主导的模式的一种拓展，这是学生不再局限于一定要与教师同 在一个多媒体教学演示教室中。通过摄像头和麦克风就能把教师的教学动作纪录下 来，这时得到的模拟信号再经过视频压缩卡转化为计算机能够识别的数字信号，这 样这些数字信号就能用通过网络传输给远处的教室达到“远程教学”的目的。当然 这里的“远程教学”由于网络速度的限制还只能在局域网的范围内，但是相信随着 网络速度的的提高和多媒体技术的发展，这种方式的真正的远程教学是不难实现的。 在局域网上虽然网络传播速度要比广域网快的多，但如果采集过来的数据不经过压 缩的话，网络还是不堪承受的。这时就要用到压缩，视频采集压缩卡就是具有这种 功能的计算机外设，它能把把模拟信号数字化，同时还把这些数据压缩成m p e g 流， 这样能大大的减轻网络负荷，也能起到视频和音频的同步作用。这部分的内容将在 第3 页 浙江大学硕士学位论文多媒体网络教学支撑环境的研究 第五章详细的介绍。 2 )屏幕和声音共享系统： 将主机的屏幕内容和音频信号传输给远程的从机，实现主机状态的重现。这也 就是上面说的网络通信学习模式。这种模式的软件环境要比上面那种复杂的多，因 为它一切都将由计算机本身来做，而没有外设( 硬件) 的加速。这个系统可以分成 两个部分；屏幕共享和声音共享。其中屏幕共享则又可以看成后面的三个部分组成 的：截屏、网络通信和屏幕再现。而声音共享系统与之类似，只不过屏幕的截取变 成了系统音频的获取。截屏使用了两种方法：利用高层的g d i 函数和利用底层的 d i r e c t d r a w ，而对应的网络通信也是两种：t c p 和多播。音频的截获的方式也差不 多，不过就是网络通信采用了多播。由于全屏截取计算机将耗用很多时间( 在 p h l 8 0 0 、2 5 6 m 内存、8 0 0 6 0 0 的1 6 位的显示模式下，用普通的g d i 函数抓取一 幅屏幕全图需要8 0 m s 左右，而用d i r e c t d r a w 则也需要至少7 0 m s 的时间) ，那么最 快速能得到计算机屏幕的方法就是只取屏幕变化的地方，以及对应选取好的压缩算 法。这些方案的选取及实现都将在第四章中描述。 之所以有这些新兴的教学模式的出现都是得利于多媒体计算机和网络的发展， 那么要了解这些教学模式的支撑环境就必须知道一些必要的多媒体技术和网络技 术，这些也就是下面第三章和第四章主要描述的内容。 这些软件的开发平台是使用微软的v i s u a lc + + ，与w i n d o w s 同为微软的产品使 之与操作系统连接好、开发快速方便( 特别是基于d i r e t x 的开发) 。 第4 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 第二章多媒体技术 多媒体网络教学是基于多媒体技术和网络技术，要想对多媒体网络教学支撑环 境有深刻的认识就必须先对了解多媒体技术和网络技术。当然本论文研究的是软件 支撑环境，那么软件基于的平台、软件所用到的技术等都要有所认知，本章和下面 一章就是基于上面所说的各个方面进行介绍。 2 1多媒体技术概述 媒体一词起源于英文m e d i u m ，它是指人们用于表达、传播、交换信息的手段或 媒介，书籍、报刊、广播、电影、电视等都是媒体。国际上通常定义的媒体有五种： 感觉媒体( 如动画和声音) 、表示媒体( 如文字) 、显示媒体( 如显示器) 、存储媒 体( 如磁盘和光盘) 和传输媒体( 如卫星通讯) 。 多媒体的理解因技术领域不同而不同，它的定义也会随着多媒体技术的发展而 发展，目前有两种定义： 广义上的多媒体是指“可以处理、存储并传播文字、图形图像、声音和视频等 多种信息的综合媒体”。例如电视和电影通过文字、声音、图形图像、动画等多种 媒体手段，向用户传播了生动的信息等，也可称为多媒体。 狭义上的多媒体是指“基于计算机的、集各种媒体( 图形、动画、视频、音乐、 语音和文本等) 于一身的、向用户传播生动信息的综合媒体”，也就是说多媒体是 “利用计算机的图形( i m a g e ) 、动画( a n i m a t i o n ) 、视频( v i d e o ) 、音频( a u d e o ) 和文本( t e x t ) 的采集、编辑等多种功能，将信息通过编辑、合成、存储等技术处 理后所形成的能够以交互方式向用户输出各种信息的综合媒体”，因此也称为计算 机多媒体。 媒体的基本类型：感觉媒体一通过人的感觉器官得到的媒体；表示媒体一用特 殊的表示形式表示的感觉媒体：显示媒体一用于将感觉媒体转换为表示媒体或将表 示媒体转换为感觉媒体的物理设备。前者是输入设备，后者是输出设备；存储媒体 一用于存放的表示媒体，如软盘、硬盘、光盘和半导体存储器等；传输媒体一用于 将表示媒体传送到其它计算机的通信载体。 多媒体技术就是研究开发多媒体的现代信息技术，是研究计算机综合处理图 第5 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 形、图像、文字、音频和视频等多种信息及其存储与传输的技术，可以分为多媒体 硬件技术和软件技术两大部分。多媒体技术与计算机技术的发展是密不可分的，其 中包括实时多任务操作系统技术、数据压缩技术、半导体技术、大容量存储器技术 和网络技术等，否则，多媒体计算机将难以处理巨大的图形、视频、音频信息。简 单地说，利用计算机极其配套设备和数字化技术，将文字、声音、图像、图形和视 频等多种媒体有机结合起来进行处理的技术称为多媒体技术。多媒体技术拓展了计 算机的处理对象，使计算机进入能听、会说、有声、有色的新境界，打破了显示器 以文字形式进行信息传播、交流的简单模式，可以通过多媒体计算机( m p c ) 获得综 合信息，用户就象是在观看能够自由控制播放速度和剧情发展方向的电影一样。 2 2 多媒体系统 多媒体系统就是由多媒体硬件系统和多媒体软件系统组成。即将视听和计算机 交互式控制相结合，由对媒体信号的获取、生成、存储、处理和传输数字化所组成 的一个完整的系统。它包括多媒体硬件系统和多媒体软件系统。 多媒体硬件系统就是计算机硬件及声像等媒体输入输出设备，构成了多媒体硬 件平台如图2 - 1 所示。多媒体软件系统则又包括： 多媒体操作系统：用于支持多媒体的输入输出及相应的软件接口。它具有 实时任务调度、多媒体数据转换和同步控制、对多媒体设备的驱动和控制以 及图形用户界面管理等功能。 多媒体创作工具软件：用于开发多媒体应用程序的应用工具软件。多媒体 素材编辑软件：用于采集、整理和编辑各种媒体数据的软件。 多媒体应用软件：用于实现用户的应用程序及演示软件，它是直接面向用 户或信息发送和接收的软件。 第6 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 图2 - l 多媒体系统示图 2 3 动态图像信息处理 人在观察物体之后物体的映像将在人眼的视网膜上保留一个短暂时间( 0 1 秒) ，这就是所谓的视觉暂留。当以足够快的速度连续地、每次略微改变物体的位置 和形状，人眼的视觉暂留效应则感觉到物体在连续运动。因此，若按一定顺序排列 的一系列静态画面以一定速度连续播放时，人眼则将感受到连续的动态效果。因此 动态图像就应运而生，所谓动态图像就是由一组在时间轴上不断变化的若干帧静态 图像组成的序列。动态图像一般可分为：视频和动画 2 9 l 。 1 )视频：每一帧图像是实时获取的自然景物的真实图像。和音频一样，在多 媒体计算机中使用的是数字视频。数字视频应用于v c d d v d 、数字电视、远程教 学及视频会议等。 2 )动画：每一帧图像是由计算机或人工制作的具有真实感的图像。若画面仅 为二维透视效果时，则为二维动画；若画面具有空间效果时，则为三维动画；若 加上真实的光照效果和质感，则为三维真实感动画。 动态图像具有三个特点：连续性、时延性、相关性。动态图像信息处理包括： 图形动画、数字图像处理以及动画、视频压缩等相关技术。由于本论文中将涉及到 的是视频压缩和数字图像压缩等方面，所以下面仅对视频和视频压缩方面以及图像 压缩的内容进行介绍。 第7 页 浙江大学硕士学位论文 多媒体网络教学立撑环境的研究 2 3 1 视频 数字视频( v i d e o ) 技术的产生是多媒体技术发展的第三次飞跃，为多媒体计算机 增加了一个新的感觉媒体，真正满足了人们的视听需求。计算机显示采用了r g b 颜 色模式，三基色的分量比为5 ：5 ：5 ( 或8 ：8 ：8 ) ，而目前世界上采用的彩色电视 广播有三种制式：p l a 制、s e c a m 制和n t s c 制。n t s c 制也称为正交平衡调幅制，它 的彩色空间分为y 、q 、i ，目前采用的国家有美国、日本、加拿大和菲律宾等。s e c a m 制也称为行轮换调频制，简称“塞康”制，目前采用的国家有法国、前苏联和东欧 一些国家。p a l 制也称为逐行倒相正交平衡调幅制，简称“帕尔”制，目前采用的 国家有中国、德国及欧亚等洲的其它许多国家。我国采用的p a l d 制式，彩色空间 为亮度信号y 、色度信号u 和v 分量，它们和r g b 的关系为： 王，= 0 3 r + 0 5 9 g + 0 1 l b u = 曰一y v = r y 电视机接受倒y u v 信号后，将y u v 信号转换为r g b 信号，然后通过显示器显示出彩 色图像。视频信号按质量依次分为四个等级：复合视频( 含复合视频、v h s 、v h s c 和v i d e 0 8 等) 、s - - v i d e o ( 含s - - v i d e o 、s - - v h s 、s v h s c 和h i 8 等) 、y u v 和 r g b 。其中r g b 图像质量最好。以下是几种制式的各种特性表： 表2 一l 各种制式的特性表 t v 制式n t s c - m p a l ds e c a m 帧频( h z )3 0 2 52 5 行帧5 2 56 2 56 2 5 亮度带宽( m h z )4 2 6 06 0 彩色负载波( m h z ) 3 5 84 4 34 2 5 色带带宽( m h z )1 3 ( i ) 0 6 ( q ) 1 3 ( u ) 。1 3 ( v ) 1 0 ( u ) ， l - 0 ( v ) 声音载波( m h z )4 56 56 5 2 3 2 视频信号的数字化 模拟视频信号的数字化有两种方法：其一是用高速a d 转换器对全彩色电视信 第8 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 号进行数字化，然后在数字域中分离亮度和色度，以获得y u v 分量或y i q 分量，最 后转换成r g b 分量；另一种是先将亮度的色度分离，得到y u v 或y i q 分量，在用3 个a d 转换器分别对三个分量分别进行数字化，最后转换成r g b 分量。 模拟视频信号 h 旦越塑三4 1 e h 压j 巨亟匠陋号 图2 - 2 数字化 数字化时，采用附色采样法，即对色差信号分量的采样率低于亮度分量的采样率。 用y ：u ：v 表示y u v 三分量的采样比例，则数字视频采样格式有下列三种： 1 ) y ：u ：v = 4 ：1 ：1 ：在每4 个连续采样点上取4 个亮度y 的值，而色差则分别取 第1 个点的样本值，共6 个样本。 2 ) y ：u ：v = 4 ：2 ：2 ：在每4 个连续采样点上取4 个亮度y 的值，而色差则分别取 第1 个点和第3 个的样本值，共8 个样本。 3 ) y ：u ：v = 4 ：4 ：4 ：在每4 个连续采样点上，亮度y 、色差u 、v 各取1 个样本值， 共1 2 个样本。 2 3 3视频压缩编码 在这个研究课题中主要是用到m p e g - 1 的压缩标准，所以下面主要的是对 m p e g l 进行介绍。 m p e g 一1 是一个通用标准：一个应用于数字存储媒体( 最高速率达i 5 m b s ) 的活动图像和伴音的编码标准。由m p e g - 1 开发出来的视频压缩技术的应用范围很 广，包括从c dr o m 上的交互系统，到电信网络上的视频传送，m p e g 一1 视频编码标 准被认为是一个通用标准。为了支持多种应用，可由用户来规定多种多样的输人参 数，包括灵活的图像尺寸和帧频。m p e g - 1 推荐了一组系统规定的参数：每一个m p e g l 兼容解码器至少必须能够支持视频源参数最佳可达电视标准：每行最小有7 2 0 个像 素，每个图像起码有5 7 6 行，每秒最少不低于3 0 帧，及最低比特率为1 8 6 m b s ， 标准视频输入应包括非隔行扫描视频图像格式。应该指出m p e g 一1 的应用就限制于 这一系统规定的参数组。由m p e g 一1 提供的重要特性包括；基于帧的视频随机存取， 通过压缩比特流的快进快退搜索，视频的反向重放，及压缩比特流的编辑能力。 第9 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 1m p e g 视频压缩算法的基本原理 一般说来，在帧内以及帧与帧之间，众多的视频序列均包含很大的统计冗余度 和主观冗余度。视频源码的最终目标是：通过挖掘统计冗余度和主观冗余度，来降 低存储和传送视频信息所需的比特率：并采用熵编码技术，以便编制出“最小信息 组”一个实用的编码方案；是在编码特性( 具有足够质量的高压缩) 与实施复杂性之 间的一种折衷。 1 ) 【p e g 视频编码器源模式 m p e g 数字视频编码技术实质上是一种统计方法。在时间和空间方向上，视频列 通常包含统计冗余度。m p e g 压缩技术所依赖的基本统计特性为像素之间的相关性， 这里包含这样一个设想：即在各连续帧之间存在简单的相关性平移运动。这里假定： 一个特殊画面上的像素量值，可以( 采用帧内编码技术) 根据同帧附近像素来加以预 测，或者可以( 采用帧间技术) 根据附件帧中的像素来加以预测。直觉告诉我们：在 某些场合，如一个视频序列镜头变化时，各附近帧中像素之间的时间相关性就很小， 甚至消失，这时该视频镜头就成为一组无相关牲的静止画面的组合。在这种情况下， 可采用帧内编码技术来开发空间相关性，来实现有效的数据压缩，m p e g 压缩算法采 用离散余弦变换( d c t ) 编码技术，以8 8 像素的画面块为单位，有效地开发同一画 面各附近像索之间的空间相关性。若附近帧中各像素间具有较大的相关性时，也就 是说两个连续帧的内容很相似或相同时，就可以采用时间预测( 帧间的运动补偿预测) 的帧间d p c m 编码技术。在多种m p e g 视频编码方案中，若将时间运动补偿预测与剩 余空间信息的变换码自适应地结合起来，就能实现数据的高压缩( 视频的d p c m d c t 混合编码) 。 2 )二值取样和内插法 在编码之前，均大量地进行了二次取样和量化工序。二次取样的基本概念是想 减少输入视频的尺寸( 水平尺寸和或垂直尺寸) ，并在进行编码处理之前先对像素进 行编号。值得注意的是：在有些应用场合，在时间方向上也对视频进行二次取样， 以便在编码之前降低帧频。在接收机端，已解码图像是通过内插法来加以显示的。 这一方法可以认为是一种最简单的压缩技术，这种压缩技术利用了人眼特有的生理 特性，因而去除了视频数据中的含有的主观冗余度，即与色度信号的变化相比，人 眼对亮度信号的变化更灵敏。故众多m p e g 编码方案首先将画面分成1 l u v 分量信号( 一 第l o 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 个亮度分量和二个色度分量) 。接着相对于亮度分量，对色度分量进行二次取样。 3 )运动补偿预测 运动补偿预测是一个有力的工具，以便减小帧间的时间冗余度；并作为用于时 间d p c m 编码的预测技术，这一工具在m p e g 一1 和m p e g 一2 视频编码标准中得到广泛 应用。运动补偿概念是以对视频帧间运动的估算为基础的，也就是说，若视频镜头 中所有物体均在空间上有一位移，那么用有限的运动参数( 如对于像素的平移运动， 可用运动矢量来描述) 来对帧间的运动加以描述。通常，预测误差和运动矢量均传 送至接收机。然而，将一个运动信息对每一个编码画面像素进行编码，这既不值得 也没有这个必要。由于一些运动矢量之间的空间相关性通常较高，有时可以这样认 为：一个运动矢量代表一个相邻像素块的运动。为了做到这一点，画面一般划分成 一些不连接的像素块( 在m p e g l 和m p e g 一2 标准中一个像素块为1 6 1 6 像素) ，对 于每一个这样的像素块，只对一个运动矢量进行估算、编码和传送。在m p e g 压缩 算法中，运动补偿预测技术用来减少帧间的时间冗余度，只对预测误差画面( 原始 画面与运动补偿预测画面之间的差别) 加以编码。 2m p e g 1 的几个特点 m p e g l 编码算法有一个基本特点是，如需要时( 即与前帧同一个宏模块相比， 宏模块内容已有变更时) ，可以在解码器中更新宏模块的信息( 条件宏模块再补给) 。 为了从存储媒体中存取视频，m p e g 一1 视频压缩算法设计成能支持一些重要功能，如 随机存取以及快进( f f ) 和快倒( f r ) 重放等功能。m p e g l 标准允许编码器为每一个己 编码宏模块选择不同的量化器值，这样可以对需要改进画面质量的位置上分配比特， 具有很大的灵活性。另外，还能产生常量和变量比特率，用于压缩视频的存储或实 时传送。 3 另外几种编码简述 m p e g 一2 标准从1 9 9 0 年开始研究，1 9 9 4 发布d i s 。它是一个直接与数字电视广 播有关的高质量图像和声音编码标准。m p e g - 2 可以说是m p e g l 的扩充。因为它们 的基本编码算法都相同。但m p e g 一2 增加了许多m p e g 一1 所没有的功能，例如增加了 隔行扫描电视的编码，提供了位速率的可变性能( s c b l a b i l i t y ) 功能。m p e g 一2 要达 第1 i 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 到的最基本目标是：位速率为4 9 m b i t s ，最高达1 5 m b i t s 。 m p e g 一4 从1 9 9 4 年开始工作，它是为视听( a u d i o v i s u a l ) 数据的编码和交互播 放开发算法和工具，是一个数据速率很低的多媒体通信标准。m p e g 一4 的目标是要在 异构网络环境下能够高度可靠地工作，并且具有很强的交互功能。为了达到这个目 标，m p e g - 4 引入了对象基表达( o b j e c t b a s e dr e p r e s e n t a t i o n ) 的概念，用来表达 视听对象( a u d i o v i s u a lo b j e c t s ，a v o ) ；m p e g 一4 扩充了编码的数据类型，由自然 数据对象扩展到计算机生成的合成数据对象，采用合成对象自然对象混合编码 ( s y n t h e t i c n a t u r a lh y b r i dc o d i n g ，s n h c ) 算法；在实现交互功能和重用对象中 引入了组合、合成和编排等重要概念。 m p e g - 7 的工作于1 9 9 6 年启动，名称叫做多媒体内容描述接口( m u l t i m e d i a c o n t e n td e s c r i p t i o ni n t e r f a c e ) ，目的是制定一套描述符标准，用来描述各种类 型的多媒体信息及它们之间的关系，以便更快更有效地检索信息。这些媒体材料可 包括静态图像、图形、3 d 模型、声音、话音、电视以及在多媒体演示中它们之间的 组合关系。在某些情况下，数据类型还可包括面部特性和个人特性的表达。与其他 的m p e g 标准一样，m p e g - 7 是为满足特定需求而制定的视听信息标准。m p e g - 7 标准 也是建筑在其他的标准之上的，例如，p c m ，m p e g 一1 ，m p e g 一2 和m p e g 一4 等等。在m p e g 一7 中，例如m p e g - 4 中使用的形状描述符、m p e g l 和m p e g 一2 中使用的移动矢量( m o t i o n v e c t o r ) 等都可能在m p e g 一7 中用到。 2 4 静态图像信息处理 数字图像处理一般是指通过数字计算机处理二维图像。更广义地讲，它可以包 括对任何二维数据的数字处理。本世纪2 0 年代，图像处理首次应用于改善伦敦和 纽约之间的海底电缆发送的图片质量。直到本世纪5 0 年代数字计算机发展到一定 水平后，数字图像处理才真正引起人们地兴趣。数字图像处理应用的方面非常广， 本节就将在论文中运用的图像压缩进行主要描述。 1 4 1 彩色空间的描述 在上一节我们就已经提到过r g b 空间和y u v 空间，这两个都是彩色空间的一种 描述方法，除此之外还有x y z 、h i s 、c m y k 等颜色空间陆。 第1 2 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 lr g b 色系 我们的眼睛通过三种可见光对视网膜的椎状细胞的刺激来感受颜色。这些光在 波长为6 3 0 h m ( 红) 5 3 0 h m ( 绿) 和4 5 0 ( 蓝) 时的刺激达到高峰。通过对各刺激强度的比 较，我们感受到光的颜色。这种视觉理论就是使用红、绿、蓝三种基色来显示彩色 的基础，称之为r g b 颜色模型。以r 、g 、b 三个参数为坐标，我们可以得到如下图 2 3 a 的一个单位立方体来描述r g b 颜色模型。r g b 是一个加色模型，与后面会讲到 的c m l k 模型相反。 ( a ) r g b 立方体 2y i q 颜色模型 图2 - 3r g b 坐标图 ( b ) r 6 b 色度图 在n t s c 视频信号中使用了y i q 颜色模型。这是一种由r 6 b 转化来的亮度一色度 模型，该模型中y 代表了光源的亮度，而色度则包含在i 、q 两个参数里。在参数i 中包含了橙一青的色彩信息，q 中包含了绿一品红的色彩信息。由于，人眼对于亮度 的敏感程度大于对于色度的敏感程度，因此我们总是将最大的带宽分给y 信号。并 且由于y 信号包含了亮度信号，所以在黑自电视机中就只使用y 信号。下面是 雌嫩堋 y u v 色系已经在上一节有过介绍，这里就不再说明。 第1 3 页 浙江大学硕士学位论文多媒体网络教学支撑环境的研究 4h s v 颜色模型 这个模型中颜色的参数分别是：色彩( h ) ，纯度( s ) ，明度( v ) 。h s v 模型的 三维表示从r g b 立方体演化而来。设想从r g b 沿立方体对角线的白色顶点向黑色顶 点观察，就可以看到立方体的六边形外形。六边形边界表示色彩，水平轴表示饱和 度，明度沿垂直轴测量。见图2 - 4 所示。 图2 - 4h s v 坐标圈 h 参数表示色彩信息，即所处的光谱颜色的位置。该参数用一角度量来表示， 红、绿、蓝分别相隔1 2 0 度。互补色分别相差1 8 0 度。饱和度s 为一比例值，范围 从0 到l ，它表示成所选颜色的饱和度和该颜色最大的饱和度之间的比率。s = o 时， 只有灰度。v 表示色彩的明亮程度，范围从0 到i 。有一点要注意：它和光强度之间 并没有直接的联系。 r g b 转化到h s v 的算法 m a x = m a x ( r ，g ，b ) m i n = m i n ( r ，g ，b ) i fr = m a x ，h = ( g - b ) ( m a x m i n ) i fg = m a x ，h = 2 + ( b - r ) ( m a x m i n ) i fb = m a x ，h = 4 + ( r - g ) ( m a x r a i n ) h = h 6 0 i fh o x c o ，则压缩时在该字节前加上o x c l ，否则直接输出c h ， 对于连续出现n 次的字节c h ，则压缩成o x c o + n c h 这两个字节，因而n 最大只 能为f f - - c o = 3 f h ( 十进制为6 3 ) ，当n 大于6 3 时，则需分多次压缩。 2 ) b i r l e 8 压缩方法 在w i n d o w s 3 0 、3 1 的位图文件中采用了这种压缩方法。该压缩方法编码 也是以两个字节为基本单位。其中第一个字节规定了用第二个字节指定的颜色 重复次数。如编码0 5 0 4 表示从当前位置开始连续显示5 个颜色值为0 4 的像素。 当第二个字节为零时第二个字节有特殊含义：0 表示行末；1 表示图末；2 转义 后面2 个字节，这两个字节分别表示下一像素相对于当前位置的水平位移和垂 直位移。这种压缩方法所能压缩的图像像素位数最大为8 位( 2 5 6 色) 图像。 3 ) b i r l e 4 压缩方法 该方法也用于w i n d o w s 3 0 3 1 位图文件中，它与b i - r l e 8 编码类似，唯 一不同是：b i r l e 4 的一个字节包含了两个像素的颜色，因此，它只能压缩的颜 色数不超过1 6 的图像，因而这种压缩应用范围有限。 3 霍夫曼编码压缩 这也是一种常用的压缩方法。是1 9 5 2 年为文本文件建立的，其基本原理是频 繁使用的数据用较短的代码代替，很少使用的数据用较长的代码代替，每个数据的 代码各不相同。这些代码都是二进制码，且码的长度是可变的。如：有一个原始数据 序列，a b a c c d 从则编码为a ( 0 ) ，b ( 1 0 ) ，c ( 1 1 0 ) ，d 1 1 1 ) ，压缩后为0 1 0 0 1 1 0 1 1 0 1 1 1 0 0 。 产生霍夫曼编码需要对原始数据扫描两遍，第一遍扫描要精确地统计出原始数据中 的每个值出现的频率，第二遍是建立霍夫曼树并进行编码，由于需要建立二叉树并 第1 8 页 浙江大学硕士学位论文多媒体网络教学支撑环境的研究 遍历二叉树生成编码，因此数据压缩和还原速度都较慢，但简单有效，因而得到广 泛的应用。 4l z w 压缩 l z w 压缩技术比其它大多数压缩技术都复杂，压缩效率也较高。其基本原理是 把每一个第一次出现的字符串用一个数值来编码，在还原程序中再将这个数值还成 原来的字符串，如用数值o x l 0 0 代替字符串”a b c c d d e e e ”，这样每当出现该字符串时， 都用o x l 0 0 代替，起到了压缩的作用。至于o x l 0 0 与字符串的对应关系则是在压缩 过程中动态生成的，而且这种对应关系是隐含在压缩数据中，随着解压缩的进行这 张编码表会从压缩数据中逐步得到恢复，后面的压缩数据再根据前面数据产生的对 应关系产生更多的对应关系，直到压缩文件结束为止。l z w 是可逆的，所有信息全 部保留。 5 算术压缩 算术压缩与霍夫曼编码压缩方法类似，只不过它比霍夫曼编码更加有效。算术 压缩适合于由相同的重复序列组成的文件，算术压缩接近压缩的理论极限。这种方 法，是将不同的序列映像到0 到l 之间的区域内，该区域表示成可变精度( 位数) 的 二进制小数，越不常见的数据需要的精度越高( 更多的位数) ，这种方法比较复杂， 因而不太常用。 6 j p e g ( 联合摄影专家组j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) j p e g 不同于r l e 或l z w 压缩( 后两者是无损压缩) ，它是可以失真的压缩方式， 但是失真度很小肉眼几乎无法辨认。j p e g 的压缩模式有：顺序式编码( s e q u e n t i a l e n c o d i n g ) ，即次将图像又左到右，又上到下顺序处理：递增式编码( p r o g r e s s i v e e n c o d i n g ) ，即当图像传输的时间较长时，可将图像分数次处理，以较模糊至清晰 的方式来传送图像( 与g i fi n t e r l a c e 的方法有异曲同工之妙) ；无失真编码 ( i o s s l e s se n c o d i n g ) ，即压缩后再还原的图像与原始图像的数据一摸一样；阶梯 式编码( h i e r a r c h i c a le n c o d i n g ) ，即图像以数种分辨率来压缩，其目的是为了让 具有高分辨率的图像也可以在较低分辨率的设备上显示。 第1 9 页 浙江大学硕士学位论文 多媒体网络教学支撑环境的研究 j p e o 的压缩和解压缩的流程图如图2 - 7 所示，在压缩与解压缩的处理过程中， 又有以d c t 为基准( d c t b a s e d ) 的有失真( 1 0 s s y ) 方式和使用预测器( p r e d i c t o r ) 的无失真( 1 0 s s l e s s ) 方式。压缩编码大致分成三个步骤： 使用正向离散余弦变换( f o r w a r dd i s c r e t ec o s i n et r a n s f o r m ，f d c t ) 把空 间域表示的图交换成频率域表示的图。 使用加权函数对d c t 系数进行量化，这个加权函数对于人的视觉系统是最 佳的。 使用霍夫曼可变字长编码器对量化系数进行编码。 译码或者叫做解压缩的过程与压缩编码过程正好相反。 8 x 8 圈象块d c t 基编码器 ( 匐d c t j 哑缩编码步骤 d c t 基解玛器 c b ) d c t 薹解压缩步骤 图2 - 7j p e g 编码和解码流程图 第2 0 页 浙江大学硕士学位论文多媒体网络教学支撑环境的研究 第三章网络技术 计算机网络是由通信电缆或无线电波链接的由计算机、打印设备、网络设备和 计算机软件组成的系统。最早的计算机网络是在铜线上传送数据的，但如今网络可 以通过电线、光纤介质、无线电波和微波来传输数据、声音和视频通信了。作为一 种技术，计算机网络通信的速度接近光速，与其他通信形式( 如无线电、电视、电话 等) 相比，具有极大的优越性。 计算机网络根据其距离和复杂性可以分成三类：局域网l a n ( l o c a la r e a n e t w o r k ) 、城域网m a n ( m e t r o p o l i t a na r e a n e t w o r k ) 、广域网w a n ( w i d e a r e a n e t w o r k ) 和互联网i n t e r n e t ，如表3 1 所示。 表3 1 同络分类 距离应用场所网络技术 1 0 m室内局域网 1 0 0 m建筑物 1 0 0 0 m校园 1 0 k m城市 城域网 1 0 0 k m 国家广域网 1 0 0 0 k m陆地 1 0 0 0 0 k