多媒体技术复习题纲.doc

1、 JPEG编码步骤：JPEG压缩是有损压缩，它利用了人的视角系统的特性，使用量化和无损压缩编码相结合来去掉视角的冗余信息和数据本身的冗余信息。压缩编码大致分成三个步骤：1）使用正向离散余弦变换(forward discrete cosine transform，FDCT)把空间域表示的图变换成频率域表示的图。 2）使用加权函数对DCT系数进行量化，这个加权函数对于人的视觉系统是最佳的。 3）使用霍夫曼可变字长编码器对量化系数进行编码。译码或者叫做解压缩的过程与压缩编码过程正好相反。2、MPEG图像信息如何编码：MPEG视频压缩技术是以两个基本技术为基础的，一是基于1616子块的运动补偿，可以减少帧序列的时域冗余度。二是基于DCT的压缩技术，减少空域冗余度。MPEG图像以三种类型的图像格式表示：内码帧（I）、预测帧（P）、插补帧（B）。I帧：是完整的独立编码的图像，是不能由其他帧构造的帧，必须存储或传输。内码帧也是基准帧。P帧：通过对它之前的I帧进行预测，对预测误差作有条件的存储和传输。B帧：是根据其前后的I帧或P帧的信息进行插值编码而获得。各帧之间的关系是：P帧仅由前帧构造所得，B帧由前、后帧插值所得。运动补偿算法有二种：运动补偿预测法、运动补偿插补法3、MPEG数据格式：MPEG视频位流分层结构共包括6层，分别是：图像序列层、图像组层、图像层、宏块片层、宏块层、块层。每一层支持一个确定的函数，或是一个信息处理函数（DCT，运行补偿），或是一个逻辑函数（同步，随机存取点）等。每一层的开始有一个头，作为说明参数。组成与功能如下表：层次名称组成功能图像序列层由图像序列头、多个图像组和序列尾组成随机存取单元：上下文图像组层图像组头、多个图像（I、P、B帧）组成随机存取单元：视频编码图像层图像头和多个宏块片组成基本编码单元宏块片层宏块片头和多个宏块组成重同步单元宏块层每个宏块由六个块组成：4个亮度块2个色度块运行补偿单元块层每个块有88像素DCT单元4、H.261 1/4帧间格式H.261是ITU-T为在综合业务数字网(ISDN)上开展双向声像业务(可视电话、视频会议)而制定的，速率为64kb/s的整数倍。H.261只对CIF和QCIF两种图像格式进行处理，每帧图像分成图像层、宏块组层、宏块层、块层来处理。H.261是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、DCT变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。压缩算法采用运动补偿帧间预测与分块DCT相结合的混合编码。5、香农-范诺编码香农-范诺（Shannon-Fano）算法：这种方法采用从上到下的方法进行编码。首先按照符号出现的频度或概率排序, 例如A，B，C，D和E，如表4-02所示。然后使用递归方法分成两个部分，每一部分具有近似相同的次数表4-02 Shannon-Fano算法举例表 符号 出现的次数 log2（1/pi） 分配的代码 需要的位数 A 15 (0.375) 1.4150 00 30 B 7 (0.175) 2.5145 01 14 C 7 (0.175 ) 2.5145 10 14 D 6 (0.150) 2.73691 10 18 E 5 (0.125) 3.00001 11 15香农范诺编码举例ADBCE01000111116、霍夫曼编码: 从下到上的编码方法. 答案：1初始化，根据符号概率的大小按由大到小顺序对符号进行排序 2把概率最小的两个符号组成一个节点，如图中的D和E组成节点P1。 3 重复步骤2，得到节点P2、P3和P4，形成一棵“树”，其中的P4称为根节点。 4 从根节点P4开始到相应于每个符号的“树叶”，从上到下标上“0”(上枝)或者“1”(下枝)，至于哪个为“1”哪个为“0”则无关紧要，最后的结果仅仅是分配的代码不同，而代码的平均长度是相同的。5 从根节点P4开始顺着树枝到每个叶子分别写出每个符号的代码，如表所示。霍夫曼编码举例表 符号 出现的次数 log2（1/pi） 分配的代码 需要的位数 A 15 (0.375) 1.4150 00 30 B 7 (0.175) 2.5145 01 14 C 7 (0.175 ) 2.5145 10 14 D 6 (0.150) 2.73691 10 18 E 5 (0.125) 3.00001 11 15 A(0.3846)B0.1759)C(0.1538)D(0.1538)E(0.1282)0010101P1P21P3P4Huffman编码举例这两种方法都自含同步码，在编码之后的码串中都不须要另外添加标记符号，即在译码时分割符号的特殊代码。此外，霍夫曼编码方法的编码效率比仙农-范诺编码效率高一些。7、MPEG4与MPEG2之间的区别：MPEG4和MPEG2标准的根本区别是：MPEG4是基于内容的压缩编码方法。MPEG4具有高校压缩、基于内容交互（操作、编辑、访问等）以及基于内容分级扩展（空域扩展、时域扩展）等特点。8、MPEG-7标准MPEG-7标准即“多媒体内容描述接口”。其目标就是产生一种描述多媒体信息的标准, 满足实时、非实时以及推-拉应用的需求。并将该描述与所描述的内容相联系, 以实现快速有效的检索。9、5种媒体技术：感觉媒体、表示媒体、显示媒体、存储媒体、传输媒体的的概念(1)感觉媒体(Preception Medium) 直接作用于人的感官，产生感觉(视、听、嗅、味、触 觉) 的媒体称为感觉媒体。例如语言、音乐、音响、图形、动画、数据、文字、文件等都是感觉媒体，也就是本章中讨论的媒体。 (2)表示媒体(Presentation Medium) 为了对感觉媒体进行有效的传输，以便于进行加工和处理，而人为地构造出的一种媒体称为表示媒体。例如语言编码，静止和活动图象编码以及文本编码等都称为表示媒体。 (3)显示媒体(Display Medium) 显示媒体是显示感觉媒体的设备。显示媒体又分为两类， 一类是输入显示媒体，如话筒，摄象机、光笔以及键盘等，另一种为输出显示媒体，如扬声器、显示器以及打印机等。 (4)传输媒体(Transmission Medium) 传输媒体是指传输信号的物理载体，例如同轴电缆、 光纤、双绞线以及电磁波等都是传输媒体。 (5)存储媒体(Storage Medium) 用于存储表示媒体，也即存放感觉媒体数字化后的代码的媒体称为存储媒体。例如磁盘、光盘、磁带、纸张等。10、H261、H320标准的内容：H.261是最早的运动图像压缩标准，是ITU-T为IS-DN开展可视电话、视频会议而制定的，速率为64kbit/s的整数倍。它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、DCT变换、量化、熵编码以及与固定速率的信道相适配的速率控制等部分。H.261只对CIF和QCIF两种图像格式进行处理，每帧图像分成图像层、宏块组(GOB)层、宏块(MB)层、块(Block)层来处理。H.320是一个系列标准，传输速率在64kbit/s-2Mbit/s之间，它的主要组成部分为H.221提供把音频、视频、数据和控制信息复用进单个比特流的标准，使用时分复用(TDM)系统，帧长为10ms。H.230/H.242提供用于方式命令和指示以及功能交换的标准。H.261提供用于视频编码的标准。H.263是一个新的可选方式，能提供更好的图像质量。G.721提供用于音频编码标准。G.722和G.728是可选的代替方式。除了视频和音频信道外，在需要时可以传送数据。例如T.120会议。11、光存储媒体光存储的类型：只读型、一次写型和可重写型光存储系统的技术指标：尺寸、容量、平均存取时间、数据传输率、误码率、平均无故障时间等12、CD-ROM的存储格式，CD-ROM morde1 和CD-ROM morde2 有什么差别？ISO 9660标准（黄皮书）规定了CD-ROM的基本数据格式，是红皮书的扩充，黄皮书又可细分为mode1和mode2两组标准。Mode1包括ISO 9660和HFS，Mode2为CD-ROM XA。CD-ROM XA提供了声音压缩和声音质量水平的选择。Mode1和Mode2格式不同之处 用户数据量不同。Model1为2048个字节，Mode2为2336个字节。 存储数据的类型不同。Mode1用于存放对错误极为敏感的数据，如计算机程序等； 而Mode2用于存放对错误不太敏感的数据，如声音、图像、图形等。 Mode2的数据经过CIRC检验后的误码率为1/109，对声音、图像类的数据可以不必做进一步校验； 而要满足计算机数据误码率小于1/1012的要求，则应对Mode1的数据作进一步校验。 13、什么是MIDIMIDI是指乐器数字接口，它规定了电子乐器与计算机之间相互数据通信的协议。是数字音乐的国际标准。任何电子乐器，只要有处理MIDI消息的微处理器，并有合适的硬件接口，都可以成为一个MIDI设备。MIDI的特点：与波形声音相比，MIDI不是声音数据而是指令；MIDI可以与其它波形声音配合使用；对MIDI的编辑也很灵活；MIDI在音质上与真正的乐器无法比拟。14、算术编码（计算）算术编码把一个信源集合表示为实数线上的0到1之间的一个区间。这个集合中的每个元素都要用来缩短这个区间。信源集合的元素越多，所得到的区间就越小，当区间变小时，就需要一些更多的数位来表示这个区间，这就是区间作为代码的原理。算术编码首先假设一个信源的概率模型，然后用这些概率来缩小表示信源集的区间。新子区间的起始位置=前子区间的起始位置+当前符号的区间左端前子区间长度新子区间的长度=前子区间的长度当前符号的概率（等价于范围长度）最后得到的字期间的长度决定了表示该区域内的某一个数所需的位数解码是编码的逆过程。算术编码举例：采用固定模式符号概率分配如下：字符 a e i o u频率 0.2 0.3 0.1 0.2 0.2范围 0，0.2 0.2,0.5 0.5,0.6 0.6,0.8 0.8,1.0编码数据串为eai，令high为间隔的高端，low为低端，range为间隔的长度，rangelow为编码字符分配的间隔低端，rangehigh为编码字符分配的间隔高端：初始high=1,low=0,range=high-low,一个字符编码后新的low和high如下计算：Low=low+rangerangelowHigh=low+rangerangehigh(1) 在e被编码时，e的rangelow=0.2,rangehigh=0.5,则Low=0+10.2=0.2High=0+10.5=0.5Range=high-low=0.5-0.2=0.3此时分配给e的范围是0.2,0.5 （2）a编码时使用新生成的范围 0.2,0.5，a的rangelow=0,rangehigh=0.2,则 Low=0.2+0.30=0.2 High=0.2+0.30.2=0.26 Rangehigh=0.06 范围变成0.2,0.26（3）对i编码，字符i的rangelow=0.5,rangehigh=0.6,range=0.06则Low=0.2+0.060.5=0.23 High=0.2+0.060.6=0.236,则 用0.23,0.236表示eai，若解码器直到最后范围是0.23,0.236，马上可解得一个字符为e,然后依次得到a,I,最后得到eai.15、脉冲编码、分量编码调制脉冲编码调制（PCM）是把模拟信号变换为数字信号的一种调制方式，其最大的特点是把连续输入的模拟信号变换为在时域和振幅上都离散的量，然后将其转化为代码形式传输。所谓分量编码就是彩色全电视信号在转换成数字形式之前，先被分离成亮度信号和色差信号，然后对它们分别进行编码，分量信号（Y，B-Y，R-Y，或R，G，B）被分别编码后，再合成数字信号。16、多媒体著作工具类型和特点：多媒体创作工具分类：(1) 以卡或页为基础的创作工具。ToolBook是一个以卡或页为基础的多媒体创作工具;提供一种面向对象的程序设计语言OPENSCRIPT.(2) 以图符为基础,基于事件的创作工具。Authorware提供了200个以上的系统变量及功能来决定属性、数据抓取、对象处理及显示等工作, 甚至控制作业流程的分支, 跳画面及循环等效果。Authorware 最大特点是使用15个图符组成的界面 。(3) 以时间为基础的创作工具。由Macro Media公司所发行,可在Windows与Macintosh下执行的多媒体编辑创作工具。结合了动作、声音、文字、图形、动画多媒体显示环境,使用时间轴来组织其元素。 使用时间轴及控制面板来组织一个场景。(4) 以传统程序语言为基础的创作工具。Visual C+ 和Visual BASIC 是Microsoft推出在Windows环境下开发的程序语言,也是多媒体编著软件。 (5) 其它专用的创作工具。Windows多媒体开发环境下利用MCI编程播放音频和视频文件。 基于脚本语言的写作工具，如Tool Book； 基于流程图的写作工具，如Authorware； 基于时序的写作工具，如Action；17、同步：系统对各个媒体对象按照先来后到的关系进行的控制过程，就是同步。18、同步的种类：（1）应用同步：应用层同步又称表现同步或交互同步，是从用户应用的角度出发而进行的同步，重点在于表现与交互。（2）合成同步：合成同步又称为“媒体之间的同步”，这种同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描述。（3）现场同步：现场同步是要表现出同一个应用中数据源方与表现方之间存在的实际同步关系，也既端-端之间的同步关系。（4）系统同步：系统同步又称“媒体内部的同步”，是指该层同步如何根据各种输入媒体对应的实际硬件系统（设备）的性能参数来协调实现其上层合成同步所描述的各对象间的时序关系。多媒体应用描述层对象层流层媒体层19、同步的分层服务模型媒体层：针对的是单独的媒体数据流，属于物理层的同步，其同步的基础是数据流中的一个个基本逻辑数据单元，通过对这些逻辑数据单元的操纵来保证媒体在时间上的准确。流层：也是媒体内的同步，但是属于服务层，其面对的是多个媒体数据流。与媒体层处理数据流内同步不同，它处理的是多流之间的同步，以保证多个数据流在传输和表现过程中能够实现并行和同步。对象层：对象层同步是针对多媒体演示过程之中的各个多媒体对象的。通过相应的时间同步方案，保证各个多媒体对象能够按照规定的次序出现，并且能够响应用户的输入事件。描述层：描述层的同步解决的是多媒体表现中各个场景的安排与对象同步的描述。其重点是作者与系统的接口。20、同步的时间概念模型对时间的描述两种表现方法：基于时间点和基于时间段方法具体表示参照教材177页。21、时间规范：为了引入表示多媒体同步所必需的时间信息概念模型，可以向在创建时和合成时所要求同步的数据对象提供一种时间关系表达的手段。包括相对时间规范和绝对时间规范。22、用串行、并行表示时间关系：参见教材180页图6.923、多媒体同步的表示方法：（1）基于图形的表示法：Petri网、标记Petri网（MPN）、OCPN（对象合成网）模型、统一OCPN模型。（2）基于脚本的表示法的几个表现的概念：表现：表现意味着一次活动。演员：通过各种媒体进行传播信息的实体。角色：多媒体表现环境中的各种资源。一般常有视角色、听角色、运算角色等。活动：多媒体表现环境中预定义的多媒体表现的空间和时间序列，而引起发生的事件。场景：各种角色的活动编排组合构成的多媒体空间表现环境，是对象、活动、事件、情节的有机组合。24、最早时限优先算法（EDF）：最早时限的任务具有最高优先权；新任务到达时计算其优先权重新进行调度。25、速率单调算法：高速率（周期短）的任务具有高优先权；开始时就计算好任务的优先权进行处理而不需要再进一步的调度。26、介质调度算法：（传统调度算法与多媒体调度算法的对比）（1） 传统磁盘调度算法：主要是为了减少寻道操作的开销，提高数据的流量和对介质的随机存取。主要包括：先来先服务（FCFS）、最短寻道时间优先（SSTF）、扫描法（SCAN）、循环扫描法（C-SCAN）、分组扫描法和电梯调度法等。（2） 多媒体调度算法：主要包括最早时限优先法（EDF）、SCAN-EDF算法、分组移动调度算法（GSS）等。27、Dexter模型与HAM模型的两种模型对应关系：超媒体系统的Dexter模型目标是为开发分布信息之间的交互操作和信息共享提供一种标准或参考规范。Dexter模型分为三层：运行层、存储层和成员内部层。运行层和存储层之间的接口称为播放规范，存储层与成员内部层之间的接口称为定位机制，其基本成分是锚。HAM模型把超文本系统划分为3个层次: 数据库层、超文本抽象机层（HAM层）、用户界面层（表现层）。超文本抽象机层决定超文本系统结点和链的基本特点,记录了结点之间链的关系,并保存有关结点和链的结构信息。HAM层就是实现超文本输入输出格式标准化转换的最佳层次。因数据库层存储格式过分依赖机器,用户界面层各系统风格差别很大,很难统一。HAM层可理解为超文本概念模式,它提供了对数据库下层的透明性和对上层用户界面层的标准性。28、超媒体文献模型ODA模型ODA文献结构是层次的和面向对象的。ODA文献结构：逻辑结构和布局结构一般结构和具体结构ODA的布局过程确切地决定文档中的每一项被放置的位置。它使用特定的逻辑结构、一般结构、内容体系以建立特定的布局结构。29、HTTP与HTML的概念超文本传送协议HTTP（HyperText Transfer Protocol）HTTP规定了WWW浏览器和WWW服务器之间的交互规则。目前在Web中广泛采用的是HTTP 1.0版本，即RFC1945，它还存在着性能缺陷和功能上的不足。为此，HTTP工作组在1996年6月提出了其新版本 1.1。HTTP具有面向对象的特性，资源对象和相应的操作方法可以一起传送，一个典型的例子是Java字节码传送，它实现了软件在网络上的动态执行。HTTP协议规定了以下主要操作：GET操作，表示以实体的形式取回所标示的任何信息，如果所标示的是一个数据处理过程，比如公共网关界面CGI程序，就返回处理后的数据；HEAD操作，与GET语义基本相同，但是HEAD规定应答消息包中不能含有消息净荷，它经常被用来测试超文本链的有效性、可访问性和最近的修改状态；此外，还有POST操作、PUT操作、OPTIONS操作等。HTML语言（HyperText Markup Language）HTML是一种描述性的语言，主要由一些标记(TAG)组成，每个标记都有一个起始标记和终止标记，比如是黑体标记，这些标记具有描述从字体到页面排版、图形用户界面元素、各种链接的功能，随着HTML语言功能的不断增强，其标记也在不断扩充。目前在网上广泛应用的是HTML2.0，其标准在RFC1866中定义。HTML的最新版本为3.0，过去叫做HTML+，它解决了2.0的许多局限性和缺点，增强了表格控制功能，增加了数学公式描述等多种标记。30、多媒体数据库各种体系结构多媒体数据库的一般结构形式主要包括：（1）联邦型结构针对各种媒体单独建立数据库，每一种媒体的数据库都有自己独立的数据库管理系统。虽然它们是相互独立的，但可以通过相互通信来进行协调和执行相应的操作。（2）集中统一型结构只存在一个单一的多媒体数据库和单一的多媒体数据库管理系统。各种媒体被统一地建模，对各种媒体的管理与操纵被集中到一个数据库管理系统之中，各种用户的需求被统一到一个多媒体用户接口上，多媒体的查询检索可以统一地表现。（3）客户/服务型结构各种单媒体数据仍然相对独立，系统将每一种媒体的管理与操作各用一个服务器来实现，所有服务器的综合和操纵也用一个服务器完成，与用户的接口采用客户进程实现。客户与服务器之间通过特定的中件系统连接。（4）超媒体型结构这种体系结构强调对数据时空索引的组织，它把分散到网络上的数据库看成一个信息空间，设计访问工具来访问和使用这些信息。31、多媒体数据对数据库的影响(1)数据量大且媒体之间差异也极大,从而影响数据库中的组织和存储方法。(2)媒体种类增多增加了数据处理困难。(3)多媒体不仅改变了数据库的接口,使其声、文、图并茂,而且也改变了数据库的操作形式,其中最重要的是查询机制和查询方法。(4)传统的事务一般都是短小精悍,在多媒体数据库管理系统中也应尽可能采用短事务。为保证播放不致中断,MDBMS应增加这种处理长事务的能力。(5)多媒体数据库管理还有考虑版本控制的问题。*32、多媒体数据库层次划分第一层：媒体支持层，建立在多媒体操作系统之上。第二层：存取与存储数据模型层，完成多媒体数据的逻辑存储与存取。第三层：概念数据模型层，是对现实世界用多媒体数据信息进行的描述。33、多媒体数据模型（数据模型三要素）多媒体数据模型由3种基本要素组成：数据结构、数据操作、完整性约束数据结构：数据库系统静态特征的描述。数据操作：数据库系统动态特征的描述。约束条件是实现数据库完整性规则的集合。34、面向对象数据模型对象、属性、方法、消息运算体系：定义、查询和操纵35、基于内容的检索，检索过程、一般结构基于内容的检索，就是从媒体数据库中提取出特定的信息线索，然后根据这些线索从大量存储在数据库中的媒体中进行查找，检索出具有相似特征的媒体数据。基于内容检索的实现方法：一是基于传统数据库检索方法；二是基于信号处理理论。检索过程：（1） 初始检索说明：系统对示例的特征进行提取，或是把用户描述的特征映射为对应的查询参数。（2） 相似性匹配：将特征与特征库中的特征按照一定的匹配算法进行匹配。满足一定相似性的一组候选结果按相似度大小排列返回给用户。（3） 特征调整：用户对系统返回的一组满足初始特征的检索结果进行浏览，挑选出满意的结果，检索过程完成。（4） 重新检索：逐步缩小查询范围，重新开始。一般结构：（1） 插入子系统：负责将媒体输入到系统之中。（2） 特征提取子系统：对用户或系统标明的媒体对象进行特征提取处理。（3） 数据库：数据库通过组织与媒体类型相匹配的索引来达到快速搜索的目的，从而可以应用到大规模多媒体数据检索过程中。（4） 查询子系统：主要以示例查询的方式向用户提供检索接口。36、多媒体数据流基本特征1比特率可变性 多媒体传输按其特点可以分为恒定比特率和可变比特率两种类型。 2时间依赖性 连续媒体的传输必须是实时的，端到端的等待时间应当控制在一个很短的时间段内。 3信道对称性 在端到端的传输系统中，传输信道是双向的。根据多媒体应用类型的不同，上行和下行信道的通信量可能是对称的，也可能是不对称的。37、多媒体通信的服务质量QoS机制QoS是分布式多媒体信息系统为了达到应用要求的能力所需要的一组定量的和定性的特性，它用一组参数表示，典型的有吞吐量、延迟、延迟抖动和可靠性等。在一个分布式多媒体信息系统中，通常采用层次化的QoS参数体系结构来定义QoS参数：应用层、传输