多媒体技术与系统

1、9.1 多媒体关键技术9.1.1 多媒体技术的定义、特点和规范1多媒体技术的定义第9章 多媒体技术与系统1什么是媒体媒体media是信息的表示、存储、传播所需的载体。它包括的内容广泛多样，从传输信号的通讯介质到传播音讯的新闻界，都可以称为媒体。 媒体本身具有层次性和多样性，人们对媒体的分类普通是在人的觉得这个层次上，即根据人对外界信息的感知途径，把这个层次媒体分为3大类。 视觉媒体占80%，比如图像、动画、视频等。 听觉媒体占10%，比如声音信息。 触觉或其它媒体占10%，像触摸屏类的设备都是属于该类媒体。 2多媒体不是媒体的简单组合3多媒体技术的开展是以计算机技术为根底多媒体技术有如下定义：

2、多媒体技术是指把文本、图形、图像、声音、视频等多种媒体信息，经过计算机进展综合处置，使这些信息建立逻辑衔接，并以多种方式表现出来的一体化技术。 2多媒体技术的特点多媒体技术的出现为现代社会的信息传播和交流提供了新的功能，带来了新的革命，与传统的电脑技术相比，它主要有如下特点。1多样性2交互性3集成性 3多媒体技术规范1声音编码规范随着通讯技术和计算机技术的开展以及人们对声音传输质量要求的提高，原CCITT和ISO先后提出了一系列的有关音频编码的建议和规范，主要包括G721、G722、G728、G729以及MPEG音频规范。 2视频编码规范国际规范认证ISO、国际电工委员会IEC和国际电信联盟I

3、TU等国际组织制定了以下有关视频图像紧缩编码的国际规范，即结合图片专家组JPEG规范、H261规范、MPEG规范等。 9.1.2 视频紧缩技术与芯片1视频图像紧缩技术概述数据紧缩普通分为有损紧缩和无损紧缩两种。 无损紧缩是指把紧缩后的数据进展解压复原后，复原的数据与原来的数据完全一样。 有损紧缩是指把紧缩后的数据解压复原后，复原的数据与原来的数据有所差别，但这种差别不影响人们对原来信息的了解。 2无损数据紧缩技术简介无损紧缩技术普通用在要求重构信号与原始信号完全一致的场所。在多媒体数据紧缩的过程中，去掉时间和空间冗余的数据普通都要经过无损紧缩技术再次紧缩。目前用得最多也最成熟的无损紧缩编码技术

4、包括：Huffman编码、算术编码、RLE编码和词典编码。3MPEG-1、MPEG-2视频紧缩技术1JPEG紧缩技术JPEG是对静态图像进展紧缩的规范，它有两种紧缩算法：一种是采用离散余弦变换DCT的有损紧缩算法，另一种是采用以预测技术为根底的无损紧缩算法。 图9.2 是JPEG紧缩编码流程图。 图9.2 基于DCT紧缩流程图 DCT变换 量化 熵编码图93是量化后AC系数重新进展Z字形编排表示图。 图9.3 AC系数Z字形编排表示图 对直流系数进展DPCM编码和对交流系数进展Z字形编排和游程编码后，还运用Huffman编码进展进一步的紧缩，整个熵编码的流程图见图9.4。 图9.4 熵编码流程

5、图 2运动补偿算法MPEG把视频图像分成三类。 内图像IIntra采用JPEG规范进展静态紧缩。 测图像P(Predicted) 用最近的前一个I图像或P图像进展预测得到，并可作为下一预测B或P的参照图像。 双向预测图像B(Bidirectionally Interpolated)，B图像既可以用前面的I或P图像预测，也可以用后面的I或P图像预测，还可运用最近的前后两个I或P图像从两个方面预测。 运动补偿算法主要是经过消除P图像和B图像在时间上的冗余以提高紧缩效率。预测图像P，采用运动补偿技术处置，主要是经过在参照图像I或P的根底上补偿预测图像P与参照图像I或P的变化来确定P。由于延续图像之间

6、的变化较小，所以对这种变化差值编码，要比直接对该帧直接编码的数据量要小得多。图9.5所示的预测图像P紧缩编码算法表示图。 图9.5 P紧缩编码流程图 4MPEG-4视频紧缩技术与MPEG-1、MPEG-2基于帧紧缩方法不同，MPEG-4是基于对象的紧缩规范，因此，它要求定义基于对象的场景描画方法。为分析和描画视频序列及其对象，MPEG-4编码采用了4层数据构造来表示。如图96所示。 图9.6 MPEG4视频的层次构造 5视频编码解码芯片1VRP芯片VRPVideo RISC Processor是美国C-Cube消费的进展实时视频紧缩运用的公用芯片。它的主要组成部分包括：一个32bit的60MH

7、z的RISC信号处置器其DSP的处置速度可达240M操作数/秒，指令和数据高速缓存、运动估计器、可变长编码器、DMA控制器以及主机和视频接口。VRP的内部构造如图97所示，它的指令集除了普通的通用途置指令外还具有专门用于视频紧缩的数字信号处置指令。 图9.7 VRP内部功能构造图 2ADV601芯片ADV601是一种本钱低、性能高的视频数字信号处置芯片。它利用了小波编码技术，其主要特点是：具有准确的紧缩比特率控制；能实时对包括PAL和NTSC在内的视频信号进展紧缩和解压，紧缩时视频信号的奇偶场是单独进展的。 图98所示为其内部构造图。 图9.8 ADV601内部构造框图 9.1.3 音频紧缩技

8、术与MP3播放器1音频紧缩技术概述音频紧缩技术从实际上讲有3种方法：一是基于语音识别与合成技术的编码方法，这种方法要求能对语音进展准确的识别，然后像文字类型一样，用符号表示识别的结果。这样对语音的处置就变成了对相应符号的处置。这种方法虽然有很大的紧缩比，但在技术上还有很大的差距，目前只是作为一种研讨方向，二是基于语音参数分析与合成的编码方法。该方法经过分析语音波形来得到构成语音的参数，这些参数包括基音周期、共振峰、语音谱、声强等。由此，对声音波形的编码就转化为对这些参数的编码，单纯对参数进展编码大大减少了编码的数据量。参数编码普通采用线性预测编码LPC方法，由于该方法计算复杂且计算量大，很难满

9、足实时性要求，因此，在目前的声音紧缩方法中，较少运用这一方法。三是基于波形预测方法，波形预测编码算法简单，易于实现且较好地坚持了原声的特点，所以被选为规范语音紧缩方法。如图99所示，波形预测编码包括3种类型的紧缩编码方式，其中前两种是较常用的编码方式。 图9.9 波形预测编码分类图 2全频带编码调制全频带编码调制主要包括脉冲编码调制PCM、差分脉冲编码调制DPCM及自顺应差分脉冲编码调制ADPCM3种方式。1脉冲编码调制PCMPCM是一种比较简单、运用广泛的调制方式。它的编码原理很简单，如图9.10所示，经过对模拟声音信号直接进展采样，量化，便可得到相应的PCM样本数据。 图9.10 PCM编

10、码框图 2差分脉冲编码调制DPCMDPCM是利用样本与样本之间存在的信息冗余度来进展编码的数据紧缩方法。 3自顺应差分脉冲编码调制ADPCMADPCM是综合了自顺应脉冲编码和差分脉冲编码调制思想的一种调制方式。 3子带编码子带编码SBC是一种功能很强并且非常有效的声音编码方法。这种方法首先把输入的声音信号从时域变换到频域，然后运用一组带通滤波器BPF把信号的频域分成假设干个延续的频段即子带；再对每个子带中的音频信号采用单独的编码方案去编码。在对不同子带进展编码时，充分利用人的听觉特性“心思学模型来确切定子带的量化阶的大小及分配给子带样本的位数。 MUSICAM编码过程如图9.11所示。子带滤波

11、器组先将输入音频信号分成32个子带。同时，输入音频信号经过心思学模型计算每个子带的信号能量与噪声阈值电平的比值比例因子。然后，“量化与编码部分根据比例因子确定子带信号的量化位数，再进展量化编码。最后，将音频紧缩数据及比例因子等辅助信息，按帧构造组合在一同，构成音频比特流。 图9.11 MusicAM编码构造图 4MP3播放器MP3的全称是MPEG Layer3，即以MPEG层3的规范紧缩的一种音频文件格式。前面我们已引见了MPEG音频规范分3个层次，3个层次都是以SBC为根底，但是编码器的复杂程度逐层递增，相应的数据紧缩率也逐层添加。 图9.12所示为MPEG第三层编码器的构造图。 图9.12

12、 MPEG Layer3编码构造图 采用闪存的MP3播放机的根本构成如图9.14所示，其任务流程如下。 输入文件 播放MP3文件 图9.13 WinAmp界面 9.1.4 MMX多媒体扩展指令1概述其技术重点为：1单指令流、多数据流SIMD技术；2新增57条新指令；38个64位字长的MMX存放器；44种新的数据类型；5饱和运算方式。 2MMX技术要点1MMX存放器和新的数据类型2饱和运算方式3指令系统3MMX指令运用举例采用MMX指令的实践处置过程见图9.15。图9.15中PMADDWD指令从一个16位紧缩数据类型开场，结果是32位紧缩数据类型。它将一切相应元素相乘产生4个32位结果，并把左边

13、的乘积加在一同作为一个结果，同时也把右边2个乘积加在一同作为另一个结果。PADD指令完成两对32位数据的对应相加。 图9.15 运用MMX技术指令处置流程图 9.2 多媒体运用系统 交互式远程教学 远程医疗 交互式视频效力 多媒领会议系统 9.2.1 视频点播VOD系统1VOD概述根据VOD的表现方式可分为真视频点播True VOD和准视频点播Near VOD。 2VOD的构造与原理图9.16所示为VOD系统构造框图。 图9.16 VOD系统构造图 3VOD的实现方法网络传输普通分两个步骤：首先是建立以光纤为物理根底的宽带骨干网，提供高速传送多种类型信息的才干；然后经过用户接入网将图像、语音等

14、多种业务数据传送给用户。如图9.17所示。用户接入宽带效力主要有以下几种方式。 图9.17 VOD网络传输构造图 1ADSL方式非对称数字用户线ADSL是利用现有的传输音频信号的双绞线作为用户接入网传输数字信号。 2利用CATV同轴电缆接入方法该方法是用现有的有线电视CATV网作为用户为接入网。 3LAN和ATM方式采用局域网LAN与宽带骨干网互连，这是VOD实验网运用的最主要的方式。 4VOD的关键技术1视频效力器技术2机顶盒技术9.2.2 视频会议系统1多媒体视频会议协议体系1H.3202H.3233H.3242视频会议系统的体系构造由于视频会义系统可以基于不同类型网络，与之相应也有不同的

15、协议，不同协议之间的转换经过H323网关来完成。图9.18是视频会义系统的整体构造图。从图中可以看出，对应不同的传输网络运用不同的协议。其中网关与多点控制单元MCU是整个系统的两个中心部件。 图9.18 视频会议系统构造图 MCU由多点控制器MC和多点处置器MP构成。其中MC的功能主要有两点：一是与一切用户终端进展协商以确定公共会议通讯等级，由于不同的用户终端的通讯传输才干能够不一样；二是可以控制会议的资源，比如，根据需求确定用户终端的切换。 MCU的切换方式有3种：一是自动切换，主要经过比较各个终端音频信号的强弱进展选择切换，比如：选择声音强度最强的终端，MCU把视频通道切换到该终端，经过视频通道就可以把该终端的视频图像发送给其他与会者。二是手动控制方式，由用户终端恳求发言，会议主持人确认后选择切换到相应的用