多媒体通信网络

多媒体通信网络

第一章概论内容1.1什么是多媒体1.2多媒体与通信网络1.3媒体及其流特性1.4多媒体与分层的体系结构1.5多媒体标准1.6内容结构1.1什么是多媒体多媒体是数据和信息的载体，多种媒体复合具有更丰富的信息表现力。多媒体数据具有与常规字符数值数据不同的特性，不同的媒体类型又具有不同的特性，其中时间特性对多媒体通信传输的影响最大。1.1什么是多媒体多媒体的概念媒体的分类多媒体数据的基本类型多媒体数据的时空特性1.1什么是多媒体多媒体的概念从用户角度看，计算机信息可以通过音频、视频、文本、图像、图形和/或动画表现出来，这些媒体的组合就称为多媒体。从技术角度看，还要考虑到媒体之间的时间关系、集成特性和用户交互能力。要处理好其中的时间、集成和交互特性，才是多媒体技术面临的真正挑战。1.1什么是多媒体媒体的分类感知媒体表示媒体表现媒体存储媒体传输媒体1.1什么是多媒体多媒体数据的基本类型文本声音图形和图像视频和动画复合媒体1.1什么是多媒体多媒体数据的时空特性空间性时间性时基媒体非时基媒体1.2多媒体与通信网络什么是通信网络常用的通信网络通信网络的数字汇聚1.2多媒体与通信网络什么是通信网络信息交换和共享的各种通信和网络系统的统称1.2多媒体与通信网络常用的通信网络电话网络计算机网络无线网络有线电视网络1.2多媒体与通信网络通信网络的数字汇聚多媒体通信网络其实就是数字汇聚的焦点。通过提供更宽的带宽、时间相关的服务质量保障、分组传输与交互等方式，来支持连续视频和音频的传送，以及计算机数据通信及其Internet访问。1.3媒体及其流特性哪些特性是与多媒体传输有关的？异步传输、同步传输和等时传输有什么不同呢？连续媒体流有什么时间相关的特性？多媒体流是如何划分成逻辑单元的？1.3媒体及其流特性传输的时间约束连续媒体流的特性媒体与逻辑数据单元1.3媒体及其流特性传输的时间约束异步传输同步传输等时传输1.3媒体及其流特性连续媒体流的特性在通信网络传输过程中，连续的多媒体流，例如音频和视频流，通常是弱周期性的、弱规则性的、非相连性的数据流。1.3媒体及其流特性媒体与逻辑数据单元1.4多媒体与分层的体系结构网络体系结构的概念OSI参考模型TCP/IP参考模型多媒体通信的需求多媒体与层功能1.5多媒体标准ITU-T视听通信标准ISO/IEC/JTC1标准Internet多媒体标准其他标准相关的论坛和组织1.6内容结构第二章多媒体通信网络的需求李国辉国防科技大学2010.8v1.0本章内容2.1音频和视频基础2.2典型的分布多媒体应用需求2.3性能需求2.4服务质量44*2.1音频和视频基础通信网络对多媒体传输的支持主要是解决音频和视频流实时传输的问题。因此我们首先需要详细了解音频和视频媒体的一些基本特性和概念，包括听觉特性、视觉特性，以及数字化的基本概念。45*2.1音频和视频基础听觉感知数字音频视觉感知数字视频46*47*48*49*50*2.2典型的分布多媒体应用需求为了更清除地理解多媒体传输的需求，我们首先从典型的分布多媒体应用的出发，看看它们具有哪些特性。从应用出发，看多媒体应用对通信网络有什么需求。51*2.2典型的分布多媒体应用需求音频流和视频流对话及其多方通信点到点通信Web中的多媒体分布多媒体应用的需求52*53*54*55*56*2.3性能需求如何确定一个网络是否能够承载多媒体通信流呢？方法是：从应用角度出发，用一组参数说明应用对网络的需求；或从通信网络的角度出发，用一组相似的参数说明该网络可以提供什么样的传输性能。57*2.3性能需求面向连续比特流的通信典型的性能度量指标带宽时延差错控制多点通信58*59*60*61*62*63*2.4服务质量QoS的概念QoS参数编码与QoS协议层中的QoS64*2.4服务质量多媒体应用系统可以用上节介绍的性能参数表示应用的需求，或通信网络用这些参数表示通信网络能够支持的性能。把这些参数分类并规范化描述和表示，就是表示服务质量的QoS参数。65*第三章通信子网李国辉国防科技大学2010.8v1.0本章内容3.1电信网络技术与多媒体传输3.2传统面向连接的分组交换网络与多媒体传输3.3Internet与多媒体传输3.4局域网与多媒体传输3.5ATM与多媒体传输3.6接入网络与多媒体传输3.7WiMax技术3.83G移动多媒体通信3.1电信网络技术与多媒体传输电话网ISDN网络SONET/SDH3.1电信网络技术与多媒体传输电信网络技术最早是为电话通信而设计的，采用电路交换的电话网适合连续语音的传输，而数字传输技术SONET/SDH具有高容量传输的能力。ISDN是一个考虑到综合业务支持的网络。电信网络其实非常适合传输连续的音频媒体流和固定带宽的视频数据。3.2传统面向连接的分组交换网络与多媒体传输X.25帧中继3.2传统面向连接的分组交换网络与多媒体传输因为计算机数据是突发数据，让收发端点独占信道就会浪费大量带宽，分组交换网络应运而生。主张电信思路的设计者建立的分组交换网络是面向连接的，这是早期分组交换网络技术的一个分支。典型的X.25和帧中继网络是否支持多媒体传输？3.3Internet与多媒体传输现在大量的信息是通过Web向用户提供的，包括多媒体信息、视频和音频流等。Internet网络及其体系结构是否能够有效地支持多媒体传输呢？为了更好地理解这里问题，我们从基本的TCP、UDP和IP协议说起。3.3Internet与多媒体传输Internet的多媒体传输能力多媒体电子邮件多播与MBoneInternet23.4局域网与多媒体传输标准以太网交换以太网高速以太网无线以太网3.4局域网与多媒体传输局域网的优势是数据率高，支持多播。但是传统的竞争式协议有损于连续媒体流的传输。因此，局域网是否支持多媒体传输，关键看其协议的特性，是否会损害数据包传输的等时性，传输时延是否有保障。3.5ATM与多媒体传输ATM网络的概念和特性ATM协议参考模型ATM连接和交换ATM提供的服务和QoS3.5ATM与多媒体传输ATM在设计中就考虑到多媒体传输。ATM在WAN环境下是非常成功的，大量电信提供商在其广域网核心中实现了ATM.许多ADSL实现也采用ATM。但是，其在LAN领域是失败的。因为其复杂性，其作为单个网络一统天下的梦想破灭。尽管这样，基于现有ATM部署的系统仍然还会使用一段时间。ATM中的一些技术是非常先进的，新的网络技术可能会采用其思想。3.6接入网络与多媒体传输对于视频应用来讲，用户接入的带宽是一个难点。用户计算机是通过接入网接入到主干通信网络系统中的，因此要求其既要速率高，又要便宜，大量用户要能够用得起。这就是常说的“最后一公里问题”。必须采取新的宽带接入网络技术和方法加以解决。3.6接入网络与多媒体传输信息使用的对称与非对称模式电话线接入网ADSL有线电视接入网HFC光纤接入网图3.18DMT技术的频谱分布图3.23光纤环路与用户的距离3.7WiMax技术什么是WiMax802.16协议栈无线传输方式MAC控制帧结构3.7WiMax技术WiMax是一种新的宽带无线通信网络技术，从其设计开始就考虑到传输多媒体流数据。WiMax从早期的固定位置的宽带无线传输，到现在和未来的移动宽带无线传输，其技术发展迅速，也许是下一代移动通信的核心技术之一。图3.24802.16协议栈图3.24TDD原理示意图图3.25802.16的一般帧结构图3.27802.16的请求帧结构3.83G移动多媒体通信第三代移动通信3G的特点是提供多媒体通信业务，也就是说在不仅提供连续语音通信，还提供了可交互的视频通信业务。那么，相对2G通信，3G通信在哪些方面进行了新的设计和提升呢？3.83G移动多媒体通信移动通信的发展3G体制WCDMATD-SCDMACDMA-2000移动管理3G的多媒体业务第四章网络和传送协议李国辉国防科技大学2010.8v1.0主要内容4.1传统网络协议4.2IPv6协议4.3网络层服务质量4.4资源预留协议4.5IP多播协议4.6实时传送协议4.1传统网络协议最初，计算机处理和管理的数据是字符数值型数据，计算机网络是为承载这些数据交换和共享设计的。例如，支持远程登录、电子邮件、文件传送应用的数据传送服务。当初的设计没有考虑到数据传送中的延迟及其抖动对用户的影响问题。4.1传统网络协议协议的功能传统协议的问题4.2IPv6协议IPv6协议仍然继承了IPv4的无连接特性，因为长期的Internet协议运行证明了这个特性的有效性。问题是在无连接的特性上如何支持多媒体传输呢？在IPv6上，主要体现在新设置的字段上及其精简的IP首部上，支持多媒体通信的主要字段是：通信量类型和流标签。4.2IPv6协议IPv6简介数据报格式IPv6对多媒体的支持4.3网络层服务质量在网络层提供服务质量的难点是受限于无连接的分组转发机制。要提供服务质量，就要求有面向连接的行为。有了面向连接的行为，才能进行资源预留，或对不同类别的分组采取不同的调度策略，以实现不同的服务质量。以较高的服务质量对待视频和音频分组，就可以有效地支持连续媒体流的通信。4.3网络层服务质量提高服务质量的技术综合服务差别服务标签交换和MPLS服务质量问题的讨论4.4资源预留协议资源预留协议RSVP是综合服务IS模型中的一个协议，其基本思想是通过预留资源来为请求预留资源的数据流提供有保障的服务质量。RSVP是网络层的一种控制协议。4.4资源预留协议RSVP基础RSVP预留方式4.5IP多播协议IP多播是网络层的多播。对于连续媒体流和多媒体数据来说，由于数据量大，实时传输要求高，一到多的媒体通信必须用多播方式，而不是采用多次单播的方式实现。多播机制用到了广播中的某些机制，因此我们首先从广播的概念及其传输机制的介绍开始。4.5IP多播协议广播与多播的概念广播路由选择多播路由选择IP多播及其协议IP多播编程4.6实时传送协议实时传送协议RTP是一种简单的传送协议，用于Internet上连续媒体流的传送。它运行在多播IP和单播IP之上，提供定时信息和流同步信息，但是没有差错控制和流量控制功能。伴随的控制协议RTCP用于传送通信量信息，以便于监视媒体流传输的性能和质量。4.6实时传送协议RTPRTCP第五章分布多媒体应用及协议李国辉国防科技大学2010.8v1.0本章内容5.1多媒体应用5.2应用级成帧5.3Internet上的实时语音通信应用5.4流媒体5.5基于分组的多媒体通信系统H.3235.6会话发起协议本章内容5.7多媒体会议系统5.8交互电视与视频点播5.9P2P视频服务5.10多媒体内容分发5.1多媒体应用多媒体应用的类型从最初的单台计算机上的媒体编码、编辑、写作应用，到现在无处不在的通信网络分布多媒体应用，超越了简单的多媒体播放和演示。从集成、交互、存储、流媒体、检索和媒体分发的角度，介绍典型的多媒体应用类型，以及ITU和MPEG标准体系中的多媒体应用。5.1多媒体应用多媒体应用的发展多媒体应用的类型ITU应用MPEG应用5.2应用级成帧ALF的概念ALF与RTP协议5.2应用级成帧成帧本来是数据链路层的概念，成帧就是帧的构造，数据的封装。应用级成帧就是在应用层次就考虑底层通信中的数据封装问题，使得多媒体数据的传输更加有效。5.3Internet上的实时语音通信应用IP尽力服务的问题平滑抖动与时延限制数据包丢失处理VoIP5.3Internet上的实时语音通信应用在Internet上进行实时语音通信，要解决许多问题，因为最初Internet不是为传输实时数据而设计的。我们将通过IP电话应用的例子，来解释如何在Internet上实时地传输语音数据。5.4流媒体流媒体的概念流媒体服务结构实时流协议RTSP流媒体技术实例5.4流媒体这一节介绍单向的流媒体通信，即从服务器端向客户端传输连续的媒体流的通信。典型的流媒体是视频和音频流媒体。这种形式的媒体源是存储在服务器上的，所有又称为存储流媒体，以区别与上一节介绍的会话式连续媒体流的通信。5.5基于分组的多媒体通信系统H.323H.323的基本概念系统组成终端构成呼叫过程5.5基于分组的多媒体通信系统H.323H.323是ITU-T提出的一组协议和规范，完整地描述基于分组的多媒体通信系统的组成、终端构成及其复用和呼叫控制协议、音频和视频编解码标准等。多媒体会议系统、IP电话系统是H.323的典型应用。5.6会话发起协议SIP的基本概念SIP的组成SIP的会话过程SIP的报文格式SIP与H.323的比较5.6会话发起协议会话发起协议SIP是IETF制定的一种会话管理协议，是为Internet网上要求会话类型的应用而设计的，例如多媒体会议和IP电话等。SIP和H.323都可以用于Internet上的会话应用，但是两者有着本质的不同，SIP为松耦合会话应用而设计，而H.323是为紧耦合会话应用而设计的。5.7多媒体会议系统什么是多媒体会议系统多媒体会议系统的结构多点控制单元MCU会议系统的数据应用会议控制5.7多媒体会议系统多媒体会议系统是典型的分布多媒体应用。多媒体会议系统是协同工作的支持平台。在多媒体会议系统中，关键的技术是会话型的视频和音频双向传送技术、会议控制和协同数据应用。5.8交互电视与视频点播交互式视频服务的概念纯视频点播与准视频点播视频服务与管理机顶盒传送网络视频服务器一个视频点播系统的例子5.8交互电视与视频点播交互电视和视频点播都是视频信息的按需服务。如果视频服务是以电视节目方式提供的，就是交互电视；如果提供的视频信息范围更规范，平台不限于电视及其传输设备，就称为视频点播。交互电视和视频点播与会话型多媒体应用不同，它们是单向的媒体流分发服务。5.9P2P视频服务P2P概述P2P系统框架基于P2P的视频传输方式典型的P2P视频直播系统例子5.9P2P视频服务P2P就是对等通信的意义，通信的收发双方既是客户端又是服务器端，系统结构中没有专用的服务器，以示与客户-服务器模式的区别。最早的通信模式就是对等模式的，但是在网络信息共享环境下，赋予对等模式新的含义和用途。5.10多媒体内容分发什么是CDNCDN的例子5.10多媒体内容分发多媒体内容分发就是通过通信网络把多媒体数据提交给大量用户的计算机上。它属于非实时的内容提交，没有媒体内和媒体间的时间约束。因此这里要解决的关键问题是：如何把大数据量的多媒体数据高效率地提交给众多用户？第六章多媒体压缩编码及其传输技术涂丹国防科技大学2010.8内容6.1多媒体传输与压缩编码基础6.2图像压缩编码技术6.3视频压缩编码技术6.4音频压缩编码技术6.5实时媒体流的差错控制技术6.6视频编码传输中的控制技术6.7小结6.1多媒体传输与压缩编码基础6.1.1多媒体传输对压缩编码的需求通信带宽对传输数据量的限制，需要研究压缩编码技术以减少数据量；通信错误对传输准确率的影响，需要研究差错控制技术来解决传输错误带来的多媒体质量下降问题。

6.1多媒体传输与压缩编码基础6.1.1多媒体传输对压缩编码的需求多媒体信息通信传输系统框图6.1多媒体传输与压缩编码基础6.1.2多媒体压缩基础1.信息的度量一个事件所表示的信息量和这个事件出现的概率成反比，如果这个事件出现的概率大，则这个事件所表示的信息量小，出现的概率小，则事件表示的信息量大。

6.1多媒体传输与压缩编码基础6.1.2多媒体压缩基础2.多媒体信息源模型能够产生信息的事物称为信源，在数学上可以用概率场来描述。

数字多媒体信源可以看成是一个离散的随机序列，对于其中每个随机变量，其取值范围由符号集确定。

离散无记忆信源：信源中各个符号相互独立6.1多媒体传输与压缩编码基础6.1.2多媒体压缩基础3.信道容量条件熵：互信息量：信道容量：6.1多媒体传输与压缩编码基础6.1.2多媒体压缩基础4.信息率失真函数失真函数：平均失真：信息率失真函数：6.1多媒体传输与压缩编码基础6.1.2多媒体压缩基础5.多媒体信息的冗余性时空冗余：空间或时间邻近取样点之间的相似性，以及空间结构上的相似性。频域冗余：频域分布中的相似性。心理冗余：人类感知特性决定的生理冗余。知识冗余：特定先验知识带来的规律性。6.1多媒体传输与压缩编码基础6.1.3变换压缩编码

变换器（T）：是一个一对一的变换函数，将多媒体数据从常规空域表示空间变换到其他表示空间上量化器（Q）：量化是指用有限长度的符号来表示连续系数，是一个多对一的映射变换，不可逆。编码器（C）：编码是指将量化器的输出符号用二进制码字表示，形成二进制码流。6.1多媒体传输与压缩编码基础6.1.4信号变换技术离散余弦变换：离散小波变换：6.1多媒体传输与压缩编码基础6.1.5量化标量量化器：6.1多媒体传输与压缩编码基础6.1.6熵编码1.前缀编码任何一个符号的编码，都不是另一个符号编码的前缀。

符号前缀编码A1B01C001D0001E000016.1多媒体传输与压缩编码基础6.1.6熵编码2.定长编码不管符号概率的差异，将所有的符号都用同样长度的码字位流来表示。

符号自然码Gray码a10000a20101a31011a411106.1多媒体传输与压缩编码基础6.1.6熵编码3.huffman编码编码原则：对于出现概率大的信息符号以短字长码字表示，对于出现概率小的信息符号以长字长码字表示，码字的长度严格按照符号概率大小的相反顺序排列。

6.1多媒体传输与压缩编码基础6.1.6熵编码3.huffman编码排列过程：（1）首先把信源符号集各个符号按概率大小顺序排列；（2）将概率最小的两个符号合并成一个新符号，概率相加，并把结果作为成新符号的概率；（3）然后与其它符号概率一起再按从大到小的顺序排列；（4）重复上述步骤，直到概率的和为1为止。6.1多媒体传输与压缩编码基础6.1.6熵编码3.huffman编码编码过程：每一步有二分树，各赋予一个二进制码，例如对概率大的赋予码0，概率小的赋予码1。这样就能够保证Huffman编码符合“前缀编码”的要求。

6.1多媒体传输与压缩编码基础6.1.6熵编码3.huffman编码6.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码编码原则：将被编码的符号序列表示成实数0和1之间的一个间隔。此间隔与符号序列出现的概率对应，符号序列越长，出现的概率越小，则对应的间隔就越小，表示这一间隔所需的二进制位数就越多。6.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码编码步骤：6.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码编码符号序列为a2a1a3，符号对应概率为，符号概率a10.50a20.25a30.125a40.1256.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码编码过程6.1多媒体传输与压缩编码基础6.1.6熵编码4.算术编码解码过程6.1多媒体传输与压缩编码基础6.1.7无损编码方法无损压缩没有量化过程，只包含变换和编码两个阶段。常见的无损压缩方法有线性预测编码方法和游程编码方法。6.1多媒体传输与压缩编码基础6.1.7无损编码方法1.线性预测编码方法（DPCM）（1）利用已编码的相邻采样点为基础，按照一定规则对当前要编码的采样点幅值进行整数预测，得到采样点幅值实际值和整数预测值之间的差异；（2）对这个差异进行熵编码；6.1多媒体传输与压缩编码基础6.1.7无损编码方法2.游程编码（1）将原始信号分解为数个二值位平面数据：将信号灰度值表示成二进制，将每一二进制位上的“0”或者“1”取出来，形成新的二值位数据，形成位矢量（一维）或者位平面（二维）。（2）对每个二值位数据进行游程编码（RLC）：对位矢量或者位平面，进行从左到右的扫描，计数得到的连续的“0”或“1”的长度，分别称为黑游程和白游程，得到黑游程和白游程长度；（3）对这些黑游程和白游程长度进行熵编码。6.2图像压缩编码技术6.2.1图像传输对编码的需求

信源编码：在保证编码后图像满足一定质量要求的前提下减少表示图像信息所需要的数据量，适应传输信道的频带宽度和传送速率。信源编码的性能指标：压缩比、压缩质量以及压缩时间。6.2图像压缩编码技术6.2.1图像传输对编码的需求

信道编码：保障图像信息在有错信道中的正确传输，使接收的图像信息达到规定的质量要求。信道编码的性能指标：编码时间、编码效率以及纠错能力等。

6.2图像压缩编码技术6.2.1图像传输对编码的需求

图像信号的冗余性主要表现为，（1）空间冗余：图像信号矩阵中相邻点之间存在很大的相关性；（2）色彩冗余：图像信号相邻色彩通道之间也存在很大的相关性；（3）视觉冗余：人类视觉心态对图像信号中的某类信息敏感，而对其他信息的丢失或损坏不敏感；

6.2图像压缩编码技术6.2.2JPEG图像压缩标准

1.标准简介JPEG：JointPhotographicExpertsGroup，联合图片专家组1992年9月JPEG推出了ISO/IEC10918标准，简称为JPEG标准1999年JPEG推出了ISO/IEC14495标准，简称为JPEG-LS标准

6.2图像压缩编码技术6.2.2JPEG图像压缩标准

2.标准组成JPEG标准ISO/IEC10918:1992被分成如下4个部分：（1）需求与指导方针，Requirementsandguidelines（2）顺从测试，Compliancetesting（3）扩展，Extensions（4）注册权限，RegistrationofJPEGprofiles…6.2图像压缩编码技术6.2.2JPEG图像压缩标准

3.核心技术工作模式（1）顺序的基于DCT（SequentialDCT-based）模式（2）递进的基于DCT（ProgressiveDCT-based）模式（3）无损（Lossless）模式（4）层次（Hierarchical）模式

6.2图像压缩编码技术6.2.2JPEG图像压缩标准

3.核心技术基本步骤：

（1）使用正向离散余弦变换把空间域表示的图变换成频率域表示的图。（2）使用加权函数对DCT系数进行量化，这个加权函数对于人的视觉系统是最佳的。（3）使用霍夫曼可变字长编码器对量化系数进行编码。6.2图像压缩编码技术6.2.2JPEG图像压缩标准

3.核心技术6.2图像压缩编码技术6.2.2JPEG图像压缩标准

3.核心技术主要计算步骤：

（1）图像的8×8分块。（2）正向离散余弦变换(FDCT)。（3）量化(quantization)。（4）Z字形扫描(zigzagscan)。（5）使用差分脉冲编码调制对直流系数(DC)进行编码。（6）使用行程长度编码(RLE)对交流系数(AC)进行编码。（7）熵编码（Huffman或算术）。（8）码流组织6.2图像压缩编码技术6.2.3JPEG2000图像压缩标准

1.标准简介2000年12月JPEG推出了JPEG2000标准ISO/IEC15444

；主要特点有：（1）高压缩率：（2）支持多分辨表示和渐进性传输：（3）支持感兴趣区编码（4）同时支持有损和无损压缩（5）支持多颜色分量、高深度图像压缩（6）支持低位深度图像6.2图像压缩编码技术6.2.3JPEG2000图像压缩标准

2.标准组成JPEG2000标准包含14个部分，（1）JPEG2000imagecodingsystem:Corecodingsystem（2）ISO/IEC15444-1:2004/Amd1:2006Profilesfordigitalcinemaapplications（3）JPEG2000imagecodingsystem:Extensions（4）JPEG2000imagecodingsystem--Part3:MotionJPEG2000，（5）JPEG2000imagecodingsystem:Conformancetesting6.2图像压缩编码技术6.2.3JPEG2000图像压缩标准

2.标准组成JPEG2000标准包含14个部分，（6）JPEG2000imagecodingsystem:Referencesoftware（7）JPEG2000imagecodingsystem-Part6:Compoundimagefileformat（8）JPEG2000imagecodingsystem:SecureJPEG2000，（9）JPEG2000imagecodingsystem:Interactivitytools，APIsandprotocols（10）JPEG2000imagecodingsystem:Extensionsforthree-dimensionaldata6.2图像压缩编码技术6.2.3JPEG2000图像压缩标准

2.标准组成JPEG2000标准包含14个部分，（11）JPEG2000imagecodingsystem:Wireless（12）JPEG2000imagecodingsystem-Part12:ISObasemediafileformat，（13）JPEG2000imagecodingsystem:AnentrylevelJPEG2000encoder（14）JPEG2000imagecodingsystem--Part14:XMLstructuralrepresentationandreference。6.2图像压缩编码技术6.2.3JPEG2000图像压缩标准

3.核心技术6.2图像压缩编码技术6.2.3JPEG2000图像压缩标准

3.核心技术熵编码先进行位平面编码，形成上下文，再对此上下文进行算术编码，形成二进制码流。位平面编码包括三个通道编码：（1）有效性传播通道编码；（2）幅度细化通道编码；（3）清除通道编码。6.2图像压缩编码技术6.2.3JPEG2000图像压缩标准

3.核心技术6.2图像压缩编码技术6.2.3JPEG2000图像压缩标准

3.核心技术熵编码算术编码6.2图像压缩编码技术6.2.3JPEG2000图像压缩标准

3.核心技术码率控制EBCOT编码器分为T1、T2编码器。T1编码器即熵编码，利用基于上下文的算术编码器对每一码块进行独立编码，产生独立码流。T2编码器根据率失真斜率进行优化截取来组织码流，使得每个截取点所恢复的图像的PSNR在该点对应的码率是最佳的。

6.2图像压缩编码技术6.2.4基于对象的编码方法

基于对象的编码根据适当性质的标准将图像分割成不同尺寸与图像内容相关的对象区域，这样能够避免区域内的不连续性，并且允许编码方案根据不同的局部图像特征进行不同的编码。

基于对象的方法通过对图像的分析提取出感兴趣的对象，然后对每一个对象的轮廓和纹理分别编码，实现任意形状纹理的编码。6.3视频压缩编码技术6.3.1视频传输对编码的要求

数字视频的冗余性：（1）时空冗余：除了空间相邻点之间存在很大的相关性之外，数字视频在相邻时间点上也具有相关性。一般情况下，把利用空间相关性的压缩方法称为帧内压缩，而利用了时间相关性的压缩方法称为帧间压缩。（2）色彩冗余：视频信号相邻色彩通道之间也存在很大的相关性。（3）视觉冗余：人类视觉对图像信号中的某类信息敏感，而对其他信息的丢失或损坏不敏感。6.3视频压缩编码技术6.3.2H.261编码标准

H.261是最早出现的视频编码协议，也是第一个实用的数字视频编码标准。1990年由ITU-T组织制定，其设计目的是在带宽为64kbps的倍数的综合业务数字网上传输质量可接受的视频信号。

H.261的设计相当成功，后续视频编码的国际标准基本上都是基于H.261相同的设计框架，包括MPEG-1、MPEG-2、H.263、H.264等。6.3视频压缩编码技术6.3.2H.261编码标准

6.3视频压缩编码技术6.3.3H.263编码标准

1996年3月ITU-T制定的H.263标准是一种用于低比特率视频业务中运动图像部分的压缩编码方法，但实际上这个标准可用在很宽的码流范围。为了提高编码效率，1997年9月ITU-T又制定了H.263+（H.263的第二版）标准，它能够兼容H.263标准。H.263+能更好的提高恢复图像的质量和压缩性能。

6.3视频压缩编码技术6.3.3H.263编码标准

6.3视频压缩编码技术6.3.4MPEG-1编码标准

1.标准简介

MPEG：活动图像专家组(MovingPictureExportsGroup)，1988年成立。MPEG-1：ISO/IEC11172，Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s，于1991年底由ISO/IEC公布。

6.3视频压缩编码技术6.3.4MPEG-1编码标准

2.标准组成

MPEG-1标准由如下五个部分组成：（1）Part1:Systems。规定视频数据、声音数据及其他相关数据的同步。（2）Part2:Video。规定视频数据的编码和解码。（3）Part3:Audio。规定声音数据的编码和解码。（4）Part4:Conformancetesting。这个标准详细说明如何测试比特数据流和解码器是否满足MPEG-1前3个部分中所规定的要求。这些测试可由厂商和用户实施。（5）Part5:Softwaresimulation。6.3视频压缩编码技术6.3.5MPEG-2编码标准

1.标准简介

MPEG组织于1994年推出MPEG-2压缩标准，以实现视/音频服务与应用互操作的可能性。编码码率从每秒3兆比特～100兆比特ISO/IEC13818-1Informationtechnology--Genericcodingofmovingpicturesandassociatedaudioinformation。

6.3视频压缩编码技术6.3.5MPEG-2编码标准

2.标准组成

MPEG-2标准包含10个部分：（1）Part1:Systems。（2）Part2:Video。（3）Part3:Audio。（4）Part4:Conformancetesting。（5）Part5:Softwaresimulation。6.3视频压缩编码技术6.3.5MPEG-2编码标准

2.标准组成

MPEG-2标准包含10个部分：（6）Part6:ExtensionsforDSM-CC。（7）Part7:AdvancedAudioCoding(AAC)。（8）Part9:Extensionforrealtimeinterfaceforsystemsdecoders。（9）Part10:ConformanceextensionsforDigitalStorageMediaCommandandControl(DSM-CC)。（10）Part11:IPMPonMPEG-2systems。6.3视频压缩编码技术6.3.5MPEG-2编码标准

3.核心技术系统模型

MPEG-2中的数据流有两种形式，一种称为程序数据流(ProgramStream，PS)，另一种称为传输数据流(TransportStream，TS)。

6.3视频压缩编码技术6.3.5MPEG-2编码标准

3.核心技术视频帧类型

MPEG专家组定义了三种视频帧：帧内图像I（Intra），预测图像P（Predicted）和双向插值图像B（Bidirectionallyinterpolated）6.3视频压缩编码技术6.3.5MPEG-2编码标准

3.核心技术I帧压缩帧内图像I的压缩编码类似JPEG压缩算法

6.3视频压缩编码技术6.3.5MPEG-2编码标准

3.核心技术P帧压缩P帧采用以宏块为单位的前向预测压缩算法。

6.3视频压缩编码技术6.3.5MPEG-2编码标准

3.核心技术B帧压缩6.3视频压缩编码技术6.3.6MPEG-4编码标准

1.标准简介

MPEG-4的目标就是为视听(audio-visual)数据的编码和交互播放开发算法和工具

.MPEG于1999年2月正式公布了MPEG-4标准第一版本。同年年底制定了标准第二版，于2000年年初正式成为国际标准。

ISO/IECDIS14496-1:1999/2001/2004Informationtechnology--Codingofaudio-visualobjects

6.3视频压缩编码技术6.3.6MPEG-4编码标准

2.标准组成

MPEG-4包含24个部分：（1）Part1:Systems。（2）Part2:Visual。（3）Part3:Audio。（4）Part4:Conformancetesting。（5）Part5:Referencesoftware。（6）Part6:DeliveryMultimediaIntegrationFramework(DMIF)。6.3视频压缩编码技术6.3.6MPEG-4编码标准

2.标准组成

MPEG-4包含24个部分：（7）Part7:Optimizedreferencesoftwareforcodingofaudio-visualobjects。（8）Part8:CarriageofISO/IEC14496contentsoverIPnetworks。（9）Part9:Referencehardwaredescription。（10）Part10:AdvancedVideoCoding。（11）Part11:Scenedescriptionandapplicationengine。（12）Part12:ISObasemediafileformat。6.3视频压缩编码技术6.3.6MPEG-4编码标准

2.标准组成

MPEG-4包含24个部分：（13）Part13:IntellectualPropertyManagementandProtection(IPMP)extensions。（14）Part14:MP4fileformat。（15）Part15:AdvancedVideoCoding(AVC)fileformat。（16）Part16:AnimationFrameworkeXtension(AFX)。（17）Part17:Streamingtextformat。（18）Part18:Fontcompressionandstreaming。（19）Part19:Synthesizedtexturestream。6.3视频压缩编码技术6.3.6MPEG-4编码标准

2.标准组成

MPEG-4包含24个部分：（20）Part20:LightweightApplicationSceneRepresentation(LASeR)andSimpleAggregationFormat(SAF)。（21）Part21:MPEG-JGraphicsFrameworkeXtensions(GFX)。（22）Part22:OpenFontFormat（23）Part23:SymbolicMusicRepresentation。（24）Part24:Audioandsystemsinteraction6.3视频压缩编码技术6.3.6MPEG-4编码标准

3.核心技术

MPEG-4视频算法的核心是支持基于内容(content-based)的编码和解码功能。

6.3视频压缩编码技术6.3.6MPEG-4编码标准

3.核心技术

MPEG-4可单独对属于相同视频对象(VO)的VOP的形状（shape）、移动（motion运动）和纹理（texture）信息进行编码和传送，或者把它们编码成一个单独的视频对象层(VideoObjectLayer，VOL)。

6.3视频压缩编码技术6.3.6MPEG-4编码标准

3.核心技术6.3视频压缩编码技术6.3.6MPEG-4编码标准

3.核心技术MPEG-4系统6.3视频压缩编码技术6.3.6MPEG-4编码标准

3.核心技术MPEG-4接收端6.3视频压缩编码技术6.3.6MPEG-4编码标准

3.核心技术MPEG-4对每个视频对象平面(VOP)进行编码使用的压缩算法是以图像块为基础的混合DPCM和变换编码技术。

MPEG-4定义了帧内视频对象平面(Intra-FrameVOP)和帧间视频对象平面预测(Inter-frameVOPprediction,P-VOP)，以及双向预测视频对象平面(B-directionallypredictedVOP,B-VOP)三种方式。

6.3视频压缩编码技术6.3.6MPEG-4编码标准

3.核心技术6.3视频压缩编码技术6.3.7H.264/MPEG-4AVC编码标准1.标准简介

JVT（JointVideoTeam，视频联合工作组）由ITU-T和ISO两个国际标准化组织的有关视频编码的专家联合组成。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。

JVT的新标准称为H.264标准，也被ISO接纳，称为AVC标准，是MPEG-4第10部分。6.3视频压缩编码技术6.3.7H.264/MPEG-4AVC编码标准2.核心技术H.264的算法在概念上可以分为两层：视频编码层(VCL：VideoCodingLayer)：负责高效的视频内容表示，网络提取层(NAL：NetworkAbstractionLayer)：负责以网络所要求的恰当的方式对数据进行打包和传送。6.3视频压缩编码技术6.3.7H.264/MPEG-4AVC编码标准2.核心技术算法分层6.3视频压缩编码技术6.3.7H.264/MPEG-4AVC编码标准2.核心技术视频编码6.3视频压缩编码技术6.3.7H.264/MPEG-4AVC编码标准2.核心技术视频解码6.3视频压缩编码技术6.3.7H.264/MPEG-4AVC编码标准2.核心技术新特性帧内预测整数变换量化运动估计熵编码技术去方块滤波6.3视频压缩编码技术6.3.8可伸缩视频编码

可伸缩视频编码技术：在编码过程中，将视频信息按照分层的模式编码压缩，当带宽不足时指传输最基本层次的码流，此时接收方解码视频质量不高，而当通信带宽上升时，可以增加传输质量增强层的码流来提高视频的解码质量。按照分级方法的不同，视频分辨率层次可以分为空间、时间、信噪比等方面。

6.4音频压缩编码技术6.4.1音频传输对编码的要求

音频信息在编码技术中通常分成两类来处理，分别是语音和音乐，各自采用的技术有一定差异。

语音编码技术：（1）波形编码：在时域上进行处理，力图使重建的语音波形保持原始语音信号的形状。（2）参数编码：利用语音信息产生的数学模型，提取语音信号的特征参量，并按照模型参数重构音频信号。（3）混合编码：将上述两种编码方法结合起来，采用混合编码的方法6.4音频压缩编码技术6.4.1音频传输对编码的要求

音乐编码技术：（1）自适应变换编码（2）心理声学模型（3）熵编码6.4音频压缩编码技术6.4.2G系列音频编码电话通信业务中使用的语音编码标准均是由国际电信联盟（ITU）负责完成的。

G.711标准G.729标准6.4音频压缩编码技术6.4.3MPEG系列音频编码MPEGAudio标准，包括MPEG-1Audio、MPEG-2Audio、MPEG-2AAC和MPEG-2中使用的DolbyAC-3；MPEGAudio标准的数据压缩依据是人耳朵的听觉特性，使用“心理声学模型(psychoacousticmodel)”来达到压缩声音数据的目的。

6.4音频压缩编码技术6.4.3MPEG系列音频编码心理声学模型中一个基本的概念就是听觉系统中存在一个听觉阈值电平，低于这个电平的声音信号就听不到，因此就可以把这部分信号去掉。心理声学模型中的另一个概念是听觉掩饰特性，意思是听觉阈值电平是自适应的，即听觉阈值电平会随听到的不同频率的声音而发生变化。

6.4音频压缩编码技术6.4.3MPEG系列音频编码MPEGAudio采用两种感知编码，一种叫做感知子带编码(perceptualsubbandcoding)，另一种（用于MPEG-2）是由杜比实验室(DolbyLaboratories)开发的DolbyAC-3(AudioCodenumber3)编码，简称AC-3。它们都利用人的听觉系统的特性来压缩数据，只是压缩数据的算法有所不同。

6.4音频压缩编码技术6.4.3MPEG系列音频编码感知子带编码6.4音频压缩编码技术6.4.3MPEG系列音频编码DolbyAC-3

编码6.4音频压缩编码技术6.4.3MPEG系列音频编码1.MPEG-1音频编码MPEG-1Audio(ISO/IEC11172-3)压缩算法是世界上第一个高保真声音数据压缩国际标准。采样频率为48kHz、样本精度为16位的立体声音数据压缩到256kb/s时，即在6:1的压缩率下，即使是专业测试员也很难分辨出是原始声音还是编码压缩后的声音。

6.4音频压缩编码技术6.4.3MPEG系列音频编码MPEG-1音频编码MPEG-1声音标准提供三个独立的压缩层次：层1(LayerI，)、层2(LayerII)和层3(LayerIII)，用户对层次的选择可在复杂性和声音质量之间进行权衡。

6.4音频压缩编码技术6.4.3MPEG系列音频编码MPEG-1音频编码MPEGaudio层3编码器和解码器的结构

6.4音频压缩编码技术6.4.3MPEG系列音频编码2.MPEG-2音频编码MPEG-2音频编码标准定义了两种格式；（1）MPEG-2Audio：与MPEG-1Audio是兼容的，又称为MPEG-2BC(BackwardCompatible)。（2）MPEG-2AAC(AdvancedAudioCoding)，与MPEG-1声音格式不兼容，因此通常称为非后向兼容MPEG-2NBC(Non-Backward-Compatible)标准。6.4音频压缩编码技术6.4.3MPEG系列音频编码2.MPEG-2音频编码AAC编码器6.4音频压缩编码技术6.4.3MPEG系列音频编码3.MPEG-4音频编码MPEG-4Audio标准可集成从话音到高质量的多通道声音，从自然声音到合成声音。MPEG-4声音编码器支持数据率介于2kb/s和64kb/s之间的自然声音(naturalaudio)。

6.4音频压缩编码技术6.4.3MPEG系列音频编码3.MPEG-4音频编码MPEG-4Audio编码方框图

6.5实时媒体流的差错控制技术6.5.1实时媒体流的差错控制技术基础常见的传输差错类型可以分成三种：（1）比特错误：单个的比特翻转或者丢失。（2）连续比特错误：一定数量的比特破坏或丢失。（3）包丢失：由于网络拥塞导致包丢失，使接收方没有收到包含视频数据的网络包。

6.5实时媒体流的差错控制技术6.5.1实时媒体流的差错控制技术基础传输差错类型的后果包括，（1）接收数据中的差错只限于单个宏块，不会影响到多媒体数据的其它部分。（2）比特错误在时间和空间上产生累积效应，使多媒体质量急剧下降。图6.55时空差错传播示意图（3）比特差错引起同步信息丢失，解码器无法知道收到的信息属于帧的哪个部分。6.5实时媒体流的差错控制技术6.5.1实时媒体流的差错控制技术基础视频差错控制技术：编码器通过增加相应的编码策略或改进视频码流结构，使视频解码器便于检测差错，并利用视频中的时空相关性来恢复因差错而丢失或毁坏的数据，降低信道差错对视频传输质量影响的技术。

6.5实时媒体流的差错控制技术6.5.1实时媒体流的差错控制技术基础视频差错控制方法的分类（1）前向差错恢复编码方法：通过增加冗余信息来获得差错健壮性。（2）解码端差错隐藏方法：不需要使用任何附加信息，只是利用视频信号中的冗余信息和人眼视觉系统特性来掩盖出错的图像数据。（3）基于编解码器交互的差错控制方法中的问题：要求必须存在反向信道，并且通常只适用于点到点的情况。6.5实时媒体流的差错控制技术6.5.2基于编码端的差错恢复编码技术

分层编码6.5实时媒体流的差错控制技术6.5.2基于编码端的差错恢复编码技术

多描述编码6.5实时媒体流的差错控制技术6.5.3基于解码端的差错隐藏技术差错检测运动补偿的时域预测空域和频域插值编码模式和运动信息的恢复极大平滑恢复投影到凸面集6.5实时媒体流的差错控制技术6.5.4基于编解码端交互的差错控制技术反向信道选