多媒体应用-多媒体数据处理的技术标准

第5章多媒体数据处理地技术标准

本章重点：

口静止图像地JPEG标准与JPEG2000标准

。视频编码标准H.26X

□MPEG

5章多媒体数据处理地技术标准

05.1静止图像地JPEG标准

05.2静止图像地JPEG2000标准

05.3视频编码标准H.26X

O5.4MPEG

05.5小结

5.1静止图像地JPEG标准

n”一幅图胜过千言万语”，图像(image)在人类地信息

获取中有重要地作用。

n图形:数学规则绘制

n图像:照相，扫描等获得

n黑白静止图像与彩色静止图像

n二值图像压缩地标准包括3类(CCITTGroup3)，数字传真

标准4类(CCITTGroup4)与数字传真标准JBIG(JointBi­

levelImageexpertsGroup,二值图像联合专家组)。

5.1静止图像地JPEG标准

5.1.1概述

什么是JPEG?

JPEG(JointPhotographicExperts

Group)是CCITT与ISO联合组成地一

个图象专家小组,提出静态图象地数字图象

压缩编码标准。

JPEG已开发三个图像标准：

0第一个称为JPEG标准，1992年正式通过。

0第二个标准是JPEG-LS,能提供接近无损压缩

地可逆压缩形式。

0JPEG地最新标准是JPEG2000,于1999年3月

形成工作草案,2000年底成为正式标准。

0JPEGXS（2018年）

5.1.1概述

JPEG标准定义了三个层次:

0基本系统

0扩展系统

0特殊无损功能

JPEG地四种工作模式

n无失真压缩…解码后,完全精确地恢复源图象采样值，但

压缩比低于有失真压缩编码方法

n顺序方式…也称基本系统，从左到右,从上到下扫描，一

次扫描完成编码

n累进方式…也称增强系统，多次扫描完成编码，接收端收

到地图象是多次扫描由粗糙到清晰地累进过程

n分层方式…图象在多个空间分辨率进行编码，使水平方向

与垂直方向分辨率以2地倍数因子下降，

分层

后再进行编码

JPEG无失真压缩算法:

基于空间线性预测技术（差分脉码调制）,

无损压缩率约为4:1

JPEG有失真压缩算法:

基于离散余弦变换并应用行程编码与嫡

编码,有损压缩率为10：1-100:1,若压缩

率

小于40,所获图象与原图主观效果几乎一样.

1.JPEG无失真预测编码

无失真硬测编码器框图

2.基于HJCI的

（基本ME年褊册）

0基本JPEG地编码方法是顺序编码。

0基本JPEG编码过程是一次扫描完成地

0经过Hu行man编码用于传输或存储。

0JPEG系列地基本编码器仅适合8比特地样本输入,且

对DC与AC系数各有两张Huffman编码表

2.基于

（顺序工作方式或基本系统）

编码与解码

地简化框图中,

表示地是图象

地一个单分量

（如灰度）地处图1基于DCT编码简化框图

理，若对彩色

图象，则应对

多个分量（亮

度,色度等）

分别进行这样

地处理.图2基于DCT解码器的简明框图

(1)离散余弦变换(DCT)

JPEG果用子块为8X8的二维离散余弦变换.在编码器的输入端,把原始图像顺序

也分割成一系列8X8的子块“设原始图像的采样精度为，位,是无符号整数，输入时把

［04-1］奇圉内的无符号整数变成［-2,7.2L|-1］范：图内的有符号整数,以此作为离

故余弦正变换(ForwardDCT)的输入。在解码器的输出端经离散余弦逆变换(Inverse

DCT)后,得到一系列8X8的图像数据块,需将其数值范围由l-2'f,2”|一1|再变回到

［02—1］北国内的无符号整数来获得重构图像。

下面是8X8FDCT和8X8IDCT的数学变秧公式：

^)1=k(«)c(v)rycos丝土D叫,

------4-----1616J

逆变换为：.一：

口=您步"一马5中%叫严卜

其中，当“,v=0

1C(M),C(V)=1其他

(2)DCT系数量化

为达到压缩数据的目的，对离散余弦变换系数尸(“g)需作量化处理.不同频率的余

弦函数的视觉效果不同。量化步长是量化表中的元索.可按不同频率的视觉值来选择*化

表中元索的大小.实际设计中可通过心理视酱需确定对应于不同频率的视觉阈值,出色

定不同频率的■化詈步长..M一

量化处理是多到一的映射，是造成离散余弦变换编码解码信息损失的根源.在JPEG

中果用线性均匀量化器。量化定义为64个离散系数除以量化步长后，四舍五人取整,表达

式如下3

不(〃，10=IntegerRound[F(w,v)/Q(w,v)]

其中Q(“,0)为•化器步长，是址化表的元素(量化表的元素随离散余弦变换系数的位置

和彩色分立的不同有不同的值).*化表的尺寸为8X8,与64个变换系数——对应.量化

表可由用户规定，但JPEG给出了参考值，并作为编码器的一个输天：植化表的多个元素

色为1〜255之间的任意整数，其值规定了它到对应的离散余弦变换系数的置化器步长。

一反量化表达式如下：

F"(«»v)=FQ(«,v)Q(w,v)

量化结果一般是频率低的分量系数大，频率高的分量系数小且大多为零。

DCT变换系数尸（〃皿）除以幽化表中对应位置的械化步长.其幅值下降，高频系数的

零值数目增加。

*4.2亮度・化表

1611101624405161

1212141926586055

14J3162440576956

1417222951878062

182237566810910377

243555648110411392

49647887103121120101

7292959811210010399

衰4.3色度・化表

1718244799999999

1821266699999999

2426569999999999

4766999999999999

9999999999999999

9999999999999999

9999999999999999

9999999999999999

型域到频域地变换

空域频域

f(x,y)C(u,v)

直流系数

XXX低频系数

XXX|——\

高频

XXX系数

像素采样值像素间变化频率

(3)直流(AC)系数地DP编码

交流(AC)系数地行程编码

64个变换系数经量化后，坐标〃=7=0的DC系数•是直流分量.即64个空域图像采

样值的平均值。相邻8X8块之间的DC'系数有强的相关性,

JPEG中对DC系数采用DPCM编码，或差分编码，即对相

邻块之间的DC系数的差值DIFF=DCLDC「编码。如图

4.28所示。

其余63个交流系数采用行程编码。从左上方AC3开

始，沿对角线方向，以“Z”字形行程扫描，直至AC〃打描结

图4.28DC系数差分编码

束,,如图4.29所示.址化后的AC系数通常会有许多零值.

以“Z"'Z形路径进行行程编码,可增加行程中连续零的个数、63个AC系数行程编码的

码字可用两个字节表示。如图4.30所示。

76543210

NNNNSSSS

.两个非零值间.■表示下一个非零值+

…连续零个数■需要的比特数

下一个非零值的实际值

图4.29“Z”字形排列图4.30AC系数行程编码码字

(4)及商编码

为国一步达到邮螂的腌，需MDC均和AC行程翎的码字再作奸统

计特性的静趴JPEG也以使用解隔弼力.法：哈夫曼(Huffman)纲和自适二进制

4术第眄(adaptivebinaryarithmeticcoding)加第舸分成两步进行泊先把DC的和行

程昭雕成中间符号悯潇后给这些符弱以变长髀。

(5)顺序工作方式举例

139144149153155155155155235.6-1.0-12.1-522.1-1.7-2.71.316II101624405161

144151153156159156156156-22.6-17.5-6.2-3.2-2.9-0.10.4-1.21212141926586055

150155160163158156156156-10.9-9.3-1.61.502-0.9-0.6-0.11413162440576956

159161162160160159159159-7.1-1.90.21.50.9-0.10.00.31417222951878062

159160161162162155155155-0.6-0.81.51.6-0.1-0.70.613182237566S10910377

1611611611611601571571571.8-0.21.6-03-0.81.51.0-1.024355564SI10411392

162162161163162157157157-1.3-0.4-0.3-1.5-0.51.71.1-0.849647887103121120101

162162161161163158158158-2.61.6-3.8-1.81.91.2-0.6-0.47292959811210010399

sourceimagesampleslorvvard[XTcoefficients(c)quantizationtable

2400-1000000

150-100000144146149152154156156156

-24-12000000

-2-1000000148150152154156156156156

-14-13000000

•1-1000000155156157158158157156155

00000000

00000000160161161162161159157155

00000000

00000000163163164163162160158156

00000000

00000000163164164IM162160158157

00000000

00000000160161162162162161159158

00000000

00000000158159!6I161162161159158

W(d)normalizedquantized|»(c)denormaiizedquantizedreconslrueledimagesamples

coefTicientscoefficients

FigureDCIandQuantizationExamples

3.基于DCT地增强系统

（累进工作方式或渐进编码）

0渐进编码方式与基本方式不同,每个图像分量

地编码要经过多次扫描才能完成。

0渐进编码地显示与顺序显示地效果是不同地。

（a）第1遍,轮廓极不分明（b）第2遍,轮廓不分明（c）第3遍,轮廓分明

图渐进编码显示

渐进与顺序显示比较：

SccfLETiMl

图渐进（上）与顺序（下）显示比较

n每个图象分量地编码要经过多次扫描才完

成。

n第一次扫描只进行一次粗糙地压缩，然后

解压方据此粗糙地压缩数据先重建一幅质

量低地图象,压缩方以后地扫描再作较细

地压缩，使解压方重建地图象不断提高质

量,直到满意为止。

n为实现该方式,需在量化器地输出与牖编

码地输入间增加一个存储量化后DCT系数

地缓冲器,系数进行多次扫描,分批完成

压缩编码。

Compressed

Image

BitStream

(a)sequentialcodingblockdiagram

8X8

Compressed

Image

BitStream

(b)progressiveencodingblockdiagram

累进工作方式分两种

n按频段累进

一次扫描中，只对DCT变换系数中地某些频带段地

系数进行编码，传送。然后以累进地方式对其它频带段进

行编码,传送,直至将全部系数传送完毕。

n按位逼近

对DCT系数按其数位由高至低分成若干段,然后依

次对各段进行压缩编码。先对最高有效位地n位进行编码,

传送,然后再对剩余地位数分批编码,传送。

44.基于睇霭珊防我

n分层方式也提供类似于累进地表现效果,

但更适用于多分辨率使用地环境。

n分层方式对一幅原始图象地空间分辨率进

行变换,使水平方向与垂直方向分辨率以

2地倍数下降,分层后再进行编码,一张

图象因而编码为一个M序列。前面地M提

供了为后续M进行预测所需地参考重建图

象数据O

A

分层

Hierarchicalmulti-resolutionencoding

分层方式编码过程

(1)降低原始图象地空间分辨率;

(2)对已降低分辨率地图象采用JPEG地任一种

编码方法进行编码；

(3)对低分辨率图象解码，然后用插值地方法恢

复图象地分辨率;

(4)把分辨率已升高地图象作为原图象地预测值,

并把它与原图象地差值进行基于DCT地编码;

(5)重复步骤3,4,直到图象达到完整地分辨率

但

在DCT编码前，增加:过滤与子抽样,插值,计

算差值。

子抽样与编码重复多次。

当子抽样与编码一次次进行，传送地图象一次比一

次分辨率增大,质量变好,直至达到完全地分辨率。

分层方式

hierarchicalcodingblockdiagram

.2静止图像地JPEG2000标准

o5.2.1JPEG2000标准概述

05.2.2JPEG2000标准地处理过程

^■2.1JPEG2000标准概述

0JPEG2000是一个较新地图像标准，目地是利用

当前地压缩技术,提供一种新地图像编码体系。

0JPEG2000与传统JPEG最大地不同，在于它放弃

了JPEG所采用地以离散余弦变换为主地区块编码

方式,而改用以小波变换作为其核心算法,不仅

克服了JPEG压缩倍数高时所产生地方块效应，具

有压缩率高，同时支持有损与无损压缩，能实现

渐进传输,支持感兴趣区（ROD地编码等优点。

5.2.2JPEG2000标准地处理过程*

JPEG2000地基本结构：

源图像数据一►正交换—►量化嫡编码+，压缩图像数据

(a)编码器▼

存储或者传输

重建图像数据一逆交换逆量化嫡解码压缩图像数据

(b)解码器

JPEG2000有两种编码模式:

.基于DCT地编码模式:采用现在地基线JPEG;

0基于小波地编码模式:包括不能还原与能还原地变换。

.2.1JPEG2000标准概述

qJPEG2000基于DCT地编码模式是为了兼容JPEG,

但对算法进行了更新或改进。

q基于小波地编码模式采用基于离散小波变换(

DWT)，标量量化，上下文建模，算术编码以及

后压缩率配置等新技术。处理过程如下：

o(1)对原始图像进行预处理,主要是DC位移。

0(2)对图像进行正向分量变换，把图像分解成分量图像，例

如，把彩色图像分解成亮底,色度分量。

^.2.1JPEG2000标准概述

0(3)把图像(或分量图像)分解成大小相等地矩形块，称为

图像片(tiles)。图像片是原始或重建图像地基本单位。

0(4)在一个图像片上进行小波变换，形成分解级别。这些分

解级别可以产生不同分辨率地成分。这些分解级别由系数

地子频带组成,而这些系数描述了片成分上局部区域地频

率特性。对小波系数子频带进行量化，并汇集进码块矩形

数组。

。（5）4寸一个码块中地系数位面或比特面进行三次编码扫描,

完成及商编隔。

对比

JJPEGXR(ExtendedRange)

n.jxr

nITU2009年,ISO2010年

nDepth可至U32,支持4X4DCT

n支持透明通道

n未广泛推广,camera不支持

nJPEGXT

JPEGXS(ISO/IEC21122)

n旨在通过无线网络传输无损视频,VR内容与游戏

n目地:流式传输,而不是将无损视频,VR等存在败地有限地设备

空间中。它首先考虑地是如何更好地让移动设备通过无线方式即

时共享高清内容。

n文件压缩比例不超过六分之一

n开源HDR(highdynamicrange)编码格式,视频专业人员

用起来无需转码

n主要用于专业领域,包括电影剪辑，空间图像与专业级相机

n进入消费者中还需要等待下一代设备地出现，比如无人机(无人

汽车)，VR/AR设备,超清多媒体设备与电视地无线连接,这都

将是JPEGXS可预见地应用场景。

n2016.8开始,2018410发布

学------

Figure1:ArchitectureoftheJPEGXSencoderanddecoder

-3视频编码标准H.26X

nH.26X是由ITU-T制定地视频编码标准，主要有

H.261,H.263,H.264等。其中，H.261制定于20

世纪90年代初,它所采用地基本方法对之后地视

频编码标准地制定影响很大。

0H.263标准制定于1996年，是目前视频会议地主流

编码方法。

o2003年制定地H.264标准是新一代地视频编码标准,

在相同视频质量下,其压缩倍数较H.263有较大提

高,具有广阔地应用前景。

o2013,H.265可用于UHD(UltiaHighDefinition)

*3视频编码标准H.26X

05.3.1H.261

05.3.2H.263

05.3.3H.264

05.3.4H.265

5.3.1H.261

H.261是ITU-T针对视频电话,视频会议等要求实

时编解码与低时延应用提出地第一个视频编解码标

准，于1990年12月发布。

.H.261标准将CIF与QCIF格式地数据结构划分为4

层次:图像层(P),块组层(GOB),宏块层(MB)与

块层(B)。

0H.261中,有两个模式选择开关用来选择编码模式，

编码模式包括帧内编码与帧间编码两种,若两个开

关均选择上方,则为帧内编码模式;若两个开关均

选择下方,则为帧间编码模式。

5.3.1H.261

图5.6H261地编码框图

.3.2H.263

0H.263标准制定于1995年,是ITU-T针对

64kbit/s以下地低比特率视频应用而制定地标准。

它地基本算法与H.261基本相同,但进行了许多改

进,使得H.263标准获得了更好地编码性能。

0H.263系统支持5种图像格式（Sub-QCIF,QCIF,

CIF,4CIF,16CIF)

0与H.261相同，H.263仍然采用图像层P,块组层

GOB,宏块层MB与块层B共4个层次地数据结构,

但与H.261不同地是,在H.263中,对于不同地格

式,每个GOB包含地MB数目是不同地,对应地行

数也不同。

0图5.6H263地编码框图

步3.3H.264

0ITU-TH.264标准于2003年通过,也成为ISO地

MPEG

-4标准地第十部分,其名型〃先进视频编码

(AdvancedVideoCoding)”。

0H.264标准定义了两个层次,视频编码层(VCL)与网

络抽象层(NAL)o

0H.264既支持逐行扫描地视频序列，也支持隔行扫

描地视频序列，取样率定为4:2:0。

曾33H.264

与H.263比,H.264具有以下优点：

0(1)更高地编码效率。

0(2)自适应地时延特性。

0(3)面向IP包地编码机制。

0(4)错误恢复功能。

0(5)开放性。H.264基本系统无须使用版权,具有开

放性。

f.3.3H.264

H.264标准分为基本档次,主要档次与扩展

档次,以适用于不同地应用。

0基本档次应用包括视频电话,视频会议与无

线视频通信等。

0主要档次主要应用是广播媒体，例如数字电

视,存储数字视频等。

0扩展档次主要用于网络视频流媒体地应用。

5.3.4H.265

也被称为高

nH.265HEVC(HighEfficiencyVideoCoding

分辨率视频编码)或者MPEG-HPart2,是由视频编码

联合专家组(JointCollaborativeTeamonVideo

Coding,JCT-VC)在2013年推出了第一版,成为

ISO/IEC23008标准

nPart1媒体传输：MPEGmediatransport

nPart2高分辨率视频编码：HighEfficiencyVideoCoding

nPart33D音频编码：MPEG-H3DAudio。

n高分辨率:1080P,4K,8K

n宏块类型:32x32,64x64甚至于

128x128

1)更大地变换块,H.265扩充到16x16,32x32甚至于64x64地变换

与量化算法,用于大大减少H.264中变换相邻块间地相似系数

2)使用一种新地MV(运动矢量)预测方式，

3)H.265会引入更加复杂地帧内预测方法，

4)H.265烯编码仅使用改进过地CABAC(H.264—CAVLC),

5)H.265提出多个更加灵活地自适应去块效应滤波器。

编码结构

n1)基于块地混合编码结构(变换加预测)

n2)灵活地四叉树编码块分割结构

n3)包含CTU(Codingtreeunit)—LCU(Largest

CLI)CU(Codingunit)PU(Predictionunit)

TU(Transformunit)四种编棺单元

n4)分为图像分害山帧内/帧间预测，变换与量

化,焙编码,环形滤波器

H.265地数据量只有MPEG2地1/16,MPEG4地

1/6,

H.264地1/2

.4MPEG

05.4.1MPEG-1

o5.4.2MPEG-2

o5.4.3MPEG-4

o5.4.4MPEG-7

o5.4.5MPEG-21

*.4.1MPEG-1

0MPEG-1地正式名称是”用于数字存储媒体地

1.5Mbit/s以下地活动图像及有关音频编码”(ISO

IEC11172),它包括5个部分:系统,视频,音频，

一致性与软件。

0MPGE-1采用分层结构组织数据，从上到下依次是:

图像序列，图像组,图像,片,宏块与块。

.4.1MPEG-1

*根据压缩方式不同，MPEG-1定义了4种类型地图

【帧:

0I帧，只米用帧内编码；

0P帧，采用运动补偿编码，只参考前一帧图像（I帧

或P帧）；

0B帧，可以采用前向，后向与内插运动补偿编码，

参考前一帧与后一帧图像（I帧或P帧）；

0D帧，只含有直流分量地图像,也称为直流图像，

它是专门为快速播放与快速检索功能而设计地，但

由于它不能作为其它帧地预测帧，因此使用不多。

5.4.1MPEG-1

MPEG-1地编码框图如下图所示，以宏块为基本编

码单位,分为掣编哽”与帧嘈誓我

:_JjI

2

►量之克迳wm4->m充复乏--►

运动住一

至5.8乂FEG一1手石恒军

步4.2MPEG-2

0MPEG-2是MPEG工作组制定地第二个国际标准,

正式名称为“通用地活动图像及其伴音编码

n(ISO/IECI3818)o其应用包括数字存储，标准

数字电视,高清晰度电视,高质量视频通信等。

0MPEG-2标准由系统，视频，音频，一致性，参考

软件,数字存储媒体（命令与控制）,先进音频编码

器,实时接口与DSM-CC一致性9个部分构成

oMPEG-2支持三种取样格式,即4:2:0,4:2:2

与4:4:4o

*4.2MPEG・2

0MPEG-2基本编码框图地组成与MPEG-1地相同，仍

然采用I,P,B三种图像进行编码,但是某些功能

模块内部有一些不同。止匕外，需要实现分级码流功

能时，编码框架也有所不同。

o为了适应不同应用需求，MPEG-2提出了档次

(Profile)与级别地概念。MPEG-2定义了简单档次

(SP),主用档次(MP),信噪比可分级档次(SNRP),

空间域可分级档次(SSP),高档次(HP)5个档次。

*4.2MPEG・2

0当输入逐行扫描视频时，MPEG-2地DCT变换与

MPEG-1完全相同。

0针对隔行扫描，MPEG-2增加了一种新地DCT系数

扫描方式，即交错扫描。

。支持可分级编码是MPEG-2地一大特色。所谓可分

级编码,就是将整个码流划分为基本层与增强层，

解码器需要具备解码基本层地能力以获得基本质量

图像。

443MPEG・4

0MPEG-4标准主要应用于可视电话，可视电子邮件

等，对传输速率要求较低，在4.8〜64kb/s之间，

分辨率为176xl44oMPEG-4利用很窄地带宽，通

过帧重建技术以及数据压缩技术，以求用最少地数

据获得最佳图像。

0MPEG-4共有16个部分,主要有系统,音频,视频,

一致性测试,参考软件等。

0MPEG-4把视频序列看作是视频对象地集合。

¥.4.3MPEG-4

MPEG-4以对象为基本编码单位,对一系列VOP地

纹理,形状与运动信息进行编码。

0首先编码器地对象分割单元分析输入视频,按照某

种方法把视频分割成多个V0.

0然后编码器对每个视频对象平面VOP进行纹理,运

动与形状编码.

0最后利用码流复用器组织码流。

*.4.4MPEG