第四章静止图像编码

第四章静止图像编码4.1概述

4.2二值图像编码4.3灰度图像编码4.4静止图像编码标准

作业4.1概述所谓静止图像，是相对于运动图像而言，指观察到的图像内容和状态是不变化的。静止图像有两种情况，一种是信源为静止的；另一种是从运动图像中截取的某一帧图像形成的，有时也称为“凝固”图像。静止图像是不动的，可以用较长的时间间隔对其进行抽样。4.1概述利用现有的电话信道和电视信道进行窄带静止图像的传输没有增加线路的费用，这一特点是静止图像的优势。

4.1概述静止图像数字传输系统的一般结构

4.1概述静止图像传输的特定要求：由于图像是静止的，人眼易于观察图像中的细节，因此要求所传输的图像具有更高的清晰度。在窄带信道中传输时往往需要几十秒钟才能传完一幅完整的图像，现在多采用逐渐浮现的编码方式。4.2二值图像编码二值图像是指只有黑白两个亮度值的图像，因此有时又称为黑白图像。很少有自然存在的二值图像，它们大都是人为产生的，如文件图像、建筑工程绘图、电路设计图等。灰度图像经比特平面分解或抖动处理后也成为二值图像。4.2二值图像编码二值图像只有两个亮度值，所以采集时每像素用一个比特表示，用“1”代表黑，“0”代表白，或者反之，这通常称为直接编码。直接编码时，代表一帧图像的码元数对于该图像的像素数。4.2二值图像编码目前传输二值图像最常用、最典型的通信方式是传真。ITU-T已经为传真建议了一些国际标准。首先，它选出了8张标准文件样本作为标准的测试图像；其次，它根据对传真文件的质量要求，规定一幅A4大小的文件应该有1188条（或2376条）扫描线，相当于3.85（或7.7）条线/毫米，每条扫描线上有1728个像素。4.2二值图像编码1、游程长度编码（RLC编码）也叫行程长度编码，其基本思想是：当按照二值图像从左到右的扫描顺序去观察每一行时，一定数量的连续白点和一定数量的连续黑点总是交替出现。4.2二值图像编码若干取相同值的连续像素的数目叫做游程长度，简称游长，把连续白点和黑点的数目分别叫做“白长”和“黑长”。对不同长度的白长和黑长按其不同的出现概率分配以不同长度的码字，就是游程长度编码。4.2二值图像编码游程长度编码先对每一行交替出现的白长和黑长进行统计，然后进行变长编码。在进行变长编码时，经常采用哈夫曼编码，在大量统计的基础上，得到每种白长和黑长的发生概率。概率可分为两种情况：一种是白长和黑长各自发生的概率分布；另一种是游长的概率分布，而不区分黑长和白长。4.2二值图像编码游长编码主要应用于ITU为传真制定的G3标准中，在该标准中，对黑长和白长分别建立了哈夫曼码表，并且规定每一行总以白长开始，且其长度可以是0，而以一个一维的EOL码（行尾码）结束。4.2二值图像编码

设游程长度编码的信息符号集由长度为1，2，…，N的各种游长组成。这里N是一条扫描线上的像素总数。如果不分黑、白游长而进行统一编码，并设pi为长度为i的游长出现的概率，则游长的熵H和平均游长分别为：4.2二值图像编码于是游程长度的符号熵（即平均每个像素的熵）为：4.2二值图像编码当游长的分布是短游长出现的概率大，长游长的概率小时，可以采用所谓线性码，这种码的码长近似与游长成正比，常称为Ai码。这里i代表码字固定的长度递增单位(比特)。A3码表示15种游长4.2二值图像编码2、二值图像的方块编码跳过白色块(WBS)编码的基本思想：在实际中，大多数二值图像都是白色背景占大部分，黑像素只占图像像素总是的很少一部分，因此，若能跳过白色区域，只对黑色像素编码，就能减少传输的数码率。4.2二值图像编码(1)一维WBS编码

一维WBS编码是把每一扫描行分成若干段，每段包含N个像素。若该段N个像素全是白色，那么只用1比特的码字0来表示；若不全是白色，即使只包含一个黑色像素，也都用(N+1)比特的码字来表示。这(N+1)bit的码字中，第一个比特用1代表，其余的N比特采用直接编码，即白色用0，黑色用1代表。

4.2二值图像编码【例】假如某段像素值是“黑白白黑”，那么相应的一维WBS编码是什么？110014.2二值图像编码一维WBS编码的平均码字长度为：PN为某段出现全白的概率。对常见的典型二值文件图像，Ｎ一般约为10。4.2二值图像编码(2)二维WBS编码二维WBS编码是把要传送的图像分成若干块，每块含有M×N个像素。全白像素的块用一比特的码字0表示，而非全白块用(MN+1)bit的码字表示，其中第一比特为1，其余的MN个比特采用直接编码。4.2二值图像编码在实际中，人们常常根据图像的局部结构或同级特性改变段或子块的大小，进行自适应编码，则编码效果会得到进一步改善。4.2二值图像编码【例】下图是一种一维自适应WBS。设一行像素为1024个，编码时将1024个像素分成几段，每段长度分别为1024，64，16，4，所涉及的码字如图(b)所示。自适应WBS举例4.3灰度图像编码在灰度图像中，每一像素可呈现多种亮度值。对灰度图像的编码通常可分为两类，一类是直接对灰度图像的亮度值进行编码，常用的方法有方块编码、逐渐浮现图像的编码、帧间编码和内插法编码。4.3灰度图像编码另一类是将灰度图像转化为二值图像，然后再对所得的二至图像编码，常用的方法有比特平面编码和抖动编码。4.3灰度图像编码一、抖动编码

抖动编码是将灰度图像转换为二值图像，然后再对二值图像进行编码的方法。抖动其实是一种图像处理技术，它将灰度图像的矩阵与一个和空间位置有关的阈值矩阵做比较。当输入值超过阈值时输出为1，反之，为0。这样所建立的二值图像由于黑、白像素的空间密度不同，就产生出灰度图像的视觉。4.3灰度图像编码阈值矩阵称为抖动矩阵，它是一个m×m的模板，每个元素值均不相同，取值为0，1，…，2m-1，表示0到2m-1个灰度级别的值。4.3灰度图像编码【抖动编码的过程】

将抖动矩阵在整幅灰度图像上做周期性移动，并与灰度图像作比较，当图像的像素值大于对应抖动矩阵的像素值时输出为1，反之输出为0，这样就可获得二值图像。抖动法建立二值图像的过程灰度图像的抖动处理4.3灰度图像编码二、逐渐浮现图像的编码（渐进编码）基本思想：在发送端首先传输一幅低分辨率的图像，然后随着传输过程的进行，逐渐传送细节部分；在接收端，解码器可以快速显示一整幅低质量的图像，虽然图像不甚清晰，但接收者可以较快地看到图像的大致轮廓；随着接收和解压的图像越来越多，显示质量逐渐提高，最后看到一幅清晰的图像。4.3灰度图像编码渐进编码的好处：如果在显示过程中，接收者觉得不用收看更为仔细的部分，就可以通知发送端立即停止发送后续的细节部分，从而提高了传输的效率。

如果图像经过多次压缩，并需在不同分辨率的设备上显示时，解码器可以根据需要确定解码过程，当图像达到特定输出设备的分辨率时即停止解码。

4.3灰度图像编码1、四叉树渐进编码方式原理：对于图像中任意一个像素，其相邻的几个像素值有可能与其非常相似甚至相同。因此，当我们用相邻几个像素的平均值代替这几个像素时，仍然可以看出原图的轮廓。4.3灰度图像编码4.3灰度图像编码假设一幅2n×2n像素的图像（n为正整数）A，可以将A分成四个方阵A0、A1、A2和A3，它们的大小均为N/2×N/2，这一过程可以递归的重复n次，直至达到单个像素级。我们可以把A的图像称为0级，A0、A1、A2和A3四个方阵的图像称为1级，最后的单个像素为n级。某一个方阵可以标记为符号0、1、2、3中的一个，该方阵与它的前一级方阵的标记相连。4.3灰度图像编码可以把图像的这种递归安排表示为树。树的根相当于整个图像，树的叶相当于单个像素。树的结点相当于方阵，每个结点往下都是四条分枝，因而称这样的树为四叉树。N=4的四叉树4.3灰度图像编码四叉树所包含的全部结点数：为了要存储所有的方阵，以便传输到接收端以获得逐渐浮现的图像，所需要的存储量大约增加了1/3。4.3灰度图像编码在逐渐浮现的图像传输中，先传输0级图像，它的值是所有像素亮度值的平均值，再传输1级图像，它在四个方阵中的值为各方阵中所含像素亮度值的平均值，这样，开始传输的级数低的图像反映了图像的概貌，随着级数的增加，就浮现出越来越清晰的图像。4.3灰度图像编码【记录四叉树的方法】4.3灰度图像编码对一幅图像按照2×2的子块进行分割。现在考虑图像中的第一个2×2的子块，f0、f1、f2和f3为它的4个灰度值，计算它们的均值和差值di：i=1，2，3。4.3灰度图像编码于是有：4.3灰度图像编码由上面的式子可见，利用图像子块的一个均值和三个差值，可以恢复出该子块的4个像素值，因此可以用均值和差值di作为存储数据，具体算法如下。4.3灰度图像编码第一步，置图像级数k=n，即代表像素级，此时分辨率最高；第二步，将第k级图像分为2×2的子块，对每个子块计算其均值和三个差值d1~d3；第三步，将计算的均值构成第k-1级图像，而差值记为差值数组D(k+1)。如果k>0，则k=k-1，转第二步；否则，结束。4.3灰度图像编码【例】通过四叉树算法对4×4的矩阵进行编码。4.3灰度图像编码【解】首先置k=2，将2×2个像素组成一个子块，共划分出4个子块。4.3灰度图像编码首先计算左上角的4个像素f00，f01，f02和f03的均值，再依次计算其他三个块的均值，最终得到如图(b)所示的结果。经过第一次的处理后，显示的第k-1级（即第1级）图像如图(c)所示，用每个子块的均值代替4个像素的原灰度值。4.3灰度图像编码然后，计算差值数组。因为此时是计算第一级的差值，所以用D(1)表示该数组，它实际包括4组数据，分别是D10、D11、D12和D13。4.3灰度图像编码接着进行第二次处理。此时利用图(b)的上图的4个像素，，和计算出均值，如图(d)所示。显示时，用代替4个像素的值，最终得到的第0级图像亮度值为图(e)所示。同时存储差值D(0)。4.3灰度图像编码4.3灰度图像编码在建立各级图像的过程中，只需要存储各级图像对应的差值数组，而各级图像只用于建立上一级图像和相应的差值数组，以后就不需要存储了。最终得到的全部数据为I(0)，D(0)，D(1)，…，D(n-1)，其中I(0)为根图像，它是整幅图像的均值，实际上只有一个灰度值，D(0)，D(1)，…，D(n-1)为各级的差值数组，总数据量与原图像像素数相同，为4n。4.3灰度图像编码发送端依次传输I(0)，D(0)，D(1)，…，D(n-1)，接收端就可以先在N×N大小的整幅画面上显示I(0)，然后，随着D(0)，D(1)，…，D(n-1)的接收，恢复出I(1)，I(2)，…，I(n)，显示的图像越来越清晰，直到显示原图像。4.3灰度图像编码2、伪随机扫描方法伪随机扫描方法是一种对整幅画面进行伪随机抽样显示的方式。开始时，只能显示少量像素位置上的亮度值，其他像素位置上不显示。这些少量像素的位置不是规则的，而是在整幅画面时随机状分布的。随后显示的像素越来越多，直至所有像素都显示出来。4.4静止图像编码标准目前，图像压缩标准化工作主要由国际标准化组织(ISO)、国际电工委员会(IEC)和国际电信联盟(ITU-T)进行。4.4静止图像编码标准一、二值图像编码标准二值图像编码最常用、最典型的例子是传真。为此，ITU-T先后制定了G3和G4标准，其中G3使用MR（ModifiedREAD）编码算法。而G4是G3的改进型，使用MMR（ModifiedMR）算法。4.4静止图像编码标准另一个二值图像压缩标准是JBIG，JBIG（JointBi-levelImageCodingExpertsGroup）是联合二值图像专家组的缩写。JBIG于1988年成立，1991年该标准获得通过，其国家标准号为ISO/IEC11544，也称ITU-TT.82建议。4.4静止图像编码标准二、静止图像压缩标准JPEGJPEG是联合图像专家组（JointPhotographicExpertsGroup）的简称，它是一个由国际标准组织ISO和国际电信联盟ITU所建立的，从事静态图像压缩标准制定的委员会。现在人们也用JPEG表示静态图像压缩标准，其国际标准号为ISO/IEC10918。4.4静止图像编码标准JPEG标准的目标和适应性：适用于任何连续色调的数字图像，对彩色空间、分辨率、图像内容等没有任何限制。采用先进的算法，图像的压缩比及保真度可在较大范围内调节，由用户根据应用情况进行选择。压缩/还原的算法复杂度适中，使软件实现时能达到一定的性能，硬件实现时成本不太高。4.4静止图像编码标准有多种操作模式可供设计和使用时选择：无损压缩编码模式：该模式保证准确恢复数字图像的所有样本数据，与原数字图像相比不会产生任何失真。基于DCT的顺序编码模式：它以DCT变换为基础，按照从左到右、从上到下的顺序对原图像数据进行压缩编码。图像还原时，也是按照上述顺序进行。4.4静止图像编码标准基于DCT的渐进编码模式：以DCT变换为基础，但使用多次扫描的方法对图像数据进行编码，以由粗到细逐步累加方式进行。解码时，在屏幕上可以先看到图像的大致面貌，然后逐步细化直到全部还原出来为止。基于DCT的分层编码模式：以多种分辨率进行图像编码，先从低分辨率开始，逐步提高分辨率直到与原图像分辨率相同为止。解码时，重建图像的过程也是如此。4.4静止图像编码标准1、无损压缩编码JPEG选择差分脉冲调制（DPCM）作为无损压缩编码的方法。4.4静止图像编码标准预测器采用3-邻域预测法，用三个相邻采样点(A、B和C)对当前编码采样点X进行预测，如图所示。4.4静止图像编码标准在无损编码的模式下提供了7种预测器供用户选择：4.4静止图像编码标准2、基于DCT的顺序编码模式先对源图像中的所有8×8子图像进行DCT变换，然后再对DCT系数进行量化，并分别对量化以后的系数进行差分编码和游程长度编码，最后再进行熵编码。基于DCT的顺序编码过程基于DCT的顺序解码过程4.4静止图像编码标准数据单元在编码前，输入图像的每个分量被分割成相互不重叠的8×8的子块，块内的64个数据组成一个数据单元(DU)，如果图像的行数或列数不是8的倍数，则复制底行和最右边一列至所需的倍数。4.4静止图像编码标准虽然JPEG可以压缩通常的RGB分量，但在亮度/色度空间（YUV空间）的压缩效果更好。RGB与YUV之间的转换并不包含在编解码器中，而是应用程序在编码之前和解码之后根据需要完成。4.4静止图像编码标准8×8的DCT

JPEG采用8×8大小的子图像块进行二维的离散余弦变换:正变换：反变换：其中：4.4静止图像编码标准将F(u,v)写成矩阵形成，则可以表示为：4.4静止图像编码标准当f(x,y)为8bit像素，它的取值范围为0~255，由此可以求出DC系数F(0,0)的取值范围为0~2040。在进行变换之前，要将数字图像采样数据从无符号整数转换到带正负号的整数，即把范围为［0,28-1］的整数映射为［－28-1,28-1-1］范围内的整数。变换的方法是将输入数据减去28-1。

4.4静止图像编码标准量化量化过程就是将每个DCT系数除以各自的量化步长并取整，得到量化系数正变换：S(u,v)是一张量化表，给出8×8子块中每个像素的量化步长，±0.5是对量化结果进行四舍五入。4.4静止图像编码标准反量化是在解码器中由量化系数恢复DCT系数的过程，根据下面的式子完成：JPEG标准没有规定缺省的量化表，但它给出了一些指导性的量化表。JPEG推荐的亮度和色度量化步长表4.4静止图像编码标准DC系数和AC系数扫描考虑到DCT变换后，直流DC系数反映了8×8子块内64个像素均值的度量，包含了整个图像总能量的重要部分，因此将DC系数和其余63个交流AC系数分别编码。4.4静止图像编码标准DC系数使用一维前值预测，即用前一个子块的DC系数预测当前子块的DC系数，而后将预测误差进行编码。4.4静止图像编码标准采用游程编码方法对AC系数进行编码，并建议在8×8矩阵中按照“Z”形次序进行扫描。4.4静止图像编码标准熵编码

JPEG建议的熵编码方法有两种：哈夫曼编码和自适应二进制算术编码，前者使用哈夫曼码表，后者使用算术码的条件码表。

JPEG在具体实现哈夫曼编码时采用了查表方式，在大量实际图像测试结果的基础上生成了哈夫曼码表，编码时只需直接查表即可。4.4静止图像编码标准编码时，DC系数与AC系数分别使用不同的哈夫曼编码表，亮度与色度也需要不同的哈夫曼编码表，所以一共需要4个编码表。4.4静止图像编码标准直流系数编码采用“前缀码(SSSS)＋尾码”的形式：前缀码指明尾码的有效位数（设为B位），用标准的哈夫曼编码；尾码则直接采用B位自然二进制码。对于8bit精度的JPEG基本系统，SSSS的取值范围为0~11，SSSS的码表共有12项。图像分量为8位时DC系数差值的典型哈夫曼编码表4.4静止图像编码标准根据Diff的幅度范围由表查出其前缀码字和尾码的位数后，可以按以下规则直接写出尾码码字：尾码为Diff的B位4.4静止图像编码标准【例】对于Diff=17的亮度差值进行编码。【解】查表发现Diff落入(-31，…，31)的区间，所以得SSSS=5，其前缀码字为110；同时尾码的长度是5，并且采用17的自然二进制码表示，即10001，从而Diff=17的编码为“11010001”。4.4静止图像编码标准交流系数编码

JPEG利用之字形扫描，将二维量化系数矩阵转换成一维数组ZZ。ZZ中的每一个非零的AC系数都表示为：“NNNNSSSS＋尾码”。其中，4位的“NNNN”给出了当前这个非零系数相对于前一个非零系数的位置（即非零系数之间的零系数游程长度ZRL），其范围规定为0～15。4.4静止图像编码标准当ZRL超过15时，先用“F/0”表示游程长度16，并对余下的游程按前面的原则处理。4位“SSSS”及尾码的含义与DC系数类似。“NNNNSSSS”组合为一个新的“前缀码”，用二维哈夫曼编码。用一个特殊码字“NNNNSSSS”＝“（0，0）”代表“EOB”，标志该子块中所有剩余系数均为零而无需再编码。4.4静止图像编码标准若ZZ(k)为待编码的非零AC系数，则其编码步骤为：第一步，根据ZZ(k)的幅度范围查表，查出尾码的位数SSSS=B；第二步，由零系数游程值ZRL的计数值NNNN以及SSSS在哈夫曼码表中查出的前缀码字，按以下规则直接写出尾码的码字：尾码=ZZ(k)的B位AC系数的尾码位数表SSSSAC系数的尾码位数表001-1,12-3,-2,2,33-7~-4,4~74-15~-8,8~155-31~-16,16~316-63~-17,17~637-127~-64,64~1278-255~-128,128~2559-511~256,256~51110-1023~-512,512~1023亮度AC系数哈夫曼码表续表1续表2色差AC系数哈夫曼码表续表1续表24.4静止图像编码标准JPEG基本系统编解码过程实例4.4静止图像编码标准对f(x,y)进行电平位移，即每个像素减去128，再进行正向DCT变换，得到DCT系数：4.4静止图像编码标准用量化系数表进行量化（选用JPEG推荐的亮度分量量化步长表），得到量化后的DCT系数：4.4静止图像编码标准对DC系数查表进行编码：假设在前一个子块中，量化后的DC系数是12，那么差值为3，查表得SSSS=2，前缀码为“011”，尾码为3的二进制形式，并采用2比特表示，即11。4.4静止图像编码标准对AC系数查表进行编码：根据之字形的扫描顺序，第一个非零系数是-2，它之前的0系数的个数是1，查表得SSSS=2，我们用(1,2)(-2)来表示该AC系数。1是零系数游程的长度，2是SSSS的值，-2是尾码的取值。接下来三个非零的系数都是-1，它们之前0的个数都是0，都可以(0,1)(-1)表示；最后一个非零系数也是-1，它之前的0的个数是2，可以(2,1)(-1)表示。4.4静止图像编码标准在最后一个非零系数的后面加上终止码EOB或(0,0)。由此得到该8×8子块的最终符号序列如下：(2)(3)，(1,2)(-2)，(0,1)(-1)，(0,1)(-1)，(0,1)(-1)，(2,1)(-1)，(0,0)经查表可得(0,0)——1010，(0,1)——00，(1,2)——11011，(2,1)——11100，尾数及其对应的二进制编码是：(-2)——01，(-1)——0。4.4静止图像编码标准这个8×8子块的编码比特流是：011，11，11011，01，00，0，00，0，00，0，11100，0，10104.4静止图像编码标准解码器对收到的DCT系数进行反量化，得到：4.4静止图像编码标准执行逆DCT过程，并对每一元素加上128，得到重构块：4.4静止图像编码标准计算重构误差矩阵e(x,y)4.4静止图像编码标准DCT编码的压缩比：DCT编码的比特率：

4.4静止图像编码标准3、基于DCT的渐进编码模式这种模式采用的压缩编码算法与基于DCT的顺序编码模式相同，但每个图像分量的编码要经过多次扫描才能完成，每次扫描均传输一部分DCT量化系数。4.4静止图像编码标准第一次扫描只进行粗糙的压缩，以很快的速度传送出粗糙的图像，接收方据此可重建一幅质量较低但尚可识别的图像。在随后几次的扫描中再对图像作较细致的压缩处理，这时只传送增加的一些信息，接收方收到后把可重建图像的质量逐步提高。这样逐步渐进，直到全部图像信息处理完毕为止。4.4静止图像编码标准渐进编码的操作方式：频谱选择法：指每一次扫描DCT系数时，只对64个DCT系数中的某些频段的系数进行压缩编码和传送。随后进行的扫描中，再对余下的其他频段进行编码和传送，直到全部系数都处理完毕为止。连续逼近法：指沿着DCT系数的高位到低位的方向逐渐累进编码。4.4静止图像编码标准4、基于DCT的分层编码模式分层编码的操作模式是把一幅原始图像的空间分辨率分成多个低分辨图像进行“锥形”编码的方法。分层编码图像分辨率的分层降低