现代静态图像编码技术课件

1、现代静态图像编码技术常用图像编码技术编码静态图像编码 国际标准化委员会（联合图像专家小组Joint Photograp Expert Group）制定的几种标准：JPEG，JPEG-SS,BIG JPEG2000动态图像压缩标准：H.263,H.264,Mpeg2,mpeg4,mpeg7,Mpeg21 Jpeg简介Jpeg是最常见的图片压缩标准，常用于存储图片和多媒体图片的压缩。 标准以离散余弦变换(DCT)为基础的有损压缩算法。 将一幅图像分割为更小的图像块(8*8,16*16), 然后对图像块进行余弦变换，变换后的浮点系数量化为整型数据，并且用原码表示；对原码数据进行熵编码,输出压缩码流。

2、Jpeg简介JPEG标准规定了两种熵编码算法：哈夫曼编码和自适应算术编码。 哈夫曼编码采用的一般是固定的哈夫曼编码表，而不是临时统计出来的，并且对亮度分量和色度分量Jpeg简介采用了不同的哈夫曼表。 自适应编码编码采用QM编码器，通过自适应分类和自适应预测实现进一步压缩。 QM编码器是基于上下文的自适应编码器，是Q编码器的改进。缺点： （1）容易产生码块效应、压缩效率有待提高;Jpeg_less简介无损压缩算法直接在图像域进行压缩利用已经编码过的邻居对当前像素值进行自适应预测对预测后产生的差值进行自适应分类编码(Glomb算法）。Jpeg_less简介优点：算法简单，适合无损、近无损图像压缩；

3、近无损压缩时，可以直接控制重建图像的误差。用于医学、高质量的遥感图像压缩。缺点：直接在图像域编码，又采用自适应预测技术，对误码十分敏感；输出码率不可控。Causal template used for context modelling and prediction Context determinationAfter a number of samples have been coded scanning from left to right and from top to bottom, the sample x shall be encoded. The context at this

4、sample shall be determined by the previously reconstructed values Ra, Rb, Rc, and Rd corresponding to the samples a, b, c, and d as shown above, respectively. In lossless coding, the reconstructed values are identical to those of the source image data. The steps in context determination, to be perfo

5、rmed in the presented order, are the following:Local gradient computationThe first step in the context determination procedure shall be to compute the local gradient values, D1, D2, D3 of the neighbourhood samples.Local gradient quantizationThe context determination procedure shall continue by quant

6、izing D1, D2, and D3 according to the procedure specified as follows. For this purpose, non-negative thresholds, T1, T2, and T3, are used. According to their relation with the thresholds, a region number Qi is obtained (Q1, Q2, and Q3 respectively). This forms a vector (Q1, Q2, Q3) representing the

7、context for the sample x. Since there are 9 quantization regions for each of the gradients, Q1, Q2, and Q3, each is allocated one of nine possible numbers between -4 and 4.Prediction Edge-detecting predictor An estimate Px of the value at the sample at x to be encoded shall be determined from the va

8、lues Ra, Rb, and Rc Computation of prediction error Using the value of Px, corrected by the above procedure, the prediction error, Errval, shall be computed. If the sign of the context, given by SIGN, is negative, the sign of the error shall be reversed. Error quantization for near-lossless coding,

9、and reconstructed value In lossless coding (NEAR = 0), the reconstructed value Rx shall be set to Ix. In near-lossless coding (NEAR 0), the error shall be quantized. After quantization, the reconstructed value Rx of the sample x, which is used to encode further samples, shall be computed in the same

10、 manner as the decoder computes it. Modulo reduction of the prediction error The error shall be reduced to the range relevant for coding, Prediction error encoding The next step of the regular mode shall be to encode the error. For this, the variables A0.364 and N0.364 are used to compute the Golomb

11、 coding variable k for(k=0; (NQk)AQ; k+); Jpeg_less简介误码传播基于小波的内嵌零树编码 内嵌比特平面编码基本思想 小波变换在图像编码方面取得成功的典型例子就是基于小波的内嵌比特平面编码，其基本思想是将小波系数按其对恢复图像质量的贡献程度进行排序，并逐个比特平面编码，根据目标码率或失真度要求随时结束编码；同样，对于给定码流，解码器也能够随时结束解码，并可以得到相应码流截断处的恢复图像。因此内嵌编码能够实现图像的渐进传输和逐步浮现，而且码率控制简单 按照幅值大小对进行 排序，并将最重要的比特位优先传输，以保证恢复图像与原始图像的最大相似程度，这就是

12、内嵌比特平面编码的基本思想 一般框架 系数在比特平面编码时有下列几种状态：(a) 首次重要，即在比特平面的比特为第一个非零比特（ ）。一般在首次变成重要时跟着输出其符号位。(b)不重要，即 。通常在较高的MSB比特平面，不重要的系数很多，因此排序算法可以把大量的不重要系数构成一个集合，输出一个0比特即可。(c)以前重要，即 。对于在前面的比特平面已经重要的系数则要输出其幅度值在当前比特平面的比特位信息，这个过程即称为幅值细化。根据系数的三个状态，可以描述出内嵌比特平面编码的一般框架如下： 初始化：确定初始的MSB比特平面 ； 排序：确定首次变为重要的系数（）和不重要的系数，对于重要系数，要输出

13、符号位；对于不重要的系数还可以根据一定的预测原则再划分为可能重要以及可能不重要两类，以提高编码效率。 幅值细化：对于所有的系数，输出第层比特平面的位信息； 比特平面更新：返回步骤进行1比特平面的编码过程；内嵌比特平面编码产生的符号流可以进一步进行熵编码压缩，如采用自适应算术编码99获得更好的压缩性能。 EZW算法 Shapiro提出的内嵌零树小波编码算法EZW（Embedded Zerotree Wavelet），其出发点在于小波变换后各级、子带系数之间在空间上和方向上所呈现出的强烈的带间相似性，这种空间相似性可以用一种新型的数据结构，即所谓的“零树（Zerotree）”来描述。EZW算法就是

14、充分利用这种相似性，获得高性能的图像编码算法，它成为在甚低比特率情况下图像压缩的一个里程碑。 零树结构图像经过小波分解后，能量几乎总是集中在较低频的子带上，并从低频到高频递减分布。在Mallat分解下，由不同频率子带、代表同一空间位置的系数构成了一种树型结构，并且高频部分存在大量的零，故称为“零树” 零树编码是基于如下假设：如果低分辨率的子带系数相对于阈值T是不重要的，那么在同样方向上相应空间位置的高分辨率的子带系数相对于阈值T也是不重要的。尽管缺乏严格的数学模型描述，但统计结果表明这种假设是成立的。 在编（译）码过程中，保持着两个分离的列表：主表和辅表。主表记录不重要的集合（ZTR）或系数（

15、IZ），其输出信息起到了恢复重要系数的空间位置的作用；而辅表记录重要系数，输出为各重要系数的幅度细化时的比特值。编码分为主、辅两个过程：在主过程中，设定阈值为，按上述流程对主表进行扫描编码，若系数首次变为重要，则将其移到辅表中，然后将该系数在主表中置零，这样当阈值减小时，该系数不会影响新零树的出现（即不会重复编码）；在辅过程中，对辅表中的重要系数进行幅值细化，输出当前比特平面的位信息。 EZW算法的详细描述如下：1) 确定初始阈值T，使得 ， ；将系数节点按扫描顺序加入到主表中，将辅表清空。2) 对主表进行扫描，将表中节点依据阈值T分为重要值（包含符号信息：正或负）、零树根和孤立零点。将主表中

16、重要系数的节点移至辅表中；零树根的子节点不需继续扫描，而孤立零点的子节点要继续扫描。3) 扫描辅表，对重要系数进行幅值细化。4) 将阈值减半，跳至步骤2)；SPIHT算法 A. Said 和W. A. Pearlman根据Shapiro零树编码的基本思想，提出了一种新的且性能更优的实现方法，即基于分层树集合分割排序的编码算法（SPIHT：Set Partitioning In Hierarchical Trees）。SPIHT算法是一种非常实用高效的高性能图像编码算法，其显著特点是极低的计算复杂度和高质量的恢复图像，它打破了传统编码算法中编码效率与复杂度同步增长的界限，并且合理利用了小波分解后

17、的多分辨率特性，获得了优良的编码性能，成为内嵌编码的一个通用基准。 空间渐进性 随机访问图像感兴趣区编码 在甚低比特率进行图像压缩时，往往会丢失一些细节信息，而其中有些细节信息是人们感兴趣的。例如人物头肩图像的视觉敏感区域，航空图像中携带重要信息的小目标区域，干涉多光谱图像中的干涉条纹区域，医学图像中病灶区域等等，这些区域可以统称为感兴趣区域（ROI：regions of terest ）。从主观视觉角度来说，这些区域的恢复质量直接影响整幅图像的恢复质量，因此对图像的感兴趣区域应该以更好的质量（更多的码率甚至是无失真）进行压缩。 感兴趣区模板 在小波变换编码中，图像的小波分解及合成可以由Mal

18、lat算法实现。在Mallat算法中，尺度滤波器和小波滤波器都是FIR滤波器，因此小波变换具有局部化特性，这就使得小波系数只与图像相应位置处的一定区域的数据有关。因此图像的ROI区域在小波子带中有着对应关系。在对感兴趣区（ROI）对应的小波系数编码时分配更多的码流，使其与背景区域（BG：background）的系数相比能够更精确地传送到解码端，则可获得感兴趣区图像恢复质量的提高。因此感兴趣区编码实际上是一种在通常的编码算法中对ROI系数进行加权处理的编码方法。 首先要计算在小波域各子带中对应的感兴趣区系数的位置，即建立ROI模板,其中为变换系数的空间坐标。定义如式如下以 (5,3) 小波变换为

19、例，逆变换实现为： 感兴趣区域编码存在的问题1)提升多少2）区域确定不仅具有更好的压缩效率，而且具有更多的功能良好的低码率性能支持无损、有损压缩算法支持质量、视觉和分辨率渐进性传输支持随机码流访问和处理比特错误的鲁棒性感兴趣区（ROI）编码提供灵活的文件格式支持内置用户信息（如版权信息）、图像序列（Motion JPEG）JPEG2000JPEG2000核心技术 ：离散小波变换DWT: 有损压缩- 9/7小波 无损压缩5/3小波优化截取内嵌块编码EBCOT(Embeded Block Coding with Optimized Truncation) 其编码引擎分为Tier1,Tier2. J

20、PEG20001997年3月征求建议1997年10月提交算法(SPIHT,EBCOT)1999年3月工作草案1999年6月委员会工作草案 2000年12月最终标准(DIS)JPEG2000应用：在图像检索、因特网传输、网络浏览、文本图像、数码相机、医学图像、遥感图像和桌面印刷等多个领域具有巨大的应用价值。JPEG2000编码结构JPEG20001 预处理（a）分块处理： “分块”是指将大图像分割成互不重叠的矩形块。以“块”为单位独立进行编码。（b）电平移位：对于无符号数(设精度为比特)要进行电平移位。（c）分量变换：对于彩色图像或多分量图像，在小波变换之前还必须逐点进行分量变换。分量变换可以采

21、取不可逆分量变换(ICT)或可逆分量变换(RCT)。JPEG2000离散小波变换 短Fourier变换的发展，提供多分辨率分析；通过小波变换去除像素之间的冗余；可逆变换推荐使用5/3小波；不可逆变换使用9/7小波（双正交小波：高、低通分解/合成滤波器并不正交，而是分析低通滤波器与合成高通滤波器正交，分析高通滤波器与合成低通滤波器正交线性相位）。常使用结构：Mallat分解正交小波：H1与H0正交；G0、G1正交双正交： H1与G0正交；H0、G1正交小波变换H0H12a0(n)a1(n)222G0G1y0(n)y1(n)二维小波变换水平滤波垂直滤波分解系数合成系数kh(k)kg(k)kk03/

22、4-110113/411/4-2,0-1/211/20,2-1/42-1/8-1,3-1/8JPEG2000量化：作用：将小波变换后的系数变换为原码表示；常用的量化：标量量化/格型量化JPEG2000比特平面编码技术：1）按照分辨率、子带顺序编码2）将子带系数划分为码块、码块之间独立编码3）同一码块按照比特平面顺序编码 每个比特平面编码分为3个pass, 按照”重要性传播”,”幅值细化”,”清理更新”顺序进行编码Embedded Coding01-0000001+0000000001+001-00Signb7 b6 b5 b4 b3 b2 b10101101. . . .0101101. .

23、. .+1001010. . . .-0010101. . . .+0001110. . . .+0000100. . . .-0010010. . . .-0000100. . . .+0000001. . . .-FirstSecondThirdw0w1w2w3w4w5w6w7JPEG2000按照条带顺序编码JPEG2000编码单元：1）零编码 (ZC)：对单个不重要的系数进行编码；用于重要性传播和幅值细化步骤。2）符号编码 (SC)：当系数由不重要变为重要时，对系数符号进行编码。3）幅值细化 (MR)：当系数已经重要时，对系数进行细化编码。4）游程编码 (RLC)：当条带的四个系数都不重

24、要时，使用RLC可实现有效压缩。JPEG2000零编码上下文模板h: 水平邻居v: 垂直邻居d: 对角邻居vhdBit being coded零编码上下文SC上下文vhExpected SignJPEG2000重要性传播 如果系数不重要，但有重要的邻居，这样的系数在当前比特平面进行重要性传播编码。如果当前比特平面的判决为1，则系数由不重要变为重要；如果为0，系数仍然是不重要的。使用ZC编码单元进行编码,并且使用SC对变为重要的系数进行符号编码。JPEG2000幅值细化 对当前比特平面之前已经重要的系数进行编码，使用MR编码单元。清理更新 对前两个步骤都没有编码的系数进行编码。使用编码单元：ZC

25、,SC,RLC T2主要完成码流组织比特流截取,打包. 标准没有规定组织码流方法，只要最终码流组织符合便准的规定即可. 标准推荐了一种率失真优化截取算法 每个码块的各个步骤编码前后对重建图像贡献的大小作为码流截取的依据。也就是根据率失真斜率组织码流JPEG2000JPEG2000失真计算 Di: 解码前MSE， Di+1: 解码后 MSE；某个步骤解码前后 的失真衰减量为步骤码流长度 Ri: 解码前码流长度 Ri+1: 编码后码流长度 率失真斜率 率失真优化算法 率失真优化算法是一种后处理方法，对于固定码率的编码器采用率失真优化算法可以获得更优的编码性能。Cover和Thomas指出如果所有编码系数的率失真斜率相同，则编码器能获得最优的性能。这个率失真斜率条件可以通过调整系数的量化步长来进行率控制。Xiong和Ramchandran也采用率失真优化准则在小波包编