数字图像压缩编码处理课件

1、Digital Image Process, 2007, Ai Lab NJU数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU数字图像处理数字图像处理第十五章第十五章图像压缩和编码图像压缩和编码2May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr

2、. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUCH15 图像压缩和编码图像压缩和编码n一、序言一、序言n二、无损压缩技术二、无损压缩技术n三、图像的无失真编码方法三、图像的无失真编码方法n四、预测压缩技术四、预测压缩技术n五、变换压缩技术五、变换压缩技术n六、活动图像压缩技术六、活动图像压缩技术n七、图像压缩编码的新进展七、图像压缩编码的新进展n要点总结要点总结n上机实习上机实习3May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr.

3、Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU1 序言序言n1）图像压缩编码的目的）图像压缩编码的目的4May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU1 序言序言n目的：目的：节省图像存储容量；减少传输信道容量；缩短图像加工处理时间。n原因：

4、原因：n图像像素之间、行之间、帧之间有较强的相关性。图像像素之间、行之间、帧之间有较强的相关性。n从统计的观点，某点像素的灰度与其邻域灰度有密切关系；从统计的观点，某点像素的灰度与其邻域灰度有密切关系；n从信息论关系，减少图像信息中冗余信息。从信息论关系，减少图像信息中冗余信息。512 512 8256122340 3240 1210lenabitKBbitbitMB对于图象，其字节对于卫星图象，一般采用灰度级而遥感图象通常又为多频谱图象而对于视频，每秒30帧5May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang,

5、 AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU1 序言序言n2）图像压缩编码的分类）图像压缩编码的分类n（1）无损编码）无损编码 又称为又称为信息保持编码信息保持编码。n（2）有损编码）有损编码 常被称为常被称为保真度编码保真度编码。n（3）特征抽取编码）特征抽取编码 是另一种是另一种有损编码有损编码。6May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr.

6、Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU1 序言序言n3）图像压缩编码的具体方法）图像压缩编码的具体方法n（1）熵编码：信息保持编码；）熵编码：信息保持编码；n（2）预测法：信息保持编码、保真度编码（更常）预测法：信息保持编码、保真度编码（更常用）；用）；n（3）变换法：特征保持编码；）变换法：特征保持编码；n（4）其他编码法）其他编码法7May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJ

7、UDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU12211logMMkkkkkMkkkEntropyPPPHPPkCRRPHR 图象熵：设图象每个灰度级出现的频率对应的概率分别为 ， ，。则图象的熵定义为平均码字长度：设是数字图象第 个码字的长度，则图象的平均码字长度 定义为：编码效率。2 无损压缩技术无损压缩技术n1）基本概念）基本概念8May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, N

8、JUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU2 无损压缩技术无损压缩技术n2）变长最佳编码定理和唯一可译代码）变长最佳编码定理和唯一可译代码-12kKi定理：在变长编码中，对出现概率大的信息符号赋予短码字，而对于出现概率小的信息符号赋予长码字。可以证明，如果码字长度严格按概率大小的逆序排列，则平均码字长度一定小于任何其他排列方式。：如果码字之间不加同步码，则要求编码序列唯一可译。：任何码字不能在其后面添加码元而形成其他码字，称为非续长代码。：任意有限长码字序列，只能唯一地分割成一个个码

9、字。其充要条件是唯一可译编码非续长代码单义代码1。非续长代码一定是单义代码，反之未必。9May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU2 无损压缩技术无损压缩技术22330010001 1011111321222241011000001kKi iC例：则则，C是单义代码，而不是非续长代码。10May, 2007数字图像压缩编码处理数字图

10、像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU2 无损压缩技术无损压缩技术n3）哈夫曼编码方法（）哈夫曼编码方法（Huffman）123456,0.4,0.3,0.1,0.1,0.06,0.04w w w w w wHuffman例：设输入的相应输入概率分别为，则编码可下图表示。输入w1w2w3w4w5w6概率0.10.060.00.10.1

11、0110001111000000010011011010001000101010100101101111May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU2 无损压缩技术无损压缩技术1:2:3:24:HuffmanStepStepStepStepStep压缩编码步骤：把概率按大小从上到下

12、排序；把最下面两个概率相加，再重新排序；重复，直到只有两个概率为止；从右向左开始编码。每遇到分叉则在后补位；上叉补0，下叉补1。12May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU2 无损压缩技术无损压缩技术nHuffman编码讨论编码讨论 （1） Huffman编码是唯一可译码。短的码不会编码是唯一可译码。短的码不会成为更长码的启始部分

13、；成为更长码的启始部分； （2） Huffman编码的平均码长接近于熵；编码的平均码长接近于熵； （3）缺点：与计算机的数据结构不匹配；）缺点：与计算机的数据结构不匹配； （4）缺点：需要多次排序，耗费时间。）缺点：需要多次排序，耗费时间。62222122261log0.4log 0.40.3log 0.30.1log 0.10.1log 0.1 0.06log 0.060.04log 0.042.14350.4 1 0.3 20.1 30.1 40.06 50.04 52.2iiiiiiHppbitRpbit 13May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Ya

14、ng, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU2 无损压缩技术无损压缩技术n4）香农编码法（）香农编码法（Fano-Shannon）输入概率w1w2w3w4w5w0.10.060.040101010011010110011011110111114May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab,

15、 NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU2 无损压缩技术无损压缩技术111111:2:013:14:31-nknkkniiii kFanoShannonStepwwwwwwppStepStepStepStepStepwFano Shannon 压缩编码步骤：把概率按大小从上到下排序，然后将分成两组，和，使；将两个子集分别编码 和 ；将两个子集重复，同样上面子集编码0，下面编码1；重复，直到每个子集只有 个 为止。最后将编码依次排出，得到编码。15May, 2007数字图像压缩编

16、码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU2 无损压缩技术无损压缩技术nFano-Shannon编码讨论编码讨论n（1） Fano-Shannon编码是唯一可译码。短的码编码是唯一可译码。短的码不会成为更长码的启始部分；不会成为更长码的启始部分；n（2） Fano-Shannon编码的平均码长接近于熵；编码的平均码长接近于熵；编码效率略低于编码效率略低于Huffm

17、an编码。编码。62222122261log0.4log 0.40.3log 0.30.1log 0.10.1log 0.1 0.06log 0.060.04log 0.042.14350.4 1 0.3 20.1 40.1 40.06 40.04 42.2iiiiiiHppbitRpbit 16May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab,

18、NJU3 图像的无失真编码方法图像的无失真编码方法n1）白块跳过编码白块跳过编码WBSn2）行程长度编码行程长度编码n3）比特平面编码）比特平面编码n4）二值图像编码的国际标准）二值图像编码的国际标准G3和和G417May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法图像的无失真编码方法n0）压缩比）压缩比n直接编码一

19、幅图像所需比特数取决于幅面大小及分辨直接编码一幅图像所需比特数取决于幅面大小及分辨率。率。n设设C为采用某种方法编码前后的为采用某种方法编码前后的 压缩比压缩比c 图象直接编码所需比特用某种方法编码所需比特18May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法图像的无失真编码方法n1）白块跳过编码白块跳过编码WBSn

20、原理原理 对于一般白纸黑字的文件，总是白的面积大。因此跳过白的对于一般白纸黑字的文件，总是白的面积大。因此跳过白的行程，只对黑行程编码就可以压缩数据。行程，只对黑行程编码就可以压缩数据。n一维一维WBS编码编码 将每一扫描行分成若干段，每段包含将每一扫描行分成若干段，每段包含n个像素。对于全白段，个像素。对于全白段，给最短码字如给最短码字如0；而对于黑白相间或全黑段，不进行压缩。；而对于黑白相间或全黑段，不进行压缩。 为区别全白段和有黑段，在编码前加为区别全白段和有黑段，在编码前加1作为标志位。作为标志位。19May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang,

21、 AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法图像的无失真编码方法n一维一维WBS编码平均码长编码平均码长n例例111111wnwwwwpRppnpnnWBSnp 设全白段出现的概率是 ，则平均码长因此编码的效率取决于 和 。5n 设，求包含一个全白块、有黑块11010、有黑块10000三块的WBS码。解：全白块编码为0，有黑块11010编码为111010，有黑块10000编码为110000，所

22、以编码为0111010110000。20May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法图像的无失真编码方法n常用图像常用图像WBS编码平均码长编码平均码长英文课文 熵=0.15 平均码长=0.3英文文件 熵=0.06 平均码长=0.19电路图 熵=0.11 平均码长=0.25气象形势图 熵=0.22 平均码长=0

23、.3921May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法图像的无失真编码方法n二维二维WBS编码编码 将图像分成将图像分成M*N大小的块，全白块以大小的块，全白块以0编码，其编码，其他同一维他同一维WBS编码。编码。WBSWBSWBSWBS打字英文课文二维编码平均码长=0.26英文文件二维编码平均码长=0.13电

24、路图二维编码平均码长=0.17气象形势图二维编码平均码长=0.422May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法图像的无失真编码方法n自适应自适应WBS编码编码 根据图像局部结构或统计特性，改变像素块尺寸大根据图像局部结构或统计特性，改变像素块尺寸大小；小； 一维情况下，首先判断该行是否有一维情况下，首先判断该

25、行是否有1024个连续白个连续白像素；像素； 否则判断是否有否则判断是否有64，16，4个连续白像素；个连续白像素； 否则直接编码；否则直接编码； 在每一行编码前要加上在每一行编码前要加上N为多少的代码。为多少的代码。 自适应自适应WBS编码可以有效增加图像的编码可以有效增加图像的 压缩比，但压缩比，但增加了编码设备的复杂性。增加了编码设备的复杂性。23May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI L

26、ab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法图像的无失真编码方法n2）行程长度编码（行程长度编码（RLC，Run-Length Coding）n原理：二值图像从左到右扫描图像时，连续白点和连原理：二值图像从左到右扫描图像时，连续白点和连续黑点总是交替出现。将连续像素的数目称为行程长续黑点总是交替出现。将连续像素的数目称为行程长度（度（Run-Length），），分别为白长和黑长。分别为白长和黑长。n方法：统计所有行程长度出现的概率，然后采用方法：统计所有行程长度出现的概率，然后采用Huffman编码。编码。n在每一行的行首加标志位，确定是白长还是黑长

27、。以在每一行的行首加标志位，确定是白长还是黑长。以后黑长和白长交替出现。后黑长和白长交替出现。24May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法图像的无失真编码方法n3）比特平面编码）比特平面编码n思想：对于灰度或彩色图像，如果每个像素用思想：对于灰度或彩色图像，如果每个像素用k位表位表示，将相同位上的示，将相同

28、位上的0，1取出，就可以形成取出，就可以形成k个个N*N的二值图像。将每一个二值图像称为一个比特平面。的二值图像。将每一个二值图像称为一个比特平面。n方法：对于比特平面采用前述的无失真二值图像压缩方法：对于比特平面采用前述的无失真二值图像压缩技术。技术。希望连续的希望连续的0/10/1出现的概率增大出现的概率增大. .25May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Y

29、ang, AI Lab, NJULena图像的比特平面图像的比特平面26May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法图像的无失真编码方法n问题：采样自然二进制码，将导致数据相关性减小。问题：采样自然二进制码，将导致数据相关性减小。如灰度如灰度127和和128，对应自然二进制码分别为，对应自然二进制码分别为011

30、11111和和10000000。较小的灰度变化导致比。较小的灰度变化导致比特平面的突变。特平面的突变。n解决方法：采用格雷码（解决方法：采用格雷码（Gray）。）。121 01210111,kkkkkkiiibbbbggg ggbgbb若自然二进制码对应格雷码，则27May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失真编码方法

31、图像的无失真编码方法自然二进制码自然二进制码格雷码格雷码自然二进制码自然二进制码格雷码格雷码0000001001100010011011110100111101010110101111001270 01 11 11 11 11 11 11 1灰度图像灰度图像比特平面比特平面28May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU3 图像的无失

32、真编码方法图像的无失真编码方法n4）传真国际标准）传真国际标准G3和和G4n（1）G3采用一维行程编码；采用一维行程编码；n（2）行程采用）行程采用Huffman编码；编码；n（3）063之间的行程，用单个码字即终止码表示；之间的行程，用单个码字即终止码表示；n（4）大于）大于63的游长用一个形成码和一个终止码组合的游长用一个形成码和一个终止码组合表示。形成码表示实际行程对表示。形成码表示实际行程对64的倍数；的倍数；n（5）G3能达到能达到15：1的压缩比；的压缩比；n（6）G4采用二维行程编码，压缩比比采用二维行程编码，压缩比比G3提高提高30。29May, 2007数字图像压缩编码处理数

33、字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n1）基本思想）基本思想n2）预测误差的熵编码）预测误差的熵编码n3）DPCM预测编码预测编码n4）最佳线性预测）最佳线性预测n5）有失真预测编码）有失真预测编码n6）最佳量化）最佳量化30May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr.

34、 Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n1）基本思想）基本思想n图像相邻像素间存在很强的相关性，通过观察其相邻图像相邻像素间存在很强的相关性，通过观察其相邻像素取值，可以预测一个像素的大概情况。像素取值，可以预测一个像素的大概情况。n预测值和实际值存在误差，称为预测误差。预测值和实际值存在误差，称为预测误差。n预测误差的方差必然比原图像像素的方差小，因此对预测误差的方差必然比原图像像素的方差小，因此对预测误差进行

35、编码必然压缩其平均码长。预测误差进行编码必然压缩其平均码长。n对预测误差进行编码的技术称为对预测误差进行编码的技术称为DPCM（差分脉冲编差分脉冲编码调制）。码调制）。请结合熵的定义请结合熵的定义思考这个结论思考这个结论31May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n2）预测误差的熵编码）预测误差的熵编码

36、n对比一幅图像和其差分图像的标准差和对比一幅图像和其差分图像的标准差和1阶熵。阶熵。n从从Lenna和和Bob的差分图像的直方图看：的差分图像的直方图看： 不同图像的差分图像直方图分布形态大致相同，只不同图像的差分图像直方图分布形态大致相同，只是方差有所不同。是方差有所不同。25520log47.94,7.456.94,4iiiHp Dp DLennaHLennaH 图象的标准差 差分图象的标准差 .5632May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, A

37、I Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术33May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术34May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJU

38、Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n3）DPCM预测编码预测编码n预测器的阶数预测器的阶数 对当前像素进行预测的像素集合中的像素个数，称为预测器对当前像素进行预测的像素集合中的像素个数，称为预测器的阶数。的阶数。 理论上预测器的阶数越大越好，当阶数大于理论上预测器的阶数越大越好，当阶数大于3时其性能的改时其性能的改变非常有限。变非常有限。n预测器的系数预测器的系数 如一个如一个3阶预测器中，各像素的权重

39、称为预测器的系数。其阶预测器中，各像素的权重称为预测器的系数。其既可以固定不变，也可以变化。既可以固定不变，也可以变化。1230.750.750.75nnnnnxxxxx如何预测如何预测? ?35May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n最常用的一阶最常用的一阶DPCM编码器编码器

40、在实际中最常用的是一阶在实际中最常用的是一阶DPCM编码器，此时有唯一的一个编码器，此时有唯一的一个预测系数预测系数1。前一象前一象素素当前象素当前象素预测误差预测误差预测误差预测误差前一象前一象素素当前象素当前象素36May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n为实现无失真编码，通常对差分图像进行熵编码

41、（通为实现无失真编码，通常对差分图像进行熵编码（通常是常是Huffman编码）；编码）；n预测误差熵编码的步骤：建立码表和编码。通常采用预测误差熵编码的步骤：建立码表和编码。通常采用一个通用码表，节省建立专用码表时间，由此带来压一个通用码表，节省建立专用码表时间，由此带来压缩比损失较小；缩比损失较小；n编码：若对差分图像所有灰度建立码表，则项数较多。编码：若对差分图像所有灰度建立码表，则项数较多。通常对通常对1616采用采用Huffman编码，其他直接用编码，其他直接用前缀实际灰度值。前缀实际灰度值。37May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI

42、 Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n4）最佳线性预测）最佳线性预测n目的：寻找使预测器的某种误差函数为最小的线性预目的：寻找使预测器的某种误差函数为最小的线性预测器；测器；n准则：均方预测误差最小化。准则：均方预测误差最小化。212010,0,00,10,1,001,01,11,1,11,01,11,1120NNNNiiiNNNiNiiiii jijNNNNNNNNNExxExc xE

43、xxE xxc xcRE x xRRRRcRRRRcRRRc 1,1N NR38May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n采用同一扫描行中前几个像素值进行预测，称为一维采用同一扫描行中前几个像素值进行预测，称为一维预测；预测；n采用同一行或前几行像素值进行预测，称为二维预测；采用同一行或前几行像素值进行

44、预测，称为二维预测；n采用前几行和前几帧像素值进行预测，称为三维预测。采用前几行和前几帧像素值进行预测，称为三维预测。39May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n5）有失真预测编码）有失真预测编码n由于预测误差的方差远比像素取样值小，因此需要对由于预测误差的方差远比像素取样值小，因此需要对预测误差重新

45、量化。预测误差重新量化。量化器编码器信道预测器解码器预测器输入输出+-+XYZ40May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n由于量化器存在量化误差，因此带量化器的由于量化器存在量化误差，因此带量化器的DPCM系系统是有失真预测编码。统是有失真预测编码。 1:2:;3:4:NNNNNNNNNNNNNNNN

46、NNNNNNNStepXNXXStepeXXqeeStepXXeStepXXXXeXXeeeq输入是第 个象素的灰度值， 是的预测值；误差信号，量化误差接收端输出为；接收端复原的象素值与发送端的原象素值的误差为41May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n6）最佳量化）最佳量化n由于预测误差满足拉普拉思

47、分布，在量化比特数由于预测误差满足拉普拉思分布，在量化比特数b确确定情况下，根据量化误差的均方值最小原则设计。定情况下，根据量化误差的均方值最小原则设计。（参见（参见CH2），），从而使判决电平和量化电平满足于从而使判决电平和量化电平满足于n其中量化比特数其中量化比特数b确定取决于信噪比。确定取决于信噪比。 11012iididiiiiieep e dedeede其中 是判决电平， 是量化电平。42May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab

48、, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU4 预测压缩技术预测压缩技术n自适应量化：将图像分割为图像方块，按各自标准差自适应量化：将图像分割为图像方块，按各自标准差进行量化。但需要将各块的方差编码发送给接收端。进行量化。但需要将各块的方差编码发送给接收端。n另一种方法：将图像方块方差大小分为另一种方法：将图像方块方差大小分为4类：平坦区类：平坦区域，纹理区域，缓变区域和陡峭区域。每一类方块采域，纹理区域，缓变区域和陡峭区域。每一类方块采用不同的量化器。用不同的量化器。 43May, 2007数字图像压缩编码处理数字图像压缩编码

49、处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU5 变换压缩技术变换压缩技术n1）基本概念）基本概念n将在空域上描述的图像，经过某种变换（通常采用傅将在空域上描述的图像，经过某种变换（通常采用傅立叶变换，沃尔什变换等），在某种变换域里进行描立叶变换，沃尔什变换等），在某种变换域里进行描述。述。n在变换域里，首先降低了图像的相关性；其次通过某在变换域里，首先降低了图像的相关性；其次通过某种图像

50、处理（如频域的二维滤波）以及熵编码，则可种图像处理（如频域的二维滤波）以及熵编码，则可进一步压缩图像的编码比特率。进一步压缩图像的编码比特率。44May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU5 变换压缩技术变换压缩技术n2）变换压缩原理框图）变换压缩原理框图变换量化编码器解码器逆变换信道输入输出GAAUUG:GGUUAA输入数字图象逆

51、变换后的复原图象二维正交变换二维正交逆变换变换域中的变换系数量化后的变换系数45May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU5 变换压缩技术变换压缩技术n3）常用图像变换技术讨论）常用图像变换技术讨论n傅立叶变换和余弦变换傅立叶变换和余弦变换n傅立叶变换及频谱移中后，其能量集中在中心附近。傅立叶变换及频谱移中后，其能量集中在中心附近。

52、中心数据又称为直流分量，代表全图数值的算术平均中心数据又称为直流分量，代表全图数值的算术平均值。值。n其编码误差来源有：变换系数经过量化器而引起的量其编码误差来源有：变换系数经过量化器而引起的量化误差。常使高频分量为化误差。常使高频分量为0，导致图像模糊。，导致图像模糊。46May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU6 静止图像编码

53、国际标准静止图像编码国际标准JPEGn1）JPEG基本系统基本系统n2）FDCT和和IDCTn3）量化与反量化量化与反量化n4）对量化系数的处理和组织）对量化系数的处理和组织n5）熵编码）熵编码n6）应用举例）应用举例47May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU6 静止图像编码国际标准静止图像编码国际标准JPEGn1）JPEG基本

54、系统基本系统n以以8*8的图像块为基本单位进行编码；的图像块为基本单位进行编码；n将将RGB转换为亮度转换为亮度-色调色调-饱和度系统，并重新采样；饱和度系统，并重新采样；图象分割FDCT量化系数编码量化表码表图象拼接IDCT反量化系数解码量化表码表色彩转换和重采样48May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU6 静止图像编码国际标

55、准静止图像编码国际标准JPEGnYIQ（NTSC制）与制）与YUV（PAL制）制） Y：指颜色的明视度、亮度、灰度值；指颜色的明视度、亮度、灰度值；I或或U：指色指色调；调；Q或或V：指饱和度。指饱和度。 Y=0.299R+0.587G+0.114B I=0.596R-0.247G-0.322B Q=0.211R-0.523G+0.312B U=0.148R-0.289G+0.473B V=0.615R-0.515G-0.1B49May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr.

56、Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU6 静止图像编码国际标准静止图像编码国际标准JPEGn思想：人对亮度比对色彩敏感，在光线不足的情况下，思想：人对亮度比对色彩敏感，在光线不足的情况下，所观察物体都是黑白的。因此可以对色调和饱和度做所观察物体都是黑白的。因此可以对色调和饱和度做粗略处理。粗略处理。n方法：对方法：对8*8图像块矩阵，图像块矩阵，Y成分数据不变，成分数据不变，U每每2*2个数据求平均，个数据求平均，V每每2*1个数据求平均。称为个数据求平均。称为YUV421系统。系统。n除此

57、除此,还有还有YUV422, 411, 420等系统等系统.50May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU6 静止图像编码国际标准静止图像编码国际标准JPEGn2）FDCT与与IDCTn思想：人眼对低频数据比对高频数据敏感。思想：人眼对低频数据比对高频数据敏感。n根据根据8*8的二维的二维DCT定义定义 7700770021211,

58、coscos4161621211,coscos416161021xyuvxuyvF u vC u C vf x yuxvyf x yF u v C u C vwC w其中当其他51May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU6 静止图像编码国际标准静止图像编码国际标准JPEGn称称F（0,0）为直流系数，其他为交流系数。为直流系数，其

59、他为交流系数。nJPEG标准不规定标准不规定FDCT和和IDCT的算法。的算法。52May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU6 静止图像编码国际标准静止图像编码国际标准JPEGn3）量化与反量化）量化与反量化n思想：将每个思想：将每个DCT系数除以各自量化步长并四舍五入系数除以各自量化步长并四舍五入后取整，得到量化系数。后取整，得

60、到量化系数。nJPEG系统分别规定了亮度分量和色度分量的量化表，系统分别规定了亮度分量和色度分量的量化表，显然色度分量相应的量化步长比亮度分量大。显然色度分量相应的量化步长比亮度分量大。 ,0.5,F u vF u vINTS u vF u vF u v S u v53May, 2007数字图像压缩编码处理数字图像压缩编码处理Dr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJUDr. Gao Yang, AI Lab, NJU6 静止图像编码国际标