（通信与信息系统专业论文）基于jpeg2000的率失真优化截取vlsi设计.pdf

摘要 静止图像压缩标准j p e g 2 0 0 0 采用离散小波变换( d w d 和优化截断嵌入式块编 码( e b c o t ) ，在编码效率和复原图像质量上均优于其他传统算法。 本文主要研究适用于航天领域的j p e g 2 0 0 0 编码算法中记部分的率失真优化截 取算法的设计和高效v l s i 硬件实现。按照j p e g 2 0 0 0 图像压缩系统对图像分辨率、 压缩比、截取层数有无r o i 和可靠性等要求，本文在已有研究的基础上，提出了一 种适应于硬件实现的快速奇异点剔除算法，可达到最优性能。基于该算法设计并 实现了完整的率失真优化截取v l s i 架构。该架构对关键逻辑和状态控制电路采用 三模冗余和e d a c 方法进行保护，使其具有一定的抗单粒子翻转能力；采用单帧独 立的设计，保证系统在某帧图像处理出错情况下能在下一帧恢复正常。本文对该 架构在f p g a 系统上进行了验证，实验结果表明该模块在性能、复杂度和可靠性上 均可满足设计指标要求。 关键词：图像压缩j p e g 2 0 0 0 率失真优化截取v l s i 可靠性 a b s t r a c t t h en e x tg e n e r a t i o ns t a t i ci m a g ec o m p r e s s i n gs t a n d a r dj p e g 2 0 0 0e m p l o y st h e d i s c r e t ew a v e l e tt r a n s f o r m ( d w da n dt h ee m b e d d e db l o c kc o d i n g 、) l ，i t l lo p t i m i z e d t r u n c a t i o n ( e b c o t ) ，r e c e i v i n gab e t t e rc o d i n ge f f i c i e n c ya n dr e c o n s t r u c t i o nq u a l i t y t h a no t h e rt r a d i t i o n a la l g o r i t h m s w em a i n l yr e s e a r c hi n t ot h ed e s i g na n dh i 曲e f f e c t i v ev l s ii m p l e m e n t a t i o no ft h e r a t e - d i s t o r t i o no p t i m i z e dt r u n c a t i o na l g o r i t h mo ft h et 2 p a r ti nj p e g 2 0 0 0 a c c o r d i n g t ot h er e q u i r e m e n t so fi m a g er e s o l u t i o n , c o m p r e s s i o nr a t e ，n u m b e ro ft r u n c a t i o nl a y e r s ， h a v i n gr o io rn o ta n dt h er e l i a b i l i t yo fj p e g 2 0 0 0 ，w ep r o p o s eaf a s ts i n g u l a rp o i n t e l i m i n a t i o nm e t h o ds u i t a b l et oh a r d w a r ei m p l e m e n t a t i o n , w h i c hi sa b l et oa c h i e v et h e b e s tp 砷o n n a n c e w ed e s i g na n di m p l e m e n t e dt h e e n t i r er a t e d i s t o r t i o no p t i m i z e d t r u n c a t i o nv l s ia r c h i t e c t u r e i nt h es y s t e m , t h ek e yl o g i ca n ds t a t ec o n t r o lc i r c u i ta r e p r o t e c t e dv i at r i p l em o d u l a rr e d u n d a n c y ( t m r ) a n de d a cm e t h o da n dt h e r e f o r e h a v ec e r t a i na b i l i t yt or e s i s tt h es i n g l ee v e n tu p s e t ( s e l l ) ；ar a n d o me r r o ri no n ef r a m e w i l lb er e c o v e r e di nt h en e x tf r a m eb yu s i n gaf r r m ei n d e p e n d e n td e s i g n w ev e r i f i e d t h ea r c h i t e c t u r eo nf p g aa n di tt u r n e do u tt h a tt h i sm o d u l ei sa b l et om e e tt h e r e q u i r e m e n ti nq u a l i t y , c o m p l e x i t ya n dr e l i a b i l i t y k e y w o r d ：i m a g ec o m p r e s s i o n j p e g 2 0 0 0 r a t e - d i s t o r t i o no p t i m i z e dt r u n c a t i o nv l s i r e f i a b i f i t y 第一章绪论 第一章绪论 1 1 引言 随着空间科学技术的飞速发展，遥感影像的时间、空间和光谱分辨率不断提高， 尺度不断扩大，新型航天遥感器及未来的地球资源探测平台所获取的数据量呈爆 炸式增长，需要从空间传输到地面站的数据量越来越大，在某些应用场合中，原 始数据甚至超出了空间链路带宽的承受能力。这种高比特率、大容量的要求，使 得有限的信道带宽和数据存储容量与传输大量遥感数据之间的矛盾日益突出，已 成为卫星图像通信中所面i 临的一个关键问题。因而，对遥感图像的高效图像数据 压缩具有重要的科学研究和现实应用价值。 1 2 图像压缩技术发展及成果 图像压缩是数字压缩技术在数字图像方面中的应用，是指在满足一定质量的 前提下，对原始图像数据进行处理，使用较少的数据表示原始图像中所包含的信 息的技术。图像压缩属于信源编码的范畴。虽然数字图像需要占用大量的存储单 元，但图像数据是高度相关的，即数字图像信息中存在大量的冗余信息，主要包 括空间冗余、时间冗余、视觉冗余、信息熵冗余、结构冗余和知识冗余i l 】等。因为 图像冗余信息的存在，为图像压缩的可行性提供了技术前提。 按照在压缩过程中信息损失的情况，图像压缩可以分为无损压缩和有损压缩； 若以图像的光学特征分，有单色、彩色、多光谱图像的压缩编码；以灰度等级分， 有二值图、多值图与灰度图像编码；若以动静来分，有静止图像编码与序列图像 编码之分，后者也称视频编码或活动图像编码；按所用方法的原理分类，可以分 为基于图像统计特性、基于人眼视觉特性和基于特征提取等方法。 1 9 4 8 年，s h a n n o n 和他的两个学生o l i v e r 与p i e r c e 联合发表了对电视信号进 行脉冲编码调制( p c m ) 的论文，标志着数字图像压缩编码技术的开端【2 】。图像编 码技术的研究一直循着两条主线索在不断展开【3 1 ，一是对图像信源特性的不断认 识；二是对人类视觉系统特性的不断认识。对两方面的不断深入研究，都推动着 图像编码技术的进步。迄今为止，图像压缩编码技术大致经历了三个阶段： 首先是5 0 年代到7 0 年代的图像编码的初期，主要是基于s h a n n o n 信息论的 熵编码技术。熵编码基于信息的统计概率模型，是一种无失真编码技术，编码效 率受图像信源的熵限制。熵编码中，具有代表性的方法有h u f f m a n 编码、游长编 码、算术编码和l e m p e l z i v 字典编码等。随着对图像本身特性研究的开展，人们 2 基于j p e g 2 0 0 0 的率失真优化截取v l s i 设计 不再受到无失真编码的限制，编码方案转变为如何将重构图像的误差限定在人眼 可接受的范围内，使得这一阶段后期的编码方法在压缩效率上又比熵编码有了较 大的提高。 其次是7 0 年代到8 0 年代的图像编码中期阶段，这一阶段以去除图像的视觉 冗余为主要目标，强调编码不应仅利用图像信源的统计相关性，而且要利用图像 内部的几何特征、自相似性和方向性等多种自然属性和规律，强调在充分考虑人 类视觉系统特性的基础上，针对图像视觉信息进行有效编码。1 9 8 5 年，瑞士学者 m k u n t 提出“第二代图像编码技术”的概念【4 】。这一阶段所倡导的充分利用人的主 观视觉特性及图像自身所固有的各种特性来提高编码效率的思想对整个编码领域 产生了深远的影响，成为中期阶段的一个重要标志。中期阶段的另一个重要成果 就是混合编码，其研究的直接成果就是腰e g 图像压缩国际标准的诞生【5 】。 8 0 年代末至今是图像发展的当前阶段。这一阶段，小波理论、分形几何理论、 神经网络理论和计算机视觉理论等大量崭新的数学理论成果被引入图像编码领 域。作为数学和工程应用等学科共同研究的结晶，小波变换在信号分析、图像处 理、地震勘探、量子物理和非线性科学等诸多领域得到了广泛应用。小波变换理 论为各种信号及图像处理方法提供了一种统一的分析框架，成为当前信号与图像 处理等众多领域的研究热点。 总而言之，图像编码技术仍在成长和完善过程中，我们相信，通过各国学者 的共同努力，会取得越来越多的研究成果，图像编码所展示的美好前景也必将吸 引着越来越多的研究人员投入。 1 3 图像压缩标准 j p e g ( j o i n tp h o t o g r a p h i ce x p e c tg r o u p ，联合图像专家组) 网是由c c i t t ( c o n s u l t a t i v ec o m m i t t e eo fi n t e r n a t i o n a lt e l e g r a p ha n dt e l e p h o n e ，国际电报电话咨 询委员会) 和i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ，国际标准化组织) 两个组织组建的联合图像专家小组。该组织开发出的具有连续色调、多级灰度和 静态图像特点的数字图像压缩编码方法，被确定为j p e g 国际标准。 1 3 1j j f e g j p e g 图像压缩标准是1 9 9 1 年建立并通过的，可以实现图像的有损和无损压 缩，它是第一个是用于连续色调静止图像的压缩算法，不仅适用于静止图像压缩， 也适用于电视图像序列的阵内图像压缩。 第一章绪论3 1 3 2j 1 p e g l s j p e g - l s 即j p e g 的无损近无损图像压缩标准。它于1 9 9 8 年正式公布，用以 取代j p e g 连续色调静止图像无损压缩模式。j p e g - l s 算法简单，不需要外部存储 器，易于硬件实现。在低倍压缩下，与j p e g 2 0 0 0 相比，有较好的性能。 1 3 3 卵e ( 挖0 0 0 j p e g 2 0 0 0 作为最新的静止图像压缩标准，其目标是在统一的集成系统中，允 许使用不同的图像模型对具有不同特征、不同类型的静止图像进行压缩。在低比 特率的情况下，j p e g 2 0 0 0 压缩算法能获得比目前其他标准更好的率失真性能和主 观图像质量。 1 4 本文的研究内容 本文所做的工作包括两部分：第一部分主要是研究了j p e g 2 0 0 0 算法砣中优 化截取部分的理论知识，提出了一种适合于硬件实现的率失真斜率计算和奇异点。 剔除方法；第二部分设计并实现了完整的率失真优化截取硬件系统，并最终应用 于基于j p e g 2 0 0 0 的高效压缩芯片系统中。 论文由五个章节组成： 第一章：绪论 首先简要回顾了图像压缩编码技术的历史、现状与发展趋势，并对静止图像的 几种压缩标准作了相应的介绍，给出了本文的研究内容。 第二章：j p e g 2 0 0 0 静止图像压缩系统概述 对最新的国际标准j p e g 2 0 0 0 编码系统的框架结构及其核心算法做了简要介 绍。 第三章：1 2 编码器率失真优化截取理论 介绍了亿编码器的大致组成，对率失真优化截取部分的理论进行了详尽的分 析，同另一种适应于硬件实现的剔除当前奇异点方法进行了分析比较，最后提出 了一种适应于硬件实现的快速率失真斜率计算和奇异点剔除方法。 第四章：率失真优化截取硬件实现 首先给出了优化截取部分的硬件组成，对各个模块的组成和功能及实现方法进 行了介绍，并对保护措施进行了说明，最后对系统进行了性能测试和平台验证。 第五章：结束语 为整个论文的总结，在简要回顾论文工作的基础上，提出了作者未来研究方向 的设想。 4 基于j p e g 2 0 0 0 的率失真优化截取v l s i 设计 第二章j p e g 2 0 0 0 静止图像压缩系统概述5 第二章j p e g 2 0 0 0 静止图像压缩系统概述 2 1 引言 图像作为信息含量最丰富的载体，是构造信息环境必不可少的要素。它在现代 通信技术中所承担的作用已远远超过其它媒体，但图像的数据量非常大，为了有 效地传输和存储图像，必须对图像数据进行有效压缩。图像压缩不仅要减少存储 量和带宽限制，而且还要满足对压缩数据进行编辑、处理等特殊需要。随着多媒 体技术的广泛应用，图像压缩界呼唤一种新的国际标准的出现，以满足用户对更 高压缩效率和对压缩图像的互动性和伸缩性的要求，j p e g 2 0 0 0 就是在这种背景下 应运而生的。j p e g 2 0 0 0 t t l 是最新的静止图像压缩国际标准，它的正式名称为： i s 0 1 5 4 4 4 。该标准是由联合图像专家组于1 9 9 7 年开始征集提案，把它作为现存 j - p e g 标准的一个更新换代标准。它的目标是进一步改进目前压缩算法的性能，以 适应窄带宽、高噪声的环境，以及医疗凸显、电子图书馆、传真、i n t e m e t 网上服 务和实时监控等方面的应用。相对于j p e g 来说，j p e g 2 0 0 0 标准提供了一套新的 特征，这些特征对于一些新产品和应用是非常重要的。它把j p e g 的四种模式( 顺 序模式，渐进模式，无损模式和分层模式) 集成在一个标准之中。在编码端以最 佳的压缩质量( 包括无失真压缩) 和最大的图像分辨率压缩图像，在解码端可以 从码流中以任意的图像质量和分辨率解压图像。j e p g 2 0 0 0 应用的领域包括互联网、 彩色传真、打印、扫描、数字摄像、遥感、移动通信、医疗图像和电子商务等等【8 j 。 2 2j p e g 2 0 0 0 标准的提出 近2 0 多年来，随着多媒体技术的发展，出现了各种各样的静止图像压缩技术， 其中最成功的当推j p e g 标准。j p e g 标准是由i s o i e c 联合技术委员会下属工作 组：联合图像专家组( j p e g ，j o i n t p h o t o g r a p h i ce x p e r t sg r o u p ) 制定的。通过比较 了一系列压缩算法后，j p e g 成员在1 9 8 8 年选择了以离散余弦变换d c t 为核心的 编码方法。从1 9 8 8 年到1 9 9 0 年，j p e g 成员继续对算法进行仿真、测试和证明。 j p e g 在1 9 9 1 年成为国际标准草案，1 9 9 2 年成为国际标准。由于j p e g 优良的特 质，j p e g 标准曾在网络上有广泛的应用。 然而，随着多媒体和网络技术的发展和应用，j p e g 已不能满足当前市场和实 际应用的要求。于是从1 9 9 7 年5 月开始，国际上为制定一种静止图像压缩的新标 准j p e g 2 0 0 0 提出各种建议。j t c ( 联合技术委员会) 希望这个新的图像压缩 系统能够适用于不同类型的静止图像( 如灰度图像、彩色图像、多分量图像) 以 及具有不同特征的静止图像( 如自然图像、合成图像、医学图像、遥感图像等) ， 6基于j p e g 2 0 0 0 的率失真优化截取v l s i 架构研究 并且在不同应用场合( 如客户服务器模式、实时传输、数字图像检索等) 获得比j p e g 更好的压缩性能，这种编码系统能在低比特率压缩时提供良好的率失真特性和主 观视觉质量，以及其它很多优点和功能。i s o ( 国际标准组织) m c ( 1 雪际电工协会) 的j t c l s c 2 9 ( 附属委员会) w g i ( 工作组1 ) 进行了标准化工作并整理了此标准， 并于2 0 0 0 年8 月推出了国际标准的最后草案，这个草案从2 0 0 0 年1 1 月起正式 成为国际标准i s o ( 1 5 4 4 4 1 ) 1 9 。从此，更高压缩率以及具有更多功能的新一代静态 图像压缩技术j p e g 2 0 0 0 就诞生了。 j p e g 2 0 0 0 是j p e g 的升级版，不仅在压缩性能方面明显优于j p e g ，它还具有 很多j p e g 无法提供或无法有效提供的新功能。比如，同时支持有损和无损压缩、 大幅图像的压缩、渐进传输、感兴趣区域编码、良好的鲁棒性、码流随机访问等。 j p e g 2 0 0 0 的所有这些特点，使得它的应用领域非常广泛，尤其在i n t e m e t 传输、 无线通信、医疗图像等领域具有非常诱人的应用前景。 2 3j p e g 2 0 0 0 标准的特点 正p g 2 0 0 0 图像压缩标准，其目标是在一个统一的集成系统中，允许使用不同 的图像压缩模型( 如客户服务器、实时传输、图像库驱动、有限缓冲和带宽资源 等) ，对具有不同特征( 如自然图像、计算机图形、医疗图像、遥感图像以及复合 文本等) 的不同类型( 如二值、灰度、彩色或者多分量图像) 的静止图像进行压 缩，在低比特率的情况下，获得比目前其它标准更好的率失真性能和主观图像质 量。j p e g 2 0 0 0 具有以下主要特点【1 0 1 1 1 】f 1 2 】： ( 1 ) 良好的低比特率压缩性能 这是j p e g 2 0 0 0 最主要的特征。j p e g 2 0 0 0 在低比特率下有良好的率失真性能， 以适应网络、移动通信等有限带宽的应用需要。 ( 2 ) 同时支持无损压缩和有损压缩 在j p e g 2 0 0 0 系统中，通过选择参数，能够对图像进行有损和无损两种压缩， 可满足图像质量很高的医学图像、图像库等方面的处理需要。 ( 3 ) 连续色调和二值图像压缩 j p e g 2 0 0 0 在同一系统中采用翔实的方法，能够对自然图像、复合文本、医学 图像、计算机图形等具有不同特征、不同类型的图像进行压缩。 ( 4 ) 多种渐进传输 j p e g 2 0 0 0 格式的图像支持渐进传输( p r o g r e s s i v et r a n s m i s s i o n ) ，提供了多种 可选的渐进传输模式：例如，支持基于图像质量的传输模式，即首先传输图像轮 廓数据，然后再逐步传输其它数据，来不断提高图像的质量，直到满足用户要求 为止；另外还支持按图像分辨率、按图像分量等多种传输模式。渐进式图像传输 第二章j p e g 2 0 0 0 静止图像压缩系统概述 7 允许图像按照所需的分辨率或像素精度进行重构，用户根据需要，对图像传输进 行控制，在获得所需的图像分辨率或质量要求后，便可终止解码，而不必接收整 个图像压缩码流。 ( 5 ) 感兴趣区域编码 在实际应用中，用户可能需要图像中的某些特定区域能以较其它部分更高的质 量进行编码、解码，或者在图像显示过程中对这些区域实行优先显示，j p e g 2 0 0 0 通过提供一种称为感兴趣区域( r e s i g no f i n t e r e s t ，r o d 编码的功能来满足客户的 这种要求。 ( 6 ) 强的抗误码特性 j p e g 2 0 0 0 系统采用了小波变换、基于位平面熵编码和算术编码等图像压缩算 法，将图像进行分块单独编码处理，使块内错误不会扩展到其它块中，增加了容 错性，并通过设计适当的码流格式，来减少因解码失败造成的损失。 ( 7 ) 固定速率、固定大小、有限的存储空间 由于处理的图像越来越大，这给硬件以及带宽资源和存储空间有限的应用提出 了问题。j p e g 2 0 0 0 使用分块技术，对每个小块进行处理，来解决这类问题。 ( 8 ) 开放的框架结构 为了在不同的图像类型和引用领域优化编码系统，提供一个开放的框架结构是。 必须的。在这种开放的结构中，编码器只实现核心的处理算法和码流解析。如果 需要，编码器可以要求数据源发送未知的处理算法。 除了上述主要特点外，j p e g 2 0 0 0 还对图像安全保护、图像交换等方面做了考 虑。 2 4j p e g 2 0 0 0 系统框架 j p e g 2 0 0 0 改变了传统j p e g 标准以d c t 变换为核心的变换方法，采用了具有 能量特性更为集中的小波变换方法。j p e g 2 0 0 0 中核心算法为采用率失真优化截取 的内嵌块编码算法e b c o t 1 3 】。e b c o t 算法分为两部分：t l 和配。t 1 由内嵌比 特平面编码和m q 算术编码组成；而t 2 部分完成码率控制和码流组织。在e b c o t 算法中，各小波子带划分为更小的码块( 如3 2 x 3 2 ) ，各码块( c o d e b l o c k ) 独立 地进行比特平面编码( t 1 ) 。不同的码块产生的比特流长度是不相同的，它们对恢 复图像质量的贡献也不同。因此对于所有码块产生的比特流，他部分采用了率失 真优化技术进行后压缩处理( p c r d ：p o s tc o m p r e s s i o nr a t ed i s t o r t i o n ) ，即对各码 块的码流，按对恢复图像质量的贡献分层，完成码流的率控制和组织，因此率失 真优化是卵e ( 讫0 0 0 的关键算法之一。 j p e g 2 0 0 0 的基本系统结构如图2 1 所示。按照t a u b m a n 的分析同时根据 8 基于j p e g 2 0 0 0 的率失真优化截取v l s i 架构研究 j p e g 2 0 0 0 标准，j p e g 2 0 0 0 可以分为三个关键步骤【1 4 】：先是小波变换，把图像分 解为空间频域子带；然后把每个子带分为较小的块，独立编码成为嵌入式比特流； 最后，嵌入式比特流被包装成分层码流。这三部分，简单来说就可以分为d w t 、 e b c o t 第一层编码( t i e r - 1 ) 和第二层编码( t i e r - 2 ) 三个模块。 ； e b c o t 蓄藿 三三三 _ 匪蚕至 _ - 1 e 三三) - 二蚕薹茎茎蔓 卜 二野码流 ；t1t 2； 图2 1j p e g 2 0 0 0 的基本结构框图 2 4 1 预处理 在进行离散小波变换之前，可以对图像进行“分块 处理。“分块 是指将大 图像分割成互不重叠的矩形块，矩形块的尺寸不受限制，其上界直至整幅图像。 把每一块看作一幅完全独立的图像，以“块 为单位独立进行编码。这种分割有 两种作用：( 1 ) 以t i l e 为基本单位独立编码，可以降低图像压缩时的内存需求；( 2 ) 可在图像特定位置截取出具有特定宽高比的重构子图。 j p e g 2 0 0 0 要对图像的无符号分量进行d c 电平位移。如果无符号图像分量用 p 位二进制数表示，则对这些无符号分量样本值减去2 p 1 。进行d c 电平位移的目 的是在解码时，能够从有符号的数值中正确恢复重构的无符号样本值。 对于彩色图像或多分量图像，在小波变换之前还必须逐点进行分量变换。分量 变换可以采取不可逆分量变换( i c t ) 或可逆分量变换( r c t ) ，不可逆分量变换把图像 数据从r g b 空间变换到y c b c r 空间，适于有损压缩；而可逆分量变换把图像 数据从r g b 空间变换到空间，适于无损压缩。 2 4 2 小波变换 离散小波变换( d w t ) 可以是不可逆的，也可以是可逆的。不可逆d w t 采用浮 点( 9 ，7 ) d x 波变换，适于有损压缩或近无损压缩；可逆d w t 采用整数( 5 ，3 ) d x 波 变换，适于图像的无损压缩。小波计算可以采用传统的卷积运算或者采用构造第 二代小波的提升算法。提升结构的主要优点是有利于硬件实现，且能进行快速原 位运算，不需要额外的存储空间，此外可逆整数提升小波还能实现图像的无损压 缩。 如前面提到的，每个t i l e 可能由多个分量构成，每个分量称为t i l e - c o m p o n e n t 。 以t i l e - c o m p o n e n t 为单位，进行二维离散小波分解。分解的目的是将能量大部分集 中到低频子带，而高频子带的广大区域可以出现很多0 或者绝对值很小的变换系 数，这样便于后面的量化和e b c o t 编码器进行编码压缩。二维离散小波变换通 第二章j p e g 2 0 0 0 静止图像压缩系统概述 9 过两个一维离散小波变换来实现，即先进行行变换，再对行变换的结果进行列变 换。经过一级二维离散小波变换，就形成了l l l ，l h l ，h l l ，h h l 四个子带( 见图 2 2 ) ，然后再对l l i 进行第二级二维离散小波变换，又形成l l 2 ，l h 2 ，h l 2 ，h h 2 四个子带( 见图2 2 ) ，可以继续对l l 2 子带进行同样的二维离散小波变换，分解 的级数视需要而定。本文中的j p e g 2 0 0 0 系统采用4 级小波变换。 2 4 3 量化 图2 22 级小波分解后的子带结构 在j p e g 2 0 0 0 编码系统中，每个f i l e - c o m p o n e n t 经过n 级小波分解后，得到3 n + 1 个子带。每个子带的小波系数反映了图像不同领域的特征，因此对每个子带可以 采用不同的量化步长进行量化，量化后的小波系数，用符号和幅度值来表示。量 化使得系数的精度降低。 2 4 4 编码 j p e g 2 0 0 0 中的熵编码采用了e b c o t t l 5 】( e m b e d d e db l o c kc o d i i l g 谢t t i o p t i m i z a t i o nt r u n c a t i o n ) 算法和m q 算术编码。其中其核心算法是e b c o t ( 比特 流优化截取的内嵌块编码) 。e b c o t 是一种基于码块和位平面的嵌入式编码算法， 它是由澳大利亚科学家t a u b m a n 在1 9 9 8 年提出，后来经过优化成为j p e g 2 0 0 0 标 准p a r t - 1 的核心熵编码算法。其中：e m b e d d e d ( 嵌入卜硝e b c o t 得到的码流支 持嵌入，这种码流在解码过程的任意时刻均可停止解码，并且得到截取处对应码 率的恢复图像。b l o c k ( 块卜qe b c o t 中图像被分为很多非常小的块，块是独 立压缩编码的主体。e b c o t 算法主要包括两个部分e l 1 编码部分和t i e r 2 率 失真优化和码流组织部分。其中，t i e rl 实际上一个基于内容模型的算术编码器； t i e r 2 是对t i e rl 编码生成的压缩码流按照率失真要求进行编码控制，并组织生成 原始压缩码流。在做e b c o t 编码时，各小波子带划分为更小的码块，以码块 ( c o d e - b l o c k ) 为单位独立作编码。e b c o t 算法采用了内嵌块部分比特平面编码和率 1 0 基于j p e g 2 0 0 0 的率失真优化截取v l s i 架构研究 失真后压缩技术，对内嵌比特平面编码产生的码流按贡献分层，以获得分辨率渐 进特性和s n r 渐进特性。在比特平面编码时，不同的码块产生的比特流长度是不 相同的，它们对恢复图像质量的贡献也是不同的。利用率失真最优原则对每一码 块产生的码流按照对恢复图像质量的贡献进行分层截取，最后按逐层、逐块的顺 序输出码流。通过e b c o t 编码不仅能实现对图像的有效压缩，同时产生的码流还 具有分辨率可伸缩性、质量( 信噪比) 可伸缩性、随机访问和处理等非常好的特性。 第一层编码嵌入式 块的嵌入码流 第二层编码块对每只 压缩后图像 块编码对象：块中两层贡献编码对象： 量化索引块码流的统计数据 图2 3e b c o t 两层编码结构 o p t i m i z e dt r u n c a t i o n ( 优化截取) 前面所述的嵌入性主要由可截取点来实 现。可截取点是在编码时就为解码预留的截取点，如果解码在这些点终止，得到 的码流是当前情况下图像的一个最佳表示。优化截取就是针对可截取点的，它包 括两层意思：( 1 ) e b c o t 提供更多的可截取点，使得解码的预定停止时刻有了更 多选择；( 2 ) e b c o t 提供了对这些截取点进行优化的过程，从而使得解码在这些 点停止所取得的结果一定是当前空间限制下图像最好质量的再现。 e b c o t 的编码思想如下： ( 1 ) 通过对每块独立优化来补偿未利用块间数据冗余而造成的损失，获得较高 的压缩性能； ( 2 ) 通过将位平面再细分为“片段化位平面 获得更多的可截取点，并对这些 截取点进行优化，达到更好的可嵌入性； ( 3 ) 通过专门的“第二层编码”组织相互独立的块码流，从而提供了功能上的 丰富性。 2 5 本章小结 本章对最新静止图像标准j p e g 2 0 0 0 提出进行了介绍，作为j p e g 标准的升级 版，对j p e g 2 0 0 0 压缩算法的特点和优势进行了详细介绍，并着重对j p e g 2 0 0 0 压 缩算法的系统框架进行了说明。 第三章t 2 编码器率失真优化截取理论 第三章t 2 编码器率失真优化截取理论 3 1 引言 在实际应用中，有很多时候需要同一压缩码流提供几幅具有不同恢复质量的 图像，即实现渐进图像压缩，这就需要码流具有渐进性。码流渐进性是指允许对 码流的部分子集进行解码，然后针对这部分的解码结果恢复图像。渐进性的显著 优点是提供了良好的抗误码性能以及实现图像的渐进传输和显示。p e g 2 0 0 0 最重 要的渐进特性分为s n r ( 信噪比) 渐进性和空间分辨率渐进性。码流具有分辨率 渐进性是指码流中包含明显的子集局，表示每个连续的分辨率级别l ，由于e b c o t 是按码块独立编码的，因此按码块的位置顺序输出码流，即可实现分辨率渐进性。 而s n r 渐进性是指码流中包含明显的子集色，使得u ：_ 。& 表示图像数据在某个 图像质量( s n r ) 下的级别q 。s n r 渐进性是通过率失真优化截取( t 2 ) 处理实现的。 若码流包含b ，。，则称码流同时具有分辨率渐进性和s n r 渐进性。渐进图像压缩 的优点是在压缩编码时不需要知道目标码率和重构分辨率，也就是说图像不必为 了得到不同码率或分辨率而压缩多次，同一码流即可提供不同码率和分辨率的解 码。 基于率失真斜率优化的嵌套式编码器按照率失真斜率递减的顺序来编码。编 解码可在任意点被终止，实现目标码率仅仅只是在确定的点裁减码流，实现精确 的码率控制，并可在低码率的条件下很好的重建图像。率失真斜率较大的符号先 编码，较小的符号后编码，这样每编码一位，都有最大的失真减少，并且系统的 编解码路径完全一致。图像能量主要集中在低频子带，高频子带所占的能量很少， 且不同分辨率，不同高频子带中的分布非常相似，接近g a m m a 或l a p l a c i a n 分布。 在对图像压缩编码过程中我们需要对输出的压缩码流进行控制，一方面是要 满足用户给定的压缩率，更重要的是在用户要求码率条件下能在解码端获得最佳 的重构图像质量。这种对压缩编码过程中进行控制的算法我们称之为编码速率控 制算法，简称码率控制。j p e g 2 0 0 0 采用的码率控制算法称为后压缩率失真优化算 法( p c r d - o p t ，p o s t - c o m p r e s s i o nr a t e - d i s t o r t i o no p t i m i z a t i o n ) ，之所以称为后压缩 是因为截断点的选择是在每一个编码块编码完成之后进行。 本章介绍了率失真优化截取的具体理论，并着重对斜率剔除算法进行了分析。 对剔除当前奇异点的斜率算法以及奇异点完全剔除的斜率算法进行了比较，提出 了适合于硬件实现的快速奇异点完全剔除斜率算法，并在此基础上实现了感兴趣 区域编码。 1 2 基于j p e g 2 0 0 0 的率失真优化截取v l s i 架构研究 图3 1 率失真优化截取结构 3 2 率失真优化截取基本原理 t 1 部分采用了独立码块的编码方式，在组成最终码流时需要率失真算法决定 每个码块的贡献。独立码块编码的优点之一是每个编码块的嵌入位流可根据其内 容的重要性被独立地截断。率失真优化算法在j - p e g 2 0 0 0 标准中并没有明确规定， 因为解码端不必知道它的存在与否。t 1 部分产生的内嵌比特流可以按任何顺序和 长度进行传输，但利用率失真优化截取算法可以获得最优的压缩性能。 在限定码率为r 的情况下，对于每个码块e ，设定截取点为，产生的内嵌 比特流的码率截止到r ，则图像的总码率1 6 1 1 刀为 r ：y 肘 ( 3 1 ) +_一 l 对于率失真算法，假设码块e 的系数在重建图像中产生的失真为d ，因为只 有在码块的失真量度具有可加性才有意义，所以假设码块系数的失真测度是加性 的，对于最终重建图像的失真度d ，应该满足式( 3 2 ) d ：y 钟 ( 3 2 ) j i 通常，失真用加权均方差( m s e ) 表示。即： 研= 嵋( 霉 m ，n - s 。 m ，刀】) 2 ( 3 - 3 ) 册，一e 局 其中霉【朋，刀】为恢复的系数值，6 f 为e 所在的子带，。为包的l 2 范数。如果 小波变换是正交的，均方误差和加权均方误差( 如视觉加权m s e ) 都是满足加性 的。如果每个系数的量化误差是不相关的，则不管小波是否正交的，其均方误差 也是加性的。在实际编码中，这两种条件并不要求完全满足，双正交小波变换只 是近似正交的，而且量化误差也是近似不相关的，但这种近似已经足够在实际采 用这种加性失真模型。 3 2 1 率失真优化算法 他部分率失真优化的基本概念如图3 2 所示。图中，实线所示为优化前的率 失真曲线，虚线所示为优化后率失真曲线。这两种编码顺序都可以使得编码器在 目标码率为时，达到目标失真。但是如实线所示的编码顺序，符号是按进 入编码器的顺序被编码的，虽然在最终的目标码率时，达到了目标失真，但是并 第三章1 r 2 编码器率失真优化截取理论1 3 不能使得每编码一个符号，都可以达到最大的失真减少量。而虚线所示的编码顺 序，不但考虑了最终码率的失真问题，同时也考虑了每一符号被编码时的失真问 题，编码是按照率失真斜率( r a t ed i s t o r t i o ns l o p e ) 递减的顺序开始的。即具有最陡 率失真斜率的符号先编码，每编码一个符号，都能得到最大的失真减小量。从图 中可以看出，当保留全部数据时，失真为0 ，即属于无损的状态；当发生截断时( 图 中圆点位置) ，可以看出，相同码率下率失真优化后的失真小。因此，为使相同码 率下失真最小，优化的效果应当将斜率大的线段调整到前端，即保证率失真曲线 为一条单调下降的曲线。率失真优化算法的基本思想就是优先输出率失真斜率最 大的码流【瑚。 ( d “，r d ) 图3 2 率失真优化曲线 率失真优化截取的目标是在满足条件r k 下，寻找一个适合的截取点集 ) ，使得重建图像的总失真d 最小。这种受限的优化问题的解决方案就是著名 的拉格朗日算子方法( l a g r a n g em u l t i p l i e r s ) 0 9 1 。该问题等同为式( 3 - 4 ) 最小。 似+ 埘) ( 3 - 4 ) f 调整a 直到出现满足尺r 嗌的最小的截断点组。当然，不一定能够找到一个 确定的a 使实际码率与目标码率完全相等。在这种情况下，虽然没有简单的算法可 以产生普遍适用的最优截断点组，但可以找到对某个特定九使式( 3 - 4 ) 最小的一 组截断点，使之在对应码率下产生的失真最小。这组截断点被称为与a 对应的 最优截断点组。因为a 越大，对应的最优截断点组一，产生的码率越大。所以可以确 定，满足r r 一条件的最大a 值对应的最优截断点组可以产生与目标码率最为接 近的码率。实际上，通常可以找到一组截断点使r 非常接近k ( 误差通常在1 0 0 字节内) ，因此不需要进一步的优化。 1 4基于j p e g 2 0 0 0 的率失真优化截取v l s i 架构研究 对于忸尹+ 埘) 的最小问题，可以归结为每个块独立的优化问题。即对于 j 码块e ，找到截取点，使得伍，+ 加夕) 最小。简单的查找算法如下： 令n j = 0 ( 即没有比特流) 对于k = 1 , 2 ，3 ， 诗算邋= 趟一醚i ，纽：= 砷一醚 若a o a r 扩1 ，则珥= k 由于这个算法要对不同的a 进行多次执行，应当首先剔除一些奇异点，选出一 些候选截取点n i ，使其率失真斜率霹= 叫欲? 随着k 严格单调递减，即率失真 曲线为严格的凹函数。如图3 3 所示，确定候选截取点算法【2 0 】如下： d 图3 3 候选截取点 1 ) 令n i = 1 1 ，即所有p a s s 的截止点； 2 ) 令p = 0 3 ) 对于k = l ，2 ，3 ，4 ， 若k 属于n i 计算& 砖= r ：一r ? ，& d ：= d ? 一d ：，s ：= d ： 衅 若p 0 且霹 s r ，则从n i 剔出p 并返回( 2 ) 否则，令p = k 一旦这些信息预先计算出来，对任意允的优化的任务是简单地f l ：n ，等于n i 中 的最大k 值，使得霹 - 1 。很明显，a 可以解释一个质量参数，因为较大的九值 对应较少的截断码流，它的倒数可以作为率失真斜率门限。 3 2 2 截取点的选择和质量分层 当所有码块编码完成后，使用同一个九可以迅速确定一组 r l 。) 和当前总码率 第三章t 2 编码器率失真优化截取理论 1 5 r ，如图3 4 所示。通常采用二分法调整斜率门限扩1 ，使r 接近目标码率k 。 实验表明经过3 0 次左右的迭代调整，即可以达到很高的精度。 d 1 r 3 图3 4 截取点选择 在进行质量分层时，设给定最终码率，质量层数为q ，则可以令各质量 层q 的目标码率为参，七= l ，2 q ，然后通过率失真优化原则选择码块忍在q 层的截取点矿，图3 5 所示为各码块根据率失真优化算法进行质量分层的示意图。 最后按逐层、逐块的顺序输出码流，从而获得分辨率渐进特性和s n r 渐进特性。 图3 5 码块的比特流按贡献分层 3 3 率失真截取算法实现 对t 1 编码结束后得到的各码块码流，首先要对各码块的率失真值剔除奇异点， 以保证斜率是单调递减的；其次就是根据单调递减的斜率值对各码块进行码流截 取，这样可以确保按照码流对恢复图像质量的贡献大小进行截取。其框图如下： 5 4 3 2 l r r r r r e e e e e y y y y y a a a a a 1 6 基于j p e g 2 0 0 0 的率失真优化截取v l s i 架构研究 it l m 冯卜| 觯计纂耨点h 燃取卜 t 2 率失真优化截取 3 3 1 斜率的快速计算方法 图3 6t 2 率失真优化截取框图 对于失真减少量掣以及比特流字节增加量衅，可知率失真斜率为【2 1 】吲： 掣= 掣衅 ( 3 5 ) 斜率在选择优化截取点时仅进行比较运算，也就是说斜率的真实值并不重要， 重要的是斜率和斜率之间的大小关系。为了避免硬件实现时产生浮点除法运算以 及浮点表示，采用整数化的斜率估计值来表示斜率之间的大小关系【2 3 1 。对式( 3 5 ) 两边取以2 为底的对数。 l 0 9 2 ( 霹) = l 0 9 2 ( a d t ) - l 0 9 2 ( 掣) ( 3 - 6 ) 式( 3 6 ) 虽然避免了浮点除法运算，但运算结果还要进行整型化处理。为了 便于实现率失真优化截取，整型化后的对数斜率应当大于等于零且具有足够的精 度。令斜率估计值掣为 ( 掣) = a o 0 9 2 ( a u t ) 一l 0 9 2 ( 卅) ) + 尼 ( 3 7 ) 式( 3 7 ) 中常数a 保障斜率估计值之间的比较精度，而鼠则是为了保障斜率 掣0 。 对于口l o g ：o ) 的形式，可以通过查找表实现。令 x = 2 ( 1 + j l l ) ( 3 8 ) 式( 3 8 ) 中：g 指数，p 尾数