（通信与信息系统专业论文）ebcot中t2编码器的vlsi设计.pdf

摘要 j p e g 2 0 0 0 图像压缩标准，相对于其他压缩算法而畜具有更好的压缩效率，同 时支持信噪毙渐进、感兴趣区域编码等功麓。因此，广泛应用于互联网、彩色拷 贝、打印、扫描、医学图像及移动图像通信等领域。 j p e g 2 0 0 0 改变了传统j p e g 标准以d c t 变换为核心的变换方法，采用了具有 能量特性更为集中的小波变换方法以及率失真优化截取的内嵌码块编码算法 e b c o t 。e b c o t 算法包括譬l 和程两部分，其中t 量完成比特平面编码和算术编 码，他完成优化截取和码流组织，t 2 虽然不涉及很复杂的算法，但是硬件编码效 率不高，很高的内部存储需求和复杂度，都是制约j p e g 2 0 0 0 硬件实现的主要问题。 本文详细研究了e b c o t 算法中t 2 部分，根据硬件的特点，设计了一种易于 硬件实现的码流组织结构，并用v e r i l o gh d l 语言实现，同时在i s e9 1 环境下完 成了逻辑可综合的码流组织系统。实现的码流组织系统，在时钟为3 0 m h z 时，支 持输入为1 0 2 4 x 1 0 2 4 x 1 6 b i t 图像的4 层编码输出，并在戳l i n xv i r t e x - 4f p g a 平 台上经过验证，输出结果与软件编码结果相比较是正确的。该系统最终被应用于 基于胍g 2 0 0 0 的高效压缩芯片系统中。 关键调：j 班g 2 0 0 0e b c 饼码漉组织f p g a a b s t r a c t j p e g 2 0 0 0 ，an e w l yp r o p o s e di m a g ec o m p r e s s i o ns t a n d a r d ，h a sab e t t e r c o m p r e s s i o np e r f o r m a n c ec o m p a r e dw i 凌j p e ga n do t h e rc o m p r e s s i o nm e t h o d s 。a n d s u p p o r t sm o r ef u n c t i o n s t h e r e f o r e ，i ti sa p p l i c a b l ei n w i d er a n g e sl i k ei n t e r n e t a p p l i c a t i o n s ，c o l o r f u lc o p y ，p r i n t ，s c a n ，m e d i c a li m a g e ，i m a g et r a n s m i s s i o na n ds oo n j p e g 2 0 0 0c h a n g e st h ed c tt r a n s f o r mm e t h o dw h i c ht h et r a d i t i o n a lj p e g s t a n d a r dt a k e sa st h ec o r e a p p r o a c h a n da d o p t e dw a v e l e tt r a n s f o r mw i mm o r e c o n c e n t r a t e de n e r g yi n s t e a d ，a n de m b e d d e db l o c kc o d i n ga l g o r i t h mw i t ho p t i m i z e d t r u n c a t i o n ( e b c o t ) t h ee b c o ta l g o r i t h mc o n s i s t so ft 1a n dt 2 t 1i si nc h a r g eo f t h eb i t p l a n ec o d i n ga n dm qa r i t h m e t i cc o d i n g ，a n dt 2i si nc h a r g eo ft h ep o s t c o m p r e s s i o nr a t ed i s t o r t i o n ( p c r d ) a n dc o d e s t r e a mo r d e r i n g a l t h o u g hn oc o m p l e x a l g o r i t h mi si n v o l v e di nt 2p a r t ，t h ec o d i n ge f f i c i e n c ya n dh i g hi n t e r n a ls t o r a g ea l et h e b o t t l e n e c k so fh a r d w a r ei m p l e m e n t a t i o no fj p e g 2 0 0 0 a f t e ris t u d yt h ec o d e s t r e a mo r d e r i n gi nt 2 e n c o d i n go f t h ee b c o t a l g o r i t h m , a n f e a s i b l ea r c h i t e c t u r ei sd e s i g n e da n di m p l e m e n t e di nv e r i l o gh d l l a n g u a g e ，a n df i n a l l y ac o d es t r e a mo r d e r i n gs y s t e mi so b t a i n e du n d e rt h ei s e9 1e n v i r o n m e n t t h i ss y s t e m s u p p o r t s1 0 2 4 x 1 0 2 4 x 1 6 b i ti m a g ei n p u tw i 斑4l a y e r se n c o d eo u t p 瓯w h i c hi sv e r i f i e d o nt h ex i l i n xv i r t e x - 4b o a r d ，a n dt h er e s u l ti sp r o v e dt ob er i g h ta c c o r d i n gt ot h er e s u l t o fs o f t w a r e k e y w o r d ：j p e g 2 0 0 0 e b c o tc o d e s t r e a mo r d e r i n gf p g a 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其它人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志所做的任何 贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：型翌造日期：垒皇堑2 目生旦 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印、或其它复制手段保存论文。( 保密的 论文在解密后遵守此规定) 本人签名： 导师签名： 日期：旦室垒! 目! 生旦 e l j l t l ：1 3 红! 蛩! ! 璺 第一章绪论 第一章绪论 l 。1 引言 随着新型传感技术的发展【2 0 】，遥感影像的时间、空间和光谱分辨率不断提高， 掰型航天遥感器( 成像光谱仪和合成孔径雷达等) 及未来的地球资源探测平台所获 取的数据量越来越大。高分辨率星载遥感数据的原始数据率达到数g b i t s 。遥感数 据量日益庞大，使得有限的信道带宽和数据存储容量与传输大量遥感数据之间的 矛盾日益突出。 蓦前，国内外的一些卫星不同程度的采用了图像压缩技术。法圈s p o t l 至 s p o t 4 均采用全色图像1 3 3 d p c m 数据噩缩技术；p h o b o s 计划中采用固定长度编 码的d c t 算法，实现了压缩比为4 、8 、1 2 倍的离线软件压缩；c l e m e n t i n e 月球探 测器采用d c t 压缩编码器，在4 m p i x e l s 的速率下压缩比的范围达到4 2 0 ；s p o t 5 翌星采用了基于d c t 的j p e g 算法，压缩比为2 8 1 ；i k o n o s 2 采用a d p c m 压缩， 厩缩比4 2 3 。但针对后继星3 s 2 开展的数据压缩方法的研究表明算法很难满足压 缩比大于4 的要求。j p e g 2 0 0 0 由于其复杂性，目前在卫星上要达到2 0 m p i x e l s s 速率的压缩还磁较困难。 新一代图像压缩算法j p e g 2 0 0 0 己被指定为下一代图像压缩标准。和目前广泛 使用的j p e g 压缩标准相比，算法采用了更加先进的算法，使其在性能和功能上都 有明显改进。如高压缩率下像质的提升、同时支持无损压缩( l o s s y ) 簿l 有损压缩 ( l o s s l e s s ) 、随机码流访问( r a n d o ma c c e s st ot h eb i t s t r e a m ) 、渐进传输( p r o g r e s s i v e t r a n s m i s s i o n ) 、感兴趣区域厩缩( r e g i o no fi n t e r e s t ) 、动态影像支持( m o t i o nj p e g 2 0 0 0 ) 等。研究j p e g 2 0 0 0 算法的实现，尤其是硬件实现，对实时图像处理系统很有必要。 e b c o t 体隽j p e g 2 0 0 0 标准的编码算法，其运行效率决定羞整个系统酶性能。 e b c o t 包括t l 和t 2 两部分，配部分的码流组织模块，在支持多层编码的时候， 需要有合理的存储结构和任务分配，才能在硬件实现时，节省内部存储并达到编 码效率最优，因此，从硬件焦度考虑、研究码流组织部分的结构，具有重要意义。 1 2 图像压缩编码方法发展概况 匿像压缩编码技术属于数据压缩的一拳申h 8 1 ，就是在保证图像质量的前提下， 用尽可能少的比特数来表示数字图像中所包含信息的技术，它属于“信源编码”范 畴。图像信息之所以能够压缩，在于原始图像中存在着大量的信息冗余，如时问 e b c o tt 2 编码器的v l s i 设计 冗余、空问冗余、信息熵冗余、谱间冗余、几何结构冗余、视觉冗余和知识冗余 等等。 根据不同的分类标准可以将图像编码分为不同的种类，如根据图像的光学特 征，可分为灰度( 二值、多值) 、彩色和多光谱图像的压缩。根据图像信源的运动方 式，可分为静止匦像和活动图像压缩两大类本文主要研究前者) 。从信息、保持的 角度看，又可分为无损编码和有损编码两大类，前者要求原始图像可以从压缩数 据中准确无失真地恢复，而后者允许重构图像与原始图像之间存在一定的差别。 图像编码技术是沿着两条主线索在不断发展，一是对图像信源特性的不断认 识；二是对入类视觉系统特性的不断认识。它大致经历了以下三个阶段： 早期阶段的研究( 5 0 - 7 0 年代) 图像编码的发展起始于基于s h a n n o n 信息论的熵编码理论，该理论表明信源 无失真编码酶下限是信源熵( 信源的平均信息量) 。这类编码技术的压缩效率有限， 压缩比徘徊在1 5 3 之间，其代表方法包括h u f f m a n 编码、游长编码、算术编码和 l e m p e l z i v 字典编码。 随后，人们发现图像巾撩邻像素之间存在着很强的相关性，去除这种冗余无 疑会大大简化图像的数据表示，在此基础上提出了以差分脉码调制( d p c m ) 为代表 的各种预测编码方法和各种内插编码方法。因此，早期阶段发展起来的大多数编 码方法都是针对去除图像内部的统计相关性来达到压缩图像的目的。 隧着对匿像本身特性磺究的开震，人们发现图像数据在数值上发生细微变化 时，人眼并不会察觉。基于这一点，人们摆脱了无失真编码的限制，开始寻求各 种限失真编码的方案，编码方案的设计目标从如何精确恢复原始图像数据转变为 如何将重构图像的误差限定在入眼可接受的范围之内。进一步地，结合允许纲微 差异的量化方案，使得在这一阶段后期的编码方法的压缩效率比熵编码又有了较 大的提高，大致达到1 0 ：1 。 中期阶段的发展( 7 0 - 8 0 年代) 1 9 8 5 年，瑞士学者m k u n t 提出“第二代图像编码技术”的概念。区别予去除图 像统计冗余的早期编码方法，第二代图像编码技术以去除图像的视觉冗余为主要 目标，强调编码不仅应充分利用图像信源的局部和全局的统计相关性，而且要利 用图像内部的足何特征、盎裰似性和方向性等多种巍然属性和规律，同时强调对 于图像不荐简单地作为客观信源来看待，而在充分考虑入类视觉系统特性( h v s ) 的基础上，针对图像视觉信息进行有效编码。在这一阶段，引起广泛关注的编码 方案包括基于方向性滤波的编码、基于图像纹理轮廓的编码和区域基编码。尽管 第二代图像编码技术最终未能进入实用，僵它所倡导的充分利用入的主观视觉特 性及图像自身所固有的务种特性来提高编码效率的思想却对整个编码领域产生了 深远的影响，并成为中期阶段的一个重要标志。 第一章绪论 3 中期阶段的另一个重要成果就是混合编码的出现和发展。经过几十年的研究 和探索，人们逐渐认识到单纯通过一种编码技术很难去除图像存在的多种相关性， 而将多种编码技术有机地结合起来形成一种最佳组合能够得到对图像数据的更大 程度的压缩。混合编码研究的一个直接成果就是j p e g 图像压缩国际标准的诞生， 它融离散余弦变换( d c t ) 、d p c m 、视觉加权标量量化和熵编码于一身，达到了很 高的性能指标。j p e g 标准的出现，成为数字图像编码技术发展的一座里程碑，许 多方法都以它作为评价自身性能优劣的参考，因此有人称之为“图像编码四十年研 究成果的结晶”。对于混合编码研究的另一个成果是，许多早期的编码技术如方块 截断编码、预测编码等又有了新的用武之地，拓宽了其应用领域。需要指出的是， 上述有损编码中的信息损失( 误差) 是在量化阶段产生的，因此，如何设计最优性能 的量化器一直是各个阶段的重要研究课题。1 9 5 9 年，s h a n n o n 在率失真理论中论 述了矢量量化( v q ) 的性能总是优于标量量化( s q ) ，当编码长度趋于无穷的情况下， 比特率和失真之间的关系可达到率失真界，v q 编码技术就是这一论断的技术实 现。早期研究多围绕s q 最优量化区间的划分和最优量化值的求解进行探索，七十 年代后期出现的l b g 算法极大地推进了矢量量化研究的进展，包括对失真测度的 探讨、码树设计、各种矢量量化系统的研究、快速搜索算法等等，它对于中期阶 段的混合编码及新数学工具的引入都具有重要的意义。 在这一阶段还出现了以视觉的空间频率特性为出发点的子带图像编码技术， 它具有多分辨率和渐进传输的特点，对后期小波编码技术的发展有着直接的影响。 当前阶段的进展( 8 0 年代至今) 这一阶段的编码技术又可称为现代图像编码技术，区别于经典图像编码技术， 其最大特点是引入了新的数学工具和理论。从8 0 年代末到9 0 年代中期，大量崭 新的数学理论成果被引入图像编码领域，为图像编码技术的发展注入了巨大活力。 这些数学工具是：小波理论、分形几何理论、神经网络理论和计算机视觉理论。 小波理论在9 0 年代受到众多领域科技工作者的高度重视。作为数学和工程应 用等学科共同研究的结晶，小波变换在信号分析、图像处理、地震勘探、量子物 理和非线性科学等诸多领域得到广泛应用。小波理论为各种信号及图像处理方法 提供了一种统一的分析框架，成为当前信号与图像处理等众多领域的研究热点。 在图像编码领域，由于具有描述非平稳信号的独特优点，小波变换可将图像 信号分解成不同空间分辨率、不同频率特征和方向性特征的子图像信号，这便于 在失真编码中综合考虑人的视觉特性，同时也利于图像的逐渐浮现传输。另外， 它作用于图像的整体，在有效去除图像的全局相关性的同时，使量化误差分散到 整个图像中，避免了j p e g 方法带来的“马赛克”方块效应。所有的这些优势使得它 成为一种极有前途的编码方法，它所具备的高压缩潜力也正不断为各国学者的研 究成果所证实。近年来涌现出来的一些基于小波变换的压缩算法，结合特定的量 e b c o tt 2 编码器的v l s i 设计 化和编码方法，普遍能够在高压缩比下获得比j p e g 更为理想的压缩性能。其中较 为突出的是s h a p i r o 提出的内嵌零树( e z w ) 编磷方法和s a i d 与p e a r l m a n 提滋的基 于分层树集合分割( s p i h t ) 编码方法。当前最新提出的j p e g 2 0 0 0 标准中的e b c o t 方法能够取得更为优秀的压缩效果。 此外，随着年代中熬人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 研究的 兴起，许多学者开始尝试将a n n 引入图像压缩领域。后来出现的模型基编码的思 想是建立在计算机视觉、模式识别和形态学等多种理论的基础上。它突破了 s h a n n o n 的信息理论框架，通过对图像主体建立模型，用少量参数来表征整个图像， 是实现低比特率编码的有效方法，适合于一般的活动图像编码。 总之，图像编码技术发展到今天，使其具有更广泛的理论基础，吸收和继承 了前面阶段的成果，特别注重各种算法的相互渗透和补充，使此阶段的编码技术 达到了更高的性能。随着对图像僚源和人类视觉系统的深入理解，人们受魏 强调 编码质量的视觉无失真( v i s u a ll o s s l e s s ) 要求，侧重于图像的可理解性和视觉上的信 息无损，而不过分强调精确的数字表示。另外随着高速芯片的不断发展使图像编 码技术特别是原来难度较大的编码方法的硬件实现成为可熊，涌现出一大批符合 国际标准的编解码芯片。这将进一步促进图像通信的快速发展。 然而，这一阶段的编码技术仍在成长和完善过程中，一些先进的编码方法的 实用化更需要进一步的努力。 1 3 图像数据压缩标准的研究概况 为了在全世界范围内促进数据压缩技术的应用，自上个世纪8 0 年代初到本世 纪初，国际标准纯组织( i s o ) 、国际电工委员会( 毽c ) 和国际电信联n ( i t u ) 下属露国 际电报电话咨询委员会( c c r r d 陆续完成了一系列数据压缩与通信的建议和标准， 包括二值图像压缩编码标准b i g 、静止图像压缩编码标准j p e g 和j p e g 2 0 0 0 、序 列图像噩缩编码标准如h 。2 6 1 、h 2 6 3 、m p e g 。差及m p e g - i i ，m p e g - i v 。这些国 际标准的建立集中体现了图像编码五十年的研究成就，不仅极大地推动了数据压 缩技术的实用化、产业化，同时也在一定意义上刺激了信源理论研究的进一步拓 展，其郝分标准如表1 薹所示。 表1 1 图像压缩标准 图像编码国际建议和标准 标准名称( 对闻)瘟震领域特焘 采用维m h 和二维m r 编 c c i t t 4 ( 1 9 8 0 ，1 9 8 4 ，1 9 8 8 ) 三类传真机文件压缩 码 第一章绪论 6 c c i t rt 6 ( 1 9 9 2 ) 图类传真极文件压缩无噪声编码，采霜m m r 编码 采用d c t 块变换、窘适应量 j p e g 下8 1 i s o1 0 9 1 8 ( 1 9 9 1 ) 彩色或灰废静止图像压缩化、游长编码和熵编码：基于 d p c m 预测昀无灸真疆缀 二值和凝魔圈像讫特瑟) 和 无失真瓢缩，多分辨率结构蠢 尬i gt _ 8 2 a s oi1 5 4 4 ( 1 9 9 2 ) 自适应预测，压缩比高予t 4 传真文件艇缩 和t 6 ：遁虑累进压缩 数字基群传输会议 蓬像足寸舞c i f 蓑q c l f , p x c c 耀了h 2 6 1 ( 1 9 9 0 )6 4 k b i b s 速率，编秘方法为顿 电视和可视电话 问预测运动补偿十d c t 定义了l 帧，p 帧和b 帔进行 m a v e g - i 1 9 9 l 獠频、数字存德 预测默逶应蘧巍存裴辩罄求， 速率小予1 5 m b i t s 比特率扩大到6 0 m b i d s ，支持 m p e g - i t ( t 9 9 4 ) 视颧、h d t v 彝数字襻赭 i - i d t v 格式，势缀编鹈，分 辨率静裔曝眈可落 综合使用帧内、帧间和变换编 码，采照熏叠昀方块运渤睾 秘2 6 3 ( 1 9 9 6 ) 低跳特率税额簧辕 偿，圈像尺寸为c i f 或q c l f 等，速率 ，幽下式对其进行量化， 并得到量化值岛( 搿，引，在下式中舳是对应予系数所在子带的量化步长，丽s i g n ( ) 则是符号函数。 咖渤= s i g n 窃| 攀l ( 2 - 1 ) 当进行无损压缩时，对所有子带中的小波变换系数一律用步长曲= l 来进行量 优。当进行有损压缩时，在j p e g 2 0 0 0 标准中没有特别规定应该采用多大的量仡步 长a b ，但是给出了一些建议，比如a b - - 0 0 0 3 8 。 第二章j p e g 2 0 0 0 标准简介 2 4 蠢编码 j p e g 2 0 0 0 标准的核心编码算法是e b c o t ( e m b e d d e db l o c kc o d i n gw i t h o p t i m i z e dt r u n c a t i o n ) ，即优化截断的嵌入式块编码。通过它不仅能实现对图像的 有效压缩，同时产生的码流还具有分辨率可伸缩性、质遥( 信噪比) 可伸缩性、随机 访问和处理等非常好的特性。j p e g 2 0 0 0 将e b c o t 编码分为两级( t w ot i e r s ) ，第 一级为块编码( b l o c kc o d i n g ) ，即对应于本文中的位平酾编码和算术编码，而第二 级则对应于码流组织。 扶离散小波变换到量亿，图像的最小组织单元是予带( s u b b a n d ) ，现在，在子 带的基础上再将其划分为更小的组织单元，编码块( c o d e b l o c k ) ，其典型大小为 3 2 x 3 2 和6 4 x 6 4 ，在接下去的编码过程中都是针对编码块进行独立编码的，各个 编码块编码得到的结果将不会包含其它编码块的任何信息，这就为并行处理带来 了方便。 在位平面编码过程中，码块被分成若干位平面，编码是从非零的最高有效位 平面( m s b ) 开始，直到最低位平面( l s b ) ；更进一步，每个位平面又被分成3 个编 码通道即重要性传递通道( s p ：s i g n i f i c a n c ep r o p a g a t i o np a s s ) 、幅度提炼通道( m r p ： m a g n i t u d er e f i n e m e n tp a s s ) 幂t l 清除通道( c p ：c l e a n u pp a s s ) ，对这三个通道分别进行编 码。 第三章e b c o t 编码过程 第三章e b c o t 编码过程 3 1e b c o t 介绍 e b c o t 算法是建立在码块( c o d e b l o c k ) 篚j 基础上川【2 0 1 ，将每个子带分成若干块， 如3 2 3 2 或6 4 x 6 4 ，每个码块独立编码，利用内部的相关特性进行压缩，对于每 个码块再按质量进行分层，分成若干“块段”，各个块段之间就是“截断点”；选择一 些码块和码块中的一些码段，就可以支持多分辨率和质量的码流结构。e b c o t 算 法可以分为t 1 和t 2 两部分，t 1 负责数据的具体压缩，t 2 则负责码流组织。图 3 1 所示t 1 包括位平面编码、算术编码，而他则主要根据压缩后率失真最优化算 法( p c r d ：p o s t c o m p r e s s i o nr a t e d i s t o r t i o no p t i m i z a t i o n ) 实现的码流进行组织，并 完成最后的打包工作。 图3 1e b c o t 的组成框图 3 2e b c o t 的优点 j p e g 2 0 0 0 采用e b c o t 作为其编码模块是基于它的优良特性基础上的【2 】f s 】。 ( 1 ) 定质量解释：由于每个质量层可包含来自每个码块的任意贡献，质量的概 念容易适应面向特定应用的显著性量度。与e z w 和s p i h t 和其他嵌入式压缩算 法相比，当已知对应的空间区域或频带对某个应用并不重要时，e b c o t 允许截断 不需要的质量层数据。 ( 2 ) 灵活的结构：e b c o t 具有分辨率可伸缩性、失真可伸缩性( 只要采用多重 质量层) 和一定程度的空间可伸缩性。当压缩多重图像分量( 例如，彩色分量) 时， 这些分量构成了可伸缩性的第四维。j p e g 2 0 0 0 支持所有沿四维的渐进。 ( 3 ) 局部处理：独立编码允许对每个码块中的样本进行局部处理，这对硬件的 实现是有利的。独立编码引入高度并行实现的可能性，其中多个码块可以同时进 行编码和解码。对于大图像，组合流的空间定向渐进可与子带川、波变换的增量处 理共同使用，便于“流动( s t r e a m i n g ) ”。在这种情况下，只要把一个局部窗e l 放进组 1 6e b c o tt 2 编码器的v l s i 设计 含流、图像及其子带缓冲保存起来就足够了。这样，实现的存储蟹比正在压缩或 解压鹩图像小的多。这个性质考虑到了解压过程中图像的有效旋转翻翻转。 ( 4 ) 有效压缩：正如上面指出的，p c r d ( 压缩后率失真优化) 算法可以更多的 补偿由于施加独立块编码产生的效率损失。算法也能够适应空间变化和与图像有 关的失真度星。 ( 5 ) 抗误码( e r r o rr e s i l i e n c e ) ：在饪何块编码的位流中遇到的误差对其他块编码 没有影响。也即所有j p e g 2 0 0 0 的码流都是分辨率可分割的。 3 3 比特平面编码算法 比特平丽编码的任务就是生成数据的上下文信息5 】【7 1 ，以供熵编码使用。它以 码块为单位，扫描方式如图3 2 所示。在菜一比特平谣上，一列中碡个孝嚣邻的点组 成一个条带( s t r i p ) 。算法从第一个点( 左上角) 开始，依次扫描当前条带内的4 个点， 然后跳到右侧相邻条带，扫描到码块的右侧边界时，折回到左侧的下一条带。 c o n t e x tw i n d o w | 一：一l 孬j l 一一一一一 f l f f f f i j | | j j | j 7 rl l0，0t j 图3 2 码块的扫描方式 码块的每个吃特平面要经过3 道扫描。重要性传播过程( s i g n i f i c a n c e p r o p a g a t i o np a s s ) ，使用零编码z c 和符号编码s c 原语编码；幅度细化过程 ( m a g n i t u d er e f i n e m e n tc o d i n g ) ，使用m r c 原语编码；清理过程( c l e a rp a s s ) ，使 用游程编码r l c 和符号编码s c 原语编码。 很多情况下，子带的小波系数的高位比特平面如现全零的情况，编码从最高 蘑要比特平面m s b 开始可节约大量时问。每层比特平面按3 道扫描顺序处理完该 比特平面，然后再用同样的方法处理低一层的比特平甄，直到第0 比特平面处理 完成，表明该码块的比特乎面编码完成。 第i 章e b c o t 编码过程 3 4 算术编码 应用于数据压缩的编码技术很多，就方法而言主要有两类：基于统计和基于字 典。基于统计的方法就是基于s h a n n o n 定理的可变长的熵编码，主要包括香农一费 诺编码、行程编码( r l c ) 、霍夫曼( i - i u f f m a n ) 编码、g o l o m 编码、算术编码等。基于 字典的方法通常是定长编码，有l z w 编码等。 不同的数据源相应于不同的压缩编码方法。在图像压缩编码中，熵编码得到 了广泛的研究和使用。下面对几种常用的熵编码技术作概要的阐述。 ( 1 ) 行程编码。在一些待编码的信源序列中，某些符号经常连续出现，比如在 二进制传真图像中就会出现连续的0 或者连续的1 ，在经过变换编码和量化以后的 图像系数，也经常会出现连续的o 。在这样的情况下，就可以使用行程编码。 ( 2 ) h u f f m a n 编码。h u f f m a n 编码是一种形成前缀变长编码的方法。它根据信 源中每个符号的出现概率进行码字分配，出现概率较小的符号分配较长的码字， 出现概率较大的符号分配较短的码字。 ( 3 ) 算术编码。算术编码的基本思想是用区域划分来表示信源输出序列，信源 输出的任何一种组合，与i o ，1 ) 区间内的某一区域一一对应。用算术方法表示这一 区域为一个二进n d , 数。这个二进制小数是信源输出序列的一种编码，且它是唯 一可解码的。算术编码的编码过程与信源的概率模型是分离的。在实际中使用概 率估值表。详细的算术编码原理将在后续章节中介绍。 j p e g 2 0 0 0 图像压缩系统中，优化截断的嵌入式块编码( e b o c t ) 建立了算术编 码的概率模型。j p e g 2 0 0 0 中的算术编码器如图3 3 所示。e b c o t 成对给出了待编 码比特d 和上下文c x ( 被编码比特周围的数据) ，经算术编码器处理后得到压缩数 据c d 。在j p e g 2 0 0 0 中，上下文指d 周围8 个相邻比特的状态。这些状态被特定 的规则划分为1 9 类，称为1 9 种上下文。每种上下文都包含两部分内容，一部分 选择了对d 编码时使用的概率估计，另一部分决定了当前m p s 所代表的符号。这 两部分内容将在编码后被更新。在本文的设计中，c x 是上下文的标号，它确定使 用哪一种上下文。 d c d e n c o d e r ：x 图3 3 算术编码模块的输入输出 在j p e g 2 0 0 0 中，由于位建模过程对小波系数进行位平面展开，以系数位为单 位进行扫描，所以之后的无损压缩是二进制算术编码，即输入数据只有0 和1 。此 外，由于图像本身的特性，相邻像素之间，以及一个比特平面的相邻比特之间具 e b c o tt 2 编码器的v l s i 设计 有较强的相关性。因此，j p e g 2 0 0 0 使用上下文对符号概率进行预测，作为自适应 算术编码，对于同一个上下文，基于概率估值表来实现概率估值的自适应。 j p e g 2 0 0 0 中的算术编码器只对两个符号进行编码，递归间隔细分是它的基本思想。 算术编码器并不是把概率区间直接赋给输入符号0 或l ，而是赋给大概率符号( m p s ) 和小概率符号( l p s ) ，然后将这两个子区间在线段上排列，其中，m p s 对应的区 问排列在l p s 之上。假定概率问隔为a ，输出码流为c ，l p s 的概率估值为q e ， 那么算术编码器符号排列及间隔细分如图3 4 所示。为简单起见，将c 设为概率区 间a 的下边界。 a c 图3 4 概率区间划分 3 5 码流组织 j p e g 2 0 0 0 中的码率控制有两种实现方式【l ：一种是在t 1 里进行量化系数控 制，另一种是在t 2 里进行优化截断。在t 2 里优化截断的方法是一种在嵌入式编 码中出现的方法，可以提供最优的率失真性能。相对于采用d c t 的j p e g ，采用 d w t 的j p e g 2 0 0 0 通过t 2 编码可得到率失真最优的码率控制。这是j p e g 2 0 0 0 的 一个重要特点。但是，i 2 算法中的码率控制计算量很大，存储量需求尤其很高， 软硬件实现都比较困难。 t 2 编码的一个重要方面是它的码流装配方式。由于最终的码流来自各个块独 立产生的嵌入码流，而且不存在各独立块附加的空间组织，同时编码器每次只对 一个子带操作，码流装配被大大简化了。基本上，码流被组织成连续的层，每层 包含各块增加的比特( 可能为空) 。每层的块截断点在率失真意义上是最优的，也就 是说抛弃最不重要的一些层得到的码流总是率失真最优的。如果码流在其它点上 被截断，那它就不是严格意义上的最优，但偏差会比较小，如果层数很多的话。 当层数增加，每层的码字减少，同一层各块截断点率失真斜率将越来越相似。实 际上，对于信噪比渐进应用而言，最优的压缩是在层数为熵编码子比特平面数两 倍情况下。子比特平面操作边界也是每块的截断点。 第三章e b c o t 编码过程 1 9 j p e g 2 0 0 0 码流的基本结构见图3 5 。 矗- p a c k e t p a c k e t - 髻 专 青 三 青 专 宅 专 童 =兰 夏 盆 g 毒星 = 主 葛 毒 2 h 豳db o d yh e a d b 0 d y g 耋 = g 。 图3 5j p e g 2 0 0 0 码流的基本结构 设有a 个层，标记为k = l ，2 ，3 ，a 。每个层由多个分离的数据包组成，每个包 对应不同分辨率和颜色分量，每个分辨率级l e v e l - - o ，1 ，2 l 。每个数据包，以包头 ( h e a d ) 开始，后面是包体( b o d y ) 。包头包含相关子带内码块的所有概括信息，包括 块是否包含在层内的信息，每个块的截断点，每个块的码字数。而包体包含码字 本身。包头和包体都占据一组字节的位置，因此数据包总是字节对齐的。与码流 内高层的结构单元不同，包头和包体没有明确的纠错标记。包头包体的长度只能 通过一次一个字节地读取包头并解码来得到。 首先考虑单层单分量码流，l = c = i 。这种情况下，数据包k ：工按分辨率提高的 顺序排列。如图3 6 所示。 p a c k e t 砰。p a c k c t 砰 h e a d b o d y h e a d b o d y p a e k ak h e a db o d y 图3 6 单层单分量码流 这种情况下得到分辨率渐进但信噪比不可分割的码流。因为对每个分辨率级 的子带而言，都有独立的数据包，所以所有的j p e g 2 0 0 0 码流都是分辨率可分割的。 对彩色和其它多成分图像而言，每个颜色成分在给定的分辨率级有分离的数 据包。不同成分的数据包出现在同一分辨率级，按成分号升序排列。这样，对普 通彩色图像，有三个分量，数据包k k ：一，k ：3 同时出现。因为各个分量的数 据包分离，所以所有码流都是分量可分割的。 第四章码流组织的硬件实现 第四章码流组织的硬件实现 j p e g 2 0 0 0 改变了传统j p e g 标准以d c t 变换为核心的变换方法，采用了具有 能量特性更为集中的小波变换方法以及率失真优化截取的内嵌码块编码算法 e b c o t 。但是e b c o t 算法( t 1 ，t 2 编码器) 的执行时间和所需的存储量较大，硬 件实现难度较大，所以e b c o t 的硬件实现成为j p e g 2 0 0 0 硬件化的核心问题，尤 其是针对j p e g 2 0 0 0 的v l s i 实现时的硬件设计，更是目前研究的热点，为此不少 学者致力于e b c o t 硬件结构的研究。1 2 部分虽然不涉及很复杂的算法，但是硬 件编码效率不高，很高的内部存储需求和复杂度，都是制约j p e g 2 0 0 0 硬件实现的 主要问题。本文经过对e b c o t 中的t 2 部分认真分析和研究，设计并实现了一种 支持4 层编码的码流组织硬件系统，该系统应用于基于j p e g 2 0 0 0 的高效压缩芯片 系统中。 4 1t 2 编码器的实现流程 t 2 编码器实现流程如图4 1 所示，在t 1 编码器对每个码块编码时，根据码块 中每个p a s s 计算出的率和失真进行斜率计算，再将斜率和率放入片内存储器中。 t 1 编码完成后，码率截取模块从片内存储器中循环读入每个p a s s 斜率和率，根据 率控制信息完成对每个码块的截取，将最终截取点信息存入片内存储器中。包头 形成模块根据截取点信息完成一个包的包头信息，通知码流输出模块根据当前包 所包含的码块截取点信息将截取后的码流从存放m q 码流的片外存储器( 存放m q 编码器输出码流) 中读出，再由码流输出模块通知包头形成模块进行下一个包的包 头组织，直到完成全部的码流组织。 t l 编码结果 输出峭况 零平面编码和 优化截取码流组织 包含信息编码 图4 。lt 2 编码器硬件实现流程图 经过优化截取的比特流将按包( p a c k e t ) 的格式进行输出，相同分辨率相应位置 的码块比特流将形成一个包。每个包由包头和实际比特流组成，其中包头信息包 括五个部分： 1 零长度包信，i 芑, ( z e r ol e n g t hi n f o r m a t i o n ) 2 码块包含信息( c o d eb l o c ki n c l u s i o ni n f o r m a t i o n ) 3 零比特平面信息( z e r ob i tp l a n ei n f o r m a t i o n ) 4 新扫描块数信息( n u m b e ro fn e wc o d i n gp a s s e s ) e b c o tt 2 编码器的v l s i 设计 5 被包含码块长度信息( 1 e n g t ho ft h ec o m p r e s s e di m a g ed a t af r o mg i v e nc o d e b l o c k ) 这些信息的编码采用不定长编码，起到了有效的压缩码流的作用。 4 2t 2 编码器的硬件结构 e b c o t 作为j p e g 2 0 0 0 标准的核心算法，其运行效率决定着整个系统的性能。 在实时性有要求的应用中，多采用v l s i 结构的硬件实现，由于本文中设计的系统 最终要做成芯片，因此在完成系统功能的同时，还要考虑结构的优化，从而减少 内部存储器容量，提高系统工作频率。本文重点研究了t 2 编码器中的码流组织部 分，整个t 2 编码器的系统结构见图4 2 。 图4 2e b c o t 编码器硬件结构框图 在t 1 部分，内嵌比特平面编码和算术编码( m q ) 在对一幅图像进行编码以后， 把在编码过程中生成的码流存储到片外s r a m 中，并把截取相关的信息交给后面 的优化截取模块。在截取完成以后，并行进行零平面编码和包含信息编码，码流 组织部分进行包头比特填充的中间结果都存在片内r a m 中，需要存储的中间结果 有：包含信息，包含信息编码结果，零平面编码结果，码块在各层的码流截取长 度( 1 e n g t h _ i ) 并l l 截取的编码通道数( p a s s _ i ) ( 本系统设计最大支持4 层，因此有4 组) 。 在这里零平面编码、包含信息编码与码流组织是独立进行的，并没有做到同一个 模块中流水进行，因为这样在进行码流组织时，需要的编码结果直接读取即可， 使码流组织可以连贯的进行，而不需要等待零平面编码和包含信息编码结果，经 过权衡，这样效率更高。虽然这样会使用掉若干片内b r a m 资源，但是换来的是 码流组织部分复杂度的降低以及码流输出效率的提高。 第四章码流组织的硬件实现 整个e b c o t 的时序关系见图4 3 。 网4 3e b c o t 系统时序关系图 4 2 。lt l 中算术编码( m q ) 码流的存储 前端算术编码采用自适应二进制算术编码器，输出的m q 码流存储在片外 s r a m 中，s r a m 宽度为3 2 位，宽度选为3 2 是因为算术编码器在有高速码流输 出时，仍能够在接口上用较少的时钟来完成存储，这样一来只需要使震一般的 s r a m 即可实现，而不需要使用控制复杂的高速存储设备。 4 2 2t 2 中的中间信息存储结构 优化截取模块生成包含信息，以及各层截取的码流截取长度( 1 e n g t h _ i ) 幂1 1 截取 的编码通道数( p a s s _ i ) 。共进行了4 层截取，分别需要用4 组片内r a m 来存储结 果，每一组r a m 按照索引i 分别存放第i 层截取的码流截取长度和截取的编码通 道数。在后端进行码流组织时，按照层的索孳| 和码块的索雩| 就可以方便的获取需 要的码流截取长度和截取的编码通道数。 在进行包含信息的t a g t r e e 编码时，如果节点在当前层包含的话，输出一个1 比特，如果不包含，刘输出一个0 比特，使得包含信息的t a g t r e e 编码结采会分布 在不同层的包头里，这样就需要用两个r a m 来存放结果，一个存放t a g t r e e 包含 信息编码的码流，一个用来存放编码结果中分别有多少个比特贡献给相应层。 在进行零平面编码时，如果该码块在该层首次包含时，就进行该码块零比特 平瑟的编码，并将编码结果输出到该包的包头中，因此只需要一个r a m 来存放它 的编码结果。在进行码流组织时，直接读取结果进行拼接即可。 4 3 1 码