（信号与信息处理专业论文）jpeg2000中位平面编码的vlsi设计与软核实现.pdf

山东大学学位论文 中文摘要 j p e g 2 0 0 0 是新一代图像视频编码标准，它采用了两种新的算法：离散小 波变换( d w t ) 和优化截断的嵌入式块编码( e b c o t ) 。这两种算法的采用使得 j p e g 2 0 0 0 具有比以前标准根多优秀的特性，但同时这两种算法也具有比较高的 复杂度，使得实现起来比以前标准j p e g 要困难。尤其是优化截断的嵌入式块编 码模块( e b c o t ) 为系统编码中最耗时的运算单元，已经成为整个编码系统处 理速度的瓶颈。 自从j p e g 2 0 0 0 标准推出以来，许多软件公司推出了它们的图像处理软件， 已有的图像处理软件则推出了它们的基于j p e g 2 0 0 0 的插件。这些都促进的 j p e g 2 0 0 0 标准在商业上的流通。但是直到目前为止j p e g 2 0 0 0 的硬件实现还不 是十分成熟，研究j p e g 2 0 0 0 的高效硬件实现仍是当前的一个研究热点。因此， 本文从实际应用的角度出发，针对j p e g 2 0 0 0 编码系统中的最复杂的位平面编码 模块进行了硬件实现方法的研究。整合提出了一种v l s i 实现的位平面编码器的 硬件架构，并利用v e r i l o gh d l 硬件描述语言开发了r t l 代码级的软核。 本文首先简要介绍了j p e g 2 0 0 0 标准及其编码系统中关键模块的结构和原 理，然后重点分析了位平面编码算法的实现原理。三个编码通道的扫描和位平面 的个数增加了位平面编码的循环操作，需要耗用大量的时钟周期。而利用硬件来 实现此模块，则可以利用硬件方式直接处理系数位编码及利用合理的存储空间分 配降低数据的读取操作次数，从而提高位平面编码模块的处理性能。 本文在对现有的位平面编码器的各类硬件实现方案进行调研的基础上，选择 系数位并行编码方案作为研究基础，整合提出了一种v l s i 实现的位平面编码器 的硬件结构，并详细说明了各模块的实现方法。利用v e r i l o gh d l 硬件描述语 言开发了r t l 代码级的软核。并对所设计的i p 核进行了功能仿真和基于f p g a 的综合，仿真和综合结果验证了硬件设计的正确性。 关键词：j p e g 2 0 0 0 ；位平面编码；v e r i l o gh d l 山东大学学位论文 a b s t r a c t j p e g 2 0 0 0i san e wi m a g e v i d e oc o d e es t a n d a r d ，i nw h i c ht h e r ea r et w on e w a r i t h m e t i c s ，d i s c r e t ew a v e l e tt r a n s f o r m a t i o n ( d w t ) a n de m b e d d e db l o c kc o d i n g w i t ho p t i m a lt r u n c a t i o n ( e b c o t ) b e c a u s eo f b e i n ga d o p t e di ns u c ht w oa r i t h m e t i c s ， t h ej p e g 2 0 0 0b e c o m em o r ep o p u l a ra n dm o r ef l e x i b l ei ni m a g e v i d e oc o d e ef i e l d m e a n w h i l e ，t h ea r i t h m e t i ca l s ob r i n gi ns o m ec h a l l e n g e ss u c ha sc o m p l e x i o n , d i f f i c u l t i e so fh a r d w a r ei m p l e m e n t a t i o na n ds oo n s u c hc h a l l e n g e sm a k ej p e g 2 0 0 0 d i f f i c u l tt oi m p l e m e n tm o r eo rl e s s ，e s p e c i a l l y 谢t l lt h ee b c o t b r o u g h ti n ，t h es p e e d o fw h o l es y s t e mb e c o m es l o w e r s o ，h o wt oo p t i m i z et h ee b c o t e f f i c i e n t l yi so n eo f t h em o s ti m p o r t a n tp r o b l e m si ni m p l e m e n t a t i o no fj p e g 2 0 0 0 s i n c et h ej p e g 2 0 0 0s t a n d a r dw a sp r o p o s e d ，m a n ys o f t w a r ec o m p a n i e sh a v e d e v e l o p dm e i ri m a g ep r o c e s s i n gs o f f w a r e so rp l u g - i n sb a s e do nt h ej p e g 2 0 0 0 。t h e s e a r ea l lt h ep r o m o t i o no ft h ej p e g 2 0 0 0s t a n d a r di nc o m m e r c i a lc i r c u l a t i o n 。b u t8 0f a r t h er e a l i z a t i o no fj p e g 2 0 0 0h a r d w a r ei s n o tv e r ym a t u r e ，r e s e a r c ho n h i 曲一p e r f o r m a n c eh a r d w a r ei m p l e m e n t a t i o no fj p e g 2 0 0 0i ss t i l lar e s e a r c hh o t s p o t t h e r e f o r e ，f r o mt h ep e r s p e c t i v eo ft h ep r a c t i c a la p p l i c a t i o n ，t h i sp a p e rd i s c u s s e st h e h a r d w a r ei m p l e m e n t a t i o nf o rt h em o s tc o m p l e xm o d u l e b i t p l a n ec o d i n gi nj p e g 2 0 0 0 c o d i n gs y s t e m ip r o p o s e d an e wv l s id e s i g nm e t h o df o rt h eh a r d w a r e i m p l e m e n t a t i o n ，a n dt h es o f ti pc o r ei sd e v e l o p e dw r i t t e ni nv e r i l o gh d l 2 i nt h i sp a p e r , ia n a l y z et h eb a s i cf r a m ea n d p r i n c i p l eo fj p e g 2 0 0 0f i r s t ，a n dt h e n d i s c u s st h eh a r d w a r ei m p l e m e n t a t i o nm e t h o df o c u so l lt h eb i t p l a n ec o d i n gb l o c k w h i c hi st h em o s tc o m p l e xp a r to fe b c o t t h et h r e e - c h a n n e ls c a n n i n ga n dt h e n u m b e ro fb i t p l a n e si n c r e a s et h ec y c l eo fe n c o d i n go p e r a t i o n ，w h i c hc o n s u m ea l a r g en u m b e ro fc l o c kc y c l e s w h i l eu s i n gh a r d w a r et oa c h i e v et h i sm o d u l e ，t h e c o e f f i c i e n t b i tc o d i n gc a nb ed e a l e dd i r e c t l yi nh a r d w a r ea n dt h en u m b e ro fr e a d i n g o p e r a t i o n sc a nb er e d u c e d ，s ot h ep r o c e s s i n gp e r f o r m a n c eo ft h eb i t p l a n ec o d i n g m o d u l ec a nb ei m p o v e d 山东大学学位论文 a f t e rd e t a i la n a l y s i so ft h eb a s i cp r i n c i p l eo f b i t p l a n ea n dt h ec o m p a r i s o na m o n g c u r r e n ti m p l e m e n t a t i o nm e t h o d s ，啦sp a p e rp r o p o s e dan e wv l s id e s i g nm e t h o d f o rt h eh a r d w a r ei m p l e m e n t a t i o n c o e f f i c i e n tb i tp a r a l l e l c o d i n gs c h e m e sa le c h o o s e da sab a s i sf o rf u r t h e rs t u d y a n dt h ed e t a i le x p l a i n a t i o na t t a c h e di nt h e f o l l o w i n gp a s s a g e so ft h i sp a p e r i nm yd e s i g n , t h es o f ti pc o r ei sd e v e l o p e dw r i t t e ni nv e r i l o gh d l 1 1 1 ev a l i d i t y a n dt h er e a l i z a b i l i t yo ft h i s d e s i g na l es t r o n g l ys u p p o r t e db yt h ef u n c t i o n a l s i m u l a t i o na n dt h ev e r i f i c a t i o no ff p g a k e yw o r d s ：j p e g 2 0 0 0 ；b i t p l a n ec o d i n g ；v e r i l o gh d l 3 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：型塑塾 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：逊丝趋导师签名：毯篁霍日期：垒堕笙：! 山东大学学位论文 1 1 ic 设计概述 第一章绪论 1 1 1 世界集成电路产业结构发展历程 自1 9 5 8 年美国德克萨斯仪器公司( t i ) 发明集成电路( i c ) 后，随着硅平面 技术的发展，二十世纪六十年代先后发明了双极型和m o s 型两种重要的集成电 路，它标志着由电子管和晶体管制造电子整机的时代发生了量和质的飞跃，创造 了一个前所未有的具有极强渗透力和旺盛生命力的新兴产业集成电路产业。 回顾集成电路的发展历程，我们可以看到，自发明集成电路至今4 0 多年以 来，“从电路集成到系统集成这句话是对i c 产品从小规模集成电路( s s i ) 到 今天特大规模集成电路( u l s i ) 发展过程的最好总结，即整个集成电路产品的 发展经历了从传统的板上系统( s y s t e m o n b o a r d ) 到片上系统( s y s t e m o n - a - c h i p ) 的过程。在这历史过程中，世界i c 产业为适应技术的发展和市场的需求，其产 业结构经历了三次变革。 第一次变革：以加工制造为主导的i c 产业发展的初级阶段。 7 0 年代，集成电路的主流产品是微处理器、存储器以及标准通用逻辑电路。 这一时期i c 制造商( i d m ) 在i c 市场中充当主要角色，i c 设计只作为附属部 门而存在。这时的i c 设计和半导体工艺密切相关。i c 设计主要以人工为主，c a d 系统仅作为数据处理和图形编程之用。i c 产业仅处在以生产为导向的初级阶段。 第二次变革：f o u n d r y 公司与i c 设计公司的崛起。 8 0 年代，集成电路的主流产品为微处理器( m p u ) 、微控制器( m c u ) 及 专用i c ( a s i c ) 。这时，无生产线的i c 设计公司( f a b l e s s ) 与标准工艺加工线 ( f o u n d r y ) 相结合的方式开始成为集成电路产业发展的新模式。 随着微处理器和p c 机的广泛应用和普及( 特别是在通信、工业控制、消费 电子等领域) ，i c 产业已开始进入以客户为导向的阶段。一方面标准化功能的i c 已难以满足整机客户对系统成本、可靠性等要求，同时整机客户则要求不断增加 i c 的集成度，提高保密性，减小芯片面积使系统的体积缩小，降低成本，提高 4 山东大学学位论文 产品的性能价格比，从而增强产品的竞争力，得到更多的市场份额和更丰厚的利 润；另一方面，由于i c 微细加工技术的进步，软件的硬件化已成为可能，为了 改善系统的速度和简化程序，故各种硬件结构的a s i c 如门阵列、可编程逻辑器 件( 包括f p g a ) 、标准单元、全定制电路等应运而生，其比例在整个i c 销售额 中1 9 8 2 年已占1 2 ；其三是随着e d a 工具( 电子设计自动化工具) 的发展， p c b 设计方法引入i c 设计之中，如库的概念、工艺模拟参数及其仿真概念等， 设计开始进入抽象化阶段，使设计过程可以独立于生产工艺而存在。有远见的整 机厂商和创业者包括风险投资基金看到a s i c 的市场和发展前景，纷纷开始成立 专业设计公司和i c 设计部门，一种无生产线的集成电路设计公司( f a b l e s s ) 或 设计部门纷纷建立起来并得到迅速的发展。同时也带动了标准工艺加工线 ( f o u n d r y ) 的崛起。全球第一个f o u n d r y 工厂是1 9 8 7 年成立的台湾积体电路公 司，它的创始人张忠谋也被誉为“晶芯片加工之父一。 第三次变革：“四业分离 的i c 产业。 9 0 年代，随着i n t e r n e t 的兴起，i c 产业跨入以竞争为导向的高级阶段， 国际竞争由原来的资源竞争、价格竞争转向人才知识竞争、密集资本竞争。以 d r a m 为中心来扩大设备投资的竞争方式已成为过去。如1 9 9 0 年，美国以i n t e l 为代表，为抗争日本跃居世界半导体榜首之威胁，主动放弃d r a m 市场，大搞 c p u ，对半导体工业作了重大结构调整，又重新夺回了世界半导体霸主地位。这 使人们认识到，越来越庞大的集成电路产业体系并不有利于整个i c 产业发展， “分 才能精，“整合 才成优势。于是，i c 产业结构向高度专业化转化成为一 种趋势，开始形成了设计业、制造业、封装业、测试业独立成行的局面，近年来， 全球i c 产业的发展越来越显示出这种结构的优势。如台湾i c 业正是由于以中小 企业为主，比较好地形成了高度分工的产业结构，故自1 9 9 6 年，受亚洲经济危 机的波及，全球半导体产业出现生产过剩、效益下滑，而i c 设计业却获得持续 的增长。 特别是9 6 、9 7 、9 8 年持续三年的d r a m 的跌价、m p u 的下滑，世界半导 体工业的增长速度已远达不到从前1 7 的增长值，若再依靠高投入提升技术， 追求大尺寸硅片、追求微细加工，从大生产中来降低成本，推动其增长，将难以 为继。而i c 设计企业更接近市场和了解市场，通过创新开发出高附加值的产品， 5 山东大学学位论文 直接推动着电子系统的更新换代；同时，在创新中获取利润，在快速、协调发展 的基础上积累资本，带动半导体设备的更新和新的投入；i c 设计业作为集成电 路产业的“龙头，为整个集成电路产业的增长注入了新的动力和活力。 1 1 2i c 技术的发展现状 s o e 当前，s o c i l 】设计是i c 技术发展的方向。s o c 是s y s t 锄o nac h i p 的缩写， 即片上系统，它是电子技术和集成电路技术不断发展的产物和方向。现在已有技 术将数字电路、模拟电路、信号采集和转换电路、微处理器、d s p 等集成在单一 的硅芯片上，实现了一个系统的功能。s o c 可在单个i c 中设置多个组件的功能， 因此实现了小尺寸。它节省了宝贵的电路板面积，这对便携式、手持式设计常常 是至关重要的。原先分散在多个i c 的功能现在能用一个芯片来实现，从而节省 了功率，降低了成本，而且，s o c 技术把前两种技术的优点结合起来，以实现 软硬件协同设计【2 】【3 1 ，充分发挥了系统的性能。s o c 的这些优点正好顺应了通信、 电脑、消费类电子产品向轻、薄、小和耗电少的发展方向，因此市场对s o c 产 品有强烈的需求。 i p 核 日益复杂的芯片给我们带来的不仅仅是方便、快捷，同时也不断向设计者们 提出了新的挑战。就目前的技术水平来说，尽管s o c 的优点非常明显，但也有 潜在的困难。例如：从零开始构建一个完整的s o c 需要花很长的时间，如此长 的时间考虑到市场因素，无疑是无法接受的，而且s o c 是一个系统工程，如果 无法保证一次成功，那么损失将是十分巨大的。为了解决上面的问题，可以参考 一下在做系统整机设计或电路板设计的情况，先去买一些现成的元器件和i c 芯 片，然后再把它们组合在一起，调试、查错、最终完成产品。现在我们把这种方 式应用到s o c 芯片设计上，把已经经过验证的i c 电路以模块的形式加人到s o c 芯片的设计中去，这样设计就会变得容易、可靠、而且可以大大缩短设计时间， 从而解决了s o c 芯片上市时间和设计成本高的问题。这些已验证的、可重复利 用的、具有某种确定功能的i c 模块通常被称为i p t 4 1 ( i n t e l l e c t u a lp r o p e r t y 知识产 权内核) 。由此可见p 在s o c 设计中是至关重要的。 i p 核模块有行为、结构和物理3 个程度的设计，对应有主要描述功能行为 6 山东大学学位论文 的软核、完成结构描述的固核和描述物理设计并经过工艺验证的硬核3 个层次。 软核是某种h d l 文本文件，它已经过r t l 级设计优化和功能验证，但其中不含 有任何具体的物理信息。据此，使用者可以综合出正确的门级网表，并可以进行 后续结构设计，具有最大的灵活性，可以很容易地借助于e d a 综合工具与其他 外部逻辑电路结合成一体，根据各种不同的半导体工艺，设计成具有不同性能的 器件。硬核是基于某种半导体工艺的物理设计，已有固定的拓扑结构和具体的工 艺，并已经通过工艺验证，具有可保证的性能。提供给用户的形式是电路物理结 构掩膜版图和全套工艺文件，是可以拿来就用的全套技术。固核的设计程度则是 介于软核与硬核之间，除了完成软核所有的设计外，还完成了门电路级的综合和 时序仿真等设计步骤，一般以门级电路网表的形式提供给用户。 显而易见，在具体实现手段和工艺技术尚未确定的逻辑设计阶段，软核具有 最大的灵活性，很容易借助e d a 综合工具与其他外部逻辑结合为一体。当然， 由于实现技术的不确定性，有可能要做一些改动以适应相应的工艺。相比之下， 固核和硬核与其他外部逻辑结合为一体的灵活性要差的多，特别是电路实现工艺 技术改变时更是如此。而近年来电路实现工艺技术的发展是相当迅速的，为了逻 辑电路设计成果的积累，和更快更好地设计更大规模的电路，发展软核的设计和 推广软核的复用技术是非常有必要的。新一代的数字逻辑电路设计师必须掌握这 方面的知识和技术。本文就是致力于开发一个基于j p e g 2 0 0 0 标准的位平面编码 器的软核。 1 1 3 一个典型的芯片设计流程 基于标准单元的i c 设计流程【5 1 要比基于f p g a 的设计流程更为复杂，因为 i c 的结构是不固定的。一个典型的芯片设计流程如图1 1 所示。下面简单介绍一 下i c 设计的流程。 1 ) 设计规格 一个i c 开发计划始于规格书的建立。而规格书的完成，则有赖于市场 人员勤于搜集市场信息，对所设计的芯片的大致功能和成本提出要求，也 需要在芯片设计上有经验的工程师就芯片规格提出意见。工程师至少必须 对可行性、架构需求、开发的工作量及产品开发日程提出意见。 2 ) 设计划分【6 】 7 山东大学学位论文 划分的过程就是把一个复杂设计逐步划分成较小而且较为简单的功能 单元。这个过程通常称为自顶向下的设计方法。h d l 可以为需要进行划分、 综合和验证的大型复杂系统提供一个通用框架，支持具有混合抽象级别的 自顶向下设计，可以将大型设计中的各部分连接在一起，进行整个设计的 功能和性能验证。已经划分的结构是由一些能够基于h d l 模型描述的较简 单的功能单元组成的。系统设计中，往往会因文件太大难以直接综合，而 已划分的各功能单元可以适时地进行综合。 1r 顶层模块集成 g d s i i 文件 掩膜 l 彳 流片 图i 1 一个典型的芯片设计流程 3 ) 模块设计与i p 核复用【7 】 根据架构设计所划分出的功能模块，确定需要重新设计的部分及可复用 山东大学学位论文 的i p 核。i p 核可自主研发或者从其他公司购买。目前，设计的输入主要采 用硬件描述语言( h d l ) ，如v e r i l o gh d l 或v h d l 。模块设计通常为r t l 级 4 ) 顶层模块集成 项层模块集成将各个不同的功能模块，包括新设计的与复用的，整合在 一起，形成一个完整的设计。其中需要考虑系统时钟复位、i o 环等问题。 5 ) 前仿真 也叫r t l 级仿真，功能仿真。通过h d l 仿真器验证电路逻辑功能是否 有效，即h d l 描述是否符合设计所定义的功能期望。前仿真与具体的电路 实现无关，不含时序信息。 6 ) 逻辑综合 逻辑综合嘲是指将可以综合的程序代码通过综合工具自动转换成特定 工艺下的门级网表( n e t l i s t ) ，网表是一种描述逻辑单元和它们之间互连的 数据文件。综合工具会根据约束条件对电路进行优化，从工艺库中选取合 适的单元将程序代码组合成最佳的门级电路。约束条件包括时序、面积和 功耗。其中，时序是最复杂和最关键的约束，决定了整个芯片的性能。逻 辑综合的过程分为以下三个步骤： a 综合工具将h d l 代码转化为通用布尔等式一g t e c h 格式 b 按设计者的约束进行逻辑优化 c 用目标工艺库中的逻辑单元映射成门级网表 7 ) 布局与布线( a u t op l a c e m e n t & r o u t e ，a p & r ) a p & r 是将单元组合成芯片上真正的电路，布局指将设计好的功能模块 合理地安排在芯片上，规划好它们的位置。布线则指完成各模块之间互连 的连线。单元库由半导体厂商提供。 8 ) 布局后仿真静态时序分析形式验证( p o s t s i m s t a f o r m a l v e r i f i c a t i o n ) 布局布线后的仿真是最接近实际效果的仿真，不仅包含了器件的延时信 息，还包括了走线的延时信息 所谓静态，是针对给所设计的电路输入多种不同的激励进行仿真而言 9 山东大学学位论文 的。由于输入的激励多种多样，变化无穷，所以为“动态”。由于动态的仿真 只能验证某种激励下，电路的表现，并不能穷尽所有的输入，所以，静态 时序分析是必然要进行的，也是很重要的。 9 ) g d s i if i l ef o rm a s k 【9 】 1 0 ) 流片( w a f e r ) 将版图文件生成g d s i i 文件交予f o u n d r y 流片。 1 2j p e g 2 0 0 0 的l c 设计国内外研究现状 近年来，随着消费类电子产品的不断开发，图像和视频信号已经扩展到消费 类电子类产品中，如数码相机、可拍照手机、h d t v 等等，这也直接促进了图像 压缩技术的发展，因而图像编码技术的研究及其v l s i 实现直接关系到图像消费 类电子产品的成功关键，也是非常活跃的研究领域。 j p e g 2 0 0 0 1 0 】是新一代图像视频编码标准，它采用了两种新的算法：离散小 波变换( d w t ) 和优化截断的嵌入式块编码( e b c o t ) 。这两种算法的采用使得 j p e g 2 0 0 0 具有比以前标准更多的优秀特性，但同时这两种算法也具有比较高的 复杂度，使得实现起来比以前标准j p e g 要困难。尤其是优化截断的嵌入式块编 码模块( e b c o t ) 为系统编码中最耗时的运算单元，据统计占整个编码时间的 5 0 以上【】，已经成为整个编码系统处理速度的瓶颈。 而位平面编码是e b c o t 中的关键模块，算法复杂度最高，是j p e g 2 0 0 0 的硬 件实现中相当复杂的一部分。位平面编码的复杂度主要是来自于基本编码操作和 三个编码通道扫描，针对系数位的操作不适合通用处理器或d s p 处理器的操作， 因为这些处理器是以一个字节或字宽度为处理单元的。三个编码通道的扫描和位 平面的个数增加了位平面编码的循环操作，需要耗用大量的时钟周期。而利用硬 件来实现此模块，则可以利用硬件方式的来直接处理系数位编码及利用合理的存 储空间分配降低数据的读取操作次数，从而提高位平面编码模块的处理性能。 j p e g 2 0 0 0 标准的硬件设计正在世界各地的研发机构中加紧开发，美国a d i 公司于2 0 0 3 年推出t a d v 2 0 2 芯片【l2 1 ，最高处理速度可达1 5 0 m h z ，处理最大图 像块为4 0 9 6 像素。西安交通大学开元集团开发 j p e g 2 0 0 0 高效图像压缩芯片【1 3 】， 实现了5 3 离散小波变换，外部时钟频率为2 7 m h z 。清华大学研制了j p e g 2 0 0 0 编 i o 山东大学学位论文 码芯片t h j 2 k 1 4 】，该芯片率先采用5 1 2 5 1 2 的大图像片分片结构，降低了分片结 构造成的边缘噪声。台湾淡江大学的江正雄教授等人提出的e b c o t 的位平面平 面并行通道编码的思路【1 5 】，充分利用了硬件可并行执行的特点，大大提高了编 码速度，是一种比较高效实用的解决方案。 目前知名芯片厂商中仅有a n a l o gd e v i c e 有比较完整的相关产品系列。虽然有 一些公司宣布推出了商用的j p e g 2 0 0 0 芯片，但是基于j p e g 2 0 0 0 标准的商业应用 还是不多，现阶段数码相机等领域的静态图像压缩主要还是采用j p e g 标准。直 到目前为止，j p e g 2 0 0 0 的硬件实现还不是十分成熟，还需要对j p e g 2 0 0 0 的硬件 实现做进一步的研究，减少其实现的复杂度和成本。因此，研究j p e g 2 0 0 0 的高 效硬件实现仍是当前的一个研究热点。 1 3 论文的主要内容与章节安排 s o c 开发的主要工作就是建立具有自主知识产权的口核库。鉴于位平面编码 是j p e g 2 0 0 0 的硬件实现中相当复杂的一部分，所以研究和开发具有自主知识产 权的位平面编码模块，对于未来图象处理系统的s o c 开发具有非常重大的意义， 同时也拥有一定的商业价值。基于以上的思路，本文首先概述了位平面编码的算 法原理，然后提出了一种v l s i 实现的位平面编码器的硬件结构，利用v e r i l o gh d l 硬件描述语言开发了r t l 代码级的软核并进行了功能仿真。然后本文根据i p 软 核设计的要求将位平面编码i p 软核在a l t e r a 公司的f p g a 上进行适配完成了口核 的f p g a 验证。最后本文总结了已做的工作，为以后进一步开发i p 核打下坚实的 基础。 本文主要分为五章： 第一章主要介绍j p e g 2 0 0 0 的应用现状和研究背景，针对系统实现瓶颈分析 说明了本课题的研究意义，另外还介绍了文章的章节安排。 第二章简单介绍j p e g 2 0 0 0 编码系统及关键模块的结构与原理，并重点分析 了位平面编码算法。 第三章为论文的核心内容。分析了几种位平面编码的硬件实现方法。整合提 出了一种位平面编码器的v l s i 架构。并详细说明了各模块的实现方法。 第四章为论文的实现部分。利用v e r i l o gh d l 硬件描述语言开发了r t l 代 山东大学学位论文 码级的软核并进行了功能仿真，另外还完成了i p 核的f p g a 验证，并给出了系统 验证的综合结果和性能分析。 第五章对本文所做的工作作出了总结并提出了对未来工作的展望。 1 2 山东大学学位论文 第二章j p e g 2 0 0 0 静态图像压缩标准简介 2 1j p e g 2 0 0 0 的诞生 2 1 1j - p e g 标准及其缺陷 众所周知，图像压缩的标准方式有以静止图像为对象的j p e g ( j o i n t p h o t o g r a p h i ce x p e r t sg r o u p ) 和以运动图像为对象的m p e g t l 6 】( m o v i n gp i c t u r e e x p e r t sg r o u p ) 。这些标准方式由i s o 和i t u ，以及i e c 等国际机构制定，并以 硬件和软件的形式嵌入到我们周围的各种a v 设备和p c 机。灰度连续变化和彩 色静止图像的国际标准压缩方式j p e g 【r 7 】是当前发展成熟并且应用最广泛的静 止图像压缩标准。它是联合图像专家组织在1 9 9 1 年颁布的，它支持任何颜色空 间的连续色调静止图像的压缩，并且压缩比例可调，重构图像质量好。标准支持 有损和无损两种压缩方式，其中有损压缩方式基于d c t 变换，而无损压缩采用 差分脉冲编码调链j i j ( d p c m ) 技术，无损压缩不采用量化技术。有损压缩中最流行 的模式是基线j p e g 1 8 】，它采用了基于块的变换编码方式。首先将图像分成不重 叠的8 8 子块，接着对各个子块进行d c t 变换。然后对所有系数进行量化。量 化的过程是对系数值的量化间距划分后的归整运算，量化步长取决于一个“视觉 阈值矩阵 ，它随系数的位置而变化，并且对图像分量( 如y 和u v ) 也不相同。它 们是根据视觉心理实验得到的，每个系数的量化步长设置是在通常的视觉距离下 的“正好可注意到的幅值。利用这些阈值，在编码率小于l b i t 像素的条件下依 然获得非常好的图像质量。当把量化步长乘以一个公共因数后，一般可以调整比 特率，由此可实现压缩率的调整。其次，对d c t 量化系数进行熵编码，进一步 压缩码率。熵编码采用h u f m a n 编码v l c ( v a r i a b l el e n g t hc o d e ，可变长编码) 分 别对d c 系数和a c 系数编码，其中对当前子块d c 系数与上一块的d c 系数之 差值进行v l c 编码，这是由于d c 分量是子块的平均值，相邻子块间的相关性 很强，同时，视觉上要求各子块的平均灰度无明显的跳跃，因此对d c 的差值作 无失真的熵编码是合适的。对于a c 系数，由于量化后的系数为稀疏的，仅少数 a c 系数不为零，因而采用“之字形方式( z i g z a g ) 进行维扫描，然后将非零 山东大学学位论文 系数前面的“0 的游程长度( 个数) 与该系数值一起作为统计事件进行v l c 编码。 d c 系数经过d p c m 而a c 系数经过z i g - z a g 扫描后送入h u f m a n 编码器进行编 码，最后组成j p e g 格式的码流。 j p e g 基线模式编码器框图如图所示。 锄编码h 压缩码流 j i h u f m a n 表 图2 - 1j p e g 基线模式编码器框图 随着多媒体和i n t e r n e t 应用的扩展，j p e g 标准逐渐无法满足日益增长的需 求。j p e g 算法的缺陷【1 9 1 主要有以下几个方面： ( 1 ) 低比特率下压缩效果差。在压缩率高于0 5 b i t 像素情况下能获得比较好的 压缩质量，但是当压缩率低于0 2 5 b i t 像素时压缩质量变得无法接受。 ( 2 ) j p e g 有4 4 种模式，其中大多数面向非常具体的应用，没有互换性。比 如前面提及的有损压缩模式和无损压缩模式采用了完全不同的两种编码方案。 ( 3 ) j p e g 不能在一个单一的比特流中实现质量和分辨率的渐进传输，并且一 些操作比如旋转、平移等无法在压缩域实现，即在不解压缩图像的情况下实现。 ( 4 ) 对通过噪声通信信道传输引入的误差的恢复能力较差。 ( 5 ) 不支持对感兴趣区域编码，不能实现随机码流访问和处理。而这些特征 对交互应用非常有用。 ( 6 ) 不具有率控制特征。率控制基于可得到的传输速率提供一个速率失真最 优的图像。 2 1 2 新标准j p e g 2 0 0 0 的制定 于是，联合图片专家组于1 9 9 7 年开始为新一代静止图像压缩标准【2 0 】，即 j p e g 2 0 0 0 征集提案，把它作为现存j p e g 标准的一个更新换代标准。它的目标 是进步改进目前压缩算法的性能以适应窄带宽、高噪声的环境，以及医疗图像、 1 4 山东大学学位论文 电子图书馆、传真、i n t a * n e t 网上服务和实时监控等方面的应用。制订改新标准 的目标包含两个方面：一是为解决现有j p e g 标准的一系列弱点，二是提供j p e g 标准中所没有的功能。 j p e g 2 0 0 0 与传统j p e g 最大的不同在于它放弃了j p e g 所采用的以离散余 弦变换( d i s c r e t ec o s i n et r a n s f o r m ) 为主的区块编码方式，而采用以小波变换【2 1 】 ( w a v e l e tt 啪s f o 咖) 为主的多解析编码方式。离散小波变换算法是现代谱分析工 具，在包括压缩在内的图像处理与图像分析领域正得到越来越广泛的应用。此外， j p e g 2 0 0 0 还将彩色静态画面采用的j p e g 编码方式与二值图像采用的j b i g 2 2 】 编码方式统一起来成为对应各种图像的通用编码方式。简单原理如图2 所示。 2 2j p e g 2 0 0 0 新特征 图2 2 j p e g 2 0 0 0 的形成 j p e g 2 0 0 0 标准基于离散小波变换，采用当前最新的嵌入式优化截断块编码 2 3 ( e b c o t ) 算法，在获得优于目前j p e g 标准图像压缩效果的同时，生成的码流 具有较强的功能，适于不同的应用。 相对于以前的j p e g 标准，j p e g 2 0 0 0 标准采用了许多近年图像压缩领域所 取得的最新成果，克服了以前标准所具有的各种缺陷，具有许多优异的特征【2 4 1 。 山东大学学位论文 这些特征对于一些新产品( 例如，数码相机) 和应用( 例如，互联网) 是非常重要的。 它把j p e g 的四种模式( 顺序模式，渐进模式，无损模式和分层模式) 集成在一个 标准之中。在编码端以最佳的压缩质量( 包括无损压缩) 和最大的图像分辨率压缩 图像，在解码端可以从码流中以任意的图像质量和分辨率解压图像，最大可达到 编码时的图像质量和分辨率。j p e g 2 0 0 0 应用的领域包括互联网、彩色传真、打 印、扫描、数码相机【2 5 1 、高清数字电视【2 6 1 、遥感、移动通信【2 7 1 、医疗图像和电 子商务等等。它的最主要的特征如下： ( 1 ) 高压缩率：j p e g 2 0 0 0 格式的图像压缩比可在现有的j p e g 基础上再提高 1 0 3 0 ，而且压缩后的图像显得更加细腻平滑，这一特征在互联网和遥感等图 像传输领域有着广泛的应用。j p e g 2 0 0 0 压缩率高于j p e g 主要是由于j p e g 2 0 0 0 采用了d w q 和最新的e b c o t 编码算法。 ( 2 ) 支持无损压缩和有损压缩：j p e g 2 0 0 0 提供无损和有损两种压缩方式，无 损压缩在许多领域是必须的，例如医学图像中有时有损压缩是不能容许的；再如 图像档案中为了保存重要的信息，较高的图像质量也是必然的要求。j p e g2 0 0 0 提供的是嵌入式码流，允许从有损到无损的渐进解压。j p e g2 0 0 0 以无损为图像 质量的上限，能够从一个比特流提取任意质量的图像。在需要无损压缩的情况下， 必须采用带整数值系数的可逆小波变换。 ( 3 ) 多种渐进传输：现在网络上的j p e g 图像下载时是按“块”传输的，因此 只能一行一行地显示，而采用j p e g 2 0 0 0 格式的图像支持渐进传输。j p e g 2 0 0 0 提供多种可选的渐进传输模式：质量、分辨率、空间位置和分量。例如，支持基 于图像质量的传输模式，即首先传输图像轮廓数据，然后再逐步传输其它细节数 据，来不断提高图像的质量，直到满足用户要求为止。互联网、打印机和图像文 档是这一特性的主要应用场合。 ( 4 ) 感兴趣区域( r o i ：r e g i o no f i n t e r e s t ) 1 2 8 编码：是j p e g 2 0 0 0 一个极其重 要的优点。在实际应用中，用户可能需要图像中的某些特定区域能以较其它部分 更高的质量进行编码、解码，或者在图像显示过程中对这些区域实行优先显示， j p e g 2 0 0 0 通过提供一种称为感兴趣区域编码的功能来满足客户的这种要求。用 户可以随意指定感兴趣区域。在这些区域，用户可以在压缩时指定特定的压缩质 量，或在恢复时指定特定的解压缩要求。这给用户带来了极大的方便。在有些情 1 6 山东大学学位论文 况下，图像中只有一小块区域对用户是有用的，对这些区域，采用低压缩比，而 感兴趣区域之外采用高压缩比，在保证不丢失重要信息的同时，又能有效地压缩 数据量，这就是基于r o i 的编码方案所采取的压缩策略。基于r o i 的压缩方法 的优点，在于它结合了接收方对压缩的主观要求，实现了交互式压缩。而接收方 随着观察，常常会有新的要求，可能对新的区域感兴趣，也可能希望某一区域更 清晰些。这些功能的实现主要在于j p e g 2 0 0 0 码流的分层组织。数据可以分层传 输，因此可以提供分辨率分级渐进：每增加一级数据，分辨率可以提高一级。 ( 5 ) 码流的随机访问和处理：这一特征允许用户对压缩生成的码流进行随机 的处理，例如，对图像进行旋转、移动、滤波和特征提取等操作。 ( 6 ) 良好的容错性：j p e g 2 0 0 0 采用了小波变换、基于位平面熵编码和算术编 码等图像压缩算法，这些算法将图像进行分块单元编码处理，使块内的错误不会 扩展到其它块中，增加了系统的容错性。 ( 7 ) 开放的框架结构：为了在不同的图像类型和应用领域优化编码系统，提 供一个开放的框架结构是必须的。在这种开放的结构中，编码器只实现核心的处 理算法和码流解析。如果需要，解码器可以要求数据源发送未知的处理算法。 ( 8 ) 比特误差的鲁棒性：j p e g 2 0 0 0 在有噪声的通信信道如无线信道中引入误 码的鲁棒性，它是通过包含再同步标记来实现的。这种特性与独立的编码块有关。 能够检查每一块中隐藏的错误。 ( 9 ) 灵活的文件格式：j p 2 和j p c 文件格式允许处理彩色空间信息、原数据 和一些网络互动应用。 2 3j p e g 2 0 0 0 标准组成部分 到目前为止，j p e g 2 0 0 0 由1 3 个部分组成，如表2 1 所示，前6 部分在2 0 0 4 年都已公布为国际标准。另外一些部分正在讨论中。其中第l 部分为编码的核心 部分，具有最小的复杂度，定义了核心压缩算法和“最小文件格式 ，使用可伸 缩的文件