（电路与系统专业论文）h264熵编码的vlsi研究.pdf

摘要 摘要 随着视频压缩技术、计算机、通信技术以及微电子技术的发展，h 2 6 4 a v c 作为一种新的压缩标准孕育而生。较之于以往压缩标准，h 2 6 4 a v c 具有高压缩 比和网络亲和特性，在同样的视频质量下，它比m p e g 2 节约6 0 l e 特率，比 m p e g 4 节约4 0 的比特率。它的优良特性归功于许多关键技术，如帧内预测、 多参考帧运动补偿以及增强型熵编码等。同时，这也致使它的编码复杂性显著增 大，从而导致实时编码应用的可行性得不到保证，而且庞大的运算量会造成严重 的功耗。因此，h 2 6 4 的v l s i 研究具有重要意义。 增强型熵编码是h 2 6 4 a v c 核心部分之一，主要包括基于上下文的自适应 变长编码( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ，c a v l c ) ，以及基于 上下文的二进制算术编码( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ， c a b a c ) 。c a v l c 利用上下文信息，自适应地选择不同的码表；c a b a c 不需 要码表，通过自适应的概率估计和更新以及二进制算术编码，更加逼近香农定理， 但实现时的计算复杂度较高。 关于c a v l c 编码的v l s i 研究，本文分析了不同架构的优缺点，针对其使 用诸多码表特性，分析了c a v l c 的编码原理和算法，优化了c a v l c 编码架构， 设计出一种面积与速度有效折衷的结构。利用基于预处理的查找方法，改进了查 找表( l o o ku pt a b l e ，l u t ) 结构，可以快速得到相应的码字和码长；利用算术 计算替代查找表且利用展开技术减小了关键路径，优化了非零系数幅值l e v e l 编 码；利用加法器最高位进行取模运算等方法，优化了码字拼接模块。 关于c a b a c 编码的v l s i 研究，本文分析了其编码原理和流程，其编码框 架主要由二进制化处理、上下文建模和二进制算术编码三部分组成。二进制化处 理是c a b a c 的预处理过程，是将需要二进制化的语法元素转换成相应的二值字 符串( b i n s ) 的过程。在此过程中，并且对每个二值字符分配相应的上下文模型 索引。二值字符和上下文模型索引一起进入二进制算术编码，二进制算术编码输 出编码结果并更新上下文模型。由于二进制化处理与系统其他模块联系密切，交 由软件实现。本文主要针对c a b a c 的核心模块二进制算术编码进行了优化，由 于其串行编码特性，传统的串行编码吞吐率太低，尤其是归一化处理需要耗费多 个时钟。为此，本文提出了一种四级流水线实现架构，利用前向技术解决了上下 文模型更新时的数据相关现象，利用新结构实现了快速归化处理，利用进位保 留加法器( c s a ) 实现了面积和速度的有效折衷，最终使编码吞吐率达到每个时 钟能处理一个二值字符( b i n ) 。 最后，对本文提出的架构利用v e r i l o gh d l 进行了r t l 级设计，并完成了仿 摘要 真验证及综合。仿真结果和性能分析表明，本文提出的架构是有效的，能满足高 清视频1 9 2 0 1 0 8 8 3 0 f p s 实时编码对熵编码的要求，具有广泛的应用价值。 关键词：h 2 6 4 a v c ，熵编码，c a v l c ，c a b a c ，归一化，v l s i a b s t r a c t a b s t r a c t w j t ht h e d e v e l o p m e n to f v i d e oc o m p r e s s i o nt e c h n o l o g y , c o m p u t e r , c o m m u n i c a t i o n s t e c h n o l o g ya n dm i c r o e l e c t r o n i c st e c h n o l o g y , h 2 6 4 | 戳cc o m p r e s s i o ns t a n d a r db e c o m e san e w b i r t hf o ru s c o m p a r e dw i t hp r e v i o u sc o m p r e s s i o ns t a n d a r d s ，h 2 6 4 a v ch a sh i g h e rc o m p r e s s i o n r a t i oa n dn e t w o r k f r i e n d l yf e a t u r e s ，i tc a l ls a v em o r et h a n6 0 b i tr a t ec o m p a r e dt om p e g - 2a n d s a v e4 0 b i tr a t ec o m p a r e dt om p e g _ 4i nt h es a m ev i d e oq u a l i t y t h i si sd u et ot h eu s i n go fk e y t e c h n o l o g i e s ，s u c ha si n t r ap r e d i c t i o n ，m u l t i p l er e f e r e n c ef r a m em o t i o nc o m p e n s a t i o n ，a n d e n h a n c e de n w o p yc o d i n g b u ti t se n c o d i n gc o m p l e x i t yi n c r e a s e ds i g n i f i c a n t l y , m a k i n gt h e f e a s i b i l i t yo fa p p l y i n gr e a l t i m ee n c o d i n gc a nn o tb eg u a r a n t e e d ，a n dh u g ec o m p u t a t i o nw i l lc a u s e s e r i o u sp o w e rc o n s u m p t i o n 。t h e r e f o r e ，t h es t u d yo fh 2 6 4v l s ii sv e r yi m p o r t a n t e n h a n c e de n t r o p yc o d i n gi so n eo ft h eh 2 6 4 | 蝌cc o r em o d u l e s 、i n c l u d i n gc o n t e x t - b a s e d a d a p t i v ev a r i a b l el e n g t hc o d i n g ( c a v l c ) ，a n dc o n t e x t - b a s e db i n a r ya r i t h m e t i cc o d i n g ( c a b a c ) c a v l cc a nc h o o s ed i f f e r e n tc o d e - t a b l ea d a p t i v e l yb yu s i n go fc o n t e x ti n f o r m a t i o n ；c a b a cd o n o tn e e dc o d e t a b l e ，i tu p d a t e st h ep r o b a b i l i t ye s t i m a t e sa n du s e sa na d a p t i v eb i n a r ya r i t h m e t i c c o d i n g s oi tm o r ea p p r o a c h i n gt h es h a n n o nt h e o r e m ，b u tt h ei m p l e m e n t a t i o nc o m p l e x i t yo f c a b a ci sm u c hh i g h e l t h a nc a v l c t h er e s e a r c ho nc a v l cv l s ii n t h i sa r t i c l ei n c l u d e st h a ta n a l y s i st h ea d v a n t a g e sa n d d i s a d v a n t a g e so fd i f f e r e n ta r c h i t e c t u r e sf i r s t l ya n da n a l y s i sc a v l cc o d i n gt h e o r ya n da l g o r i t h m s b e c a u s eo fi t sf e a t u r e so fm a n yc o d e - t a b l e ss e c o n d l ya n do p t i m i z a t i o nc a v l cc o d i n gs t r u c t u r e a n da l le f f i c i e n tc o m p r o m i s e ds t r u c t u r eb e t w e e na r e aa n ds p e e dw a sg i v e na tl a s t t h eu s i n go f s e a r c hm e t h o db a s e do np r e t r e a t m e n ti m p r o v e st h es t r u c t u r eo fl o o k - u pt a b l e ( l u t ) s oi tc a n q u i c k l yg e tt h ec o r r e s p o n d i n gc o d ew o r da n dc o d el e n g t h ；t h eu s i n go fa r i t h m e t i cc a l c u l a t i o n s i n s t e a do fl o o k u pt a b l ea n dt h eu s i n go fe x p a n s i o ns h a r et e c h n i q u er e d u c e sc r i t i c a lp a t hi nt h e n o n z e r oc o e f f i c i e n tl e v e lc o d i n gm o d u l ea n dt h eu s i n go ft o pb i to fs u mt or e a l i z em o d u l o o p e r a t i o ni nt h ec o d ew o r dc o n n e c t i o nm o d u l e t h er e s e a r c ho nc a b a cv l s ii nt h i sa r t i c l ei n c l u d e st h a ta n a l y s i st h ec o d i n gt h e o r ya n d p r o c e s s ，w h i c hi n c l u d e sb i n a r yp r o c e s s i n g ，c o n t e x tm o d e l i n g ，a n db i n a r ya r i t h m e t i cc o d i n g ( b a c ) b i n a r yp r o c e s s i n gi s ap r e p r o c e s so fc a b a c ，i tt r a n s f e rn o n - b i n a r ys y n a le l e m e n t ( s e ) i n t o c o r r e s p o n d e n tb i n a r ys t r i n g s ( b i n s ) ，a n da s s i g nc o r r e s p o n d e n tc o n t e x tm o d e li n d e xt oe a c hb i n a r y s t r i n g t h e ne a c hb i n a r ys t r i n ga n di t sc o n t e x tm o d e li n d e xw e n ti n t ob a c ，b a co u t p u tt h e c o d i n gr e s u l t sa n du p d a t e dt h ec o n t e x tm o d e li n d e x b e c a u s eb i n a r yp r o c e s s i n gc o n n e c t sw i t h o t h e r sm o d u l e si ns y s t e mc l o s e l s oi tw a sd o n eb ys o f t w a r e t h ec a b a cc o r em o d u l e ，w h i c hi s b i n a r ya r i t h m e t i cc o d i n g ，w a sd e s i g n e d a n d o p t i m i z e db yh a r d w a r e t h et r a d i t i o n a l i m p l e m e n t a t i o nh a sl o wt h r o u g h p u tb e c a u s eo fb i n a r ya r i t h m e t i cc o d i n g ss e r i a lc o d i n gf e a t u r e s ， p a r t i c u l a r l yt h ep r o c e s so fn o r m a l i z a t i o na n do u t p u ts e c t i o nc o s tm a n yc l o c kc y c l e s t h e r e f o r e ，a f o u r - s t a g e dp i p e l i n e a r c h i t e c t u r ew a sp r o p o s e dt oi m p r o v et h et h r o u g h p u ti nt h i sa r t i c l e n e f o r w a r d i n gt e c h n o l o g ys o l v e dt h ed a t ar e l a t e dh a z a r dw h e nu p d a t e dt h ec o n t e x to ft h em o d e l ，a n d t h eu s i n go fc a r r ys a v ea d d e r ( c s a ) t oa c h i e v eac o m p r o m i s eb e t w e e na r e aa n ds p e e de f f i c i e n t a n dt h ef a s ta r c h i t e c t u r ew a sd e s i g n e df o rn o r m a l i z a t i o np r o c e s s t h et h r o u g h p u to fo u rp r o p o s e d b a cc a nd e a lw i t hab i n a r ys t r i n g ( b i n ) p e rc l o c k v e r i l o gh d lw a su s e dt oa c h i e v er t ll e v e ld e s i g nf o rp r o p o s e da r c h i t e c t u r e ，a n dt h e n a b s t r a c t s i m u l a t i o na n ds y n t h e s i sw a sc o m p l e t e d s i m u l a t i o nr e s u l t sa n dp e r f o r m a n c ea n a l y s i ss h o wt h a t t h ep r o p o s e da r c h i t e c t u r ei se f f e c t i v ea n dc a nm e e tt h er e q u i r e m e n t so fe n t r o p yc o d i n gf o rt h e r e a l - t i m eh i g h - d e f i n i t i o n19 2 0 1 0 8 8 - 3 0 f p sv i d e oe n c o d i n g k e yw o r d s ：h 2 6 4 a v c ，e n t r o p yc o d i n g ，c a v l c ，c a b a c ，r e n o r m a i l z a t i o n ，v l s i i v 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作了明确 的说明。 作者躲蛆 签字嗍趔坚! 笙 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 口保密( 年) 作者签名：翻塑 签字日期：笙仑! ! ! 笙 导师签名：座塞。 第一章绪论 1 1 引言 第一章绪论 近年来，信息技术经历了突飞猛进的发展，正从各个方面影响着人类的生活 方式。从通信到医疗健康，从商业到教育，从资讯到娱乐，各个方面都体现出信 息在当今社会中的重要性。人们生活中，大约有7 0 的信息来源于图像【l 】。图像 可以携带非常丰富的信息，具有直观、高效的特点。但是由于视频图像的数据量 非常大，难以存储和传输，因此，解决视频图像压缩及传输问题成为其应用的关 键。 一方面，视频压缩编码理论的发展，使得压缩算法的压缩性能增强，压缩率 大大提高，从而使得很多视频的传输成为可能【2 】。经过二十多年的不懈努力，尤 其是上世纪八十年代后期以来，数字图像和视频压缩编码技术取得了令人瞩目的 进展，已经逐步从过去纯学术研究的领域走上了标准化、产业化的道路。国际标 准化组织( i s o ) 和国际电信联盟( i t u ) 相继推出一系列图像、视频编码的国 际标准，例如：j p e g 系列、h 2 6 x 系列、m p e g 系列等等，它们分别针对不同 的应用场合。 另一方面，通信技术加上互联网和多媒体技术的进步和发展扩大了人们对视 频的应用需求，无线多媒体通信、多媒体电子邮件、远程医疗和电子商务等应用 成了人们关注的焦点【3 】。3 g 和4 g 通信技术的发展和应用，极大的提升了无线网 络的吞吐量，使得传输速率不断增加，可靠性增强。 还有，微电子技术和计算机技术的发展推进了整个信息产业革命，当然也给 视频压缩编码带来很大进步，芯片处理能力越来越强，有速度快、功耗低等诸多 优点【1 。各种视频处理器、视频终端的问世，极大的方便了人们的需求。 正是由于上述各种技术的发展、相互促进，使人们享受到视频、图像带来的 娱乐，使得应用越来越广泛。 1 2 研究背景 1 2 1h 2 6 4 概述 2 0 0 3 年3 月，i t u t 和i s o i e c 正式公布了h 2 6 4 视频编码标准，这种视频 第一章绪论 压缩编码标准不仅显著提高了压缩比，而且具备良好的网络亲和力，加强了对i p 网、移动网的误码和丢包处理。h 2 6 4 的数据压缩性能比m p e g 2 高2 3 倍，比 m p e g 4a s p 高1 5 2 倍【5 1 。而且h 2 6 4 具有较强的抗误码能力，可适应丢包率 高、干扰严重的无线信道中视频传输，支持不同网络资源下的分级编码。h 2 6 4 的优良特性使得其得到了广泛应用。 h 2 6 4 a v c 支持三个不同档次的应用： ( 1 ) 基本档次( b a s e l i n e ) ：主要用于“视频会话 ，如电视会议、可视电话、 远程医疗、远程教育、无线通信等； ( 2 ) 扩展档次( e x t e n d e d ) ：主要用于网络的视频流，如视频点播等流媒体； ( 3 ) 主要档次( m a i n ) ：主要用于消费电子应用，如数字电视广播、数字视频 存储等，后来又扩展了高清档次( h i g hp r o f i l e ，h p ) ，支持高清、高保真编码。 h 2 6 4 在概念上分为视频编码层( v c l ) 和网络抽象层( n e t w o r k a b s t r a c t i o n l a y e r ，n a l ) 两部分。n a l 为v c l 提供一个独立于网络的统一接口，负责将 v c l 编码后的数据进行打包和传送。v c l 负责提供块、宏块及片语法级别的定 义，并进行高效的编码、解码，它包括帧内预测、运动补偿、变换编码、熵编码 等。 图1 1h 2 6 4 a v c 编码器 在图1 1 中，输入的帧或场兄以宏块( m a c r o b l o c k ) 为单位被编码器处理。 首先，决定是按帧内还是帧i 白j 预测编码的方式进行编码： 1 ) 如果是采用帧内预测编码，其预测值m 励( 图1 1 中用p 表示) 是由和当 i ； 宏块处在同一片中的已编码宏块预测而得； 2 ) 如果是采用帧间预测，其预测值由已编码的参考图像晶一1 经过运动估计 而得，为了提高预测的精度，从而提高压缩比，实际的参考图像可以是过去或未 来的图像。 第一章绪论 然后，将当前块和预测值胤纫相减，产生一个残差块d n ，经过块变换、量 化后产生一组量化后的变换系数x ，与其他的控制信息( 例如宏块类型、预测模 式、运动矢量差等) 一起进入熵编码过程，熵编码压缩后的码流经过n a l 供传输 和存储使用。 其间，为了获得预测使用的参考图像，编码器必须具备重构图像的功能。因 此如图1 1 所示，残差图像变换系数x 经过反量化、逆变换后得到残差d 陀，将 d 砚与预测值p 相加，得到崛( 未经滤波的帧) 。为了去除编码器编码环路中产 生的块状效应等噪声，提高参考图像的质量，在编码器中添加了一个环路滤波器， 经过环路滤波器滤波的输出r 即为重建图像，可以作为参考图像。 1 2 2h 2 6 4 关键技术 h 2 6 4 标准相对以往视频编码标准，使用了许多关键技术【5 】： 1 多参考帧的运动补偿：h 2 6 4 最多可以使用5 个参考帧，更灵活的方式使 用已编码的更多的帧来作为参考帧。可以节约5 1 0 的比特，并且提高了在丢帧 情况下的鲁棒性。 2 1 4 像素运动矢量精度：比整数像素运动矢量下节约了2 0 的比特。 3 b 帧预测加权：允许编码器自定义加权因子，修正p 或b 帧中运动补偿， 在淡入淡出场景中该技术极大地提高了编码效率。 4 多模式帧内预测( i 帧空域预测) ：i 帧是自然图像，因此具有很强的空间 相关，在以前的h 2 6 3 + + 和m p e g 4 里，是在变换域中根据相邻块对当前块的某 些系数做预测，而在h 2 6 4 中是根据空域内与当前块相邻的像素对当前块进行预 测的。 5 s p 帧和s i 帧：当前视频编码标准主要包括3 种帧类型：i 帧、p 帧和b 帧。h 2 6 4 为了顺应视频流的带宽自适应性和抗误码性的要求，又定义了两种新 的帧类型：s p 帧和s i 帧。s p 帧能够参照不同参考帧重构出相同的图像帧，广 泛应用于流间切换、拼接、随机接入有及错误恢复等应用中。s i 帧则是基于帧 内预测的编码技术，其重构图像的方法与s p 完全相同。 6 网络抽象层n a l ：n a l 单元含有传输头和视频负载信息，可以在基于包 的网络中方便数据传送。 7 f m o ( f l e x i b l em bo r d e r i n g ) ：通过设置宏块次序映射表来任意地指配宏 块到不同的片组，打乱原来宏块顺序，增强抗误码性能。 8 变块尺寸运动估计：使用4 4 到1 6 1 6 块来进行运动估计和运动补偿， 能够对图像序列中的运动区域进行更精确的分割，比固定1 6 1 6 大小的节约了 1 5 的比特率。 第一章绪论 9 去块效应环路滤波器：使用环内的去方块效应滤波器，能够减轻普遍存在 于其他基于离散余弦变换( d c t ) 中的视频编解码器块效应。 1 0 小块整数变换：以前的标准变换的块尺寸都是8 8 ，h 2 6 4 a v c 主要使 用4 4 块变换，后来也添加了8 8 变换，使得编码器具有更好的信号局部适应性 能力，更适合预测编码。整数d c t 变换降低了运算的复杂度，消除了乘法运算。 在整数d c t 变换后，对d c 系数( 色度的d c 系数和亮度d c 系数) 再进 行一次h a d a m a r d 变换，使得在平滑区域得到更好的压缩效果。 1 1 增强型熵编码：熵编码采用c a v l c 或c a b a c 。 在早期的标准中，根据典型视频序列的统计属性设计码表。在随后的编码过 程中，码表一般就是固定的，但信源的统计特性实际上是变化的。因此，固定码 表就不能自适应地匹配图像内容的改变和充分利用编码符号之间的相关性。 h 2 6 4 采用了基于上下文的自适应变长编码c a v l c ，以及基于上下文的二 进制算术编码c a b a c 。它们充分考虑和利用了视频中的上下文信息，利用已编 码符号为待编码符号选择合适的上下文模型，上下文模型提供了对当前待编码符 号的概率估计，利用这些信息可以进一步消除编码符号之间的相关性，提高编码 效率。由于这种选择是在编码的过程中实时进行的，所以它们能够自适应视频的 实际统计信息，从而保证了选择的上下文模型能够匹配视频流的实际统计特性。 1 2 3 集成电路设计技术 在图像、视频压缩编码技术的不断推陈出新【6 j 的同时，集成电路设计与制造 也得到了长足发展。自1 9 5 8 年美国德克萨斯仪器公司发明全球第一块集成电路 以来，集成电路的设计、制造等一直保持惊人的发展速度，已发展成为一种新兴 产业集成电路产业【7 】。在数字化、信息化的今天，数字集成电路的发展及广 泛应用尤为重要，推动着信息化产业的上游与下游的发展。 1 世界集成电路产业发展现状 多年来，世界集成电路产业一直以3 4 倍于国民经济增长速度迅猛发展， 新技术、新产品不断涌现。随着信息产品市场需求的增长，尤其通过通信、计算 机与互联网、无线网络、高清数字电视等电子产品的需求增长，世界集成电路市 场在其带动下高速增长。2 0 0 5 年世界集成电路市场规模为2 3 5 7 亿美元，预计2 0 1 0 年阳j 平均每年增长不低于l o ，总规模将达到4 2 4 7 亿美元。 2 集成电路技术发展趋势 ( 1 ) 集成电路设计趋势：目前，世界集成电路技术已经进入纳米时代，国 际高端集成电路主流技术的线宽是0 1 3 - - 0 2 5 微米，国际高端集成电路领先技术 的线宽是0 0 6 5 一o 1 3 微米，i n t e l 公司的c p u 芯片已经采用4 5 纳米的生产工艺。 4 第一章绪论 我国已经能够自行设计0 1 8 微米、l o o o 万门级的集成电路，有的企业甚至已经 达到设计0 1 3 微米或9 0 纳米的技术水平。 ( 2 ) 芯片制造趋势：目前国际高端集成电路晶片直径是1 2 英寸，近年内1 6 英寸晶片将面世，纳米级光刻工艺将广泛使用，新型器件结构的产生将带动新工 艺产生。 ( 3 ) 封装趋势：现有占主流的阵列式封装方式将让位给芯片级、晶片级封 装，更先进的系统级等封装方式将进入实用化。芯片实现表面贴装，封装与组装 界限将消失。 3 集成电路的设计方式 8 】 从设计方式演变的过程划分，设计手段经历了手工设计、计算机辅助设计 c a d 、电子设计自动化e d a 、电子系统设计自动化e s d a 以及可编程器阶段。 ( 1 ) 原始手工设计 设计过程全部由手工操作，从设计原理图，硬件电路模拟，到每个元器件单 元的集成电路版图设计，布局布线直到最后得到一套集成电路掩膜版，全部由人 工完成。 ( 2 ) 计算机辅助设计c a d 从2 0 世纪7 0 年代初逐渐开始c a d 的发展，后来出现越来越多的计算机辅 助设计软件，且计算机辅助设计功能越来越强，推动c a d 技术向自动化设计发 展。初期的c a d 功能较少，只能对某些功能进行辅助设计，现在利用计算机辅 助设计可以实现的功能包括：电路或系统设计，逻辑设计，逻辑、时序、电路模 拟，版图设计，版图编辑，反向提取，规则检查等等。 ( 3 ) 用计算机辅助工程的电子设计自动化e d a 2 0 世纪8 0 年代以来，计算机辅助工程c a e 配备了成套i c 设计软件，为i c 设计提供了完备、高效的工作平台。使利用e d a 设计l s i 和v l s i 成为可能， 使i c 设计发生两个质的飞跃： 1 ) 版图设计方面：除了传统的人机交互式方法对全定制版图进行编辑、绘 图外，定制、半定制设计思想的确立使自动半自动布局成为可能。 2 ) 逻辑设计方面：逻辑综合软件的开发，使系统设计者只要用硬件描述语 言( h d l ) 给出系统行为级的功能描述，就可以由计算机逻辑综合软件处理，得 到逻辑电路图或网表，优化了逻辑设计结果。 ( 4 ) 电子系统设计自动化e s d a e s d a 的目的是为设计人员提供进行系统级设计的分析手段，考虑了片上系 统( s y s t e mo nc h i p ，s o c ) 芯片软、硬系统设计的要求。把系统需求、处理机 制、芯片体系结构、各层次电路及器件、算法模型、软件结构、协同验证等紧密 第一章绪论 结合起来，进而完成系统级自动化设计，最终实现s o c 芯片系统。但e s d a 仍 处于发展和完善阶段，尚需解决建立系统级仿真库和实现不同仿真工具的协同模 拟。 利用e s d a 工具完成功能分析后，再用行为级综合工具将其自动转化成可综 合的寄存器级r t l 的h d l 描述，最后就可以由e d a 工具实现最终的芯片设计。 ( 5 ) 可编程器件的a s i c 设计 可编程a s i c 是专用集成电路发展的另一个有特色的分支，它主要利用可编 程的集成电路如c p l d 、f p g a 等可编程电路或逻辑阵列编程，得到a s i c 。其 主要特点是直接提供软件设计编程，完成a s i c 电路功能，不需要再通过集成电 路工艺线加工。 4 i c 设计流程 随着集成电路制造工艺的发展，芯片内电路的规模越来越大，线路越来越复 杂。为了应付日益复杂的集成电路设计，普遍采用了自顶向下( t o p d o w n ) 的 集成电路设计方法掣9 1 。t o p d o w n 设计是一种分层次设计方法，主要包括系统 级、功能级、寄存器传输级、门级、电路级、版图级等，按照这种自上而下的顺 序，在不同层次上对系统进行设计和仿真。经过“设计一验证一修改设计一再验 证”过程的不断重复和优化，使之在速度、面积、功耗上面有个合理的平衡。 t o p d o w n 设计大体上可分为三个阶段：系统开发阶段，r t l 设计阶段和门级验 证阶段。在系统开发阶段，主要完成项目策划，总体设计，详细设计和可测性设 计；在r t l 设计阶段，主要完成设计输入，代码调试，功能仿真，综合。以上 阶段一般统称为前端设计；在门级验证阶段，主要完成逻辑综合，静态时序分析， 形式验证，布局，布线以及版图逻辑图对比( l v s ，l o g i c v ss c h e m a t i c ) 和设 计规则检查( d r c ，d e s i g nr u l ec h e c k ) 。 具体流程可细分如下： ( 1 ) 系统规范化说明( s y s t e ms p e c i f i c a t i o n ) ：包括系统功能、性能、物理 尺寸、设计模式、制造工艺、设计周期、设计费用等等。 ( 2 ) 功能设计( f u n c t i o nd e s i g n ) ：将系统功能的实现方案设计出来。通常 是给出系统的时序图及各子模块之间的数据流图。 ( 3 ) 逻辑设计( l o g i cd e s i g n ) ：这一步是将系统功能结构化。通常以文本 ( v e r i l o gh d l 或v h d l ) 、原理图、逻辑图表示设计结果，有时也采用柿尔表达 式来表示设计结果。 ( 4 ) 电路设计( c i r c u i td e s i g n ) ：电路设计是将逻辑设计表达式转换成电路 实现。 ( 5 ) 版图设计( l a y o u td e s i g n ) ：版图设计是v l s i 设计中最费时的一步。 6 第一章绪论 它要将电路设计中的每一个元器件包括晶体管、电阻、电容、电感等以及它们之 间的连线转换成集成电路制造所需要的版图信息。 ( 6 ) 设计验证( d e s i g nv e r i f i c a t i o n ) ：在版图设计完成以后，非常重要的一 步工作是版图验证。主要包括：设计规则检查( d r c ) 、版图的电路提取( n e ) 、 电学规范检查( e r c ) 和寄生参数提取( p e ) 。 5 低功耗设计【1 0 】 随着芯片集成度不断提升以及便携式产品需求的不断增大，低功耗设计与集 成度和性能一并成为衡量集成电路设计的关键因素。低功耗技术涉及到很多因 素，如电源电压、工作频率、阈值电压、器件尺寸等，它们依赖于多个设计层次 的考虑。 ( 1 ) 通过工艺技术降低功耗 可以考虑的低功耗技术主要有：改善器件的低电压运行特性，使用较小的器 件和结电容，降低节点电容，改善互连技术，使用多阈值电压或可变阈值电压器 件，更高的集成密度等。 ( 2 ) 通过电路逻辑降低功耗 可以考虑的低功耗设计主要有：使用更多的静态逻辑电路，减少动态逻辑电 路，通过逻辑优化，降低开关活动性， 优化时钟和总线负载，使用更优的电路 技术，降低器件数量，全定制设计可以改善功耗，但增加设计成本，使用多阈值 电压逻辑电路，优化时序电路编码等。 ( 3 ) 通过结构优化降低功耗 使用电源管理技术，关闭不工作的模块，基于并行、流水线的低功耗结构， 存储器架构划分，有选择的使能存储器块，降低全局总线的数量，最小化指令集， 从而简化指令译码和执行逻辑。 ( 4 ) 通过算法优化降低功耗 最小化运算数量，从而减少所需硬件资源，使用适当的数据编码方案，减少 开关活动，合理的算法实现软硬件划分。 ( 5 ) 系统集成降低功耗 使用频率较低的系统时钟，高频率时钟由片上p l l 产生，把片外存储器和其 他外设芯片集成到片内。 表1 1 给出了系统各层次在功耗优化方面的比例，可以看出越是高层次，优 化效果越明显。 第一章绪论 表1 1各种优化层次的功耗改善比例 优化方法功耗节省比例 算法级 7 5 结构级 - 5 0 i 汀l 级 1 5 门级 5 晶体管级3 1 3 h 2 6 4 编码器的集成电路设计研究现状 自从2 0 0 3 年h 2 6 4 标准发布以来，得到了业界强有力支持。然而h 2 6 4 的 高性能是以实现的高复杂度为代价的：编码器的复杂度是h 2 6 3 的3 倍、m p e g 4 的4 5 倍；解码复杂度为h 2 6 3 的2 倍、m p e g 4 的2 3 倍_ 1 2 1 。因此，在p c 机上只能进行算法级的仿真和应用，不能进行实时编码；采用对一些d s p 硬件 加速的方法也只能用于档次要求不高的实现中【”】。相比之下，a s i c 具有速度高、 功耗低等优势，因此研究高效的h 2 6 4 编解码芯片方案已经成为a s i c 研究领域 中的热点之一，同时，其高复杂度也导致了在a s i c 实现上存在诸多难点。 目前，大多是采用s o c 方案实现整个h 2 6 4 编码器，它可以进行软硬划分 一控制部分用软件实现，关键模块用硬件加速。这样可以软硬协同工作，还便于 以后的升级。国内外有众多学者专注h 2 6 4 的v l s i 研究【1 4 。2 1 】，文献 1 4 1 提出基 于宏块级的流水线结构的h 2 6 4 编码器，提高了处理能力和硬件利用率；有的专 注于h 2 6 4 中的d c t 变换的实现【l “1 7 j ；有的专注于h 2 6 4 中运动估计模块的实 现与优化【1 8 - 1 9 】；有的专注于h 2 6 4 增强型熵编码模块的实现与优化【2 0 之。它们当 中的每个模块的优化都很重要，关系到整个编码器的性能。 产业界对此也有着浓厚的兴趣，2 0 0 2 年9 月，v i d e l l o c u s 公司展示了他们的 一个基于h 2 6 4 的演示产品。他们用1 m b p s 的速率成功地传送了m p e g 2 需要 5 m b p s 的d v d 质量的视频数据。s a n dv i d e o 于2 0 0 3 年第三季度发布实现h 2 6 4 基本档次的a s i c 解码方案【5 j ，然而2 0 0 4 年s a n dv i d e o 公司被b r o a d c o m 公司收 购，随后b r o a d c o m 公司也陆续发布了h 2 6 4 专用解码芯片的样片和最新成果。 2 0 0 5 年左右，h 2 6 4 编码器的a s i c 也陆续浮出水面。a l t e r a 公司和a t e m e 在国家广播联盟会议上展示了业内第一款基于f p g a 的h 2 6 4 a v c 实时视频编 码器。该芯片采用a l t e r a ss t r a t i xi if p g a 的a t e m e 方案实现了高质量广播视 频。 x i l i n x 公司在2 0 0 5 年发布了基于f p g a 的高清晰度h 2 6 4 视频编码器，使用 第一章绪论 的是4 i 2 i 的i p 核。4 i 2 ic o m m u n i c a t i o n s 公司是英国著名的视频编、解码i p 核供 应商，主要提供基于f p g a 和a s i c 的i p 核。 英国著名的i p 供应商a s p e xs e m i c o n d u c t o r s 公司最新推出来的q 系列产品， 支持多标准视频编码i p 核，具有用户自定义功能，可支持如下多种格式的视频 编解码：h 2 6 4 a v c ( 基本档次，主要档次，高级档次) ，v c 一1 w i n d o w sm e d i a ， s c a l a b l ev i d e oc o d e c ( s v c ) ，m p e g 2 ，a v s ，j p e g 2 0 0 0 ，m o t i o nj p e g 等。 图1 2 a s p e xs e m i c o n d u c t o r sq 系列架构图 由图1 2 可知，系统是一个s o c 架构，主要由处理器和硬件加速单元构成。 具体由输入、输出、高清压缩引擎、系统流处理器、视频预处理器、音频d s p 以及一些接口部分组成。其中，高清压缩引擎主要包括码率控制模块、运动估计 模块、帧内模式预测模块、宏块编码引擎( 变换、量化、r d o ) 和熵编码引擎； 视频预处理器部分主要是进行缩放、色彩空间转换、去噪、水印等处理；系统流 处理器部分主要系统内各模块的控制与用户可编程配置；音频d s p 部分主要处 理音频编解码。系统功能非常强大，提供丰富的接口，支持一路高清、四路标清 的输入；输出可接u s b 2 0 或接以太网，还可以选择a e s 3 d e s 加密输出；可缩 放特性可以编码从q c i f 到1 9 2 0 x1 0 8 0 p 3 0 f p s 之间的任意格式的视频，对于视 频的一些关键特征如运动估计范围和策略，视频质量，功耗等都可以用户定制。 国内企业如上海富瀚微电子有限公司在2 0 0 4 年底率先发布了支持h 2 6 4 m a i np r o f i l e 的a s i c 解码i p 核，并将陆续推出h 2 6 4 视频解码、编码产品及s o c 解决方案，但是与国外的产品在性能和功能上都有很大差别。 1 4 课题研究内容及意义 增强型熵编码是h 2 6 4 a v c 核心部分之一，h 2 6 4 a v c 的熵编码主要包括 基于上下文的自适应变长编码c a v l c ，以及基于上下文的二进制算术编码 9 第一章绪论 c a b a c 。它们基于上下文的思想较以往熵编码实现复杂度更高，c a