（信号与信息处理专业论文）基于fpga的h264熵编码与去方块滤波设计.pdf

中文摘要 摘要 h 2 6 4 是由i r r u 的视频编码专家组( v c e g ) 和i s o i e c 的活动图像编码专家 组( m p e g ) 的联合视频组( j v t ) 共同开发的新代视频压缩编码标准。新标准采用了 多模式帧间预测、1 4 像素精度估计、基于上下文的熵编码、整数d c t 变换和去方 块滤波等先进视频编码技术，具有高压缩比和良好的网络适应性，满足在低码率 情况下进行高质量的视频传输，已经被广泛的应用在许多视频开发方面。 随着e d a 技术的发展和大规模可编程逻辑器件性能的不断提高，s o p c 技术 结合了s o c 和p l d 、f p g a 的优点，已被广泛应用于许多嵌入式开发领域。本文 在深入研究h 2 6 4 编解码算法的基础上，采用a l t e r a 公司推出的d e 2 开发板， 进行了基于s o p c 的h 2 6 4 视频编解码系统方案设计。重点研究了c a v l c 熵编码、 反量化反变换和去方块滤波的f p g a 设计。论文工作主要包括以下几个方面： 1 ) c a v l c 是根据残差经过整数变换量化后的分布特性进行压缩，进一步减 少冗余信息，相对于c a b a c 来说复杂度比较低，对编码速度影响比较小。论文 通过对c a v l c 编码算法的分析，总结出c a v l c 编码流程，完成了c a v l c 熵编 码器的硬件设计，该编码器采用了三级流水线操作，显著的提高了其编码效率。 对整个c a v l c 熵编码器进行了仿真并在f p g a 上进行了验证，验证结果表明， 该方案编码系统时钟可达1 0 0 m h z 以上。 2 ) 根据反量化反变换的算法流程和实现结构，对残差系数的反量化、反整数 d c t 变换和d c t 变换系数中直流系数的反h a d a m a r d 变换与反量化的硬件设计进 行了具体介绍，在此基础上，实现了对c a v l c 熵解码输出的宏块残差的反量化反 变换模块硬件设计，完成了仿真验证。 3 ) 通过对去方块滤波算法的分析，提出了一种h 2 6 4 a v c 去方块滤波器的硬 件实现结构，采用5 级流水线设计提高去方块滤波处理速度，并改进滤波次序以 满足流水线处理的需要。该滤波器采用三层状态机控制滤波过程，有效的降低了 硬件设计的复杂性，通过适当增加内部s r a m 的使用提高了系统处理速度和数据 的吞度量。对整个去方块滤波器进行了仿真并在f p g a 平台上进行了验证，验证 结果表明，对于c i f 大小的图像，可以满足2 5 帧秒的实时滤波。 综上述，论文工作达到了预期设计目标，对h 2 6 4 的应用开发提供了一定的 参考。 关键词：h 2 6 4 ，c a v l c ，反量化反变换，去方块滤波，s o p c 英文摘要 a b s t r a c t h 2 6 4i st h en e w e s tg e n e r a t i o nv i d e oc o m p r e s s i o ne n c o d i n gs t a n d a r dd e v e l o p e d j o i n t l yb yi t u tv i d e oc o d i n ge x p e r tg r o u p ( v c e g ) a n d i s o i e cm o v i n gp i c t u r e s e x p e r tg r o u p ( m p e g ) j o i n tv i d e ot e a m ( y v t ) t h en e ws t a n d a r di n t r o d u c e ss o m e a d v a n c e dv i d e oe n c o d i n gt e c h n o l o g y ，i n c l u d i n gm u l t i - m o d ei n t e re s t i m a t i o n , 1 4 f i a c t i o n a lp i x e lm o t i o ne s t i m a t i o n , e n t r o p yc o d i n gb a s e do nt h ec o n t e x t , i n t e g e rd c t t r a n s f o r m , d e b l o c k i n gf i l t e r , e t c ，w h i c hh a st h em e r i t so fh i g hc o m p r e s s i o nr a t i o ， n e t w o r kf i i e n d l i n e s sa n ds oo n i tc a na f f o r d t h es a t i s f y i n gp e r f o r m a n c ef o rg a i n i n gh i g h q u a l i t yv i d e oi nl o w - c o d er a t et r a n s m i s s i o n , a n di th a sb e e nw i d e l yu s e di nm a n ya s p e c t s o fv i d e od e v e l o p m e n t a l o n gw i t ht h ed e v e l o p m e n to fe d at e c h n o l o g ya n dt h ea c c e l e r a t i v eg r o w t ho f h i g h - p e r f o r m a n c es c a l ep r o g r a m m a b l el o g i cd e v i c e ，s o p ct e c h n o l o g yc o m b i n i n gw i t h a d v a n t a g e so fs o c ，p l da n d f p g ah a sb e e n 丽d e l yu s e di nm a n yf i e l d so fe m b e d d e d d e v e l o p m e n t b a s e do nd e e p l ys t u d y i n gh 2 6 4e n c o d i n ga n dd e c o d i n ga l g o r i t h m ，t h e p a p e rh a sp e r f o r m e dt h ed e s i g nf o rh 2 6 4v i d e oe n c o d i n ga n dd e c o d i n gs y s t e mb yu s i n g d e 2d e v e l o p m e n tb o a r dd e v e l o p e db ya l t e mc o r p o r a t i o n f p g ai m p l e m e n t a t i o no f c a v l ce n t r o p ye n c o d e r , i n v e r s eq u a n t i z a t i o ni n v e r s et r a n s f o r m a t i o na n dd e b l o c k i n g f i l t e ri se m p h a t i c a l l ys t u d i e di nt h ep a p e r t h ep a p e rm a i n l yi n c l u d e st h ef o l l o w i n g s e v e r a la s p e c t s ： 1 ) c a v l cp e r f o r m sc o d i n gd a t ac o m p r e s s i o no nt h eb a s i so fd i s t r i b u t i o n c h a r a c t e r i s t i co fr e s i d u a lb e i n gp r o c e s s e db yt r a n s f o r m & q u a n t i z a t i o na n dr e d u c e s r e d u n d a n ti n f o r m a t i o nf u r t h e r c o m p a r e dw i t hc a b a c ，i t sc o m p l e x i t yi sl o wa n dh a sa r e l a t i v e l yl o wi m p a c to ne n c o d i n gt i m e t h r o u g ht h ea n a l y s i so fc a v l ce n c o d i n g a l g o r i t h m , t h ep a p e rs u m m a r i z e sc a v l ce n c o d i n gf l o w , a n dt h e nh a sc o m p l e t e d h a r d w a r ec i r c u i td e s i g no fc a v l c e n t r o p ye n c o d e r i ts i g n i f i c a n t l yi m p r o v e se n c o d i n g e f f i c i e n c yv i at h r e e - s t a g ep i p e l i n eo p e r a t i o n s i m u l a t i o na n df p g av e r i f i c a t i o nh a sb e e n d o n ef o rt h ew h o l ec a v l ce n t r o p ye n c o d e r t h ev e r i f i c a t i o nr e s u l ts h o w st h a tt h e e n c o d i n gs y s t e mc l o c kc a nr e a c hm o r et h a n10 0 m h z 2 ) a c c o r d i n gt oa l g o r i t h mf l o wa n di m p l e m e n t a t i o ns t r u c t u r eo fi q i t , h a r d w a r e c i r c u i td e s i g no fi n v e r s eq u a n t i z a t i o no fr e s i d u a lc o e f f i c i e n t , i n v e r s ei n t e g e rd c t t r a n s f o r m a t i o na n di n v e r s eh a d a m a r da n di n v e r s eq u a n t i z a t i o no fd c tt r a n s f o r m c o e f f i c i e n t s sd i r e c tt o e 伍c i e n t s o nt h i sb a s i s ，h a r d w a r ec i r c u i td e s i g no fi q i tm o d u l e h i 重庆大学硕士学位论文 f o rm br e s i d u a lo u t p u t e db yc a v l c e n t r o p yd e c o d i n g ，a n ds i m u n l a t i o nh a sb e e nd o n e f o ri t se n t i r e t y 3 ) t h r o u g ht h ea n a l y s i so fd e b l o c k i n gf i l t e ra l g o r i t h m ，h a r d w a r ei m p l e m e n t e d a r c h i t e c t u r eo fd e b l o c k i n gf i l t e ri sp r o p o s e df o rh 2 6 4 a v c i ti n c r e a s e sd e b l o c k i n g f i l t e r i n gp r o c e s s i n gs p e e db yu s i n gf i v e - s t a g ep i p e l i n ed e s i g na n di m p r o v e sf i l t e r i n g o r d e rt om e e tt h en e e do fp i p e l i n ep r o c e s s i n g t h r e e - l a y e rs t a t em a c h i n ei sa d o p t e dt o c o n t r o lf i l t e r i n gp r o c e s si nt h ef i l t e r , a n di te f f e c t i v e l yd e c r e a s e st h ec o m p l e x i t yo f h a r d w a r ed e s i g n t h r o u g hp r o p e r l yi n c r e a s i n gt h eu s a g eo ft h ei n t e r n a ls r a m ，i t i m p r o v e ss y s t e mp r o c e s s i n gs p e e da n d d a t at h r o u g h p u t s i m u l a t i o na n df p g a v e r i f i c a t i o nh a v eb e e nd o n ef o rt h ew h o l ed e b l o c k i n gf i l t e r t h ev e r i f i c a t i o nr e s u l t s s h o w st h a ti tc a nm e e t2 5f r a m e sr e a l - t i m ef i l t e r i n gf o rc i fs i z ei m a g e i nb r i e f , t h ed u ed e s i g ng o a lh a sb e e na c h i e v e di nt h ep a p e r , a n di tc a np r o v i d e d e f i n i t er e f e r e n c ef o ra p p l i c a t i o nd e v e l o p m e n to fh 2 6 4 k e yw o r d s ：h 2 6 4 ，c a v l c ，i n v e r s eq u a n t i z a t i o ni n v e r s et r a n s f o r m a t i o n , d e b l o c k i n g f i l t e r , s o p c i v 学位论文独创性声明 本人声明所呈交的至处 士 学位论文 娌群母喇迹逝蜢瘟靼勉星坦虹区蟮盘单是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人己经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 学位论文作者签名：杨醍 导师签名： 矾叫入 l 签字日期：扛彳与叫中i i i 签字日期：乃7 与石日够闫 学位论文使用授权书 本人完全了解重庆大学有关保留、使用学位论文的规定。本人完全同意中 国博士学位论文全文数据库、中国优秀硕士学位论文全文数据库出版章程( 以 下简称“章程 ) ，愿意将本人的砒学位论文谨酗互a 垃生五生墒舞瑟盆娜础叶 提交中国学术期刊( 光盘版) 电子杂志社( c n k i ) 在中国博士学位论文全文数 据库、中国优秀硕士学位论文全文数据库以及重庆大学博硕学位论文全文 数据库中全文发表。中国博士学位论文全文数据库、中国优秀硕士学位论 文全文数据库可以以电子、网络及其他数字媒体形式公开出版，并同意编入c n l 【i 中国知识资源总库，在中国博硕士学位论文评价数据库中使用和在互联 网上传播，同意按“章程 规定享受相关权益和承担相应义务。本人授权重庆大 学可以采用影印、缩印或其他复制手段保存论文，可以公开论文的全部或部分内 容。 作者签名：掣妄圣建 导师签 备注t 审核通过的涉密论文不得签署。授权书一，须填写以下内容： 该论文属于涉密论文，其密级是缉，涉密期限至年一月一日。 说明：本声明及授权书! 鳆装订在提交的学位论文最后一页。 l 绪论 1 绪论 1 1 课题研究背景 随着i n t e m e t 和移动通信的迅猛发展，视频信息和多媒体信息在i n t e r n e t 和移 动网络中的处理技术和传输技术成为了我国信息化的热点。视频信息虽然具有直 观性、确切性和高效性等优点，但其信息量太大，必须进行有效压缩，为了适应 不同信道传输的需求，以及用户对视频自由选择编码的需求，由此出现了新一代 的视频编码技术- h 2 6 4 标准【l j 。 h 2 6 4 是由i t u 的视频编码专家组( v c e g ) 和i s o i e c 的活动图像编码专家组 m 伊e g ) 的联合视频组( j v t ) 共同开发的新一代视频压缩编码标准，于2 0 0 3 年3 月 在泰国p a t t a y a 举行的t 第7 次会议上正式成为国际标准，在i t u t 中称为h 2 6 4 ， 而在i s o i e c 中被称为m p e g - 4 的第1 0 部分，即高级视频编碉j ( a v c ) 1 2 1 。h 2 6 4 既 保留了以往视频编码标准( h 2 6 3 和m p e g - 4 ) 的优点和精华，又具有其它视频编码 标准无法比拟的许多优点，主要包括以下几个方面【3 】： 低码流：与m p e g 2 与m p e g - 4 a s p 等压缩技术相比，在相同图像质量下， 采用h 2 6 4 技术压缩后的数据量只有m p e g 2 的1 8 ，m p e g - 4 的1 3 ，这将大大 节省用户的下载时间和流量费用。 高质量的图像：h 2 6 4 能提供连续、流畅的高质量图像( d v d 质量) 。 容错能力强：h 2 6 4 提供了解决在不稳定网络环境下容易发生的丢包等错 误的必要工具。 网络适应性强：h 2 6 4 提供了网络适应层，使得h 2 6 4 的文件能容易地在 不同网络上传输( 例如互联网，c d m a ，g p r s ，w c d m a ，c d m a 2 0 0 0 等) 。 正是由于以上优势，h 2 6 4 在数字电视广播、视频实时通信、网络视频流媒体 传输以及多媒体短信等各个方面的应用越来越广泛【4 】。 h 2 6 4 低码流的优点，为因特网的发展提供了广阔的前景。h 2 6 4 的推广应用 对视频终端、网关等系统的要求较高，这将有力地推动视频会议软硬件设备在各 个方面的不断完善。同时，h 2 6 4 标准具有优于m p e g 4 和h 2 6 3 的压缩性能，可 应用于数字摄像、数字视频录像、电视广播及d v d 等领域的图像压缩。目前，许多 大公司都己经开始把h 2 6 4 技术应用到各个领域中。 h 2 6 4 技术对高清晰度电视的传输和存储发挥着重要作用。现在，人们有可能 将一部8 m b p s 的高清晰节目方便地存储在一张d v d 上，这将极大地促进和推动 家庭影院市场的发展。同时，h 2 6 4 使得在卫星或是有线电缆上，每信道能传送4 路高清晰节目，其运行费用比基于m p e g - 2 系统降低很多。另外，由于h 2 6 4 编 重庆大学硕士学位论文 码比现有编码算法的压缩比高出许多倍，这将使其在移动通信领域占领一席之地 并扮演重要角色。由于3 g 系统的频段十分昂贵，降低传输码率、提高信道利用率 将显得尤为重要。 h 2 6 4 标准的推出是视频编码标准的一次重要的进步，虽然h 2 6 4 算法在编码 效率上具有明显的优越性，但在算法的复杂度上，h 2 6 4 执行的时间和所需的存储 量还较大，对算法的优化和完善将成为进一步研究方向。同时，给嵌入式工程师和 硬件工程师进行工程设计带来了巨大的挑战，常常还影响到产品开发的成本。 h 2 6 4 是当今最先进的视频编码标准，受到各行业的关注，研究开发支持h 2 6 4 标准视频流的编解码芯片已成为数字媒体领域的焦点。正是在这样的背景下，本 文对h 2 6 4 视频编解码芯片中的关键模块进行研究。 1 2 课题的国内外研究现状 1 2 1h 2 6 4 视频编码技术的发展 近年来，一系列国际视频压缩编码标准的制定，极大地促进了视频压缩编码 技术和多媒体通信技术的发展。视频压缩编码标准的制定工作主要是由国际标准 化组织( i s o ) 和国际电信联盟( i t u ) 完成的1 5 1 。到目前为止，由上述两个国际组织制 定的有关视频编码的国际标准有h 2 6 1 ，m p e g - 1 ，m p e g - 2 ，h 2 6 3 ，m p e g - 4 ，h 2 6 4 ， m p e g 7 ，h 2 6 l 等。其中，h 2 6 1 ，m p e g - 1 和m p e g - 2 采用了第一代压缩编码方 法，如预测编码、变换编码、熵编码以及运动补偿等，这是以s h a n n o n 信息论为 基础的视频压缩编码技术，由于其压缩比普遍不高，一般是1 0 - 1 左右，在进行 低码率的图像压缩时，往往无法提供令人满意的质量。从m p e g - 4 标准以后，采 用的是第二代视频编码方法，如分形编码、根据模型的编码和基于对象的编码等， 突破了原有信息论框架，充分利用了人工智能，计算机图形学等相关学科的研究 成果，实现从波形编码到模型编码的转变，为视频图像压缩编码开拓出了广阔的 前景，其压缩比多在3 0 ：1 至7 0 ：1 之间 6 1 。但是由于第二代编码算法大大增加了 实现的复杂度，从当前发展情况来看，仍处于深入研究的阶段。 h 2 6 4 a v c 由m p e g 和v c e g 联合开发的一个比早期研发的m p e g 和h 2 6 3 性能更好的视频压缩编码标准，也被称为i t u th 2 6 4 建议和m p e g - 4 的第十部分 的标准【7 1 。h 2 6 4 仍基于经典混合编码算法的基本结构，在变换编码、熵编码和运 动估计等方面采用了一系列先进技术，是视频编码技术和图像工程的最新研究成 果，其性能超越了以往所有的视频编码标准，具有光明的应用前景。从标准制定 到颁布，h 2 6 4 一直是i t u 、m p e g 、d v d 、d v b 、3 g p p 等工业化组织共同推进 的视频编码国际标准，可见，在众多行业巨擘的推动下，h 2 6 4 技术的应用将迅 速进入到视频服务、媒体制作发行、固定及移动运营网络、平台开发、设备终端 2 1 绪论 制造、芯片开发等多个领域。 h 2 6 4 并不明确地规定一个编解码器如何实现，而是规定了一个编了码的视频 比特流的句法，和该比特流的解码方法，各个厂商的编码器和解码器在此框架下 应能互通，在实现上具有较大的灵活性，而且有利于相互竞争。目前，h 2 6 4 主要 有三大开源编码器晡j ： j m ：h 2 6 4 的官方测试源码，由德国h h i 研究所负责开发。 特点：实现了2 6 4 所有的特性，由于是官方的测试源码，所以学术研究的算 法都是在j m 基础上实现并和j m 进行比较。但其程序结构冗长，只考虑引入各种 新特性以提高编码性能，忽视了编码复杂度，其编码复杂度极高，不宜实用。 x 2 6 4 ：网上自由组织联合开发的兼容2 6 4 标准码流的编码器，创始人是 一个法国人。x 2 6 4 在网上的口碑极佳。 特点：注重实用。和j m 相比，在不明显降低编码性能的前提下，努力降低编 码的计算复杂度，故x 2 6 4 摈弃了2 6 4 中一些对编码性能贡献微小但计算复杂度极 高的新特性，如多参考帧、帧间预测中不必要的块模式、c a b a c 等。 t 2 “：中国视频编码自由组织联合开发的2 6 4 编解码器，编码器编码输 出标准的2 6 4 码流，解码器只能解t 2 6 4 编码器生成的码流。 特点：和x 2 6 4 的出发点相似，并吸收了j m 、x 2 6 4 、x v i d 的优点。 1 2 2 嵌入式s o p c 技术的发展 微电子技术的进步随着微电子技术和计算机技术的发展，可编程逻辑器件、 e d a 技术、嵌入式系统、s o c 、s o p c 、i p 核等新概念和新技术层出不穷，新技术 的应用迅速渗透到电子、通信、信息、机械制造、仪器仪表、航空航天、家用电 器等领域，有力地推动了社会生产力的发展和社会信息化程度的提高。 微电子技术的发展是现代电子技术发展的基础【9 】。目前，在硅片单位面积上集 成的晶体管数量越来越多，原来需要成千上万只电子元器件组成的电子设备电路， 现在仅用几片或单片超大规模集成电路就可以实现。微电子技术的进步以及应用 领域多样化的需求，促使集成电路向高速、高集成度、低功耗的集成方向发展。 在单芯片上集成了嵌入式c p u 、d s p 、存储器、和其他控制功能的片上系统正处 于高速发展中。 s o p c ( s y s t e mo nap r o g r a m m a b l ec l l i p ) 称为可编程片上系统【1 0 1 ，它基于可编程 逻辑器件伍p g a 或c p l d ) 可重构的片上系统( s o c ) 。s o p c 集成了硬核和软核c p u 、 d s p 、锁相环( d l l ) 、存储器、i o 接口及可编程逻辑，可以灵活高效的解决s o c 方案，而且设计周期短，设计成本低。目前，s o p c 技术已成为中小企业、研究所 和大专院校青睐的设计技术。 3 重庆大学硕士学位论文 1 3 课题的研究目的和意义 作为新一代的视频压缩编码标准，h 2 6 4 性能的大幅提升很大程度上是以计算 复杂度的大幅增加为代价。新标准采用了分层设计、4 x 4 块的整数变换、多模式高 精度运动补偿、多参考帧预测、环路滤波、统一变长编码和基于内容的自适应算 术编码等先进的编码技术，显著提高了预测精度，从而获得了较之其它标准更加 优秀的压缩性能。 尽管h 2 6 4 具有如此的优越性能，但它运算复杂度的提升依然带来了问题， 即一般的图像处理芯片难于满足实时编解码的要求。目前主流嵌入式平台的发展 很大程度上缓解了这个问题。f p g a 是在p a l 、g a l 、p l d 等可编程器件的基础 上进一步发展的产物，是专用集成电路中集成度最高的一种。f p g a 适合做高端数 据处理，并可利用其并行处理能力提高处理速度，它可以用v h d l 或v e r i l o g h d l 来编程，灵活性强，由于能够进行编程、除错、再编程和重复操作，因此可以充 分地进行设计开发和验证。所以许多公司和研究机构采用f p g a 进行h 2 6 4 视频 编解码器的开发，并取得了一些成果。 目前能提供h 2 6 4 编解码口核的厂家主要有4 i 2 i ，i n d i g o v i s i o n , s a m o f f , c a s t ， a t e m e ，创意电子以及国内的中芯联合等。基于f p g a 的h 2 6 4 视频编码p 核比 较有代表性的有可编程逻辑供应商x i l i n x ，a l t e r a 与英国p 核供应商4 i 2 i c o m r a u n i c a t i o n s 及a t e m e 开发的f p g a 高清晰度h 2 6 4 视频编码器。但因其价 格昂贵而且性能还有待提升，因此，研究h 2 6 4 编解码芯片的设计具有重要的意 义和实用价值。 课题的目的通过深入分析h 2 6 4 编解码算法，对熵编码、反变化反量化模块 和去块滤波模块作重点研究并进行算法优化，使其易于硬件化设计，最后在f p g a 上实现熵编码、反量化反变化模块和去块滤波的硬件设计。 1 4 论文的主要内容与章节安排 论文的主要内容： 在熟悉h 2 6 4 标准的基础上，对h 2 6 4 的测试源码j m 进行深入研究，重 点分析了熵编码、反量化反变换和去方块滤波算法，归纳出算法流程，并采用 m a t l a b 进行了仿真和性能分析。 根据对h 2 6 4 编解码算法的研究，结合s o p c 技术，进行了基于s o p c 的 h 2 6 4 视频编解码器实现方案设计。 根据h 。2 6 4 视频编解码系统实现方案，对熵编码模块、反量化反变换模块、 去块滤波模块进行了硬件设计，并进行了仿真和验证。 论文的章节安排： 4 1 绪论 第一章绪论。介绍了论文的课题背景、国内外研究现状、课题的目的和意 义，及论文的主要内容和章节安排。 第二章h 2 6 4 视频编解码系统方案及相关技术研究。主要介绍了h 2 6 4 视频 编解码器结构、关键技术、s o p c 开发流程与h 2 6 4 编解码系统实现方案。 第三章熵编码器设计。本章分析了h 2 6 4 标准中的两种主要的熵编码 c a v l c 和c a b a c ，完成了c a v l c 熵编码器的硬件设计，对c a b a c 熵编码器进 行了整体设计，并比较了两种熵编码的性能。c a v l c 熵编码的设计是本章的研究 重点，并进行了综合仿真和f p g a 验证。 第四章反量化反变换模块设计。本章主要介绍了h 2 6 4 标准中反量化反变 换的原理、算法分析和具体的硬件设计过程并进行了综合仿真。 第五章去方块滤波器的设计。本章分析了去方块效应产生的原因，主要介 绍了去方块滤波器的原理、算法分析和具体的硬件设计过程并给出了仿真结果。 最后，在f p g a 平台上进行验证。 第六章总结与展望。主要是对本文所做的工作进行总结，并对以后的研究 方向进行了展望。 5 2h 2 6 4 视频编解码系统方案及相关技术研究 2h 2 6 4 视频编解码系统方案及相关技术研究 2 1h 2 6 4 视频压缩编码标准介绍 2 1 1h 2 6 4 的编解码器结构 h 2 6 4 编码器结构 图2 1h 2 6 4 编码器结构 f i g 2 1s t r u c t u r eo f h 2 6 4e n c o d e r h 2 6 4 编码器采用的仍是变换和预测的混合编码法。h 2 6 4 编码过程如图2 1 所示，输入的帧或场e 以宏块( 1 6 x 1 6 ) 为单位被编码器处理，然后按帧内或帧间预测 编码的方法进行处理【1 1 】。 在帧内预测模式下，其预测值p 是由当前片中前面已编码的参考图像经运动 补偿( m c ) 后得出，其中参考图像用一表示。为了提高预测精度，从而提高压缩 比，实际的参考图像可在过去或未来已编码解码重建和滤波的帧中进行选择。在 帧间预测模式下，预测宏块由一个或多个参考帧通过运动补偿预测进行构建。在 图中参考帧是作为己编码的帧一出现的。每个宏块可由一个或多个己经进行编码 和重构的前帧或后帧预测得到。预测值p 和当前块相减后，产生一个残差块见， 经块变换、量化后产生一组量化后的变换系数x ，再经熵编码，与解码所需的一 些边信息( 如预测模式量化参数、运动矢量等) 一起组成一个压缩后的码流，经 n a l ( 网络自适应层) 供传输和存储用。 为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。因此必 须使残差图像经反量化、反变换后得到的反与预测值p 相加，得到z 疋。为了去 除编码解码环路中产生的噪声，提高参考帧的图像质量，从而提高压缩图像性能， 7 重庆大学硕士学位论文 设置了一个环路滤波器，滤波后的输出即重建图像可用作参考图像。 h 2 6 4 解码器结构 图2 2h 2 6 4 解码器结构 f i g 2 2s t r u c t u r eo f h 2 6 4d e c o d e r h 2 6 4 解码过程如图2 2 所示，由编码器的n a l 输出一个压缩后的h 2 6 4 压 缩比特流，经熵解码得到量化后的一组变换系数x ，再经反量化、反变换，得到 残差反。利用从该比特流中解码出的头信息，解码器就产生一个预测块p ，它和 编码器中的原始p 是相同的。当该解码器产生的p 与残差砭相加后，就产生圳， 再经滤波后，最后就得到滤波后的，这个就是最后的解码输出图像。 2 1 2h 2 6 4 的关键技术 从图2 1 和图2 2 可见，h 2 6 4 和基于以前的标准( 如h 2 6 1 、h 2 6 3 、m p e g 1 、 m p e g - 4 ) , 的编解码器功能块的组成并没有什么区别，主要的不同在于各功能块 的细节。基本算法是通过帧间预测和运动补偿消除时域冗余，经过变换编码消除 频域冗余。h 2 6 4 视频编码标准中采用的关键技术有如下【1 2 , 1 3 】： 熵编码 h 2 6 4 a v c 标准中主要有两种熵编码，一种是基于上下文自适应的可变长编 码c a v l c ( c o n t e x t - b a s c da d a p t i v ev a r i a b l el e n g t hc o d i n g ) ，另一种是基于上下文 的自适应的二进制算术熵编码c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i c c o d i n g ) 。 c a v l c 是用于对变换系数的编解码，它利用相邻块间非零系数的个数相关和 零系数集中在高频段等特性，采用从高频开始的逆向扫描方式，充分挖掘数据的 统计特性，提高压缩比。 h 2 6 4 相对于以前基于块运动补偿的混合视频编码技术的一个重要进步在于 引入算术编码，因为它具有非常优良的编码性能。算术编码将被编码的信源符号流 表示成时数半开区间【0 ，1 ) 中的一个数值间隔，这个间隔随着信息流中的每一个信 源符号的加入逐步减小，符号流越长，代表它的间隔就越小，编码表示这一间隔 所需要的数位就越多。c a b a c 编码性能比c a v l c 稍好，但计算复杂度也高。 8 2h 2 6 4 视频编解码系统方案及相关技术研究 整数变换量化 视频压缩编码中以往常用单位为8 x 8 块。在h 2 6 4 中却采用小尺寸的4 x 4 块， 由于变换块的尺寸变小了，运动物体的划分就更为精确。在h 2 6 4 中，变换不采 用完全的4 4d c t ，而是采用一个具有类似4 x 4d c t 性质的整数变换。采用4 4 整数变换降低了残差信号空间相关性，提高预测精度，在视觉上具有较小的最佳边 缘噪声，而且较小变换只需要较少的计算和较小的处理码长，由于其变换处理只 涉及加法和移位，编码器和解码器之间避免了失配，没有“反变换误差”，提高了图 像回放质量，降低码率。 对变换参差系数的量化使用了5 2 级步长的量化器，可选3 2 种不同的量化步 长，h 2 6 3 标准只有3 1 级。但是在h 2 6 4 中，步长是以1 2 5 的复合率递进的， 而不是一个固定常数。量化步长范围的扩大使得编码器能够更灵活、精确地进行 控制，在比特率和图像质量之间达到比较理想的效果。 去块滤波 由于编码是有损的，会引起重构以后块间亮度落差大、图像出现马赛克等现 象，影响人的视觉感受。为了消除这种块效应现象，h 2 6 4 在重构当前帧之前，采 用了一个自适应的环路滤波器，能有选择性地对块间信号滤波，平滑块间信号， 提高图像质量。环路滤波器减少了宏块边界处的块效应，它应用于所有的宏块中， 通过对宏块边缘的平滑滤波，减轻视频编码中的块效应，改善主观视觉效果。h 2 6 4 根据宏块的压缩模式( 帧内或帧间) ，量化系数，运动矢量帧场编码方式以及边界处 的像素值等自适应地调整滤波器强度。重构后的帧更接近原始帧，有利于下一帧 的运动补偿和和预测，减少于预测残差。 帧内预测 帧内预测通过减少空间域的相关性来获得更高的压缩效率。当块或宏块做帧 内编码时，对于每个4 x 4 块( 边缘块除外) 中的像素通过相邻块中已解码的1 7 个像 素进行预测，预测模式分为9 种( 模式0 到模式8 ) ，其中模式o 为d c 模式。h 2 6 4 则在空域中，利用当前块的相邻像素直接对每个像素值做预测，更有效地去除相 临块之间的相关性，极大地提高了帧内编码的效率。 运动补偿 每个宏块( 1 6 x 1 6 像素) 可以按4 种方式进行分割：1 6 1 6 、1 6 x 8 、8 x 1 6 和8 x 8 ， 其运动补偿也相应有4 种，而8 x 8 模式的每个子宏块可以进一步按4 种方式进行 分割：8 x 8 、4 x 8 、8 x 4 和4 x 4 。这些分割和子宏块大大提高了各宏块之间的关 联性，这种分割下的运动补偿则称为树状结构运动补偿。这种更多形式的宏块划 分，更切合图像中实际运动物体的形状，改善运动补偿的精度，更好的实现运动 隔离，提高图像质量和编码效率。 9 重庆大学硕士学位论文 h 2 6 4 在运动估计中，支持1 4 和1 8 像素精度的运动补偿，使用一个6 抽头 滤波器从整像素点得到半像素点，用线性插值获得1 4 像素点，用8 抽头滤波器实 现1 8 像素精度。同时，h 2 6 4 可以从多个参考图像中选出一个或两个与当前图像 最匹配的图像作为运动估计的参考图像，进一步提高预测效果。 本文重点研究了熵编码、反量化反变换和去方块滤波这三种关键技术。 2 2 基于f p g a 的片上可编程系统s o p c 介绍 2 2 1s o p c 技术简介 s o p c 是指用可编程逻辑技术把整个系统放到一个硅片上。它是一种特殊的嵌 入式系统，具有两方面的特点：它是片上系统，即由单个芯片完成整个系统的主 要逻辑功能；它是可编程系统，具有灵活的设计方式，可裁减、扩充、升级，并 具备软硬件在系统可编程的功能【1 4 1 。s o p c 技术将e d a 、计算机设计、嵌入式系 统、工业自动控制系统、d s p 及数字通信系统等技术融为一体。s o p c 结合了s o c 和p l d 、f p g a 各自的优点，一般具有如下基本特征：至少包含一个嵌入式处理 器内核；具有小容量片内高速r a m 资源；丰富的i pc o r e 资源可供选择；足够的 片上可编程逻辑资源；处理器调试接口和f p g a 编程接口；可包含部分可编程模 拟电路；单芯片，低功耗，微封装。 s o p c 是a l t e r a 公司提出来的一种灵活、高效的解决方案，它将处理器、存储 器、i o 口、l v d s ，c d r 等系统设计需要的东西集成到一个p l d 器件上，构建成 一个可编程的片上系统。目前，在f p g a 上嵌入软核处理器，由于其在降低开发 成本上的巨大优势而得到了迅速的发展，比较有代表性的有：a l t e r a 公司的n i o si i 核、x i l i n x 公司的m i c r o b l a z e 核等。 a l t e r a 公司推出的n i o si i 系列嵌入式处理器使用3 2 位的指令集结构( i s a ) ，完 全与二进制代码兼容，它是建立在第一代1 6 位n i o s 处理器的基础上的，定位于广 泛的嵌入式应用。n i o si i 处理器系列包括了三种内核快速的( n i o s i 0 、经济的 ( n i o si r e ) 和标准的叫i o si v s ) 内核，开发人员可针对不同的性能范围和成本选择适 合的处理器。同时，开发者使用a l t e r a 的q u a r t u si i 软件、s o p cb u i l d e r 工具以及 n i o si i 集成开发环境，可以轻松地将n i o si i 处理器嵌入到所开发的系统中。 a v a l o n 总线是由a l t e r a 公司提出的一种相对简单的总线结构，主要用于连接 片内处理器和外设，以构成可编程芯片系统( s o p c ) 。a v a l o n 总线描述了主、从构 件之间的端口连接关系，以及构件之间通信的时序关系。a v a l o n 总线接口可以分 为2 类：s l a v e 和m a s t e r 。s l a v e 是一个从控接口，而m a s t e r 是一个主控接口。m a s t e r 和s l a v e 的主要区别是对a v a l o n 总线控制权的把握，m a s t e r 接口具有相接的a v a l o n 总线控制权，而s l a v e 接口是被动的。 1 0 2h 2 6 4 视频编解码系统方案及相关技术研究 2 2 2s o p c 设计流程 s o p c 设计包括以n i o si i 软核处理器为核心的嵌入式系统的硬件配置、硬件 设计、硬件仿真、i d e 环境的软件设计、软件调试等【l5 1 。s o p c 系统设计的基本软 件工具包括：q u a r t o si i ，用予完成n i o si i 系统的分析综合