（通信与信息系统专业论文）h264和avs运动补偿通用架构的设计与实现.pdf

h 2 6 4 和a v s 运动补偿通用架构的设计与实现 摘要 随着信息技术日新月异地发展变化，人们对多媒体应用的需求已经渗透到社 会生活的各个角落，越来越多的数字视频技术被广泛地应用于消费电子、互联网、 视频监控、视频通信、高清电视等方面。各种视频压缩标准更是成为研究的热点， 其中h 2 6 4 和a v s 代表了视频编解码技术发展的最新方向，已经得到了业界大多 数标准化组织和厂家的认可。 h 2 6 4 a v c 是由i t u - t 的v c e g 和i s o i e c 的m p e g 两大国际组织共同制订的 最新一代的视频标准。h 2 6 4 a v c 具有很高的编码效率，同以往的标准相比， 在计算精度和一些具体的算法上都有很大的改进。a v s 协议则是中科院带头组织 研发的视频标准心1 ，在和h 2 6 4 a v c 协议视觉效果相当的前提下降低了实现的复 杂度和规模，具有中国自主知识产权，标准的第二部分己于2 0 0 6 成为国家标准。 超大规模集成电路技术的发展为视频解码器提供了硬件上的支持，使更为复 杂、对实时性要求更高的编解码运算能够得以实现，推动了整个视频产业的发展。 因为h 2 6 4 和a v s 这两个视频协议的应用前景非常广阔，均代表了数字高清领域 的最高技术，前者是国际上未来视频发展的主流方向，后者作为国内自主提出的 标准，在视频质量上与h 2 6 4 a v c 相当的情况下，获得了国家的大力扶持，所以 这两个协议在中国未来的发展中都会占有一席之地，最好能够有视频解码器将两 种视频协议全部兼容，这样就能保证自己的产品必能适应市场的需要。 基于这个思路，本论文探讨了设计复用h 2 6 4 和a v s 两种标准的解码器架构， 特别是对这两种标准的运动补偿部分进行了详细地分析和比较，针对它们在算法 上的异同点，讨论了在硬件架构复用上的可能性和设计思路。由于插值运算占用 了整个解码器运动补偿中大部分的运算量，对性能有显著的影响，且两个标准在 插值的算法上不同，所以重点设计了这部分的复用架构，采用流水线的策略，给 出了一种具体的亮度和色度插值模块的复用架构。 针对该硬件架构设计，论文采用了硬件描述语言v e r i l o g 进行描述并进行功 能仿真，用c 语言描述的行为级模型对设计进行了功能验证，证明了该插值模块 的复用架构既能节省硬件资源，又能满足兼容两种标准、进行高清实时解码的性 能要求。 关键词：a v s ，h 2 5 4 ，插值运算，流水线，复j 1 设计 d e s i g na n di m p l e m e n tt h em u l t i p l e xa r c h i t e c t u r eo fm o t i o n c o m o fh 。2 6 4a n d 斟s 1 , 5 0 m d e n s l o no t4a n da v a b s t r a c t w i t ht h er a p i dd e v e l o p m e n ta n dc h a n g e so fi n f o r m a t i o nt e c h n o l o g y , p e o p l e s d e m a n df o rm u l t i m e d i aa p p l i c a t i o n sh a sp e n e t r a t e di n t oe v e r yc o m e ro fs o c i a ll i f e m o r ea n dm o r ed i g i t a lv i d e ot e c h n o l o g yh a sb e e nw i d e l yu s e di nc o s u m ee l e c t r o n i c ， i n t e m e t ，v i d e os u r v e i l l a n c e ，v i d e oc o m m u n i c a t i o n ，h i g h d e f i n i t i o nt v , e t c av a r i e t y o fv i d e oc o m p r e s s i o ns t a n d a r dh a sb e c o m eah o ta tr e s e a r c h ，a m o n gt h e m ，t h eh 2 6 4 a n da v sr e p r e s e n tt h el a t e s td e v e l o p m e n td i r e c t i o no fv i d e oc o d e c t e c h n o l o g y t h e t w os t a n d a r dh a v eb e e nr e c o g n i z e db ym o s to fs t a n d a r d i z a t i o no r g a n i z a t i o n sa n d m a n u f a c t u r e r si nt h ei n d u s t r y h 2 6 4 a v ci st h el a t e s tg e n e r a t i o nv i d e os t a n d a r dt h a t d e v e l o p e db yt h et w o i n t e r n a t i o n a lo r g a n i z a t i o n ，v c e go fi t u ta n dm p e go fi s o i e c c o m p a r e dw i t h t h ep a s ts t a n d a r d s ，h 2 6 4 a v ch a s h i g h c o d i n ge f f i c i e n c ya n d as i g n i f i c a n t i m p r o v e m e n ti nc a l c u l a t i o np r e c i s i o na n dan u m b e ro fs p e c i f i ca l g o r i t h m st oal a r g e e x t e n t a v si st h ev i d e oc o d i n gs t a n d a r do fr e s e a r c hc e n t e rw h i c ho r g a n i z e db y c h i n e s ea c a d e m yo fs c i e n c e c o m p a r e dw i t ht h eh 2 6 4 a v ci th a st h es a m ed i s p l a y e f f e c ta n dl e s s d e c o d i n g c o m p l e x i t ya n da r e a t h ea v sh a st h ei n d e p e n d e n t i n t e l l e c t u a lp r o p e r t yr i g h t sa n dt h ep a r t2h a sb e e nt h en a t i o n a ls t a n d a r di n2 0 0 6 t h ed e v e l o p m e n to fv e r y l a r g es c a l ei n t e g r a t e dc i r c u i tt e c h n i q u ep r o v i d e s h a r d w a r es u p p o r tf o rt h ev i d e od e c o d e r , w h i c hm a k et h em o r ec o m p l i c a t e d ，m o r e d e m a n d i n gr e a l - t i m ec o m p u t i n gc o d e cb er e a l i z e d ，s oi tp r o m o t e dt h ed e v e l o p m e n to f t h ee n t i r ev i d e oi n d u s t r y b e c a u s eb o t hh 2 6 4a n da v sh a v ev e r yb r o a da p p l i c a t i o n p r o s p e c t sa n dr e p r e s e n t t h em o s t a d v a n c e dt e c h n o l o g yi nt h ea r e ao f d i g i t a l h i g h d e f i n i t i o nv i d e o t h ef o r m e ri st h ei n t e m a t i o n a lm a i n s t r e a md i r e c t i o ni nt h e d e v e l o p m e n to ft h ef u t u r ev i d e o ，a n dt h el a t t e ra sad o m e s t i cs e l f - m a d es t a n d a r d a c c e s s e st ot h ec o u n t r y ss t r o n gs u p p o r tu n d e rt h ec o n s i d e r a b l ec i r c u m s t a n c e si nt h e v 1 d e oq u a l i t yw i t hh 2 6 4 a v c t h e r e f o r e ，b o t ho ft h et w os t a n d a r dw i l l o c c u p va i l l m p o r t a n tp l a c ei nt h ef u t u r e i tw o u l db e t t e rt h a ti th a ss u c hav i d e od e c o d e r t h a tc a i l c o m p a t i b l ew i t ht h et w os t a n d a r d ，s oi tw i l le n s u r et h a tt h ep r o d u c t sc a na d a p tt ot h e n e e d so ft h em a r k e t b a s e do nt h i st r a i no ft h o u g h t ，t h i sp a p e rd i s c u s s e sh o w t od e s i g nt h em u l t i p l e x d e c o d l n ga r c h i t e c t u r et h a tc a ns u p p o r tb o t hh 2 6 4a n da v s i np a r t i c u l a r , i tc a r r i e s o u td e t a i l e da y a l y s i sa n dc o m p a r i s o no nt h ep a r to fm o t i o nc o m p e n s i o ni nt h et w o s t a n d a r d s i td i s c u s s e st h ep o s s i b i l i t i e sa n dd e s i g ni d e a so nt h em u l t i p l e xh a r d w a l a r c h i t e c t u r ef o rt h es i m i l a r i t i e sa n dd i f f e r e n c e so ft h et w os t a n d a r di n a l g o r i t h m b e c a u s et h ei n t e r p o l a t i o nm o d u l eo c c u p i e st h eb u l ko fc o m p u t a t i o ni n t h ep a r to f m o t i o n c o m p e n s i o no ft h ew h o l ed e c o d e r ,a n di th a s s i g n i f i c a n te f f e c t so n p e r f b r m a n c ea n dt h et w os t a n d a r d sh a v ed i f f e r e n c e si ni n t e r p o l a t i o na l g o r i t l u i l ，t l l i s p a p e rf o c u s e so nt h ed e s i g no fm u l t i p l e xa r c h i t e t u r eo ft h ep a r t i t g i v e sas p e c i f i c m u l t i p i e xa r c h i t e c t u r eu s e di nl u m aa n dc h r o m ai n t e r p o l a t i o nb ya d p o t i n gp i p e l i n e s t r a t e g y a g a i n s tt h eh a r d w a r ea r c h i t e c t u r e ，t h ep a p e ru s e st h eh a r d w a r e d e s c r i p t i o n l a n g u a g e ，v e r i l o g ，t od e s c r i b ei ta n dp e r f o r m sf u n c t i o ns i m u l a t i o n a f t e rv e r if y i n 2t h e 如n c t i o nb yb e h a v i o rf u n c t i o nm o d e l ( b f m ) d e s c r i p t e db yc l a n g u a g e ，i ts h o w st h a t t h em u l t i p l e xh a r d w a r ea r c h i t e t u r eo f i n t e r p o t i o nm o d u l ec a ns a v er e s o u r c e sa sw e l la s t om e e tt h er e q m r m e n t so fc o m p a t i b l ew i t ht h et w os t a n d a r d sa n d t h ep e r f o m a n c eo f r e a l - t i m ed e c o d i n gt h eh i g h d e f i n i t i o nv i d e o k e y w o r d s ：a v s ，h 2 6 4 ，i n t e r p o l a t i o n ，p i p e l i n e , m u l t i p l e xd e s i g n 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：至丝虽 日期： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 王握廷 日期：函! ! 三! i 三 导师签名：二i j 毖同期： 北京邮i u 人学硕i ：学位论文 第一章引苦 1 1 研究背景和意义 第一章引言 在多媒体应用层出不穷的今天，数字视频技术正在得到越来越多的关注。根 据国家广电总局的数字电视计划，至u 2 0 1 5 年停止模拟电视广播时，中国现有的3 2 亿台模拟电视接收机都要完成数字化改造一一或加装数字机顶盒、或置换为数字 电视接收机，并将由此带动其他移动多媒体等视听产品的产业升级，其产值约占 信息产业总产值的三分之一。面对如此巨大的市场，标准收费问题无疑是各编解 码产品制造商和视频节目运营商首先考虑的问题。在收费标准上目前的m p e g 2 标 准每台设备收费2 5 美元，费用昂贵。a v s 是我国自主研发制定的音视频标准，已 成为中国的国家标准，它不仅在专利费用上 ：匕m p e g 2 具有优势一一不对节目提供 商和运营商收费，仅对编解码设备征收每台一元人民币左右的专利费，而且在性 能上也有了很大的提高，压缩率 ：匕m p e g - 2 提高了约3 至1 j 5 倍。 h 2 6 4 a v c 标准代表了数字高清领域的最高技术，是国际上未来视频发展的 主流方向。作为国内自主提出的标准，a v s 在视频质量上与h 2 6 4 a v c 相当的情况 下，获得了国家的大力扶持，所以这两个协议在中国未来的发展中都会占有一席 之地，未来的发展存在众多变数，我们现在不能断言在今后的发展中，这两种协 议中的一种将取代另外一种成为市场的主流，所以最好能够将两种视频协议全部 兼容，这样就能保证自己的产品必能适应市场的需要。这种想法固然可取，但是 设计的复杂程度也会成倍的增加，这就需要我们仔细研究两种协议的特点，对两 种协议的设计复杂度做好充分的准备，避免设计到最后的产品由于先前考虑的不 周而失败。这两种视频协议既包含了编码技术，又包含了解码技术，为了将整个 设计的复杂度控制在一个合理的范围，我们选择了解码端的研究，因为这个方向 的产品更贴近于人们的日常生活，可以获得更大的经济和社会效益。 所以最好的解码器没计方案就是，通过自定义的配置能够完成多种视频标准 的解码任务，这种动态可配置兼容多个视频编码标准的解码器架构具有以下几个 方面的意义： ( 1 ) 满足消费类电子市场和各类移动多媒体应用市场的需求。 ( 2 ) 推动视频编解码标准的应用。 但是能够复用h 2 6 4 和a v s 两种标准的解码器在设计上会遇到很多问题，为 第l 页共6 2 页 北京邮l 乜人学颀i ：学位论文第一章引高 了达到复用目的，会消耗解码器更多的资源，必须深入研究两款标准在算法上的 异同点，在不影响性能的前提下复用某些共同的结构，这也是本文需要研究和解 决的问题。 1 2 国内外研究现状 1 2 1 国内现状 目前国内市场上的视频解码设备仍是以m p e g 系列的为主，多个厂商都推出 了自己的m p e g - 2 、m p e g - 4 编解码设备。为推动a v s 产业的发展，a v s 产业联盟 确定选取i p t v 、手机电视和卫星传输等三个领域作为标准化重点突破的方向， 推动产业链上的厂商推出完全商用化的满足不同应用的产品。目前的相关产品包 括首批开发a v s 芯片的北京芯晟、上海龙晶在内的多家厂商已经提供可量产的方 案。早在2 0 0 6 年的第十四界广播电视展( c c b n ) 上，上广电展示了m p e g - 2 到 a v s 转码器、a v s 卫星数字电视机顶盒、a v s 实时编码器、a v s 地面数字电视机顶 盒等多款产品，北京联合信源公司也推出a v s 编码器产品和a v s 点播系统演示。 不过，总体来看，已经面市的a v s 相关产品的种类和数量还都相当有限，主要应 用在i p ，r v 端到端系统中。 由于h 2 6 4 已经成为国内外市场上的主流技术，许多设备商和芯片商已经推 出了较为成熟的产品并已经应用于通信等许多领域，如展讯的手机平台上的单芯 片解决方案，集成了基带处理和h 2 6 4 解码功能，并且也支持a v s 标准。上海富瀚 微电子公司也推出了支持标清的h 2 6 4 编解码芯片f h 8 6 0 1 ，它兼容h 2 6 4m a i n p r o f il e l e v e l 3 。宁波中科集成电路设计中心的“凤芯”二号视频解码芯片受到 了广泛的关注，芯片采用了自主研究的多标准可配置数字视音频编解码技术，完 全兼容a v s l 0 、h 2 6 4 a v cm a i np r o f i l e 标准，通过高度的复用设计实现了高 清实时解码，也是国内首款同时兼容a v s 与h 2 6 4 a v c 协议的产品。它的发布不但 丰富了a v s 的产品线，而且降低了企业选择的风险，为企业提供了一个可量产化 低风险的实现方案。 与h 2 6 4 相比，a v s l 0 减少了复杂性，但损失了一些压缩效率，与h 2 6 4m a in p r o f il e 相比，逐行视频序列方面平均要低0 3 d b ，而隔行视频序列要低多达 1 2 d b ，中国正在对a v s l 0 进行修订，以解决这些图像质量问题。 第2 页共6 2 页 北京邮电人学硕- j ：学位论义第一章弓l 言 1 2 2 国外现状 因为h 2 6 4 标准的成熟性较高，所以不少国外公司都推出了支持h 2 6 4 标准解 码芯片，如b r o a d c o m 公司的b c m 7 4 x x 系列、c o n e x a n t 公司的c x 2 4 1 8 x 系列、s i g m a d e s i g n s 的s m p 8 6 2 0 和s m p 8 6 3 0 系列、s t 的支持h 2 6 4 a v c 和v c i 高清标准的单芯片 机顶盒( s t b ) 解码芯片- s t b 7 1 0 0 等。德州仪器( t i ) 公司推出的达芬奇( d a v i n c i ) 技术平台可简化数字视频产品的设计，即使没有编解码器或d s p 专业技能的o e m 也可快速推出数字视频功能的产品。对采用达芬奇技术的产品而言，为应用添加 视频功能变得像a p i 编程一样简单，不仅可为o e m 厂商节约数月的开发时间，而且 由于i p 复用和高度的集成能大幅降低整体系统成本达5 0 。 由于中国的标准a v s 推出不久，大规模商用还未展开，所以国外厂商一面加 快研发速度一面处于观望阶段，如意法半导体的a v s 解码芯片已经准备好，一旦 有市场需求就可推出量产的产品。 1 3 本文的主要研究内容和结构 h 2 6 4 与a v s 在视频编码的核心技术点上有所不同，这些核心技术点包括：整 数变换、量化、帧内预测、1 4 精度像素插值、帧间预测运动补偿、二维熵编码、 环路滤波等。其中i 4 精度像素插值是两个标准中运算复杂度最高的技术，也是 体现新一代视频编码性能的关键技术之一。所以对h 2 6 4 与a v s 的插值算法在复杂 度和性能上进行分析比较，对评价和比较两个标准的性能很有意义。 考虑到支持h 2 6 4 5 【i a v s 的解码器，由于在单位时间内高清视频解码芯片所要 处理的数据量远大于解码其他格式视频图像的数据量，而且它的实时性要求非常 高，用d s p 软件处理满足不了运动补偿所要处理的大量实时数据，所以通用的办 法是a s i c 来实现采用并行设计是提高解码速度的主要途径。 本论文在分析了两个标准中亮度和色度插值方面的异同点后，对亮度插值复 用的可行性进行了研究，分别针对亮度和色度的插值运算提出了相对简单高效的 算法，采用流水线的工作方式进行并行处理，加快了数据处理和传输的速度，在 运算资源和运算效率问达到了相对优化的平衡。 本论文会详细分析了该结构中采取的并行优化策略，并给出硬件的架构设计 方案。具体章节安排如下。 第一章是引言部分，从当今视频应用的需求出发，分析了整个论题的的应用 背景和研究意义，在总结国内外现状的基础上，指出了本论文立题研究的依据和 必要性，并介绍了本论文进行的工作和整体结构。 第二章介绍了视频压缩技术的原理，在追溯了视频标准化历史后，阐述了 第3 页共6 2 页 北京邮i u 人学硕i ：学位论文第一章弓i 青 h 2 6 4 和a v s 两个标准在技术上的优势，简要比较了二者核心技术上的不同点， 给出了整体的编解码方案，为下一章的详细论证说明做了准备。 第三章系统的比较了h 2 6 4 a v c 和a v s 运动补偿运算各个部分的异同点，并 就复杂度和性能进行了分析比较，探讨了可进行复用设计的可能性。 第四章针对运动补偿中计算量最大的插值部分具体给出了一种复用设计方 案，考虑两种标准在亮度插值算法上的差异，采用流水线的思路设计了复用架构。 第五章仿真和验证，用标准化组织提供的测试码流作为测试向量，使用c 代码原型对插值复用架构进行功能验证，结合仿真工具m o d e l s i m 提供的波形和 输出结果验证了设计在功能上的正确性。使用综合工具综合成网表，给出了电路 的规模和时钟频率，证明了该设计既节省了资源又能满足实时解码的要求。 第六章是全文的总结，并对今后的工作和未来发展进行了展望。 第4 页共6 2 页 北京邮电火学硕j ：学位论文第二章视频雕缩技术 第二章视频压缩技术 2 - 1 视频压缩技术和视频标准 2 1 1 视频压缩原理 如果要传输1 0 8 0 i 的高清电视，即一帧图像有1 9 2 0 x1 0 8 0 个像素，按一个 像素用8 b i t 来表示，一秒钟2 5 帧来计算的话，那么传输速率需要4 1 4 7 2 m b p s ， 这样的带宽显然是很难满足也是没有必要提供的，因为视频图像的信号存在各种 冗余，可以通过合适的视频编码来进行压缩，达到降低带宽低速传输的目的。 视频信号存在的冗余主要有以下几类h 1 ： 1 空间冗余 在同一幅图像中，相邻像素问由于在空间上的接近，亮度、色度信号变化缓 慢，存在很强的相关性。 2 时间冗余 运动图像中前后图像间存在着相关性，特别是运动较慢的图像，如电视会议 图像、可视电话图像等，连续几帧一般无大的变化。 3 视觉冗余 人类的视觉系统形成视觉感知的过程是眼睛和大脑同时参与的复杂过程，人 类的视觉系统对于图像的响应是非均匀的，也是非线性的。可以利用人眼对亮度 信号比色度信号敏感的特点，将色度信号的分辨率降低，仍然可以保持很好的主 观质量。另外由于人眼对于高频信号比低频信号反映迟钝，在量化时可以对高频 信号采用粗量化而对低频信号采用细量化；人眼的视觉残余特点也被利用了，可 以通过采用隔行显示来达到不影响视觉质量的情况下将码率减小的效果。 4 统计冗余 如果给信源中所有符号都统一分配相同长度的比特数，那么会存在统计冗 余。所以在视频编码中要采用统计编码，又称熵编码，它把一系列用来表示视频 序列的元素符号转变成一个用来传输或是存储的压缩码流。输入的符号可能包括 量化的变换系数、运动向量( 对于每个运动补偿块的向量值x 和y ) 、标记( 在 序列中用来表示重同步位的点) 、头( 宏块头、图像头、序列的头等) 以及附加 第5 灭共6 2 页 北京邮i u 人学烦i ：学位论义 第二二章视频j k 缩技术 信息。 因为视频图像有上述这些冗余特性，针对图像本身和人类视觉系统的特点， 可以使用相应的方法来去除这些冗余信息，达到图像压缩的目的。这些方法包括： 1 空间采样 人眼视觉系统由于其频率响应随着空间频率的增长而降低，因此对色差信号 的敏感性不强。利用这个特点，可以在原始数据格式( 亮度y ：色度c b ：色度 c r = 4 ：4 ：4 ) 的基础上对c b 和c r 在水平方向进行2 ：1 降采样或者在水平和垂 直方向分别进行2 ：l 降采样，分别得到采样格式为4 ：2 ：2 和4 ：1 ：1 ( 通常记为 4 ：2 ：0 ) 的数据，从而使数据量分别降低3 3 和5 0 ，达到数据量压缩的目的。 2 预测编码 预测编码是数据压缩最有效的手段之一。视频中相邻两帧图像之间存在一定 关系，可以利用相邻图像帧进行预测当前帧的数据块，来消除时间上的相关。一 帧图像内部也存在空间上的相关性，图像内部一个数据块同样可以利用其相邻块 的数据信息进行预测，从而减小空间冗余。 3 变换和量化 对于应用最为广泛的有损压缩来说，映射变换一般是指图像的正交变换，其 中应用最多的是离散余弦变换( d c t ) 。图像变换的目的是将图像的能量尽量集中 在少量系数上，从而最大限度地去除原始图像数据中的相关性。 4 统计编码 统计编码利用信源的统计特性来去除信源的冗余。其中主要包括哈夫曼 ( h u f f m a n ) 编码、算术编码、游程编码以及指数哥伦布( e x p g o l o m b ) 编码。这些 编码方法都遵循这样一个准则：频繁出现的字符意味着其出现的概率大，概率大 的事件包含的信息少，因此对出现概率大的符号用较短的码字表示，对出现概率 小的符号用相对长的码字表示。h u f f m a n 编码是最优的，但在实际应用中需要对 信源概率分布进行统计，不利于实现。算术编码通过将数据映射为一1 和1 之间 的一个位置进行编码。指数哥伦布码采用对称码的形式实现，较为简单。 2 1 2 视频编解码标准 视频压缩编码技术是多媒体通信技术发展中最有活力的研究领域之一，同时 也是未来多媒体通信技术领域的研究热点和重点。随着越来越多的研究工作者对 视频编码、视频处理提出了新理论和新方法，各种国际组织都纷纷参与视频标准 的制定。比如i s o i e c 成立t j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 和 m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 并先后完成t j p e g 、j p e g 2 0 0 0 、m p e g 一1 、 第6 页共6 2 页 | 匕京岬电人学硬学位论文第= 章视频i r 缩挫术 m p e g 一2 和m p e g - 4 标准的制定；i t u - t 也先后制定了h 2 6 1 、h 2 6 2 ( 与m p e g 组织 合作) 、h2 6 3 、h 2 6 3 + 、h2 6 3 + + 等一系列国际数字视频压缩编码。但是这些算法 都有很强的针对性，如：m p e g l 是针对视频存储的( v c d ) ；m p e g 一2 虽称为通用 标准，但主要用于广播和数字电视；m p e g 一4 的应用面广，但还有需要完善和改进 的地方，而且专利费昂贵不利于推广；h 2 6 x 系列主要针对实时的视频会议，它 们都有自己的一些特殊的限制条件，如h2 6 x 需要对等的编解码环境、低时延、 低等待时间等。 圈匡玉：邑曼蔓 _ _ 嘲螂l r 图2 - 1 视频标准的演进历吏 随着网络的发展，无论是i n t e r n e t 网还是无线网络都迫切需要一种新型的 压缩算法，它不仪有高的压缩比；而且可以根据不同的网络条件提供不同质量的 视频服务，可以应用在低带宽的信道也可以应用在高带宽的信道；同时还应该 有一定的网络自适应功能。所以i t u t 在完成h2 6 3 之后，致力于一个短期的目标 h2 6 3 + + ，和一个长期的目标h2 6 c ，这就是- 2 6 4 的前身。后来m p e g 组织和1 t u t 组织联合组成了j v t ( j o i n tv i d e oc o d i n ge x p e r t sg r o u p ) 一一联合视频# 家 组，共同研究新的编码方案，分别命名为m p e g 一4p a r t1 0 “a d v a n c e dv i d e o c o d i n g ”( v c ) 和h 2 6 4 ，它的应用范围极其广泛。a v s ( a u d i ov i d e oc o d i n g 蚺7 * 6 2 “ 北京邮i 乜人学颂i ：学位论文 第二章视频肤缩技术 s t a n d a r d ) 是中国自主制定的音视频编码技术标准。a v s _ t _ 作组成立于2 0 0 2 年6 月， 2 0 0 3 年底完成视频部分定稿，2 0 0 4 年第一季度启动面向新一代移动通信的视频编 码标准制定，2 0 0 4 年底完成主层( m a i np r o f i l e ) ，2 0 0 6 年第一季度完成高级层 ( a d v a n c e dp r o f ile ) 。 视频编码标准的历史如图2 - 1 ，a v s 标准演进如图2 2 。 h i g hd e f i n i t i o n s t a n d a r d d e f i n i t i o nd i g i t a l t v b r o a d c a s t i n g a n do p t i c a l s t o r a g em e d i a a p p l i c a t i o n s 图2 - 2a v s 标准演进 h 2 6 4 代表了业界最先进的视频压缩技术，且具有以下无可比拟的优越性。 码率低：_ ；f i ：i m p e g - 2 等压缩技术相比，在同等图像质量下，采用h 2 6 4 技术压 缩后的数据量只有m p e g 一2 的1 2 1 3 。 图像质量高：h 2 6 4 能提供连续、流畅的高质量图像。 容错能力强：h 2 6 4 提供了解决在不稳定网络环境下容易发生丢包等错误的 必要工具。 网络适应性强：h 2 6 4 提供了网络适应层，使得h 2 6 4 的文件能容易地在不同 网络上传输。 a v s 的编码效率与h 2 6 4 相当，其优势为：性能高、复杂度低、实现成本低、 专利授权费用低。a v s 视频标准的核心技术包括：8 x 8 整数变换、量化、帧内预 测、1 4 精度像素插值、特殊的帧内预测运动补偿、二维熵编码、去块效应环内 滤波等。与m p e g 一2 n 比，a v s 在性能提高的同时，在某螳方面的复杂度也有所增 加。由表2 - i 可见，a v s 在参考帧数量、可变块大小、d c t 变换上复杂度与m p e g 一2 相差不多，而在帧内预测、像素精度、像素插值、熵编码方便更复杂。 第8 页共6 2 页 北京邮i 乜人学硕i ：学位论文第- 二章视频压缩技术 表2 - 1a v s 和m p e g - 2 复杂性对比 c o d in gt o o l s ,a v sp a r t 2 , 。m p e g 2 p c o m p l e x i t v f i n t r ap r e d i c t i o npb a s e d8 x 8b l o c k 。 o n l yd c a v s ：h ig h e r , , 5p r e d i c t io n p r e d ic t io n , , m o d e sf o rl u m a 4 p r e d ic t io nm o d e s f o rc h r o m a , n u m b e ro fa tm o s t2f r a m e s a tm o s t2f r a m e s ,a l m o s ts a m e r e f e r en c ef r a m e s , j v a r ia b l eb l o c k1 6 x 1 61 6 x 88 x 1 6 1 6 x 1 6 1 6 x 8 一 a l m o s ts a m e ， s i z em c p8 x 8 , ， p i x e ip r e c i s i o n , ， 1 4p i x e p1 2p i x e pa v s ：h ig h e r , i n t e r p o l a t i o np t w o4 t a pf il t e r ,b i l i n e a rf i l t e r p a v s ：h ig h e r , ， t r a n s f o r m p i n t e g e rc o s i n e l d c t pa l m o s ts am e , j t r a n s f o r mp e n t r o p vd e c o d e r , 3 2 d c a v l d p1 d v l d pa v s ：h ig h e r p l o o pf i l t e r ) y e s pn o 妒 a v s ：h ig h e r , - 、 i n t e r l a c ec o d i n g , ，p a f f pm b a f f ， 一 s l ic ep a r t i t io n ss e r i e so fr o w ，a tm o s t1r o wp o 2 2h 2 6 4 a v c 和a v s 在核心技术上的比较 h 2 6 4 与a v s 在视频编码的核心技术点上有所不同，这些核心技术点包括：整 数变换、量化、帧内预测、1 4 精度像素捅值、帧间预测运动补偿、二维熵编码、 环路滤波等。这些过程在编码器中的位置如图2 3 所示。下面分别介绍两种标准 的主要不同之处： 整数d c t 变换、量化： 以前的视频编解码标准的d c t 变换采用定点或浮点运算，因为在编码端的变换和 解码端的反变换因为量化精度的不同而产生失配问题，而且矩阵数值大，要进行 复杂的定点甚至浮点乘法运算，所以无论是h 2 6 4 还是a v s 都采用整数变换。 h 2 6 4 中的d c t 变换采用基于4 x 4 块，h 2 6 4 根据宏块编码的特性采用亮度块直 流变换、色度块直流变换与普通差值变换相结合的方式。使用这三种变换方式， 与传统的d c t 变换相比，有以下优点： 1 有助于减少块斑和环形斑，提高图像质量。这是因为现有的有损视频编码 都对变换系数进行量化，造成了高频系数丢失，所以恢复的图像中会有块斑。在 h 2 6 4 中，采用了更小的4 x 4 点变换，可以有效抑制快斑和环行斑。 2 整数变换减小了积累误差，传统的积累误差来自两个方面：正变换和反 第9 页共6 2 负 | 匕京邮i u 人学娥l 岸位论 第一帝视频m 编技术 图2 - 3 i i 2 6 4 a v s 编码嚣架构 变换不匹配造成的误差；量化造成的误差。为了达到压缩的目的，第二种误 差不可避免。但是由于 i 2 6 4 采用了精确的整数变换，所以f 变换和反变换不会 产生误差，这样有效地减少了积累误差。 3 运算速度快：i t2 6 4 采用的变换公式是一个简单的整数方程，也就是说计 算都是基于整数的，而不像传统的d c t 变换采用浮点运算。所以它减少了单个变 换的计算量，也有利于采用定点的d s p 实现。 除此之外，为了编码更平滑的图像，h 2 6 4 相应的采用了1 6 1 6 的亮度帧 内预测和8 8 的色度帧内预测，并对宏块中每个已变换4 x 4 小块的d c 系数， 采用哈逃玛变换进行二次变换。解码时通过量化参数来决定变换系数的量化步 长，量化参数的取值范围是0 5 l 。量化参数每增加l 对应量化步长大约增加1 2 ， 也可以这么认为，量化步长每增加大约1 2 就会减少约1 2 的码率。在编码完成 变换量化之后对每个块的量化变换系数进行“之”字扫描输出。 a v s 采用的变换块大小是8 8 ，变换矩阵如下： 第1 0 页共6 2 剪 北京邮l 乜人学硕l ：学位论文 第二章视频雎缩技术 i = 该二维整数余弦变换( i n t e g e rc o s i n et r a n s f o r m ，i c t ) 性能接近8 8 的 d c t ，但是，精确定义到每一位的运算避免了不同反变换之间的失真。i c t 可以用 加法和移位操作直接实现。在a v s 中，采用了带p i t ( p r e s c a l e di n t e g e r t r a n s f o r m ) 的8 8 整数余弦变换技术，即正向缩放、量化、反向缩放结合在一 起，而解码端只进行反量化、不再需要反缩放。由于a v s l 一p 2 中采用总共6 4 级近 似8 阶非完全周期性的量化，p i t 的使用可以使编、解码端节省存储与运算开销， 而性能上又不会受影响。a v s 中的整数变换同样具有减少量化误差积累和利于定 点化实现的优点。 帧内预测： 两种标准都在空域上运用帧内预测来得到相邻块中的样本，对预测残差信号 和预测模式进行编码，而不是实际像素，这样因为相关性大大增加可以显著提高 熵编码的效率。 h 2 6 4 进行帧内预测时，亮度块可以分为两种方式：i n t r a 一4 x 4 和 i n t r a - 1 6 x 1 6 。对于图像中比较平坦的部分，采用1 6 x 1 6 的块预测，即 i n t r a - 1 6 x 1 6 ；对于需要进行细化的图像部分，