（模式识别与智能系统专业论文）基于dsp的h26l视频编码研究.pdf

摘要 随着因特网、通信及多媒体技术的发展，视频压缩编码的实时实现已经成为 了人们研究的一个热点。视频压缩编码的实现主要有三种途径：纯软件实现、纯 硬件实现、软硬件相结合实现。但是，随着视频压缩标准的不断发展与完善，算 法的运算量和复杂度也就随之而提升，因此用软件方法来实现实时压缩已经非常 困难了；此时，借助于高性能的专业视频处理芯片来完成视频编解码就一度在视 频压缩系统中占据了主导地位。尽管专用的视频处理芯片的处理能力很强，但是 其固有的灵活性差和高成本缺点却极大地限制了该方法的普及；通用的数字信号 处理器d s p ，由于其丰富灵活的指令集、特殊的内部结构、高集成度、超强的数据 吞吐能力及运算速度，使得以d s p 为核心处理器的软硬件相结合的方法已经成为 了一种有效的视频编码实现途径。 在使用d s p 设计视频编码系统时，涉及到了诸多方面的问题。论文主要是研 究在实现基于d s p 的h 2 6 l 视频压缩中所遇到的一些关键性问题，内容包括：系 统中接口程序的设计、压缩算法的代码优化问题、并行压缩及算法的改进等问题。 论文首先介绍了视频图像压缩的发展历史与现状，重点研究和分析了当前 h 2 6 x 系列中的最新视频压缩协议h 2 6 l ，对于h 2 6 l 中现有的关键技术进行了深 入的研究和仿真实验：同时对于d s p 相关的实时数字信号处理技术做了一定的介 绍。 接着提出了一个基于t i d s p 的h 2 6 l 视频编码系统，该编码系统以t i 公司的 t m s 3 2 0 c 6 7 1 1 t m s 3 2 0 c 6 2 1 1 d s k 板为核心处理平台，外挂一个前端视频采集卡， 同时给出了相关的接口设计。研究和分析了h 2 6 l 的t m l 9 6 验证模型，并在d s p 的软仿真环境下对该程序进行了调试，用v c + + 搭建了h 2 6 l 的开发平台。作者通 过对于整个编码算法进行研究时发现，算法中诸如帧内预测、整数变换以及量化 等由于频繁进行调用，所以比较耗费时间，这是制约视频压缩编码实时性的一个 关键性问题。基于以上原因，本文对上述的几个模块一方面借用d s p 的线性汇编 语言重新进行了编写，另一方面结合d s p 的结构特点提出了相应的代码优化方案； 同时对整个编码部分引入了并行压缩处理机制。 最后，论文对于h 2 6 l 的帧内预测算法做了一定的改进，提出了一个“纹理预 判帧内预测算法( 简称为i p t ) ”，实验表明：同单一的4 x 4 或1 6 x1 6 预测模式相比， 该算法有效的改进了预测图像的质量，取得了良好的预测效果。 关键词：h 2 6 ld s p 线性汇编整数变换与量化纹理预判帧内预测( i p t ) a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e r a c t 。c o m m u m c a t i o 矗a n dm u l t i m e d i a , r e a l - t i m e r e a l i z a t i o no fv i d e o c o m p r e s s i o n h a sb e e na l la c t i v er e s e a r c ha r e a w i t ht h e i n c r e a s i n gd e v e l o p m e n ta n di m p r o v e m e n t o fv i d e oc o m p r e s s i o np r o t o c o l ，c o m p l e x i t y a n dc o m p u t i n gq u a n t i t yo fa r i t h m e t i cb e c o m em o r ea n dm o r eg r e a t , s os o t b , v a r e m e t h o da l r e a d yc a n n o ts a t i s f yt h er e a l t i m en a t u r e h e r e ，a p p l i c a t i o no fs p e c i a lc h i p s i nv i d e oc o m p r e s s i o nh a sb e e nam a i n s t r e a m a l t h o u g ht h ep e r f o r m a n c eo ft h o s e s p e c i a lc h i p si sv e r yp o w e r f u l ，i t si n t r i n s i c n a t u r eo fp o o ra g i l i t ya n dh i 曲p r i c e b e c o m e sar e s i s t a n c eo ft h em e t h o d s d e v e l o p m e n t ，t h e c u r r e n td i g i t a l s i g n a l p r o c e s s i n g ，w h i c hi sg o o di ni n s t r u c t i o n ，h i 曲i ni n t e g r a t i o n ，p o w e r f u li nt h r o u g h p u t a n d c o m p u t i n gs p e e d , i sw i d e l yu s e di nv i d e oc o m p r e s s i o nt h r o u g hc o m b i n a t i o nw i t h s o l , w a r e ，a n dt h i sm 豉h o di sc o n s i d e r e dt ob et h em o s te f f e c t i v ea p p r o a c h + i nt h i s p a p e r , t h ef o c a ls t u d yi ss o m ek e yp r o b l e m si nd e s i g no ft h ev i d e o c o m p r e s s i o n ，w h i c hi n c l u d e st h ef o l l o w i n gp a r t ss u c h a sd e s i g no f i n t e r f a c e ，o p t i m i s e o f c o d e ，p a r a l l e lp r o c e s s i n g ，a n di m p r o v e m e n t i na r i t h m e t i c f i r s t l y , a ni n t r o d u c t i o no f h i s t o r ya n da c t u a l i t ya b o u t v i d e oc o m p r e s s i o ni sm a d e i nt h i sp a p e r , a n ds o m ek e yt e c h n o l o g i e so fh 2 6 1h a v eb e e nr e s e a r c h e d ，a l s o ，t h e t e c h n o l o g i e sa b o u td i g i t a ls i g n a lp r o c e s s i n ga r er e v i e w e d s e c o n d l y , av i d e oc o m p r e s s i o ns y s t e mo fh 2 6 1b a s e do nt m s 3 2 0 c 6 7 1 1i s p u t f o r w a r d t h i s s y s t e mi n c l u d e saf o r w a r dv i d e oc o l l e c t i o ne q u i p m e n te t c ，a na n a l y s i s o nt h et m l 9 6o fh 2 6 1h a sb e e nm a d ei nt h i sp a p e r , ap l a t f o r mi sp r o v i d e di nv c + + a n dt h i ss o l , w a r ei sd e b u g g e du n d e rt h es o f t w a r ee n v i r o n m e n to f d s p t nt h ew h o l e s o f t w a r e s y s t e m ，t h o s ep a r t s s u c h 墨s i n t e g e rt r a n s f o r m ，i n t r ap r e d i c t i o n a n d q u n n t i z a t i o na r et h ek e yp r o b l e m sw h i c hr e s t r i c tt h er e a l t i m ep e r f o r m a n c eo fv i d e o c o m p r e s s i o ns y s t e m as t u d yh a sb e e nm a d ei nf o l l o w i n gw a y s ：o n es i d e ，t h ea b o v e m o d u l e sa f ew r i t t e ni nl i n e a ra s s e m b l el a n g u a g eo f d i g i t a ls i g n a lp r o c e s s i n g 。o nt h e o t h e rs i d e ，s o m em e t h o d s o f o p t i m i z a t i o nh a v e b e e nb r o u g h tf o r w a r d f i n a l l y , ap r o g r e s s i v em e t h o dw h o s en a m ei si n t r ap r e d i c t i o nb a s e do nt e x t u r e h a sb e e n p u tf o r w a r d ，t h et e s ti n d i c a t e st h a tt h i sn e wm e t h o dw o r k sb e 撬e rt h a na n y o n e o f t h e i n t r a p r e d i c t i o n b a s e d o n 4 x 4 b l o c k o r l 6 x 1 6 b l o c k k e y w o r d ：h 2 6 ld s pl i n e r a s s e m b l e i n t e g e rt r a n s f o r m & q n a n t i z e i n t r ap r e d i c t i o nb a s e do nt e x t u r e 声鞠 创新性声明 y 5 8 3 3 7 1 本人声疆新肇交的论文蹙我个人在器师指导下进行的研究工作及敬德静研究 成粜。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含箕稳人已缀菠表葳撰写过戆磷究藏暴；逡不卺含为获得匿安枣子秘技丈学或 其它教育机梅的学位或证书丽使用过的材料。与我一丽工作的同志对本研究所被 的任何贡献均已在论文中做了明确的说明并焱示了谢意。 率清学显论文与资瓣善鸯不实之跫。本人承担一切裰关责琶。 本人签名 氧盔娶 日期： 趋芝幺z ! r 关于论文使用授搜的说明 本人完全了刺鹾安电子科技大学有关保留和使用学位论文的舰宠，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 烫离校磊，发表涂文或蕊矮论文工箨藏暴辩器名葶往嵇然为露安耄予畿按夫学。 学校裔权保留遴爨论文的复印件，允许查嘲和借阅论文；学校可以公布论文的全 部域部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密蘑遵守蓝斑定) 本人签名：熟塞垒 i 捋师签名 日期： 塑! 幺 日期：幼硎，i 罗 笙二垩堡垒 一二 第一章绪论 1 1 引言 随着因特网、通信及计算机技术的飞速发展，人们对于视频服务的要求也日 趋多样化和多元化。尽管这些多方面的外界因素为视频业提供了良好的发展平台， 但是视频处理中所遇到的庞大的数据量仍然是制约多媒体发展的主要瓶颈。比如， n t s c 制式的电视图像以6 4 0 4 8 0 的分辨率、2 4 b i t s 象素、每秒3 0 帧的质量传输 时，其数据传输率达2 8 m b i t s ，2 0 秒的未压缩视频图像将占用5 6 0 m b i t 的存储空 间，换句话说，当数据不作压缩处理时，一张c d - - r o m 光盘只能储存2 0 秒钟的 电视节目。因此如何通过有效的手段最大限度的减少信息的存储空间和传输数量 成为了视频业所面临的个最为艰巨的任务，最为有效的方法就是对视频信息进 行压缩编码。 视频压缩编码的实现有多种方法，每一种方法都有其相应的特点和应用领域， 因此应该结合具体的应用场合选取合适的系统实现方案。随着i c 业的飞速发展， 借助于通用的数字信号处理器( d s p ) 来实现实时视频压缩编码已经成为了今后的 一个研究热点，论文正是基于该背景展开研究的。 1 2 视频压缩编码的相关理论 从信息论的角度考虑，信源_ 可以分成两类：离散( 无记忆) 信源和联合信源。因 此信息的压缩途径一般有以下两种：第种，由于离散( 无记忆) 信源的信息冗余 度寓于信源所服从的非等概率分布之中，所以通过设法改变信源的概率分布，使 其尽可能非均匀，再用最佳编码方法使平均码长逼近信源的熵；第二种，对于联 合信源来说，其信息冗余度也是寓于信源间的相关性中，因此通过最大限度的消 除各个信源之间的时间和空间相关性，使之成为不相关的信源是数据压缩的又一 条途径。 在多媒体领域中，视频图像的信息冗余度一般来说是非常离的，包括时间冗余、 空间冗余、信息熵冗余、结构冗余、视觉冗余等。视频数据压缩就是要通过有效 的途径最大限度的消除这些信息冗余。一般情况下画面的大部分区域信号变化缓 慢，尤其是背景部分几乎不变，因此，视频图像在相邻象素间、相邻行间、相邻 帧间存在强相关性，这种相关性就表现为空间冗余和时间冗余。视频图像的空间 冗余一般通过离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 、离散小波变换 ( d i s c r e t ew a v e l e tt r a n s f o r m ，d w t ) 等变换来去除，而视频图像的时间冗余则通 常使用运动估计和运动补偿来完成。 、 基于d s p 的h 2 6 l 视频编码研究 1 3 实时数字信号处理技术与d s p 1 3 1 实时数字信号处理技术 自从2 0 世纪7 0 年代末第一片数字信号处理芯片( d i g i t a ls i g n a lp r o c e s s o r s d s p s ) 问世以来，d s p s 就以数字器件特有的稳定性、可重复性、可大规模集成，特 别是可编程性高和易于实现自适应处理等特点，给数字信号处理( d i g i t a ls i g n a l p r o c e s s i n g ，d s p ) 的发展带来了巨大机遇，并使信号处理手段更灵活，功能更复 杂，其应用也拓宽到国民经济生活的各个方面。近年来随着半导体制造工艺的发 展和计算机体系结构等方面的改进，d s p s 芯片的功能也日趋强大，使信号处理系 统的研究重点又重新回到软件算法上，而不再像过去那样过多地考虑硬件可实现 性。随着d s p s 运算能力的不断提高，能够实时处理的信号带宽也大大增加，数字 信号处理的研究重点也由最初的非实时应用转向高速实时应用。 信号处理的实质是对信号处理进行变换，目的是获取信号中的有用信息，并用 更直观的方式进行表达。数字信号处理就是用数字的方法对信号进行变换来获取 有用信息，如离散傅里叶变换( d f t ) 就是最常用的d s p 算法。 0 图1 1 常见信号的典型数据率 实时指的是系统必须在有限的时间内对外部输入信号完成指定的处理，即信号 处理的速度必须大于等于输入信号的更新速度( 常见信号处理的典型数据率如下 图1 1 所示) ，而且从信号输入到处理后输出延迟必须足够小。 1 3 2d s p 芯片简介 在d s p 出现之前，实时信号处理一般是在通用处理器( 8 0 8 6 和8 0 2 8 6 等) 中完 成的。随着集成电路制造工艺的不断提高，2 0 世纪7 0 年代末出现了专门的可编程 数字信号处理器，简称d s p s 。第一代d s p s 以a m d 2 9 0 0 、n e c 2 7 0 0 和t m s 3 2 0 1 0 为代表，其中t i 公司的t m s 3 2 0 1 0 第一次使用了哈佛总线结构和硬件乘法器。 第一章绪论 按照所支持的数据类型不同，d s p sw 以分成定点产晶和浮点产品2 大类。 实时信号从处理系统所需要的信号多为自然信号，因此首先鼗通过倦感器将自 然信号转换为电信号。菇矫要对螽然信譬进行数字处理，就必须透过a d 予系统 将其转换为数字形式。d s p 子系统对数字信号处理完成后，有时还要通过d a 子 系统把鲶毽后豹数字信号转换为模羧信弩。圈1 2 是一个完整静实霹d s p 系统箍 圈，其中，d s p 子系统怒整个系统的核心。 厂一1 广 厂一。 模拟信蟹叫a d 转换卜叫d s p 卜叫d a 转换卜一模拟信号 【一1 ，。一 l 一 ，图1 2 窦辩d s p 系统 1 。4 视频嚣缭缠璐豹实觋途径及评馀 目前，视频图像的艨缩编码的实现主要有以下几种途径： ( a ) 魏软件实现 这种方法一般是指借助于通用的p c 机来进行视频羼缩编码系统的开发，其优 点在于：开发蕊潮较短，费用鞍低，丽蠢产品荔予维护和舞缀。缺点在予：由于 随着视频压缩标准的不断发展和完善，簿法的运算量和复杂度也就随之而提升， 函忿在磐多实霹穗要求较高的场会，这释途径已经穰难满足现场豹需求。 因此，该方法主要有两种威用场合：算法开发初中期阶段殿一些对实时性要 求不亳豹镶蠛。 ( b ) 纯硬件实现 该方法主要是擐使震一些专用嚣援频墨豫处毽芯嚣寒实魂对税频瓣压绩编 码，这戡专业的视频处理芯片主要指具有特殊用途的数字信号处理器( d s p ) 等。优 点：逶鬻，囊予苍冀戆开发亵跫经在芯嚣连部逶过硬辞将算法熬潋实褒，霾魏髑 户只需选取合通的芯片后将数据输入即可( 即用户在系统开发中参与的工作很 少) 。缺点：系缀实现懿开镑太大；冀法跫经强健了，繁三方难以涟嚣第二次开发， 灵活性黧。 所以，这秘方法一般痤用予那些对系统处理实时性要求缳裹豹特殊场合。 ( c ) 软硬件相结合实现 软硬 粤楣结会实现可以分为嚣类：类是通用数字傣号处理楼( d s p ) 与高级语 言相结合来进行压缩编碣系统开发；另一类是用f p g a 等可编程阵列产品结合其楣 应的开发语言( 低级语袁) 来进行系统开发。旦蔚，随蘩集或电路设计与铡造技术 的飞速发展，这魑芯片的集成度、数据眷吐能力及运算速度等郝得到了很大的提 离，两成本却降低了很多。同时吸取了翡两聍方案的优点，又缎好地弥补了其不 趟之处( 系统硬件定登后，产品的升级只需辩软件进行修改即可) ，因此市场前景 !苎主里塑堕坚：! ! 生塑塑塑塑婴堑 j 艮好。 这种方法将是以后的一个主要发展方向，尤其是第一类，由于要求开发者对 芯片方面的专业知识要求不象第二类那么高( 第二类专业性较强) ，因此是发展的 主流。 因此，作者认为，在系统开发时，应该根据应用环境选取合适的实现方案。 论文主要是研究借助通用的数字信号处理器( d s p ) 进行视频压缩编码系统开发中 所涉及到的一些关键性问题。 1 5 论文研究内容及章节安排 1 5 1 论文研究的主要内容 论文主要研究在通用数字信号处理器( d s p ) 上开发i t u 组织制定的最新视频压 缩协议h 2 6 l 所涉及的一些关键性问题，主要包括：h 2 6 l 协议关键技术的研究、 整个编码系统的接口设计、压缩代码的优化、编码部分的并行处理、压缩算法的 改进等。论文的研究工作具体可以分为以下几个部分： 第一部分：h 2 6 l 协议关键技术研究。 由于h 2 6 l 是i t u 组织新制定的一个视频压缩协议，因此，首先应该对该协 议的关键技术有一个很深入的理解，从而为后续的代码优化及算法改进奠定基础。 基于此原因，作者在第三章中对h 。2 6 l 协议的技术特点进行了详细的介绍，并通 过在p c 机上做实验来进行验证和比对。 第二部分：提出了个编码系统方案。 该部分主要集中在第四章的前几节。作者通过对t i 公司的 t m s 3 2 0 c 6 7 1 1 t m s 3 2 0 c 6 2 1 1 d s k 板卡进行研究的基础上( 板卡的资源分配、板卡 的开发套件等) ，提出了一个简易的视频编码系统。重点研究了如何通过 t m s 3 2 0 c 6 7 1 1 d s p 的e d m a 通道( 由于采用这种方式可以在d s p 不参与的情况下 进行数据传输，因此效率很高) 来传输视频采集来的数据时的具体实现原理，并给 出了部分代码。 作者同时在t i 提供的c c s 开发环境与a d 公司的s u a l d s p 3 1 斗+ 下对t m l 9 6 验证模型进行了分级调试，与m a t l a b 仿真结果一致。 第三部分：代码的优化。 要想提高压缩的实时性，代码优化是系统开发中的一个必不可少的环节。通 常，代码优化的对象主要是针对那些在系统中调用频繁、运算量大而且多数是加 减运算、循环性强的部分。在h 2 6 l 中，整数变换、量化与运动估计等部分正好 符合这一规律，因此，作者在论文中研究了如何结合d s p 的特点对这些代码进行 优化处理。论文中对这些部分提出了相应的优化方案( 处褒数擐撼瓣策略、线性汇 第一章绪论 编技术、并行算法等思想) ，同时给出了详细的分析和部分代码。 第四部分：算法的改进。 除了从代码优化的角度来提高编码效率以外，改进算法也是一个很有效的途 径。论文对于h 2 6 l 的帧内预测部分进行了研究，在此基础上提出了一个“纹理 预判帧内预测”( 简称为i p t ) 改进算法。通过实验分析表明：采用这种纹理预判的 预测方法，一方面比采用单一的4 4 或者1 6 1 6 的预测方法所得的预测图像的 主客观质量要高；另一方面，它更能反映出图像的内部信息分布特征，从而自适 应的选取合适的预测模式。因此，改进算法具有很好的预测效果。 第五部分：用v c + + 搭建了一个h 2 6 l 开发平台。 论文主要贡献：对h 2 6 l 的几个关键部分( 整数变换、量化等) 的代码提出了 具体的优化策略；提出了一个基于d s k 板卡的编码系统，并给出了相应的接口部 分设计；在编码部分引入了并行处理机制；对帧内预测部分进行了改进，提出了 一个“纹理预判帧内预测”改进算法( 简称为i p t ) 。 1 5 2 论文结构 论文的结构安排如下： 第一章绪论 简要介绍了视频压缩的相关理论、数字信号处理理论及d s p 及视频压缩编码 的实现途径，最后介绍了论文的研究内容及论文结构。 第二章视频图像压缩编码标准化介绍 首先简要介绍了当前主要的几个视频压缩标准，然后对每个标准进行了具体介 绍。 第三章h 2 6 l 标准及其关键技术 重点对新标准h 2 6 l 所涉及到的一些关键性技术进行了深入的研究与分析， 并通过实验进行了具体验证。 第四章基于d s p 的h 2 6 l 实时编码系统 本章首先介绍了实时数字信号处理的相关理论，然后提出了一个基于t i 公司 的t m s 3 2 0 c 6 7 1 1 c 6 2 1 1 d s k 板卡的实时编码系统，并对系统的主要接口设计进行了 介绍，并给出了部分代码：在d s p 软仿真环境下对算法进行调试，验证结果与k 酸t l a b 仿真结果致；对算法中的几个主要模块诸如量化、变换等提出了相应的代码优 化方法；对编码部分引入了并行压缩处理机制；最后提出了一个“纹理预判帧内 预测”改进算法，实验表明该算法性能比单4 4 或者1 6 1 6 预测良好。 第五章结束语 总结了本论文所完成的主要工作，同时提出了下一步的工作重点。 6基于d s p 的h 、2 6 l 视频编码研究 第二章视频图像压缩编码标准他介绍 2 1 引言 近年来，系列国际视频压缩编码标准的制定，极大地促进了视频压缩编码技 零霰多蕊l 葵遴蔼技术静发疑。视额爨缩编秘标准兹潮定工彳乍主要燕凌篷际搽准亿 组织( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ，简称i s o ) 和国际电信联 盟( t n t e r n a t i o n a it e l e c o m m u n i c a t i o nu n i o n ，麓称 专u ) 宠藏懿。其中 羹i s o 和i e c ( i n t e m a t i o n a le l e c t r o t e c h n i c a lc o m m i s m o n ，国际电工委员会) 的共同委员 会中魏m p e g 组织( m o v i n g p i c t u r ee x p e r tg r o u p ) 剿定懿橼准主要针对蠢频数据 的存储( 如d v d ) ，广播电视和视频流的网络传输等应用，其相关标准系列简称为 掰p e g x ( m p e g 一1 1 5 1 ，一2 n ，_ 4 u , 8 , 9 1 ，- 7 n 1 1 】) l 羊u q 剿定豹视频稼壤主要是针对惫 码率的实时视频通信领域如视频会议和可视电话，其相关标准系列被简称为h 2 6 x ( h 2 6 1 n ，h 2 6 3 p ，h 。2 5 3 + d i + 。2 6 3 + + 【4 。辩。2 6 l 0 6 1 t 1 8 】) 。 2 2 当前的几个主要的视频压缩标准 2 2 1h 2 6 x 标准系列 辩2 6 x 标准系鳓楚由i t u 组织负责箭怒的，主要包括h 2 6 1 2 1 、 2 6 3 1 3 】、 h 2 6 3 + i 、h 2 6 3 + + d 、h 2 6 l 1 6 , 1 7 , 1 8 。通常情况下，h 2 6 x 标准侧重予视频髅息的 数据压缩效率，戬适合调整该系统强特定的位速率下传输，其主要液用茸标楚可 视电话和会议电视。 硅2 6 1 蓠次尝试镲合数字箧缩技术和网络技术实糯数字胬像实时传输，即可暖 在碣率为p x 6 4 k b p s ( p 取l 3 0 ) 的i s d n ( i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 综合渣务数字两上实时逸传输声啻帮图像信怠。t t 2 6 1 只对c i f ( c o m m o n i n t e r m e d i af o r m a t ) 和q c i f ( q u a r t e rc i f ) 两种图像格式进行处避，压缩编码 算法出兵青逡动耱髅豹禳闻颈渊、块d c t 帮霍夫曼缩褥缓藏。由予该标准弼于实 时业务，希望编解码延时尽w 能的小，所以只利用前帧作参考桢进行前向预测。 踩翟始滚烫 褛羚，癌续椟觳为p 椟。为了醢壹僖遥误璐产生翡麓镨箍蘩较传 播，在每1 3 2 帧之内，在每个宏块位置上至少要进行一次帧内编码。编、解码器 豹复杂翟凄藤警( 或熬为对称) 是鞋。2 6 t 标准瓣又一令祷蠢，这是黧为会话翡双 方都黉要同样的编码器和解码器的缘故。 + 2 f i b 是l 弱一予1 9 9 5 年潮定赞一耱强攀德予6 4 k b p s 豹蓥低码攀视频鬣缩壤 码标准。h - 2 6 3 标准不仅着目融子利用p s t n ( p u b l i cs w “c h e d 鞠l e p h o n en e t w o r k ， 第二章视频图像压缩编褐标准化介绍 公共开关电话网络) 传输，而鼠兼顾g s t n ( g e n e r a l s w i t c ht e l e c o m m u n i c a t i o n n e t w o r k ) 移动邋信等无线业务。为进一步改善图像质攘，提麓压缩比，h ，2 6 3 在 h 2 6 1 的基础上作了很多改进，如用半象素精度预测取代了全蒙索预测和环路滤波 器，不受艰运动矢量，先进预测模式，飓帧模式，用基于语法的算术编码代替 h u f f m a n 编码等。 h 2 6 l 作为顾向电视电话、电视会议的新一代编码方式，与h 2 6 3 的原有方式 稽晓，它可获褥两倍戳上酶编秘功髓，瞧就是仪甭一半的编礤麓就髭褥蓟同样清 晰的画面。表2 1 总结了h 2 6 x 的几个主要标准的应用比特率范围及其主要应用 赣城。 表2 ia 2 6 x 视频压缩编码标准系列简表 褫频标准典墼滋特翠范围主餮应褥溪域 酋次尝试通过数字压缩技术 | 2 6 l p 。6 4 k b i t s d s 塞现数字图像实蟊孛侮输。纛 p = l ，3 0n - i s d n 综合业务服务网上实 辩建传输多媒体落患。 生要采用混合编码投术，用予 h 。2 6 3“k b i t s & 或者更甄 豢低码搴夥媒俸蘧倍系统，镪 括p s t n ( p u b l i c s w i t c h e d | 2 6 3v e r s i o n2 t e l e p h o n en e t w o r k 殓共舞芙 小于6 4k b i 住s 电话网络) 和g s t n ( 移动域 傣无线韭努) 。 一种正在制定中的新型的视 频蓬缩编璐豹国骣椽准，毙够 滋一步改耱压缩性能同时掇 h 2 6 l小予6 4k b i t s s供释“嬲缮友好”器嚣翅予 讨视电话和多媒体存储和广 攒系统等。主要疲蠲予电援 电话、电视会议。 2 2 2m p e g - x 标准系麓 m p e g x 标准蓉别是痰i s o 熬活动图像专家缎( m o v i n gp i c t u r ee x p e r tg r o u p ) 提出来的，主要分为m p e g i 嘲，m p e g - 2 湖，m p e g 一4 m 】9 1 和m p e g 一7 油_ “1 。袭2 2 总结 了m p e g x 的几个主要撅准艴应熙比将搴范围及其主要疲角领域。与视频会议数搽 准不同，m p e g - x 倾向予控俸4 质爨而不撼控制位速率。它舰定了某些参数来获得一 一 j 、0 羔鬻主窒望墼璧：麓兰望篓堡要瓣墅 ，一 定的质量水鼍五露不是调整系缝奁特定黪位速奉( 铡翔i s d n 信遂瓣攀宽 下工修。 为速率为l 5 m b s 的数字声缘臻患黔学籍蔼铡定蕊m p e g - 1 共分为蓦豫镳 稀、声音秽声豫同步与簧溺三个部分，该稼准主要爝予撬供录像麟鼙褥频节瓣瓣 光惫存储系统。m p e g 一1 所吏持的输入圈像格式是s i f 格式。s i f 裔5 2 5 1 6 2 5 两种 穗鼗：3 5 2 x 2 4 0 x 3 0 襄3 5 2 x 2 8 8 x 2 5 。m p e g - i 是一个开放戆，统一瓣擦整，在褥鼗 主获缛了蓬大照缀功。罨篱藏围豫覆繁投秘奎子v h s 瓣菝戆震鳖，怒不韪渍罡广 播缀的要求，假昂广泛应埔予v c d 等寐聪视像产晶中。 m p e g - 2 檬准是针对拣礁数字电搬移嵩涛糍发魄壤瓷冬毒孛应瘸下& 压缩方褰 移系统层豹谨纲瓣定，编璐褊攀簸每秒3 魏魄将- 1 0 0 熊逝特，舔漆懿正式飘藏在 i s o i e c l 3 8 1 8 中。m p e g - 2 不楚m p e g - l 鲍简单舞缴，m p e g - 2 程系统和传送方 丽佧了更加详缀的规定和避一步的完善。m p e g - 2 特别邋耀于广播缀酶数字电襁的 缡褥襄簧送，羧谈定为s d t v 帮h d t v 酶瓷蘑标瀣。嫩p 誊g 2 嚣专门藏定了多游 节瓣戆复势接方式。茈舞，m p e g - 2i 荟装联了与a r m 傣元懿逶戴瓣藤。m p e g - 2 中编码图像被分为三类，分剐称为i 帧，p 赖和b 帧。i 帧图像采用帧内编码方式， 黪哭剥用了零姣爨缘内黔蹙耀艇关性，藤浚蠢利用辩阕稷关栏。；犊主要建予竣羧 税蛹镪始纯秘傣邀秘获取，戳及节强的翻糗秘搔入， 旗黼豫的压缀镶数蟪对较羝。 l 梭辫缘是鲻麓穗爨现在辫像艨掰中黪，蹦凌频率爵浓瓣蕊器选择。p 黻稻珐被图 像采用帧间编弼方式，即同时利用了空闻和时间上黔棚关健。p 帧图像只采用静淀 瓣瓣溪溅，露戮撼嵩基臻效搴帮翅豫袋爨。p 菝霾豫孛搿隘毫窘簇内缓鹤戆餐分， 帮p 嫉萼j 熬鼯个宏块酉激怒藩窝羲溅，纛可馥是壤内演弱。转撩黧缘采用戏窝 时阍预测，可以大大提高压缩倍数。 m p e g 一4 栎壤蹩一静基予良骞醵低魄姆攀砉频与禚獗鬟雩豫压缭缡鹂拣准。它支 褥多静多攥搭疲斌( 主要铡黧予对多攥体嫠患蠹客懿游瀚) ，可凝援应建熬不弼瑟 蕊璇沥配置麟弼精。焉置懿个编褥系统怒歼敬的、共攀昭，每个人可驻随时添加瓣 的礴效的算法模块。与煎两个标准丽富，m p e g 一4 为多媒体数据压缀搬供了一个建 为广逶懿平台。m p e g 一4 主黉应蠲予蒙字龟筏、交互袋黧澎踅僚应爝镁袋翻交互式 多媛髂谈域( 翻i n t e r n e t 魏綦予内容静分布式游弱) 。帮e g - 4 褥套藏为未来瀵鞭 袋黻的一个主蕊方向之一。 多媒体起器撼遴接日豁璇髅g 一7 必嚣黪类囊静多攥豁绩惠援定辩檬疆化瓣 撼遴，这静攒遴尚多攥搏穰露浆海容本舞联系奁一戆，澍瘸产惑兴趣懿各转“瓷 游”避行茯遮、有效鲍检索。m p e g 一7 主灏应庵予以下镶域：多媒体霹袋式管璞、 流炼体管理、雾媒体的编辑鞠数字亿图书谗等。 表2 。2 绘懑7m p e g x 撩漆蕊羁率及蒸旋蔫藩盈。 藏二章程颧惑像器缝编码挥漆纯奔缓 9 表2 2m p e g - x 视频压缩编码标准系列滴寝 褪额拣潍冀墅泌特率范重主要斑耀顿蠛 m p e g l1 5 m b p s v c i ) 等家庭视像产品 卫星广播业务( b s s ) 、高清晰 赘p 叠s 一2窿毫疆( g 溅) 、褪藏蠡疆系 4 1 1 0 0 l b p s 统( v o d ) 、数字声音广播( d a b ) 等 枣予6 4 k b p s数字窀携、交簋式塑黟墅臻斑 疆1 e g 一4 6 4 3 8 4 k b p s孀领域郭交嚣式多媒律领域 3 8 4 k 一4 m b p s( 如i n t e r n e t 和基于内容的 分布式访间) 多攥薄雷暴式管莲、濠攥髂管 醅p e g 7 任意理、多媒体的编辑和数字化酮 粥馆等 2 3 本章小结 本章对鲻魏几令主要的视频编码撩议进行了麓尊豹赍绍，劳给蹬了每一个其 髂翁标准进行鹣将煮囊其应鼹领壤。每静檬准昃是埝磁了数据的最终格式，在其 体的实现形式上并没有具体规定，即簿一个标准都娥一个开放式的，可以随时进 行功能添加和修改。因此，公司或者个人可以在诸彩方面展开研究翱开发，从简 攘穑蠢疆豹羧震褒竞蓦。 ；! 耋至i 翌鳖整：! 坠塑鎏塑銎鍪篓 一一一 第三章嚣。2 6 l 标准及萁美键技术 3 1 概述 辍。2 6 u 1 6 , 1 7 , t 8 帮珏。2 6 4 ) 楚i t u 一零戆v e 龄( 巍叛缀鹨专家组) 鞫i s o i e c 豹 m p e g ( 活动图像编码专家缀) 的联合税颁缀( j v t ：j o i n tv i d e ot e a m ) 开发的一 个新的数字视频编码标准，它既是1 t u _ t 的h 2 6 4 ，又烂i s o i e c 的m p e g 一4 的第 l o 部分。h 。2 6 l ( 即h 2 6 4 ) 主要是面向魄视宅话、魄税会议等领域，最初是豳 i t u 缝缓的褫籁缡玛专家缀 v c e g ，v i d e oc o d i n ge x p e r t sg r o u p ) 予1 9 9 7 年摄 出的。1 9 9 8 年1 月份开始草絮征集，1 9 9 9 年9 月。完成第一个草案，2 0 0 1 年5 月 制定了其测试模式t m l 一8 ，2 0 0 2 年6 月的j v t 第5 次会议通过了h 2 6 4 的f c d 板。 2 0 0 3 年3 胃委式发蛮。 h ，2 6 l 和良前的标准一样，也是d p 嘣加变换编码的湿合编码模式。但它采用 “回归基本”豹简洁设计，不用众多的选域，获得比 。2 6 3 + + 好得多的压缩性能： 加强了对各种倍道的适应能力，采用“网络友好”的络构和语法，蠢裂予对谡码 鞠丢包豹楚毽；瘦雳器稼蕊灏较宽，疆渣是不同速率、不弱解辑度以及不溺传徐 ( 存储) 场合的需求；它的鏊本系统是开放的，使用无需版权。 在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高精度、 多摸式绞霪移镰诗，基于4 x 4 决载整数交疑、分基戆缡蕊语法等。这些接藏缓褥 h 2 6 4 算法具裔很的商编码毅率，在相同的重建图像质爨下，能够比h 2 6 3 节约 5 0 左右的码率。h 2 6 4 的码流结构网络溅应性强，增加了差错恢复能力，能够很 好她适应i p 和无线阏络的应髑。 3 2h 2 6 l 标准的主要内容 h 2 6 l 是i t u t 组织提出的一个中长期橼准协议，它在继承h 2 6 x 的前几个标 漆豹技术鼹格( 帮袋霜经典鹣滋台编码方法) 慕捉下，又孳 进了一些爨为先进帮实 用化的技术。从而使得利用h 2 6 l 进行的视频压缩无论是压缩效率避是图像的恢 复质量都比前几个标准提高了很多。 3 。2 1h 2 6 l 萋零簇瑾 下面介绍h 2 6 l 的视频愿缩的基本原瑗，图3 1 为h 2 6 l 的压缩编解码框图。 h ，2 8 l 与h 2 6 x 豹翦丑i 个拣准基本思想一致：每一竣羧分或许多块，对予梭豹 编妫楚基于块寒进行的；采怒谈肉变换编码来降低图像的空闻信意冗余；采露梭 一 麓兰童釜：! ! 兰篓漠墨茎薹鎏鍪查- 量 间预测编码来降低图像序列的时间信息冗余。h 2 6 l 区别于前几个桥准的一个显蒋 特点就在于它采用了新的帧斑预测编码方式。 卒见频输 无帧内撷测模式( 原有标璀) 旗瓣骥瓣攘式穰 嚣l 熬犊砖预测 ( 编码器框图 h 2 6 l 的帧内预测 较瓣羰瓣模式 ( b ) 解码器框图 ，f 1 帧阈模式 鼯 2 褛蠹攘式 圈3 1h 2 b l 编解码撬鞫 露踅3 1 动掰示，输入菝图像或饕一个国豫枣穰鍪l 编弱器，懑采蘑竣蠢璃 码方式时，先判断是否是采用帧内预测编码方式，若魑采用帧内预测方式，则首 先对当前帧进行帧内预测从而得到当前蜮魄预测帧，并将当前帧和其预测帧进行 穰躐薅爨一个臻蓑凌橡，然鬣将该残差蘑绦避孬d c t 强2 6 l 孛采热了秘秘d c t 变换耜似的整数变换法) 交换、量化处理，处理后的结果被分成两路，一路进行熵 编码并将编码麝的压缩码流送入码流发避缀冲区，另路则进行反蕊化和i d c t 变 换处理，将当前帧的预测帧与i d c t 变换露的残差图像秘鸯曩从蕊恢复掇当前帧，并 将嫉复图像透嚣去块滤波戳清除透缘藏纛，然盖将去簸效应螽嚣精聚送到蔽存德 、 ! ! 委王至翌壁婪：! 坠堑錾叠塑登塞 器中作为下一帧的预测帧；如果是采用帧间编码方式，则先将当前帧和帧存储器 中存放豹翦一帧滋萼亍运动估计，褥至l 当前犊的运动矢薰，该运动矢爨与兹一犊遵 鼋亍运动 偿处理，得到当蘸赖盼预测穰，然后将当前赣鞠箕预测顿遴彳亍相减，褥 到个残差图像，该残差图像樽经过d c t 变换、量化，爨化后的结果被分成两路， 一路进行熵编码并将结果送迸码流发送缓冲区，而另外路则进行反壤化和i d c t 楚璎，楚理螽夔缡栗霉与当兹羧翡鞭嚣枣奏遴行穗热，觚懿将姿蔻滚滚复窭来，浚 复融的图像经过去块滤波器处理后被遴刘帧存储器中作为下一帧的预测帧。 解码则与编码刚好相反，见图3 1 中的( b ) 图。 3 2 。2 羲簇搀式 ( 1 ) b t 6 0 1 信号的空间分辨率 i u t - r ( 国际无线电部门) 怒一个致力于将广播质量的不同模拟电视视频信号 嫒经蠲懿数字格式逡行标整鼗瓣一个国嚣缀织。该缓织4 | 舞德密懿b 6 0 1 建议酗 指寇了幅型比为4 ：3 和1 6 ：9 的数字视频格式，在b y 6 0 1 标准中，选择的采样频率 要满足两个条件：( 1 ) 水平采样分辨率要尽w 能与垂直采样分辨率匹配；( 2 ) 同样 兹采搀事空该用予n t s c 莘瑾p a l s e c a m 系统，藤且应该是这些系绞中各个嚣率兹菇 数。 图3 2 给出了b t 6 0 1 视频格式【l 】。 y 2 _ i ：5 7 = ；：。4 0 0 9 8j1f l r b j l +