（交通信息工程及控制专业论文）基于ADSPBF533的H264解码器的优化实现.pdf

西南交通大学硕士研究生学位论文第v 页 摘要 随着网络日益被大众所接受，以及移动通讯的迅速发展，针对网络传输实 现的各种多媒体业务的需求日益增加，因此对视频编解码技术提出更高的要求。 怎样才能提供优质且稳定的传输信号成为目前研究的热点问题。本文主要以 j m 8 6 代码为参考，在d s p 平台上对h 2 6 4 解码器进行移植并进行优化，以达 到实时解码的效果。 本文首先对数字视频、数字视频技术相关背景及视频编码国际标准做了简 要的介绍，并且对数字信号处理器的发展状况及其在数字视频中的应用领域进 行了进一步的阐述。然后给出了硬件系统的总体架构，以a d i 公司的 a d s p b f 5 3 3 处理器为核心构建h 2 6 4 解码器，针对a d s p b f 5 3 3 特点，优化 了h 2 6 4b a s e l i n ep r o f i l e 的解码算法，编写了链接描述文件，并采用了转换运算 方法，对c a c h e 使能进行了优化配置，在p c 平台上完成了h 2 6 4 解码器程序。 在此基础上，规范数据类型，修改语法，实现了h 2 6 4 的解码算法从p c 平台到 d s p 平台的移植。 针对实时应用的要求，本文针对解码器的各个组成模块做了详细的分析， 然后给出了h 2 6 4 解码器的软件及汇编级优化方法。其中在熵解码模块中，针 对码表的特性，拆分码表，改变其搜索方式，明显提高了查表的效率，进而提 高模块运行速度；对亮度像素内插算法则是进行现场插值，从而节约片外存储 器的带宽；通过去除无效判断和冗余代码、优先大概率判断，提高该函数的执 行速度。 最后，h 2 6 4 解码器在a d s p b f 5 3 3e z - k i tl i t e 开发板上进行了测试。测 试数据表明，该解码器达到了对o c i f ( 1 7 6 x1 4 4 ) 格式的实时解码效果。 关键字：b l a c k f i nh 2 6 4 解码器c a v l c 插值 西南交通大学硕士研究生学位论文第v i 页 a b s t r a c t a l o n gw i t hi n t e m e ti ng l o b a ls c o p ed a i l yp o p u l a r i z a t i o n ，s w i f ta n dv i o l e n t d e v e l o p m e n to fm o b i l ec o m m u n i c a t i o n ，t h ed e m a n d so fm u l t i m e d i as e r v i c eo f r e a l i z e db yt h en e t w o r kt r a n s m i s s i o ni si n c r e a s i n ga l lt h et i m e m a n yn e wr e q u e s t s h a v eb e e ns e ta r r a n g e dt ot h ee n c o d i n ga n dd e c o d i n gt e c h n o l o g yo fv i d e o h o wt o p r o v i d e t h eh i g h e ra n dm o r es t e a d yt r a n s m i s s i o n q u a l i t yb e c o m eh o ts p o t i n i n f o r m a t i o ns c i e n c ea n dt h et e c h n i c a lr e s e a r c h t h i s p a p e rr e a l i z e st h e r e a l t i m e d e c o d e r o fh 2 6 4b a s e do nd s p , r e f e r r i n gt ot h ej m 8 6c o d e 、 f i r s t l y , t h i sp a p e rp r e s e n tt h eb a c k g r o u n do f v i d e ot e c h n o l o g y , t h ed e v e l o p m e n t o fd s p s ( d i g i t a ls i g n a lp r o c e s s o r s ) a n dt h ed s p s sa p p l i c a t i o n so fv i d e o w ea l s o p r e s e n tt h ec h a r a c t e r i s t i c so ft h eb l a c k f i na d s p b f 5 3 3d s ea tt h eo o 聆t oa d s p b f5 3 3p r o c e s s o rp r o d u c e db ya d ic o m p a n y , p a p e rc o n s t r u c tt h ed e c o d e ro ft h e h 2 6 4 , a c c o r d i n gt ot h ec h a r a c t e r i s t i co fa d s pb f5 3 3 ，i to p t i m i z e st h ea l g o d t h mo f h 2 6 4b a s e l i n ep r o f i l e d e c o d e r , p r e p a r e s l i n k d e s c r i p t i o nf i l e ，d o e so p t i m a l a l l o c a t i o nt oc a c h eu s i n gc o n v e r s i o no p e r a t i o n s ，a n df i n i s ht h ed e c o d e ro np c p l a t f o r m o nt h i sb a s i s ，i ts t a n d a r d i z e sd a t at y p e ，c h a n g e sg r a m m a r s ，a n dr e a l i z e st h e t r a n s p l a n t a t i o no fh 2 6 4d e c o d e rf r o mp cp l a t f o r mt od s pp l a t f o r m a g a i n s tt h e r e q u e s to fr e a l t i m ea p p l i c a t i o n ，t h ep a p e ra n a l y z e se v e r yc o m p o n e n t so ft h e d e c o d e r i tg i v e st h eo p t i m i z a t i o ns o f t w a r es e r i e so fd e c o d e rb a s e do nr e f e r e n c e m o d e lj m 8 6 i ne n t r o p ym o d u l e ，r e s o l u t ec o d et a b l e ，c h a n g e st h ew a yo fs e a r c l l , c a n n o t i c e a b l yi m p r o v e st h ee f f i c i e n c yl o o k u p ，a n dt h e ni m p r o v e st h eo p e r a t i n gs p e e d i n t e r p o l a t i o ns c e n e ，m i n i m i z a t i o nr e f e r e n c ef r a m ed a t ac a nc o n s e r v et h eb a n d w i d t h o fm e m o r yc h i pi nl u m ap i x e l i n t e r p o l a t i o na l g o r i t h m t h ee x e c u t i o nc a nb ei m p r o v e d b yr e m o v i n gr e d u n d a n tc o d ea n dv o i dj u d g m e n ta n db i gp r i o r i t yp r o b a b i l i t y j u d g m e n t f i n a l l y , t h ed e c o d e rh a sb e e nt e s t e do nt h ed e v e l o p m e n tb o a r da d s p b f 5 3 3 e z k i tl i t e t h et e s td a t as h o w st h ed e c o d e rr e a l t i m ed e c o d i n gr e s u l t so fo c i f f o r m a th a sa c h i e v e d k e yw o r d s ： b l a c k f i nh 2 6 4d e c o d e rc a v l c i n t e r p o l a t i o n 西南交通大学曲南父逋大字 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文复印件和电子版， 允许论文被查阅和借阅。本人授权西南交通大学可以将本学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书 2 不保密d 适用本授权书 ( 请在以上方框内打“”) 学文论文作者签名： 日期：2 印泽【月巧日 凑恢 指导教师签名：弋九房 日期：庸年厂月l 占日 西南交通大学四陶父逋大字 学位论文创新性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下独立进行研究工 作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的研究成果。对本文研究做出贡献的个人和集体，均 已在文中做了明确的说明。本人完全意识到本声明的法律结果由本人承担。本 文的创新点有以下2 个方面： ( 1 ) 在充分研究了h 2 6 4 熵解码算法并分析了其计算复杂度之后，提出了 一种c a v l c 改进的查表算法。算法通过对变长码表的分割来实现高效的查表。 虽然增加了一些条件判断，但是查表的计算量仅为原来的1 4 ，因此从整体上 提高了解码效率。 ( 2 ) 在仔细研究了h 2 6 4 帧间预测算法之后，对像素插值计算提出了一种 优化算法。算法通过强行保存插值计算需要用到的数据的方法，来缩短计算时 需要的时间。然后再通过b l a c k f m 特有的读取数据的指令，一次性读取3 2 b i t 数据来提高运算效率，从而提高了解码速度。 学位论文作者签名： 袭欧 日期：少一8 年r 月“日 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1视频压缩编码技术简介 标准化是产业化活动成功的前提。当前具有较大影响力的制定视频编解码 标准的两个国际组织是：国际电信联盟电信标准部u t ( i n t e m a t i o n a l t e l e c o m m u n i c a t i o nu i o nt e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t 0 0 和国际标准化 组织i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 国际电工委员会 i e c ( i n t e m a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ) 。r r u t 的视频编解码标准通常被 称为建议，一般用h 2 6 x 表示，如h 2 6 1 ，h 2 6 2 和h 2 6 3 ；i s o 正c 的标准则 使用m p e g x 表示，如m p e g ，m p e g 2 和m p e g - 4 等。 以下是h 2 6 4 以前出现的h 2 6 x 和m p e g x 系列标准 h 2 6 x 系列标准： h 2 6 1h 2 6 1 是最早出现的视频编码建议。1 9 8 8 年1 0 月，国际电视电话 厶议电视咨询委员会( c c m ) 即现在的( u t ) 提出了h 2 6 1 建议，目的是 规范i s d n 网上的会议电视和可视电话应用中的视频编码技术。它采用的算法 结合了可较少时间冗余的帧间预测和可减少空间冗余的d c t 变换的混合编码方 法。和i s d n 信道相匹配，其输出码率是p * 6 4 k b i t s 。p 取值较小时，只能传输 清晰度不太高的图像，适合于面对面的电视电话。p 取较大值时( 如p 6 ) ，可 以传输清晰度较高的会议电视图像。 h 2 6 31 9 9 5 年1 1 月低数码率( l o wb i tr a t e ) 的建议草案出台。h 2 6 3 视 频编码的建议的是低码率图像压缩标准，在技术上是h 2 6 1 的改进和扩充，支 持码率小于6 4 k b i t s 的应用。h 2 6 3 以及后来的h 2 6 3 + 和h 2 6 3 + + 已发展成支持 全码率应用的建议，并引入了h 2 6 1 没有的如s u b q c i eq c i f , c i f , 4 c i f 甚至 1 6c i f 等格式。h 2 6 3 除了基本的混合编码之外，还提供了可选的压缩编码方 法。总的来说，h 2 6 3 在低码率的情况下，图像质量还是比较好的，它可以作为 将来甚低码率编码算法和编码标准性能评估的一个里程碑。i s o 的运动图像专 家组( m p e g ) 将其作为m p e g 4 的编码基础。 h 2 6 3 +1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 视频编码标准的第二代，它 提供了1 2 个新的可选择模式和其他特征，进一步提高了压缩编码的性能。 h 2 6 3 + + 2 0 0 0 年i t u t 又推出了h 2 6 3 + + ，对h 2 6 3 又做了一些新的扩 西南交通大学硕士研究生学位论文第2 页 展，增加了一些新的特性从而适应于各种网络环境，并增加差错恢复的能力。 新增的可选模式有：增强参考帧选择模式，数据划分片模式，扩展的追加增强 信息模式等。 m p e g x 系列标准 m p e g 11 9 9 1 年1 1 月m p e g 制定m p e g 1 标准。m p e g 1 标准是将数字 视频信号和与之相伴的音频信号在一个可以接受的质量下，能被压缩到位率约 为1 5 m b i t s 的一个单一流。m p e g 标准是在h 2 6 1 视频编码算法的基础上改进 并发展的。m p e g 1 改进的主要内容是增加了b 图像帧( 双向预测) 和图像组 ( g o p ) ，这些改进具有更高的压缩比，同时定义了编码算法中各工具层的语法， 使视频的可操作性更灵活。 m p e g 21 9 9 3 年1 1 月m p e g 提出m p e g 2 建议草案。其中的视频编码部 分即h 2 6 2 。它是由m p e g 1 扩充而来，支持隔行扫描。它使用十分广泛，几 乎用于所有的数字电视系统。适合标清和高清电视，适合各种媒体传输，包括 卫星，有线和地面等都能有效的传输。m p e g 2 是工业标准d v d 的核心标准。 值得一提的是，m p e g 2 h 2 6 2 ，是i s o m c 和丌u t 两大标准组织首次携手制 定的视频编码标准。这两大标准组织第二次携手是制定的标准就是本文要讨论 的h 2 6 4 m p e g - 4p a r t1 0 m p e g - 41 9 9 8 年1 1 月，m p e g 提出了低数码率视频，音频编码和多媒体通 信的m p e g - 4 建议草案。m p e g - 4 能够支持q c i f 格式的视频数据以满足低码率 传输的要求。m p e g 4 的应用广泛，是一种可用于通信，广播和计算机等诸多 领域的通用多媒体编码方式。它基于对象的编码方式可以使图像主观质量，交 互性更好，灵活性更大，对传输误差有着更好的耐受性，可以用于各类多媒体 会议，低逼特率的移动多媒体通信和i n t e r a c t 的视频和音频通信等。 1 2 d s p 技术简介 d s p 芯片，也称数字信号处理器，由于采用特殊的硬件结构，是一种特别 适合于进行数字信号处理运算的微处理器，其主要应用是实时快速地实现各种 数字信号处理算法。 使用d s p 芯片实现译码是最为灵活的一种方案，但速度也是最慢的，因为 整个译码过程都是有软件来实现的。但是自从d s p 芯片诞生以来，d s p 芯片得 西南交通大学硕士研究生学位论文第3 页 到了飞速的发展。d s p 芯片高速发展，一方面得益于集成电路的发展，另一方 面也得益于巨大的市场。短短的十多年时间，d s p 芯片已经在信号处理、通信、 雷达等许多领域得到广泛的应用。目前，d s p 芯片的价格也越来越低，性能价 格比日益提高，具有巨大的应用潜力。 对于d s p 的选择，也就是在确定了某个应用后，要做的第一件事就是选择 一款d s p 。d s p 系统设计中要考虑如下几个方面： 1 d s p 系统处理的模拟带宽。根据这个带宽，选择合适的a d 采样率， a d 采样频率必须从采样定理。语音信号一般为几k h z 一几十k h z ，图像信号则 可达8 m h z 。 2 实时性要求。系统设计中实时与非实时系统要求的差异非常大。 3 算法复杂度。为了获得好的系统处理性能，往往要采用复杂算法，而算 法越复杂，对d s p 处理器的要求也就越多。有时需要在算法的复杂度和处理速 度之间进行折中。 4 d s p 系统处理精度要求。一般而言，在高精度要求中往往采用专业浮点 d s p ，其它场合采用定点d s p 就足够了。在实际应用，采用块浮点方法能有效 提高定点d s p 的处理精度。 5 成本要求。在军事和航天用途中，为了高性能、高可靠性和留有发展余 地，往往尽量采用高性能d s p 处理器，甚至不记成本。而在工业和消费领域中， 为了保持产品在市场上的竞争力，往往要寻找性能价格比最好的产品。 6 可靠性要求。d s p 处理系统所有器件的选择，必须考虑产品的最后应用 场合，原则上星载系统采用宇航级，军事应用采用军品，工业场合选用工业级 器件，民用选用商品级即可。最后所选用的器件要考虑是否有对应的级别。 7 方便开发和使用。为了方便开发仿真，d s p 系统设计师最好选用带j t a g 硬件仿真接口的d s p 芯片，既能方便开发，又便于此后生产中的测试。 根据上面的要求，我们最终选择的是a d i 公司的b l a c k f i n 5 3 3 ，此种d s p 有专用于多媒体信号处理的指令，可以说是专为多媒体技术设计的d s p 芯片， 非常适合视频开发。 1 3国内外发展情况 在视频压缩算法领域，m p e g 4 已取得了令人瞩目的成果，占据了多媒体 西南交通大学硕士研究生学位论文第4 页 通信终端设备的大部分市场。然而h 2 6 4 的横空出世，对m p e g 4 生存构成严 重威胁。相对于h 2 6 3 和m p e g - - 4 标准，h 2 6 4 标准有更高的压缩效率和图像 质量。在同等的图像质量条件下，h 2 6 4 的数据压缩比能比当前d v d 系统中使 用的m p e g 2 高2 3 倍，比m p e g - 4 高1 5 2 倍，更高的压缩比和更低的带宽需 求，为实时应用( 如视频电话) 和非实时应用( 如存储、广播或者流媒体) 提供了一 个优良的视频压缩编解码通用工具。 到目前为止，h 2 6 4 标准定义了四个档次，其中基本档次( b a s e l i n ep r o f i l e ) 的目标是使编解码复杂度最小，在大部分网络环境和条件下可以提供高度的鲁 棒性和灵活性，主要应用于可视电话、视频会议和无线通信等。 尽管h 2 6 4 具有很多以往标准无法比拟的优点，但该标准计算复杂度高， 用一般的图像处理芯片难于达到实时编解码的要求。但随着数字信号处理器 d s p 的高速发展，为实现高效的音视频信号处理提供了可能性。将h 2 6 4 算法 在高速d s p 平台上实时实现是目前多媒体信号处理及图像通信研究领域的一个 热点问题。对于获得一种低成本、便携、高效的多媒体通信终端平台具有重要 的意义，并有很好的市场应用潜力。 因此，多媒体通信终端的实现除了需要适合多媒体通信的协议标准和软件 算法外，还需要快速、稳定的处理器作为多媒体信号处理的平台。两者的结合 才能产生高效的多媒体通信设备。 基于d s p 系统开发的视频编解码系统，几乎都是走的移植然后进行优化的 路线，并且移植的代码，都是开源的。毕竟花费大量的人力，物力去开发一套 自己的代码，并不见得比一些成熟的开源代码效率更高，健壮性更好。更何况 开发速度对于一个产品的发展而言，更是重要。 目前对于h 2 6 4 而言，移植的代码主要有j m ，x 2 6 4 和他6 4 。移植的时候， 就需要对各个代码进行测试，以确定要移植的代码。相对而言，j m 的移植更容 易，但效率比较差，如果基于科学研究，移植j m 的比较多。由于本文是基于 研究的态度，因此选择j m 代码进行移植。， a d i 公司生产的b l a c k f i n 系列芯片具有很强的并行处理能力和信号处理功 能，只要根据该d s p 的结构特点对h 2 6 4 算法进行优化，就可以在主客观质量 损伤很小的情况下降低复杂度，实现h 2 6 4 标准下的实时解码。不仅适合于可 视电话视频、视频会议、高清晰电视等实时应用的场合，同时也适用于对于嵌 入手机等移动终端的使用。因此，本文选择了b l a c k f i n 5 3 3 作为本解码器的主处 西南交通大学硕士研究生学位论文第5 页 理器。 1 4本文主要工作 本文以h 2 6 4 的标准参考模型j m 8 6 为蓝本，采用a d s p b f 5 3 3 做为主处 理平台，主要研究j i 8 6 在a d s p b f 5 3 3 上的移植和优化过程。 本文主要内容安排如下： 第一章为绪论，说明本文研究内容的现实意义及研究现状。 第二章对h 2 6 4 标准及本文d s p 开发平台做一个整体上的介绍，说明h 2 6 4 压缩标准的特点和优势，并介绍a d i 公司的b l a c k f i n 5 3 3 的特点和优越性并给出 该处理平台的总体性能指标。 第三章介绍本文采用的基于p c 平台对h 2 6 4 解码器的优化办法。包括整体 优化策略、c a c 优化算法及插值优化算方法。 第四章介绍本文的基于d s p 的解码器移植及其在d s p 平台的优化方法，主 要阐述d s p 中软件移植、优化的常见问题和一些解决技巧，并介绍b l a c k f m 处 理器的会变优化以及整体性能优化方法。 第五章为实验结果部分，并给出了模块优化及速度优化测试结果。 结论部分对全文做了总结，也对未来的发展前景做一展望。 西南交通大学硕士研究生学位论文第6 页 第2 章h 2 6 4 编码标准及d s p 开发平台简介 2 1h 2 6 4 标准综述 h 2 6 4 a v c 是目前由i t u - t 的视频编码专家组( v c e g ) 及i s 0 i e c 的移动图像 专家组( m p e g ) 大力发展研究的适应于低码率传输的新一代视频压缩标准。它的 主要目标是发展一种简单直接的高压缩性能视频编码设计，并针对“会话服 务( 可视电话) 和“非会话服务( 视频的存储、广播及流媒体) 提供更加适于网 络传输的方案。 2 1 1h 2 6 4 的分层结构 h 2 6 4 的分层结构是以前的视频压缩标准所没有的。它的算法在概念上可以 分为两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 和网络提取层( n a l ：n e t w o r k a b s t r a c t i o nl a y e r ) 。前者负责高效的视频内容表示，后者负责以网络所要求的恰 当的方式对数据进行打包和传送。这样，高编码效率和网络友好性的任务便分 别由v c l 和n a l 来完成。h 2 6 4 编码器的分层结构如图2 1 所示( 其中h 2 3 4 l v l 表示用于移动的h 2 3 4 系统) ： ，i 视频编码层( v c l ) 控 制 宏块 数 - l i 据 1 7 l 数据分区 条| 食 1r 网络提取层n a l h 3 2 0h 3 2 4h 3 2 3 i ph 3 2 4 m 图2 - 1h 2 6 4 的分层结构 2 1 1 1网络抽象层 网络提取层把数据封装成为若干网络抽象单元( n , a j _ , u n i t ) ，这些网络抽象 西南交通大学硕士研究生学位论文第7 页 单元包括视频信息，逻辑信道信令，定时信息及序列结束信号等。每个单元包 含整数个字节。n a l 单元定义了可用于基于包和基于比特流( 或字节流) 传输 系统的基本格式。区分这两种格式的标准在于每个比特流传输单元都有一个起 始码。因此，n a l 可以不仅支持视频信息在电路交换信道上基于比特流的格式 传输，也支持视频信息在i n t e r n e t 上利用r t p u d p 】【p 基于包的格式传输。 n s d _ , 单元由头部( 一个字节长度) 和载荷( 即位字符串) 组成( 见图2 3 ) 。 头部字节由一个错误标志位( f o r b i d d e nz e r ob i t ) ，一个n a l 参考标志位 ( n a l r e fi d c ) 和一个n a l 单元类型标志位( h a lu n i t 组成。封装于网络type) 抽象单元载荷中的数据成为原始字节序列载荷( r b s p ，r a wb y t es e q u e n c e p a y l o a d s ) ，h 2 6 4 中的r b s p 主要分为两种，一种为视频编码数据，一种为控 制数据。视频编码数据可以以片为单位进行组织；也可以对片进行数据分割， 即将每个片中按类型分为三种，同类型的数据组织到一起，形成三个数据划分 ( d a t ap a r t i t i o n ) ，视频编码数据以数据划分为单位进行组织。控制数据是指视 频序列参数、图像参数、定时信息及附加的增强型信息。 n a l 抽象单元序列如图2 - 3 所示： i n a l h e a d e r i r b s p i n a l h e a d e r i r b s p 1 i 1 j 1 1 _ j 图2 2n a l 抽象单元序列 2 1 1 2视频编码层 视频编码层在原理上与m p e g 一2 是一致的，采用变换编码，使用空间和时间 预测的混合编码。图2 3 是一个宏块的视频编码层的框图。总之图像划分成块， 一个序列的第一个图像，即随机存取点，典型是帧内编码，帧内每个采样的预 测只利用帧内已编码的空间相邻的采样，选择哪些相邻采样进行预测，以及如 何预测，这些附加信息必须同时被传送到解码器同步处理。随机存取点之间的 图像使用帧间编码。 图像、帧和场：一个编码视频序列由连续的编码图像组成，编码图像可以 是整个一帧图像，也可以是一场图像。h 2 6 4 a v c 编码是基于几何概念的表示方 法，而不是基于定时的概念。 。 y c b c r 色度空间和4 ：2 ：0 采样：人的视觉特性按照亮度和色度信息分别感知 世界。视频的传输可以利用该特性减少色度信息传送。h 2 6 4 a v c 目前采用与 西南交通大学硕士研究生学位论文第8 页 m p e g 一2 主类相同的4 ：2 ：0 采样结构、8 比特精度，高精度颜色和高比特精度的 建议正在讨论中。 图2 3 针对一个宏块处理的视频编码层的框图 2 1 2 h 2 6 4 三种规范 h 2 6 4 定义了三种规范：基本规范( b a s e l i n ep r o f i l e ) ，主规范( m m np r o f i l e ) ， 扩展规范( e x t e n d e dp r o f i l e ) 。它们代表了针对不同应用的算法集及技术限定。 其中，基本规范主要包含了低复杂度、低延时的技术特征；主要是针对交 互式的应用；考虑到了恶劣环境下的容错性，基本规范的内容基本都被其它更 高级别的规范所包含。它包含了支持i 片和p 片，基于上下文的变长编码 ( c a v l cc o n t e x ta d a p t i v ev a r i a b l el e n g t hc o d i n g ) ，s l i c e 之间相互 独立并且可以任意的顺序传输到解码端( a s oa r b i t r a r ys l i c eo r d e r ) 和灵活的 宏块组织顺序( f n of l e x i b l em a c r o b l o c ko r d e r i n g ) 等特征。基本规范的应用包 括会议电视，可视电话等实时视频通信等。 h 2 6 4 的三种规范如图2 - 4 所示。 主规范是针对更高编码效率的应用，如视频广播。它包含了基本规范的所 西南交通大学硕士研究生学位论文第9 页 有算法并具有额外的技术特征。它并不支持f m o 和a s o 技术，也不支持多 个片组( s l i c eg r o u p ) 的划分，只支持对i 、p 、b 片的处理操作。在此框架 自由n 幽d 对酗 图2 4h 2 6 4 的三种规范 内提出了适配块划分尺寸的变换( a b t ) 的概念，这是针对帧间编码的，其主要 思想是将对预测参差进行变换编码的块尺寸与用来进行运动补偿的块尺寸联 系起来，尽可能的利用最大的信号长度进行变换编码。 但是由于复杂度的原因，进行变换的最大块尺寸被限制在8 x 8 以下。对 熵编码部分，为更高效的进行编码，这里使用了基于上下文的算术编码 ( c a b a cc o n t e x t - - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 使熵 编码的性能进一步提高。相比较c a v l c ，在相同图象质量下编码电视信号使 用c a b a c 将会使比特率减少1 0 - 1 5 。 扩展规范的设计主要针对流媒体的应用，在这一框架中所有容错技术和对 比特流的灵活访问及切换技术都将包括其中。它不仅支持i 、p 、b 片，还支 持s p 和s i 片。它不支持c a b a c 。 2 1 3h 2 6 4 的解码器结构 h 2 6 4 的解码器结构如图2 - 5 所示： 西南交通大学硕士研究生学位论文第1 0 页 图2 - 5h 2 6 4 的解码器结构 解码器端从网络提取层n a l 接收经过压缩的码流。数据元素经过熵编码和 重新排序后得到量化后系数集合x 。这些系数再经反量化和反变换后得到砭( 和 编码器的珑完全一致) 运用从数据流中解码出来的头信息，解码器生成一个预 测宏块p ，这和在编码器中形成的原始预测宏块p 一致。p 加上脱生成，经 过滤波后生成解码宏块。 2 2h 2 6 4 的解码器中的关键技术 2 2 1 熵解码 c a v l c 用于亮度和色度残差数据的编码。残差经过变换量化后的数据表现 出如下特性：4 x 4 块数据经过预测、变换、量化后，非零系数主要集中在低频 部分，而高频系数大部分是零；量化后的数据经过锯齿形( z i g - z a g ) 扫描，d c 系数附近的非零系数值较大，而高频位置上的非零系数值大部分是+ 1 和一1 ： 相邻的4 x 4 块的非零系数是相关的。c a v i x 2 充分利用这些特性进行压缩，进 一步减少了数据中的冗余。在c a v l c 中，它的基于上下文的自适应主要体现 在两个方面：非零系数编码码表的选择及系数后缀长度的更新。c a v l c 针对 c o e f f t o k e n 、l e v e lp r e f i x 、t o t a l _ z e r o s 和r u n b e f o r e 分别用了不同的码表，而且 根据上下文的不同，c o e f f _ t o k e n 又分5 个码表，但所有这些码表的解码过程是 一样的。解码过程如图2 - 6 所示： 针对图。2 - 6 输出的码流，解码端先查c o e f f t o k e n 的表格，得到非零个数 和拖尾系数个数，0 0 0 0 1 0 0 表示5 个非零系数，3 个拖尾系数；然后再解拖尾系 数的符号，0 表示正，l 表示负；接下来通过解l e v e l _ p r e f i x 和l e v e l s u f f i x 得到其它系数的幅值和符号；最后通过t o t a l z e r o s 和r u n b e f o r e 把为零的系 数穿插到这些非零系数中去。 西南交通大学硕士研究生学位论文第1 1 页 用c a v l c 解码 0 0 0 0 1 0 00 1 11 0 0 1 01 1 11 0 1 1 0 1 _ 卜0 3 ，0 ，1 ，1 , - 1 。0 。1 0 图2 - 6c a v l c 解码- , b 块码流 2 2 2 帧内预测 h 2 删c 所采用的帧内预测技术用于进一步去除当前图像中的空间冗余 度。相比于以前的视频标准，帧内预测是一种新的技术。采用了很精确和复杂 的帧内预测方式。在当前图像编码的过程中，当无法提供足够的图像之间的时 间相关信息时，往往对当前图像采用帧内预测。由于当前被编码的块与相邻的 块有很强的相似性，因此在h 2 6 4 a v c 中的帧内预测利用编码块与其相邻块之 间的空间相关性，以提高编码效率。在帧内预测时，通过当前编码的上方块和 左边块来计算出当前块的预测值。当前块与其预测值的差值( 残差) 将进一步 编码将其传输到解码器端。解码器利用预测模式和解码出的残差，恢复图像宏 块的原始像素值。h 2 6 钔w c 也提供了“p c m 的编码方式，采用“p c m 编 码时，解码器可直接恢复当前宏块的像素值而不必经过其他任何计算。 h 2 删c 提供了4 种帧内预测方式：4 4 亮度块的帧内预测( i n t r a4 x 4 ) ，1 6 1 6 亮度块的帧内预测( i n t r a1 6 x 1 6 ) ，8 8 色度块的帧内预测( i n t r ac h r o m a ) 以及p c m 的预测方式( ip c m ) 。 i n t r a 一4 4 有9 种预测模式，每种预测模式都有它的实际物理意思，图2 7 描述了它的特性，在解码时，它的预测模式本身就是一个预测的过程；而i n t r a1 6 1 6 和i n t r ac h r o m a 各有4 种预测模式，它们是直接解出来的。 总的来说，帧内预测过程分两步： 得到预测模式； 根据预测模式和周围的像素计算预测值； 以比较复杂也使用最多的i n t r a _ 4 4 为例：现在要对图2 - 8 中的当前块( 4 4 小块) 的像素进行预测。 西南交通大学硕士研究生学位论文第1 2 页 i 彦_ i划 刁 心j 图2 - 74 x 4 亮度块预测方式下的预测方向 dbc 刍稚块 图2 - 8 当前块与周围块的位置关系 首先根据a 块和b 块的预测信息得到当前块的预测信息，然后结合解码 得到的p r e y i n t r a 4x4 _ p r e d _ m o d e _ f l a g 和r e m _ _ i n t r a 4x 4p r e d _ m o d e 这两个 值得到最终的当前块的预测模式。 参照图2 - 9 ，得到当前块周围像素值，然后根据具体的模式得到具体的计 算公式，最后用公式计算小写字母代表的当前块的像素值。 bc d e fgh iabcd jefg h ； ； ki j ki l ； i l m n o p l 2 2 3 帧间预测 图2 - 9 帧内预测时的像素分布 与以往的视频标准相比，h 2 5 4 在帧间编码技术上的一个重要改进是对亮度 进行1 4 像素精度的运动估计和1 4 像素精度的插值滤波；对色度则相应的为 1 8 。此外，采用了小块预测方式，提高了描述运动的能力，产生了更好的图像 质量。h 2 6 4 还提供多参考帧的参考，相对于l 帧参考，5 个参考帧可以节约5 西南交通大学硕士研究生学位论文第1 3 页 - - 1 0 的比特率，且有助于比特流的恢复。帧间预测适用于p 和b 宏块，其 输出为帧间预测像素矩阵，包括一个1 6 x1 6 的亮度点矩阵和两个8 x 8 的色度 点矩阵。整个帧间预测过程也分两步： 1 获取m v 分量和参考索引 其中参考索引的获得比较简单，s k i p 模式时直接取o ，其它情况都是直接 从码流里解出来的。m v 的获得由于情况众多而显得比较复杂。对于m v 的水 平和垂直分量，都有： m v = m v p + m v d ( 2 - 1 ) m 也是直接从码流里解出来的，关键是m v p ，首先要得到周围块a 、b 、 c 的m v ，如图所示，但实际上由于当前块的种类比较多，有1 6 x1 6 ，1 6 x 8 ， 8 x 4 ，4 x 4 等七种情况，互相组合后的宏块有几十种之多，所以要远比帧内预 测的取得要复杂。色度的m v 是根据亮度的m v 直接得到的。 2 进行插值计算 由于是1 4 像素精度的运动补偿，亮度n i v 的水平和垂直分量的小数部分 x f r a c ，y 觚分别为： x f r a c = m v 0 & 3( 2 - 2 ) y f r a c = m v 1 l & 3( 2 3 ) 由x f r a c 和y 右a c 组合后总共有1 6 种情况，分别对应1 6 个位置，也就是图 2 1 0 中g 和小写字母对应的地方。对于像b ，h ，m ，s 之类的1 2 像素位置，得 到相邻的整像素后用6 - t a p 滤波器插值得到，6 t a p 滤波器的滤波系数为 ( 1 3 2 ，- 5 3 2 ，2 0 3 2 ，2 0 3 2 ，5 3 2 ，1 3 2 ) ，具体计算公式有： b = ( 一5 f + 2 0 奎g + 2 0 幸h - 5 宰i + j ) + 1 6 ) 5 h = ( ( a 巧宰c + 2 0 木g + 2 0 宰m - 5 宰r + d + 1 6 ) 5 m = ( ( b - 5 宰d + 2 0 幸h + 2 0 木n - 5 宰s + u ) + 1 6 ) 5 s = ( ( k - 5 宰l + 2 0 宰m + 2 0 幸n 二- 5 毒p + q ) + 1 6 ) 5 1 4 像素位置的值由整像素和半像素位置的值滤波得出， j l = ( ( c c - 5 奎d d + 2 0 掌h 1 + 2 0 宰m 1 5 事e e + f f + 5 1 2 ) 1 0 2 4o r ( ( a a - 5 幸b b + 2 0 宰b 1 + 2 0 宰s l 5 拿g g + h h + 5 1 2 f f l 0 2 4 a = ( g + b + 1 ) 1c = ( h + b + 1 ) 1 d = ( g + h + 1 ) 1n = ( m + h + 1 ) 1 f - ( b + j + 1 ) 1i - ( h + j + 1 ) 1 k = ( j + m + 1 ) 1q = ( j + s + 1 ) 1 e = ( b + h + 1 ) 1g = ( b + m + 1 ) 1 ( 2 - 4 ) ( 2 5 ) ( 2 6 ) ( 2 7 ) 计算方法为： ( 2 8 ) ( 2 - 9 ) ( 2 - l o ) ( 2 1 1 ) ( 2 1 2 ) ( 2 。1 3 ) 西南交通大学硕士研究生学位论文第1 4 页 小。 p = ( h + s + 1 ) 1r = ( m + s + 1 ) 1 ( 2 1 4 ) 色度的m v 由亮度的直接得到，插值时用双线性插值。计算量相比亮度较 r刁i 冒 _ j 一一t 一 巴匿亘霭 圈 c l a 回 乙密旦邕 _ - _ 一l 匿 仃 匝 巴墨亘夏3匠 t _ ：一：t 一j j i 一 图2 - 1 0 亮度插值示意图 2 3d s p 处理器及开发平台 2 3 1b i a c