（电路与系统专业论文）基于arm和windows+ce的h264解码器的研究及优化.pdf

山东大学硕士学位论文 摘要 随着通信产业的发展，尤其是今年3 g 牌照的发放，视频业务在移动多媒体 方面将会有更加重要的地位，所以在移动终端上实现支持高效视频编码标准的 解码功能就成为一项非常有实际意义的工作。 h 2 6 4 ( 1 1 作为新一代的高压缩率的视频标准，凭借其较高的压缩率和优秀图 像质量，使得h 2 6 4 只要利用较小的空间就能存储更多的视频数据，在更低的 网络带宽条件下提供更优质量的视频。然而高度的压缩必然付出较高的硬件代 价。如何能完成视频良好解码并能节约硬件资源成为研究热点。 考虑到h 2 6 4 视频编解码的计算复杂度，在硬件选择上一般比较注重高性能 处理器的选择。计算目前主流的实现方式包括a s i c 的专用集成芯片实现或者是 d s p 的软件实现。a r m 处理器伴随技术的进步，尤其是对支持数字信号处理的功 能加强后，在视频编解码领域的应用也越来越广泛。 本文以w i n d o w sc e5 0 和$ 3 c 2 4 4 0 a 嵌入式平台作为h 2 6 4 解码器的载体， 研究的代码版本是t 2 6 4 一s r c o 1 4 ，主要进行了以下几个方面的工作： 研究了h 2 6 4 视频压缩标准和它的体系结构，尤其是对解码器部分进行了硬 件要求的分析。 深入研究了w i n c e 5 0 和a r m 结合的平台特性，根据实际的硬件平台需要， 定制了相应的操作系统。 完成了基于t 2 6 4 代码的解码库在w i n c e 5 0 下的移植，并进行了相应的代码 和算法的优化并完成了基于w i n c e 5 0 操作系统下播放程序的编写。 通过实验数据证明，在基于单核的a r m ：卷片中，主要靠软件进行q c i f 格式 的h 2 6 4 视频解码从而获得良好播放效果的方法是有效的。 关键词h 2 6 4 、解码器、移植、优化、w i n d o w sc e 、a r m 、t 2 6 4 山东大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to ft e l e c o m m u n i c a t i o ni n d u s t r y , e s p e c i a l l yt h ei s s u a n c eo f3 g l i c e n s e st h i sy e a r , v i d e ob u s i n e s sw i l lp l a yam o r ea n dm o r ei m p o r t a n tr o l ei n m u l t i m e d i af i e l d i th a sb e e naw o r kw i t hp r a c t i c a ls i g n i f i c a n c et or e a l i z et h ed e c o d i n g f u c t i o nw h i c hs u p p o r t st h en e w e s tv i d e oc o d i n gs t a n d a r do nm o b i l ed e c i c e s a san e wg e n e r a t i o no fh i g hc o m p r e s s i o nv i d e oc o d i n gs t a n d a r d ，i tc a np r o v i d e h i g h e rq u a l i t yv i d e oi nt h el o w b a n d w i d t hn e t w o r k a n dw i l ln e e dm u c hl e s ss t o r a g e s p a c et os t o r em o r ev i d e od a t a h 2 6 4 a v c 1 1 1 h a sa c h i e v e da ne x c e l l e n tc o m p r e s s i o n e f f e c ta tt h ee x p e n s eo fc o m p u t i n gc o m p l e x i t y h o w e v e r , i tr a i s e sh i g h e rr e q u i r e m e n t s f o ra d v a n c e dh a r d w a r e s oh o wt oa c h i e v eb e t t e rd e c o d i n gp e r f o r m a n c ew i t hs m a l l e r h a r d w a r er e s o u r c e si sn o wb e c o m i n gar e s e a r c hh o t s p o t c o n s i d e r i n g i t s c o m p u t a t i o n a lc o m p l e x i t y , p e o p l ea l w a y sc h o o s eh i 曲 p e r f o r m a n c e u s ep r o c e s s o r sf o ri t t h ep r e v a l e n tp r o c e s s o ra r ea s i c ( a p p l i c a t i o n s p e c i a li n t e g r a t e dc i r c u i t ) o rd s p ( d i g i t a ls i g n a lp r o c e s s ) t oi m p l e m e n tt h eh 2 6 4 e n c o d i n g d e c o d i n g w i t ht h ed e v e l o p m e n to ft e c h n o l o g y , t h ea r mp r o c e s s o r s s t r e n g t h e nt h er u c t i o no fd i g i t a ls i g n a lp r o c e s s ，i tu s e dh i g h e rf r e q u e n t l yi nt h ef i e l do f v i d e o e n c o d i n g d e c o d i n g b a s e do nt h ee m b e d d e dp l a t f o r mo fw i n d o w sc e5 0a n d $ 3 c 2 4 4 0 a ，t h ev e r s i o n o fh 2 6 4i st 2 6 4 - s r c 一0 i4 t h i st h e s i sm a i n l yi n c l u d e st h ef o l l o w i n g p a r t s ： f i n d i n gt h ed e m a n d so fh a r d w a r et h r o u g ha n n l y s i so fc o m p l e x i t yo ft h eh 2 6 4 s s t r c t u r ea n dd e c o d e c u s t o m i n gc o r r e s p o n d i n ge m b e d d e do p e r a t es y s t e mo nt h ep l a t f o r mo fw i n c e 5 。0 a n da r mf o rt h ea c t u a lh a r d w a r e t r a n s p l a n t a t i o no ft 2 6 4v i d e od e c o d i n gl i b r a r yi sc o m p l e t eo nt h ew i n c e 5 0 ， d e s i g n e dah 2 6 4v i d e op l a y e ra p p l i c a t i o nw i t ht h ed e c o d el i b r a r y f i n a l l yas a t i s f y i n ge x p e r i m e n tr e s u l ti so b t a i n e d ，i ti sae f f e c t i v ew a y o fd e c o d i n ga f i l eo fh 2 6 4o na s i n g l e c o r eo f a r mb ys o f t w a r e k e yw o r d s ：h 2 6 4 ，d e c o d e r , t r a n s p l a n t i n g ，o p t i m i z a t i o n ，w i n d o w sc e ，a r m ，t 2 6 4 2 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 莲a 缝 e l 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：鬈a 兰星 导师签名： e l 期：蝉d 广 山东大学硕士学位论文 第一章绪论 电子通信技术迅猛发展，人类社会步入了真正意义上的信息社会，人类对信号 的处理渗透到了各个领域，网络通信手段更加丰富，使得面对的对象不再仅仅是 普通的文本信息而是复杂多样的多媒体信息。 所谓多媒体，不仅仅包括了文字，而且图像、声音以及视频等等都是其对象。 今年3 g 等通信网络的发展及3 g 牌照的发放，对多媒体视频业务与网络通信开发 提出了更高的要求。高效的数字视频编解码技术，愈来愈引起人们的重视，成为目 前广播、多媒体通信领域中的研究与应用热点。 原始的数字化视频的数据量是相当巨大的，例如帧率为3 0 f p s 的c i f ( 3 5 2 x 2 8 8 ) 的y u v 视频，采样4 ：2 ：0 ，数据传输量将达到3 6 5 m b i t s ，如果是高清电 视视频没有经过压缩，数据量将会更大。显然，不经过相应的算法进行视频数据 的压缩，不仅在本地存储容量难以满足，更不用说在网络中进行传输了。现行的 i n t e r n e t 网络基本无法满足这么大容量数据的传输，而且也大大超出了现行的数 字计算机的存储和处理能力，未压缩的数字信号并不能体现出数字化的巨大优势。 因此，为了能够合理有效的进行视频数据的存储、处理、传输，必须对采集到的 视频数据进行压缩。良好的视频压缩可以突破网络带宽和存储空间限制，是提高 视频信息存储和传输效率的重要手段，其性能的优劣直接影响了多媒体技术发展。 因此，进行高效的视频数据压缩又不影响视频效果就成为数字视频信号处理领域 中一个非常重要的研究方向 2 h 7 1 。 虽然原始视频的数据量非常惊人，但是人们通过研究发现视频数据是具有高度 相关性的，在一帧图像或者一个图像序列之间存在大量的冗余信息，包括时间冗 余，空间冗余、统计冗余等形式，就是由于这些冗余的存在，使得视频压缩变得 可行的。 视频图像研究不断发展，自从电视信号可以数字化后，图像压缩已经发展了 5 0 多年了。近年来各种图像编码的标准发展迅速。其中国际标准化组织( i s o ) 和 国际电工委员会( i e c ) 关于静止图像的编码标准j p e g j p e g 2 0 0 0 、关于活动图像 山东大学硕士学位论文 的编码标准m p e g l 、m p e g - 2 、m p e g 一4 ( 2 ) 、m p e g - 4 ( 1 0 ) 等、以及国际电信联盟( i t u ) 制定的视频编码标准h 2 6 x 系列。这些标准融合了各种性能优良的图像编码算法， 代表了目前图像编码技术的发展水平。 1 1h 2 6 x 视频编解码现状、发展 国际电信联盟远程通信标准化组( i t u - tf o ri t ut e l e c o m m u n i c a t i o n s t a n d a r d i z a t i o ns e c t o r ) 于1 9 9 3 年制定了第一个视频编码标准h 2 6 1 ，其输出速 率为p x 6 4 k b i t s ，主要用于i s d n 及a t m 等准宽带及宽带信道视频，不适宜于p s t n 及移动通信等窄带及带宽有限的信道与网络上应用。为满足低速率视频通信需 要，i t u - t 于1 9 9 6 年又推出了适合在小于6 4 k b it s 速率的信道上传输的视频编码 标准h 2 6 3 。1 9 9 8 年又推出了h 2 6 3 的第二版h 2 6 3 + ，提供了1 2 种可选模式及其它 特征，进一步提高了压缩编码性能：同时又开始制定进一步改进性能的近期与远期 目标。其近期目标即为2 0 0 0 年制定的h 2 6 3 第三版h 2 6 3 + + ，其远期目标即所谓的 标准h 2 6 x ，为h 2 6 4 标准的制定奠定基础【1 2 l 。 在i t u - t 推出h 2 6 x 系列标准的同时，i s o i e c 主导的相应视频编码标准，包括 其业务管理在内，亦在积极推进，形成了众所周知的m p e g - x 系列标准( m p e g 一1 、 m p e g 一2 、m p e g 一4 、m p e g 一7 及m p e g 一2l 等) ，并获得了较广泛运用。 2 0 0 1 年，m p e g 认识到h 2 6 l 的潜在优势及与v c e g 联合工作的必要性，从而两者 合作成立联合视频组( j v t ) 。2 0 0 1 年9 月，在j v t 的第一次会议上制定了以h 2 6 l 为基础的h 2 6 4 标准草案和测试模型t m l - 9 。2 0 0 3 年3 月，在泰国p a t t a y a 举行的 第七次j v t 会议上，j v t 形成了最终标准草案，分别提交i t u - t 及i s o i e c 审批，从 而形成了2 0 0 3 年第二季度发布的统一标准h 2 6 4 a v c 。该标准在i t u t 称为h 2 6 4 ： 在i s o i e c 则称为m p e g 4 - p a r t l oa v c ( a d v a n c e d v i d e oc o d i n g ，第1 0 部分，先进视 频编码) ，这就是h 2 6 4 a v c 的基本由来【引。 h 2 6 4 a v c 在压缩编码效率视频内容自适性处理能力方面及网络层面，特别是 针对i p 网络及移动网络的自适应处理能力、抗干扰能力等方面，相比h 2 6 3 m p e g 一4 均有大幅度提高，因而自2 0 0 3 年未以来，视频业界一些厂商与人士开始对 h 2 6 4 a v c 寄予极高的期望。 4 山东大学硕士学位论文 h 2 6 4 a v c 比h 2 6 3 可节省一倍带宽而维持同等视频图像质量，还具有3 d b 等 效信噪比改进，因而确有其巨大魅力，对需要高速网络视频业务的用户和未来高质 量移动通信手机多媒体视频业务的开展亦很有吸引力。 1 2a r m 处理器介绍 a r m 是a d v a n c e dr i s cm a c h i n e s ( 高级精简指令系统处理器) 的缩写，它既是 一种微处理器的知识产权( i p ) 核，也是一个公司的名称。a r m 公司设计了大量高 性能、廉价、耗能低的r i s c 处理器，提供了相关技术及软件。a r m 技术具有性能 高、成本低和能耗低的特点，适用于多种领域。 随着a r m 技术的提升，处理器的处理能力大大加强，使得以前在控制器上难以 完成的音视频处理可以在a r m 上完美实现。本文采用的平台就是三星公司开发的 a r m 处理器( $ 3 c 2 4 4 0 a ) 。 1 3 国内嵌入式h 2 6 4 编解码研究的现状 ( 1 ) 基于专用芯片设计 f p g a 作为专用集成电路( a s i c ) 领域的一种半定制电路，f p g a 既解决了定制电 路的不足，同时使用非常灵活。通过研究专用的h 2 6 4 编解码芯片达到高效专一 的硬件实现。缺点是开发周期长，研发成本高。若是研究成功，后期的成本将大 大下降，量产后收益巨大。然而开源代码一般是基于c 语言，而在研发过程用要 进行v h d l 或者是v e r i l o g 语言转化，工作量巨大。 ( 2 ) 基于d s p 平台的研究 在大量数据处理方面优势明显，乘除算法效率、硬件实时处理能力强，进行音 视频的编解码效果良好，研究人员众多，并且在d s p 上的取得较多的研究成果。 但是单d s p 对整个系统的并行性、协同性的控制能力缺乏，单独结合操作系统运 行比较困难。 ( 3 ) 基于a r m 平台研究 几年前视频处理在单a r m 核上的移植非常少，普遍认为单一的控制芯片处理数 据达不到良好效果。近几年3 2 位嵌入式微处理器a r m 发展迅速，数字信号处理能 5 山东大学硕士学位论文 力不断提高，a r m 9 、a r m 9 e 为五级流水线，a r m i o e 为六级流水线，a r m l l 发展为八 级流水线，在a r m 9 e 以后的产品中更是增加了d s p 指令集。处理器的频率、处理 大数据量等性能的提高，使得a r m 不再是普通的控制器了。同时a r m 平台结合嵌 入式操作系统能力很强，支持多数流行的嵌入式系统。较为常见的是嵌入式l i n u x 和w i n d o w sc e 。相应的应用程序开发可在屏蔽底层硬件的环境中进行，开发难度 降低。 1 4h 2 6 4 在嵌入式系统中优化的意义 尽管h 2 6 4 具有许多优点，但是是建立在运算复杂度提升基础上的。即一般的 嵌入式处理芯片难以满足实时编解码的要求。目前流行的嵌入式平台( d s p 、a r m 、 f p g a ) 的发展很大程度上缓解了这个问题，很多高校、科研院所、公司都在这些 平台上进行了大量的研究。 实时多媒体图像处理是当今数字信号处理及图像通信研究领域的终极目标。复 杂的h 2 6 4 的算法运算，使对硬件有着相当高的要求。在低功耗的嵌入式行业实 现h 2 6 4 算法具有非常大的研究和商业意义。 随着a r m 技术的发展、多媒体处理能力增强，利用性能较高的a r m 芯片实现 h 2 6 4 视频算法也逐渐变得可行。a r m 芯片具有良好的可控性、通用性，同时又能 和x 8 6 架构的p c 机一样安装流行的嵌入式操作系统，a r m 结合嵌入式操作系统的 模式使得解码器的应用程序开发变得相对简单。综合以上优点，a r m 处理器必将能 够在未来的h 2 6 4 处理方面占据一席之地。 1 5 论文的研究内容及章节安排 本文的研究目标是：对比多种开源的h 2 6 4 代码，分析各自的优点。同时移植 t 2 6 4 解码器到基于a r m 9 和w i n d o w sc e 5 0 ( 简称w i n c e 5 0 ) 的平台上，并且对移 植后的代码进行优化，最终得到的解码软件具有良好的显示效果。全文总共分为 六章，内容安排如下： 第一章：作为绪论，介绍了h 2 6 4 的发展及相关的背景知识，分析了本选题的 意义，指出全文的研究内容； 6 山东大学硕士学位论文 第二章：主要介绍h 2 6 4 视频编解码标准的关键技术及其优势； 第三章：分析h 2 6 4 解码器和a r m 处理器的性能，根据解码器的复杂度，评估 解码器的软硬件需求； 第四章：介绍a r m 平台的基本特点，完成平台操作系统w i n c e 5 0 的定制，为 应用程序开发生成s d k ，根据t 2 6 4 代码，将h 2 6 4 解码器移植到a r m 平台上； 第五章：h 2 6 4 解码器在a r m 平台上的优化，并对优化过的解码器进行解码性 能分析得到解码结果； 第六章：分析测试结果，得到研究结论。提出下一步的可行性建议。 7 山东大学硕士学位论文 第二章h 2 6 4 关键技术及优势 2 1h 2 6 4 标准概述 h 2 6 4 m p e g 一4a v c ( h 2 6 4 ) 是由i t u - t 和i s o i e c 的联合开发组共同开发的 视频编码标准【9 】，也是自1 9 9 5 年m p e g 一2 视频压缩标准发布以后最新、最有前途 的国际视频压缩标准。 和以前视频编解码标准一样，h 2 6 4 标准编码模式采用的d p c m 加变换编码的 混合编码模式。但它采用的设计简洁，不需要选择众多的选项，就能获得比h 2 6 3 + + 好得多的压缩性能；它加强了对各种传输信道的适应能力，采用“网络友好”的 结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、 不同解析度以及不同传输( 存储) 场合的需求。 技术上，它集中了以往标准的优点，并吸收了各标准制定过程中积累的经验。 与h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g - 4 简单类( s i m p l ep r o f i l e ) 相比，h 2 6 4 在使用与上 述编码方法类似的最佳编码器时，大多数码率下最多可节省5 0 的码率。h ，2 6 4 在 所有码率下都能持续提供较高的视频质量。h 2 6 4 能工作在低延时模式以适应实时 通信的应用( 如视频会议) ，同时又能很好地工作在没有延时限制的应用中，如视 频存储和以服务器为基础的视频流应用。h 2 6 4 提供包传输网中处理包丢失所需的 工具，以及在易误码的无线网中处理比特误码的工具。 h 2 6 4 是在m p e g - 4 技术的基础之上【1 0 l l 建立起来的，其编解码流程主要包括5 个部分：帧间和帧内预测( e s t i m a t i o n ) 、变换( t r a n s f o r m ) 和反变换、量化 ( q u a n t i z a t i o n ) 和反量化、环路滤波( l o o pf i l t e r ) 、熵编码( e n t r o p yc o d i n g ) 。 在系统层面上，h 2 6 4 提出了一个新的概念，在视频编码层( v i d e oc o d i n gl a y e r ， v c l ) 和网络提取层( n e t w o r ka b s t r a c t i o nl a y e r ，n a l ) 之间进行概念性分割，前 者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送的表述， 这样的结构便于信息的封装和对信息进行更好的优先级控制。 h 2 6 4 针对不同的应用，分3 个档次 1 5 l ，它们是： 山东大学硕士学位论文 1 基本档次：只用i 帧和p 帧，熵编码用c a v l c ，支持片组和冗余片等，主要 用于“视频电话”如会议电视、可视电话、远程医疗、远程教育等。 2 主要档次：支持i 、p 、b 的图像，支持帧和场的结构，熵编码在支持c a v l c 的 基础上还支持c a b a c ，主要用于消费电子应用，如数字电视广播，数字视频存储等。 3 扩展档次：基本支持除了c a b a c 外基本档次和主要档次的其它技术，主要用 于网络的视频流，如视频点播。 2 2h 2 6 4 技术优势 h 2 6 4 编解码过程中采用了以下关键技术【1 2 】： 1 帧内预测编码 帧内编码用来缩减图像的空间冗余。为了提高h 2 6 4 帧内编码的效率，在给定 帧中充分利用相邻宏块的空间相关性，相邻的宏块通常含有相似的属性。和别的 视频图像的帧内编码有区别的是h 2 6 4 通过当前像素块的左边和上边的像素( 已 编码重建的像素) 进行预测，只对实际值和预测值的插值进行编码。这样，相对 于直接对该帧编码而言，可以大大减小码率。 h 2 6 4 标准中帧内预测：亮度块可以有9 种4 4 和4 种1 6 x1 6 块的帧内预测 模式，色度块也有4 中预测模式类似于1 6 x1 6 亮度块的预测模式。 2 帧间预测编码 h 2 6 4 帧问预测采用已编码视频帧场和基于块的运动补偿的预测模式，利用连 续帧中的时间冗余来进行运动估计和补偿。它把参考图像的抽样点通过运动矢量的 补偿作为当前图像抽样值的参考值。h 2 6 4 a v c 标准中使用了从h 2 6 1 标准发布以 来主要标准中使用的块结构运动补偿。然而，它与早期标准最大区别在于：支持多 种块结构的预测、运算精度能精确到1 4 像素和多参考帧的应用。 ( 1 ) 多种大小宏块分割 每个亮度宏块被划分成形状不等的区域如( 图2 1 ) 所示作为运动描述区域。其 划分方法有1 6 1 6 、1 6 8 、8 1 6 、8 8 共四种。当选用8 8 方式时，可以进 一步分成8 8 、4 8 、8 4 和4 4 共四个子区域。每个区域包含自己的运动向 量，每个运动向量和区域选取信息必须通过编码传输。 9 山东大学硕士学位论文 8 x4 0123 4 5 6 7 8x8 01 23 图2 - 1 宏块划分方式 ( 2 ) 高精度的亚像素运动补偿 在h 2 6 3 中采用的是半像素精度的运动估计，而在h 2 6 4 中可以采用1 4 或者 1 8 像素精度的运动估值。 ( 3 ) 多帧预测 h 2 6 4 提供可选的多帧预测功能，在帧间编码时，可选5 个不同的参考帧，提 供了更好的纠错性能，这样更可以改善视频图像质量。h 2 6 4 的运动补偿除了支持 以往的视频编码标准中的大部分关键特性，而且灵活地添加了更多的功能，除了 支持p 帧、b 帧外，h 2 6 4 还支持一种新的流间传送帧- s p 帧。 3 整数变换 i - 1 2 6 4 使用了类似于4 4 离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ：d c t ) 的整数变换。由于h 2 6 4 使用的是以整数为基础的空间变换，具有效果好、计算 快( 只需加法与位移运算) 、反变换过程中不会出现失配问题等优点，并且结合量 化过程，保证了在1 6 位计算系统中，计算结果有最大精度且不会溢出。同时，由 于变换大小从8 8 变为4 4 ，能够减少块效应和振铃效应。根据残差系系数的不 同，h 2 6 4 采用了三种整数变换矩阵，如( 图2 - 2 ) ： l o 巨11 扎艚二； 图2 - 2 整数变换矩阵 山东大学硕士学位论文 5 熵编码 视频编码处理的最后一步就是熵编码d 6 ，在h 2 6 4 中采用了两种不同的熵编 码方法：基于上下文的自适应变长编码( c o n t e s t b a s e da d a p t i v ev a r i a b l el e n g t h c o d i n g ，c a v l c ) 和基于上下文的自适应二进制算术编码( c o n t e s t b a s e da d a p t i v e b i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 。其中c a b a c 是可选的。 6 增强的运动预测能力 在h 2 6 4 中采用1 4 像素甚至1 8 像素的运动估计，即真正的运动矢量的位移 可能是以1 4 甚至1 8 像素为基本单位的【2 0 1 ，而先前多数的标准至多采用半像素 运动估计。显然，运动矢量位移的精度越高，则帧间剩余误差越小，传输码率越 低，即压缩比越高，压缩复杂度也相应增加。 在h 2 6 4 a v c 之前的标准中，运动补偿参考帧的顺序与显示输出的顺序之间有 严格的相关性。而在h 2 6 4 a v c 中，去除了这种相关性限制，由编码器来灵活决 定参考帧顺序和显示顺序，所受的唯一限制是解码器的存储容量。 7 自适应去块滤波器 基于块的编码特性之一在于它的块结构。在重建时，往往由于块边界像素值的 量化误差形成影响图像主观质量的“块效应。为了消除块效应，提高解码图像的 主观和客观质量，同时为了提供更好的参考图像，引入了基于内容的抗块效应滤 波器【1 8 】【l 引。h 2 6 4 中采用的自适应去马赛克滤波器是提高视频质量的有效方法， 如果设计合理，可以大大提高主观和客观视频质量。h 2 6 4 将去马赛克滤波器应用 于运动补偿预测环路内【2 2 4 8 】，这样提高了质量的帧作为后续帧问编码帧的预测帧， 从而提高了预测的质量。 8 面向i p 和无线环境 h 2 6 4 草案中包含了用于差错消除的工具，便于压缩视频在误码、丢包多发坏 境中传输，如移动信道或i p 信道中传输的健壮性【1 3 】。 为了抵御传输差错，t t 2 6 4 视频流中的时间同步可以通过采用帧内图像刷新来 完成，空间同步由条结构编码( s l i c es t r u c t u r e dc o d i n g ) 来支持。同时为了便 于误码以后的再同步，在一幅图像的视频数据中还提供了定的重同步点。另外， 山东大学硕士学位论文 帧内宏块刷新和多参考宏块允许编码器在决定宏块模式的时候不仅可以考虑编码 效率，还可以考虑传输信道的特性。 除了利用量化步长的改变来适应信道码率外，在h 2 6 4 中，还常利用数据分割 的方法来应对信道码率的变化。从总体上况，数据分割的概念就是在编码器中生 成具有不同优先级的视频数据以支持网络中的服务质量o o s 。例如采用基于语法的 数据分割( s y n t a x - b a s e dd a t ap a r t i t i o n i n g ) 方法，将每帧数据按其重要性分 为几部分，这样允许在缓冲区溢出时丢弃不太重要的信息。还可以采用类似的时 间数据分割( t e m p o r a ld a t ap a r t i t i o n i n g ) 方法，通过在p 帧和b 帧中使用多 个参考帧来完成。 h 2 6 4 与以前的标准如h 2 6 3 和m p e g - 4 相比总结如下的优势技术： 1 将每个视频帧分离成由像素组成的块，因此视频帧的编码处理的过程可以 达到块的级别。 2 采用空间冗余的方法，对视频帧的一些原始块进行空间预测、转换、优化 和熵编码( 可变长编码) 。 3 对连续帧的不同块采用临时存放的方法，这样，只需对连续帧中有改变的 部分进行编码。该算法采用运动预测和运动补偿来完成。对某些特定的块，在一 个或多个已经进行了编码的帧执行搜索来决定块的运动向量，并由此在后面的编 码和解码中预测主块。 4 采用剩余空间冗余技术，对视频帧旱的残留块进行编码。例如：对于源块 和相应预测块的不同，再次采用转换、优化和熵编码。 h 2 6 4 标准的主要目标是：与其它现有的视频编码标准相比，在相同的带宽下 提供更加优秀的图象质量。 因为h 2 6 4 采用了先进的算法，取得明显的效果优势如下所示： 1 低码流( l o wb i tr a t e ) ：和m p e g 2 和m p e g 4a s p 等压缩技术相比，在同 等图像质量下，采用h 2 6 4 技术压缩后的数据量只有m p e g 2 的1 8 ，m p e g 4 的i 3 。 显然，h 2 6 4 压缩技术的采用将大大节省用户的下载时问和数据流量收费。 2 高质量的图象：h 2 6 4 能提供连续、流畅的高质量图象( d v d 质量) 。 3 容错能力强：h 2 6 4 提供了解决在不稳定网络环境下容易发生的丢包等错 误的必要工具。 1 2 山东大学硕士学位论文 4 网络适应性强：h 2 6 4 提供了网络适应层( n e t w o r ka d a p t a t i o nl a y e r ) ， 使得h 2 6 4 的文件能容易地在不同网络上传输( 例如互联网，c d m a ，g p r s ，w c d m a ， c d m a 2 0 0 0 等) 。 另外，h 2 6 4 的基本档次无需使用版权，具有开放的性质，能很好地适应互联 网和无线网络的使用，这对目前i p t v 等应用具有重要意义。 2 3h 2 6 4 编解码器的结构 本文是针对的是h 2 6 4 的基本档次进行优化的，所以只对基本档次相关的主要 模块进行介绍。 h 2 6 4 的系统编码框图如( 图2 - 3 ) 所示： 图2 3 编码器框图 h 2 6 4 的系统解码框图如( 图2 4 ) 所示： 曰一回。匦办恒护 图2 4 解码器框图 为了能够适应不同网络间视频的传输，h 2 6 4 引入了分层的结构d 2 ，：视频编 码层( v l c ：v i d e oc o d i n gl a y e r ) 负责高效的数字视频数据压缩；网络提取层( n a l ： n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网络要求的恰当的方式对数据进行打包和传 山东大学硕士学位论文 送。h 2 6 4 高效编码和网络友好性的任务分别有v l c 和n a l 来完成。 h 2 6 4 系统分层结构如( 图2 5 ) ： h 2 6 4 概念层 札c 编码层v i c 解码器 i r l c - n a l 接口 一一1 一一一一一一 一一。 n a t 编码层n a l 解码器 n 虬编码器接口 n a l 解码器接口 rr l l2 啡4 h 2 6 4 1 , 1h 2 c 惩 1 h2 c 娥, 1 耳、2 4 别衷件 h3 2 0 l 旺e r 一2 系筑 h3 2 山佩删口 格式t 亡可i p 传输武? f 1 如多弋l 有线网络无线网络 图2 5h 2 6 4 系统分层结构 v c l 层包括基于块的运动补偿混合编码和一些新特性。与前面的视频编码标准 一样，h 2 6 4 并没有把前处理和后处理等功能都包括在草案中，这样可以增加标准 的灵活性。 n a l 层负责使用下层网络的分段格式来进行数据封装，其包括组帧、逻辑信道 的信令、定时信息的利用或序列结束信号等。这些网络适配单元可以在现有的大 部分网络中以包的形式传送。n a l 包括自己的头部信息、段结构信息和实际载荷信 息，即上层的v c l 数据。 1 4 山东大学硕士学位论文 第三章h 2 6 4 解码器及a r m 处理器性能分析 3 1h 2 6 4 解码器复杂性分析 h 2 6 4 视频编码标准，与以往标准相比改进了编码效率。虽然它的编码算法同 样建立在基于运动补偿和基于利用空间冗余的基础上，但是h 2 6 4 通过增加特色 功能来提供更高效的编码效果。不过，这些特色功能在编码和解码时也额外增加 了复杂性。编解码算法的计算复杂性直接影响h 2 6 4 推广应用的速度。 解码操作和编码操作一样，需要相同的复杂性。这是因为解码器的状态，由标 准和由必须处理的编码内容的特征详细规定了。 评定h 2 6 4 解码的计算复杂性 2 q ，理解它的两个主要成分一时问复杂性和 空间复杂性十分重要。时间复杂性可以通过实现一个算法的具体操作所需的大概 时间来测量，一个好算法比一个差算法能明显降低时间复杂性。空间复杂性可以 通过执行一个算法所需的存储量来衡量。 3 1 1h 2 6 4 解码器时间复杂性理论分析 通过h 2 6 4 解码器时问复杂性实验分析，h 2 6 4 包含一系列可选的对解码器时 间复杂性有明显影响的编码特征。影响解码器速度的主要时间因素： 1 熵解码 比特速率直接导致了比特流语法分析和熵编码的时间变化。因为它们占用了比 特流的很大的百分比，所以在较高的比特速率，在参数计算上耗费了很多时间， 然而在较低的比特速率，在运动矢量上耗费了更多的时间。 2 反量化、反变化和图像重建 数据块和宏块的数目直接影响反量化和重构的复杂性。因此，数据块和宏块反 变换的数目是决定解码器子功能复杂性的主要因素。大量的非零块发生在较高比 特率的情况下，比特率是决定需要对非零块数目进行反变化的最重要因素。 3 去块滤波 1 5 山东大学硕士学位论文 滤波过程的复杂性随内容和比特率的改变而改变。滤波复杂程度的变化中的最 重要的因素是由需要滤波的边界决定的。块的边缘被直接从以前的帧复制过来， 运动矢量或非零残留系数( b s = o ) 与没有被滤去的情况没有什么不同，因为新的 块的构造不是由编码产生的。因此，在低比特率时，不活动序列图像的零值残留 块包含很少需要滤去的边缘。随着图像运动的加剧非零边界的数目开始变大，滤 波的复杂性随着比特率的增大而变大。增大的原因主要是由于许多包含有非零系 数块的增加。 3 1 2h 2 6 4 解码器存储器要求 嵌入式a r m 系统的存储空间是有限的，而解码器的解码阶段由于要申请不同类 型的图像存储空间 4 3 1 ，必将会消耗不少的内存空间，这种消耗在解码程序运行过程 中不可忽略的，因此有必要对解码器的存储要求进行分析。 2 6 4 解码器中分4 种存储视频图像类型： ( 1 ) 存储一帧图像的存储器：这种存储器分别包含了重构帧存储器和参考帧存 储器。 ( 2 ) 存储某一行宏块的数据的存储器：这种存储器包含用于抗块效应滤波和帧 内预测的表格，抗块效应滤波和空间预测操作需要它们前一宏块的值，因此存储 整个一行宏块的数据值。 ( 3 ) 存储宏块的存储器：这种存储器包含用于存储变换系数、预测值和像素值 的临时缓冲区。 ( 4 ) 存储恒定数据( 常量) 的存储器：它包含可变强度的解码表( v l d ) 、帧内预 测可能性表和一些其它小的常量表。 在视频存储时可采用一种新的基于h 2 6 4 视频流的存储算法。表3 1 显示了 h 2 6 4 解码器存储量的基本要求。表中，w 表示图片宽度，h 代表图片高度，n 是 涉及到的帧数目。此表中没有考虑接收比特的缓冲器的存储容量，该比特缓冲器 的容量决定于执行操作方式。在低端产品中，比特缓冲器的容量也许只有几百比 特、但在高端产品中它可能大到存储一帧或更多帧视频数据所需要的比特数。 1 6 山东大学硕士学位论文 表3 1h 2 6 4 解码器各存储对象的存储量要求 q c i f 缓冲器名 方程 w = 1 7 6 ，h = 1 4 4 ，刀= 1 重构帧 1 5 w h3 8 0 1 6 引用帧 刀1 5 w h3 8 0 1 6 切片图w 1 6 h 1 6 43 9 6 引用i n d i c e sw 1 6 h 1 6 4 3 9 6 移动向量 w 1 6 h 1 6 6 46 3 3 6 帧内预测模式 w 1 6 h 1 6 1 61 5 8 4 c b p 值 w 1 6 h 1 6 43 9 6 m b 类型 w 1 6 h 1 69 9 q p 值 w 1 6 h 1 69 9 c a v l c 系数量 1 5 w 1 6 h 1 6 1 62 3 7 6 m b 临时数据 一2 0 4 82 0 4 8 常量 2 0 4 82 0 4 8 ( 以+ 1 ) 1 5 w h + 总和 w 1 6 h 1 6 1 1 8 +9 1 8 1 0 4 0 9 6 由上表3 1 可知，对于一个6 4 m 内存空间的a r m 系统，运行一个针对q c i f 格 式的h 2 6 4 视频解码程序，是可行的。 3 2a r m 处理器在视频处理方面的局限性分析 根据a r m 9 的特点可以发现a r m 较d s p 、f p g a 等嵌入式器件，更适合的是控制领 域的应用，不太适合复杂运算。因为它本身属于r i s c 通用处理器，并没有针对数据 处理而优化设计( 相对d s p 而言) ，而它的有些特点甚至会妨碍视频处理口 。 a r m 处理器采用是多级流水线结构设计，流水线阻塞必然会在处理器运行过程 中出现，造成程序运行的实际时问将会比预期的长，该问题在一定程度上可以通 1 7 山东大学硕士学位论文 过分析代码和调整优化指令的执行顺序来缓解。和x 8 6 等c i s c 处理器相比，a r m 架构的指令集要简单的多，使得a r m 对外部存储器的操作方式比较单一，相对数 据的读取会比较缓慢。为了提高存储密度，a r m 处理器采用了字对齐方式，所以它 的存储器访问必须要字地址对齐，这种特殊性使得存储时对齐需要浪费时间。因 为输入码流和视频数据一般是用字符( 字节) 方式存放的，显然这样是无法保证 这些字符数据地址是字对齐的，而且运动补偿时参考宏块的地址是由运动矢量来 决定的，它也很难保证字对齐。 由于嵌入式系统受成本限制，c a c h e 容量的问题通常都很突出。由于c a c h e 的 容量小，指令c a c h e 和数据c a c h e 各只有1 6 k ，程序运行时指令和数据都需要不断 的从外部存储器载入，外部的总线和存储器的速度就会成为制约系统性能的瓶颈。 虽然a r m 9 能提供1 1 m i p s h z 的哈佛结构，但是在实际过程中不可能所有储存都 达到这种结构存放要求。一般嵌入式系统中都会在用成本较低的n a n df l a s h 为主 的存储芯片，该芯片的特点是地址线和数据线是公用的( 冯诺依曼结构) ，如(