（信号与信息处理专业论文）基于dsp平台的h264编码器与网络视频传输的实时实现.pdf

摘要 摘要 2 0 世纪9 0 年代，随着计算机技术、信息技术、网络技术以及其它各种相关 技术飞速发展，世界开始步入信息数字化时代。与此同时，视频压缩技术得到快 速发展，国际标准组织不断推出视频、音频、多媒体通信等方面的国际标准，有 力促使视频通信技术逐步进入了实用化阶段。h 2 6 4 是m p e g ( m o t i o np i c t u r e e x p e r t sg r o u p ) 与i t u t ( t h ei t ut e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 共 同制定的新视频编码标准，具有高效的压缩性能，并且易于网络传输，能够满足 多种视频应用的需求，它必将在数字电视广播、视频实时通信、以及多媒体网络 传输等各个方面发挥重要作用。 目前h 2 6 4 编码器主要有以下几种实现方法：p c 、d s p 、a s c 和f p g a 等， 其中d s p 平台的开发周期较短，具有更大的灵活性，更易于产品升级换代。 t m s 3 2 0 d m 6 4 2 是1 1 公司推出的新一代高性能数字多媒体处理器，具有丰富的 外围接口，本文选用t m s 3 2 0 d m 6 4 2 作为 l 2 6 4 编码器的实现平台。 本文首先介绍了h 2 6 4 标准基本档次的编码结构，对影响编码速度的各种因 素进行了深入的分析。然后针对h 2 6 4 编码器计算复杂度高的问题，结合 n i s 3 2 0 d m 6 4 2 芯片的具体特点，从算法、数据传输、内存和c a c h e 的使用、以 及线性汇编等几个方面提出了优化实现方案，最终在d s p 平台上实时实现了 h 2 6 4 基本档次编码器。测试结果表明，经过优化，h 2 6 4 编码器的处理速度有 了很大的提高，对于c i f 格式的视频序列能够满足视频编码的实时处理要求。最 后，基于优化后的h 2 6 4 编码器，本文实现了一个局域网环境下的视频实时传输 演示平台，该平台可以响应客户的要求，完成视频的实时采集、编码、以及网络 传输等功能。 关键词：h 2 6 4 ，d m 6 4 2 ，编码器，优化，视频传输 a b s t r a c t s i n c e1 9 9 0 s ，w i t ht h ef a s td e v e l o p m e n to ft e c h n o l o g y , s u c ha sc o m p u t e r , i n f o r m a t i o n ， n e t w o r k ，a n do t h e rr e l a t e dt e c h n o l o g y , t h ew o r l dh a ss t e p p e di n t ot h ep e r i o do fi n f o r m a t i o n d i g i t i z a t i o n w i t ht h er a p i dd e v e l o p m e n to fv i d e oc o m p r e s s i o nt e c h n o l o g y , i n t e r n a t i o n a l s t a n d a r d so r g a n i z a t i o nh a sd e v e l o p e di n t e r n a t i o n a ls t a n d a r d sa b o u tv i d e o ，a u d i oa n d m u l t i m e d i ac o m m u n i c a t i o n s ，w h i c ha c c e l e r a t e st h ep r o g r e s so fm a k i n gv i d e oc o m p r e s s i o n t e c h n o l o g yi n t op r o d u c t s h 2 6 4i st h en e w e s tv i d e os t a n d a r dd e v e l o p e dj o i n t l yb ym p e g ( m o t i o np i c t u r ee x p e r t sg r o u p ) a n di t u j ( t h ei t ut e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o n s e c t o r ) h 2 6 4c a l lp r o v i d eh i g hc o m p r e s s i o np e r f o r m a n c ea n dp o s s e s s e st h ef e a t u r eo f “n e t w o r k f r i e n d l y ：w h i c hc a nm e e tt h er e q u i r e m e n t si nv a r i o u sv i d e oa p p l i c a t i o n s ，a n dw i l l p l a yt h ek e yr o l e i nd i g i t a lt e l e v i s i o nb r o a d c a s t i n g , r e a l - t i m ev i d e oc o m m u n i c a t i o n ， m u l t i m e d i an e t w o r k i n gt r a n s m i s s i o n ，a n ds oo n c u r r e n t l y , t h e r ea r es e v e r a lc o n l l u o ui m p l e m e n t a t i o nm e t h o d s ，s u c ha sp c ，d s p , a s i c ，f p g a d s ph a sm a n ya d v a n t a g e so v e ro t h e rm a n n e r s ，i n c l u d i n gs h o r t e rd e v e l o p m e n tc y c l e ，h i g h e r f l e x i b i l i t y , a n de a s i e ru p d a t ef o rp r o d u c t s t m s 3 2 0 d m 6 4 2i sa k i n do f n e wg e n e r a t i o nd i g i t a l m u l t i m e d i ap r o c e s s o rw i t hh i g hp e r f o r m a n c em a d eb yt ii n c ，i nw h i c ht h e r ea r ev a r i e t i e so f p e r i p h e r a lp o r t s t h e r e f o r e ，t m s 3 2 0 d m 6 4 2i s s e l e c t e da st h ei m p l e m e n t a t i o np l a t f o r mf o r h 2 6 4e n c o d e ri nt h i sp a p e r i nt h i sp a p e r , t h ec o d i n ga r c h i t e c t u r eo fh 2 6 4b a s e l i n ep r o f i l ei si n t r o d u c e df n s t ，a n d v a r i o u sn e g a t i v ef a c t o r st h a ta f f e c tt h ee n c o d i n gs p e e dh a v eb e e na n a l y s e d t h e n ，b a s e do nt h e f a c t s ，t h a tt h e r ei sg r e a tc o m p l e x i t yi nh 2 6 4e n c o d e ra n ds p e c i f i cf e a t u r e si nt m s 3 2 0 d m 6 4 2 ， s e v e r a li m p l e m e n t a t i o nt e c h n i q u e sf o ro p t i m i z a t i o na r ep r e s e n t e di ns e v e r a la s p e c t s , i n c l u d i n g a l g o r i t h m ，d a t at r a n s f e r , m e m o r ya n dc a c h e f i n a l l y , h 2 6 4e n c o d e ri nb a s e l i n ep r o f i l ew a s r e a l i z e d t h e t e s t i n g r e s u l t sd e m o n s t r a t et h a te n e o d e rh a s s p e d u p r e m a r k a b l y a f t e r o p t i m i z a t i o n ，w h i c hc a nm e e tt h er e a l - t i m ee n c o d i n gr e q u i r e m e n t sf o rt h ev i d e os e q u e n c e s w i t hc f o r m a t t h e n b a s e do nt h eo p t i m i z e dh 2 6 4e n c o d e r , av i d e ot a n s m i s s i o nd e m oi n l o c a la r e an e t w o r kh a sb e e nr e a l i z e d ，w h i c hh a v et h ef u n c t i o n a l i t i e so fr e s p o n s et od i f f e r e n t u s e r sd e m a n d ，r e a l - t i m ec a p t u r e ，e n c o d i n ga n dn e t w o r kt r a n s m i s s i o no f v i d e od a t a k e y w o r d s ：h 2 6 4 ，d m 6 4 2 ，e n c o d e r o p t i m i z a t i o n ，v i d e ot r a n s m i s s i o n i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：墨强日期：兰1 1 生 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 虢翌一名：造翻嘲：逊 第l 章绪论 1 1 研究背景 第1 章绪论 数字视频的出现给广播电视和家庭娱乐带来了革命性变化，视频压缩技术 的标准化使得更多的技术得到了广泛的应用。视频编码标准从h 2 6 1 到h 2 6 3 ， 从m p e g - 1 到m p e g - 4 ，都有一个共同的目标：在尽可能低的码率下获得尽可能 好的图像质量。随着图像通信技术的不断发展，视频编码的目标由面向存储转向 面向传输，这时需要一个高效、容错性强的视频编码标准来解决由此产生的一些 问题。2 0 0 1 年，m p e g 与删- t 联合成立了t ( j o i n tv i d e ot e a m ) 组织，开 始致力于h 2 6 l 编码技术的标准化工作，其目标是设计尽量简单的编码技术，并 有效提高编码效率。2 0 0 3 年7 月，h 2 6 4 标准正式定稿，该标准的正式名称为 h 2 6 4 m p e g - 4p a r ti oa v c ( a d v a n c e dv i d e oc o d i n g ) 0 - 3 r 聃t ”习 r 。隘4 i幢2 勘骱4 1 b 。曹l，。眵厂 一；眇 障b u + t m p “e 6 1 匿? 霉1 h 2 6 4 9 | 。 。眵 ，婀- 啊t 瓢1 1 m 4l 两佣习- j 陬2 0 9 4 图1 - 1 视频标准发展 h 2 6 4 是力求设计简单有效的编码技术，并具有高效的压缩性能和易于网络 传输( n e t w o r k - f i i e n d l y ) 的能力，以满足日益增长的“对话型”( 视频电话、会议 等) 和“非对话型”( 视频存储、广播以及流媒体等) 视频应用的需求。h 2 6 4 的 应用主要包括： 1 ) 通过诸如有线、卫星、d s l 和c a b l em o d e m 等媒介的数字广播。 2 ) 光、磁设备的数字存储。 3 ) 通过i s d n 、e t h e m e t 、l a n 、d s l 、无线和移动网络以及上述混合网络 传输的对话型业务。 4 ) i s d n 、c a b l em o d e m 、l a n 、d s l 和无线网络上的视频点播( v o d ) 和 流媒体业务。 北京工业大学工学硕士学位论文 5 ) d s l 、l a n 、无线和移动网络上多媒体信息服务( m m s ：m u l t i m e d i a m e s s a g es e r v i c e s ) h 2 6 4 致力于为新一代的视频应用提供编码解决方案，提供显著增强的编码 效率和视频重建质量。h 2 6 4 的众多优点决定了它在今后一段时间里会有相当广 泛的应用，会给人们的工作和生活带来新的变化。 1 2 研究意义 h 2 6 4 标准具有高效的压缩性能，能够产生更好的图像质量。该标准被认为 是过去十年以来视频压缩领域的最大成就，两且人们已经陆续将h 2 6 4 应用到许 多主流的视频产品中。h 2 6 4 标准中采用了许多新的编码技术，这些技术包括先 进的帧内预测、多模式运动估计、整数变换及量化、去块效应滤波器和先进的熵 编码技术等i l 刃。h 2 6 4 的编码算法具有以往标准的一些基本特性，同时也具有很 多新的性质，其主要性能如下： 1 ) 编码效率高。图1 2 所示的是h 2 6 4 与m p e g - 2 、m p e g - 4 的性能对比 结果。从图中可以看出，在相同的重建图像质量下，h 2 6 4 与m p e g - 4 基本档次相比，最多可节省5 0 的码率。 2 ) 对信道时延的适应性较强。h 2 6 4 既可工作于低时延模式以满足实时业 务，如视频会议等；又可工作于无时延限制的场合，如视频存储等。 3 ) 在编，解码器中采用复杂度可分级设计，支持不同网络资源下的分级编码 传输。它采用了面向口包的编码机制，有利于网络中的分组传输，支 持网络中视频的流媒体传输。 4 ) 容错能力强。h 2 6 4 加强了对误码和丢包的处理，显著提高了解码器的 差错恢复能力，可适应在丢包率高和干扰严重的无线信道中进行视频传 输，能够提供连续、流畅的高质量图像。 5 ) 网络的适应性强。h 2 6 4 标准包括视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络适配层( n a l , n e t w o r k a d a p t a t i o nl a y e r ) 两个部分。n a l 为v c l 提供一个与网络无关的统一接口，它负责对视频码流进行封装打包后使 其在网络中传送，这使得h 2 0 4 码流能容易地在不同网络上传输。 h 2 6 4 标准应用在不同的数字视频系统中，包括：有线电视、视频点播、数 字视频广播、卫星系统、网络视频、p 视频电话和交互式多媒体。因此h ，2 6 4 标准一经推出，立即成为业界的一个研究热点。 h 2 6 4 标准具有高效的压缩性能和广阔的市场应用前景，自h 2 6 4 标准诞生 以来，h 2 6 4 编码器的实时实现问题也立刻就成为了人们研究的热点。考虑到成 本的问题，现有的h 2 6 4 编码器实现方案主要是基于硬件实现的，主要有以下几 第1 章绪论 种实现方法：p c 、d s p 、a s i c 和f p g a 等。其中d s p 是一种高性能和低成本的 开发平台，能够满足大部分产品的要求，是一种理想的解决方案。在d s p 平台 上实时实现h 2 6 4 编码器，将会加快新一代视频电子产品的市场化进程。 带寞( 墙p ) ( a ) 带宽比较( b ) 存储量比较 ( c ) 下载时间比较 图1 2h 2 6 4 与m p e g - 2 、m p e g - 4 的性能对比 1 3h 2 6 4 编码器实时实现的研究进展 h 2 6 4 憾r c 作为最新的视频编码标准，得到了研究领域和产业界的广泛关 注。尤其是产业界，针对h 2 6 4 的软硬件编解码器的开发可谓是百花齐放、百家 争鸣。如今的h 2 6 4 编码器已进入完全实用的阶段，d m 6 4 2 和最新的达芬奇芯 片上都能实现d 1 分辨率( 7 2 0 4 8 0 ) 视频的实时编码。而对于解码，普通的p c 机就能实现x 2 6 4 编码的d v d r i p 电影的流畅播放。许多公司也针对a r m 进行开 发，能够实时完成l 路c 大小的视频编码。 v s sh 2 6 4c o d e c 是由美国v a n g u a r ds o f t w a r es o l u t i o n si n c 开发的商业2 6 4 编解码器，早在0 3 年就开发成功。它的编码器有b a s e l i n e 和m a i n 两个档次， b a s e l i n e 档次能支持s d 视频( 7 2 0 x 5 7 6 2 5 h z ，7 2 0 x 4 8 0 3 0 h z ) ，在3g h z p e n t i u m 4 上能实时编码。 e n v i v i o 致力于为广播、卫星、以及企业市场提供m p e g - 4 h 2 6 4 广播级解 决方案，该公司于1 9 9 9 年从法国电信独立出来，现总部设在美国。e n v i v i o 己开 ”，：。”o 北京工业大学工学硕士学位论文 发了一系列基于h 2 6 4 的硬件产品，比如实时编码系统、离线编码系统、解码系 统、流媒体服务器。 q u i c k t m a e 是美国a p p l e 公司媒体产品的名称，其中包括播放器( q u i c k t m a e p h y e r ) ，直播器( q u i c k t i m eb r o a d c a s t e r ) ，流媒体服务端软件( q u i c k t t m es t r e a m s e r v e r ) 。最新的q u i c k t i m e 系列产品包含了a p p l e 公司自主开发的h 2 6 4 编解码 器。 p o w e r d v d 是世界上第一款d v d 软解码的工具，开发该产品的就是 c y b e r l i n k 公司。c y b e r l i n k 是一家美国公司，成立于1 9 9 5 年。c y b e r l i n k 针对 数字家庭和专业的媒体制作人员具有丰富的产品线，他们的产品都以p o w e r 开头 命名，其中p o w e r e n c o d e r 是一款媒体捕获和压缩工具，可以支持最新的h 2 6 4 视频编码标准。 弗劳恩霍夫应用研究促进协会是德国乃至欧洲最大的应用科学研究机构。 f r a u n h o f e ri i sh 2 6 4 a v ce n c o d e r 就是弗劳恩霍夫旗下的集成电路研究所开发的 产品，它包含了一个m p e g - 4 播放器、h 2 6 4 编码器和一个流媒体服务器。另一 款产品f r a m a h o f e ri i sh 2 6 4 m p e g - 4a v cd e c o d e rl i b r a r y ，支持b a s e l i n e ，m a i n , e x t e n t e d 三个档次的解码，该产品已经通过了m p e g i f 的标识资格认证。 d s p r ( d s pr e s e a r c h ) ，是w & wc o m m t m i c a t i o n s ( 美国) 旗下的一个研究 所，该研究所主要致力子视频编码标准的d s p 实现，其开发的p c i 视频压缩卡 支持编码输出h 2 6 4 格式视频，且所用的基于d s p 的h 2 6 4 压缩芯片也是他们 自主研发的。 f a s t v d o 是美国的一家提供多媒体解决方案的技术公司。该公司目前针对 h 2 6 4 开发的产品有两块，一个是在p c 上开发的编解码器，编码器支持h 2 6 4 的高档次，另一个是在a r m 和s t r o a g a r m 上开发的h 2 6 4 播放器。 s e n t i v i s i o n 是一家日本公司，该公司在t m s 3 2 0 d m 6 4 2d s p 上实现了h 2 6 4 解码器，并应用到机顶盒上，他们开发的机顶盒还支持w m v g , o n 2v p 6 。 m p e g - 4a s p , m p e g - 2 等，该产品主要是看好i p t v 的广阔前景。 随着h 2 6 4 市场的逐渐成熟，h 2 6 4 必然成为许多应用的理想标准。 1 4 研究内容 新一代的视频标准h 2 6 4 具有高效的编码性能和良好的网络适应性，在实时 视频通信、视频流媒体服务、视频压缩存储等领域得到了广泛的应用。但是，受 其计算复杂度的限制，h ，2 6 4 编码器在d m 6 4 2 平台上的实时实现面临着一定的 挑战。主要原因如下： 1 ) h 2 6 4 的帧内预测充分利用图像空域相关性来降低码率，共有1 3 种预测 第1 章绪论 模式( 4 x 4 块大小9 种预测模式，1 6 x 1 6 块大小4 种预测模式) ，预测模 式较多； 2 ) h 2 6 4 帧间编码时，运动估计的模式过多，运算量占总运算量的7 0 e 以 上，运动估计的计算量严重影响编码器的速率； 一 3 ) 虽然h 2 6 4 通过整数运算，并且采用少数的乘法运算，实现了i c t ( i n t e g e r c o s i n et r a n s f o r m ) 和量化，但是这两个模块的计算量仍然很大； 4 ) 去块滤波器和熵编码能够有效提高编码性能，但是程序结构复杂，存在 大量的判断和跳转，不能充分发挥并行处理指令的优势，这也是影响 h 2 6 4 实时编码的瓶颈之一； 5 ) 嵌入式处理器资源有限，与p c 的体系结构有着本质的区别，优化难度 更大。d m 6 4 2 是1 r i 新推出的一款面向多媒体应用的专用嵌入式d s p 芯 片，集成了许多功能模块，采用两级c a c h e 的哈佛结构，可以通过扩展 直接存储器访问( e d m a , e n h a n c e dd i r e c tm e m o r ya c c e s s ) 控制器完成 片内也存储器与其它外设之间的数据传输【4 】。理论上，该芯片与奔腾4 的计算能力是相当的。然而在实际的d m 6 4 2 开发中，代码的优化很难 达到这种程度。 因此，h 2 6 4 标准以高计算复杂度为代价换来了编码效率的大幅提高， d m 6 4 2 芯片也有其具体的结构特点，只有充分利用d m “2 的优势，才能开发出 可以满足实时要求的h 2 6 4 编码器。 本文首先介绍了h 2 6 4 标准基本档次的编码结构，对影响编码速度的各种因 素进行了深入的分析。然后针对h 2 6 4 编码器计算复杂度高的问题，结合 1 m s 3 2 0 d m 6 4 2 芯片的具体特点，从算法、数据传输、内存和c a c h e 的使用、以 及线性汇编等几个方面提出了优化实现方案，最终在d s p 平台上实时实现了 h 2 6 4 基本档次编码器。测试结果表明，经过优化，h 2 6 4 编码器的处理速度有 了很大的提高，对于c i f 格式的视频序列能够满足视频编码的实时处理要求。最 后，基于优化后的h 2 6 4 编码器，本文实现了一个局域网环境下的视频实时传输 演示平台，该平台可以响应客户的要求，完成视频的实时采集、编码以及网络传 输等多个功能。 1 5 论文结构安排 论文共分为八章，安排如下： 第1 章绪论。首先阐明了研究背景和研究意义，然后概括了论文的主要工 作以及论文安排。 第2 章h 2 6 4 视频标准的主要编码技术。本章从h 2 6 4 视频框架、码流结 构、基本档次的关键技术三个方面详细介绍了h 2 6 4 视频标准。 第3 章嵌入式d m 6 4 2 开发系统。本章具体分析了d m 6 4 2 的硬件结构，指 出芯片结构、指令、流水线以及存储器结构是影响d m 6 4 2 性能的关键因素。除 此之外，本章还介绍了d m 6 4 2 的集成开发环境c o d ec o m p o s e rs t u d i o ( 简称c c s ) 和代码开发流程。 第4 章h 2 6 4 编码器在p c 环境下的优化。该章可分为三个部分：复杂度分 析，快速算法，以及代码优化。第一部分分析了h 2 6 4 编码器各个模块的复杂度； 第二部分分别介绍了i n t r a 预测和i n t e r 预测的快速算法；在此基础上，第三部分 设计了一种快速算法。 第5 章h 2 6 4 编码器在d m 6 4 2 上的优化实现。本章针对d m 6 4 2 的硬件结 构，从算法、数据结构和线性汇编等方面提出了优化方案。实验结果表明，对于 c i f 格式的视频序列，优化后的视频编码器达到了2 4 帧秒以上的编码速度，达 到了实时实现的目标。 第6 章d s p 平台上视频实时传输的实现。本章首先介绍了实时操作系统的 概念和d s p b i o s 的线程，然后制定了基于d m 6 4 2 平台的多任务线程的调度方 案，在d s p 平台上实现了h 2 6 4 码流在网络上的实时传输。 第7 章局域网环境下视频传输演示平台的实现。本章首先简单介绍了传输 平台采用的t c p i p 协议，然后详细地说明了局域网环境下网络视频传输系统的 实现方法。 第8 章结论与展望。对本文主要工作进行总结，并对下一步工作进行展望。 第2 章h 2 6 4 视频标准的主要编码技术 h d 6 4 标准的开展可以追溯到1 9 9 6 年，在制定h 2 6 3 标准后，视频编码专 家组( v c e g , v i d e oc o d i n ge x p e r t sg r o u p ) 启动了两项研究计划：一个是短期研 究计划，在h 2 6 3 的基础上增加选项来改进编码效率，随后产生了h 2 6 3 + 与 h 2 6 3 + + ；另一个是长期研究计划，旨在开发新的压缩标准，其目标是编码效率 要高，同时具有简单、直观的视频编码技术，网络友好的视频描述，适合交互和 非交互应用。长期研究计划产生了h 2 6 l 标准草案，与先期的i t u t 视频压缩 标准相比，该草案在压缩效率方面具有明显的优越性。 2 0 0 1 年，i s o i e c 的m p e g 组织认识到h 2 6 l 潜在的优势，随后与m m 的v c e g 共同建立了联合视频工作组( j v t ) ，其主要任务就是将h 2 6 l 草案发 展为一个国际型标准。于是，在i s o ，m c 中该标准被命名为a v c ( a d v a n c e d v i d e o c o d i n g ) ，作为m p e g - 4 标准的第l o 部分。在n u - t 中它被正式命名为h 2 6 4 标准，该标准于2 0 0 3 年正式获得批准【i - 3 1 。 h 2 6 4 提供了很多灵活性和客户定制化特性，该视频压缩码流能够通过各种 网络传输，能够处理各种应用和网络接口而且，i - l 2 6 4 采用许多先进的编码技 术，获得了比h 2 6 3 好得多的性能。 本章将从h 2 6 4 视频框架、码流结构、基本档次的关键技术等三个方面详细 介绍h 2 6 4 视频编码标准。 ， 2 1h 2 6 4 视频编码框架 与早期的视频编码标准相同，h 2 6 4 标准并没有明确定义一对完整的编解码 器，而是定义了编码码流的语法以及对码流进行解码的方法。图2 1 所示的是 h 2 6 4 的编码框架。从图中可以看出，h 2 6 4 采用了与以往标准类似的基于运动 补偿，分块变换的混合编码框架【l 】。 h 2 6 4 同样采用帧内( i n t r a ) 和帧间( i n t e r ) 两种编码模式。输入视频都要 经过i n t r a 预测模块，并选择预测残差最小的i n t r a 模块作为候选i n t r a 编码模式。 如果输入帧是i 帧，则对预测得到的残差信号进行变换和量化，再对量化后的系 数进行熵编码，最后将重建图像用于后续帧的参考图像。如果输入帧是p 帧和b 帧，则首先进行运动估计，选择最佳的i n t r a 和i n t e r 编码模式，然后从候选i n t r a 和i n t e r 中选择该宏块的最佳编码模式，并对预测残差进行i c t ( i n t e g e rc o s i n e t r a n s f o r m ) 变换和量化。 最佳模式的选择是计算率失真函数，选择代价最小的编码模式，即通过最小 北京工业大学工学硕士学位论文 d ( m ，l 九，p ) = s a ( t ) d o ，c ( m ，) ) + 五m “r ( m - p ，) ( 2 - 1 ) 来选择编码模式、运动矢量和参考帧。其中。为当前编码宏块，c 为参考图像的 对应宏块，m = ( t i t t ：，1 ，) 7 为运动矢量，p = ：，p ，) 7 为运动矢量的预测值，为 参考帧，s a ( d d 为j 与c 的差值图像经过h a d a m a r d 变换的系数和， 丸。= 扣i 。 i 堕塑鎏型l ”“ 。，t 、。l 一一一。i 1 ；：一妻。二： 7 ￥ 1 跫奴殳茯7 盅 驯i 7 i i 上 1 反量化 i 反整数变换 ， i i 视频i -扣j 图2 - lh 2 6 4 编码框架 从图2 1 可以看出，h 2 6 4 引入了新的模块一去块效应滤波器( d e b l o c k i n g f i l t e r ) ，而且为了提高编码效率，每个功能模块采用了新技术，这些技术包括先 进的帧内预测、多模式运动估计、整数变换及量化、环滤波和先进的熵编码技术 等。 2 2h 2 6 4 标准的结构 2 2 1 档次和级别 档次( p r o f i l e ) 和级剐( 1 e v e l ) 指定压缩码流的符合点，这些符合点用于实 现各种标准应用之间的互操作性，档次和级别的定义可以适应不同应用的需要。 一个档次定义了一组编码工具或算法，这些工具和算法能够生成符合标准的码 流。而级别通过限制关键参数控制码流的格式。所有符合某档次的解码器必须支 持该档次定义的所有功能，编码器不必支持该档次的任何特定的功能，但必须提 供一致性的比特流，即支持该档次的解码器能实现解码。在h 2 6 4 中，所有档次 使用相同的级定义，但个别实现时，可能每个档次支持的级不完全相同。 第2 章i - l 2 6 4 视频标准的主要编码技术 到现在为止，h 2 6 4 标准定义了四个档次，分别是基本档次( b a s e l i n e p m 丘l e ) 、 主档次( m a i np r o f i l e ) ，扩展档次( e x t e n d e dp r o f i l e ) 和高档次( h i g hp r o f i l e ) l q 。 图2 - 2 所示的是四个档次之间的关系，以及各个档次所支持的编码工具。从图中 可以很清楚地看出，基本档次是扩展档次的一个子集，但并不是主档次的子集。 基本档次可以选择1 分片和p 分片，支持帧内和帧间编码，同时采用高性能的熵 编码，即，上下文自适应变长编码( c a v l c 。c o n t e x t - a d a p t i v ev a r i a b l el e n g t h c o d i n g ) 。但是，基本档次不支持b s p s 1 分片、加权预测、上下文自适应算术 编码( c a b a c ，c o n t e x t a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) 以及场编码。 每个档次都非常灵活，可以支持很广泛的应用。基本档次可以应用于可视电 话，视频会议和无线通信；主要档次可以应用于广播电视和视频存储；扩展档次 则非常适合流媒体应用：而高档次包括主档次的所有功能，适合高清d v d 和数 字视频广播( d v b ，d i s t a lv i d e ob r o a d c a s t ) 应用。 2 2 2 分层结构 图2 - 2h 2 6 4 标准四个档次之间的关系 h 2 6 4 采用了图2 - 3 所示的分层设计思想，h 2 6 4 标准包括v c l 和n a l 两 个层次。v c l 负责对视频序列的高效压缩，n a l 则负责根据网络要求对数据进 行打包和传送。 h 2 6 4 将v c l 和n a l 区别开来，将v c l 和n a l 分别进行指定是为了区分 开编码特征( 在v c l 层) 和传输特征( 在n a l 层) 。编码过程的输出是v c l 数 据( 表示压缩视频数据的二进制序列) ，在传输或存储之前，将v c l 数据封装成 n a l 单元。每个n a l 单元包括一个原始字节序列有效载荷( r b s p , r a wb y t e s e q u e n c ep a y l o a d ) ，它是一组对应于编码视频数据或头信息的数据。 匿工三 瑶豇三卫圜二丑 图2 - 3 n a l 单元序列 一个视频序列可以由多个n a l 单元序列来表示，这些n a l 单元序列可在分 组网络中传输，也可以通过一个码流传输链接进行传输，或作为一个文件进行存 储。 一 n a l 规范了视频数据的格式，包括单个字节的包头信息、多个字节的视频 数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储标志 和类型标志。存储标志用于指示当前数据不属于被参考的帧。类型标志用于指示 图像数据的类型。这样的结构便于信息的封装和对信息进行更好的优先级控制， 适合多种传输网络和存储媒体。 n a l 支持各种网络，包括： 任何使用r t p i p 协议的实时有线和无线i n t e r n e t 服务； 作为m p 4 文件存储和多媒体信息文件服务； m p e g 2 系统； 以及，其它网络。 2 2 3 分片与宏块 一个宏块包括视频帧中一个1 6 1 6 大小的编码数据( 1 6 x 1 6 鳃亮度样值，8 x 8 的c b 样值，以及8 x 8 的c r 样值) ，一帧中的宏块以光栅扫描顺序进行编号。在 h 2 6 4 中，宏块是解码过程中的基本处理单元，而一帧图像往往作为一个或多个 分片进行编码，每个分片包括整数个宏块。编码的各分片之问彼此不相关，这样 有利于抑制误码扩散。h 2 6 4 支持五种分片编码类型： 1 分片：最简单的编码类型。所有的宏块不参考视频序列中其它的图像。 p 分片：除了1 分片编码类型外，p 分片的部分宏块可以利用帧间预测， 每个预测块至多可使用一个运动补偿预测信号。 b 分片：除了p 分片编码类型外，b 分片的部分宏块可以利用帧间预测， 每个预测块可使用两个运动补偿预测信号。 s p 分片：称为切换p 分片，能在不同编码图像之间有效地切换。 s 1 分片：称为切换1 分片，允许s p 分片的宏块完全匹配，达到随机读 取数据进行解码和恢复错误的目的。 图2 4 所示的是一个编码分片的语法结构。分片的头信息定义了分片类型以 第2 章1 - 2 6 4 视频标准的主要编码技术 及该分片所属的编码图像，同时也可以包括有关参考图像的指示信息。分片的数 据部分包括一组编码宏块，也可能包括s k i p 宏块( 跳过不进行编码的宏块) 。 而每个编码宏块则包括一组头信息元素和编码残差数据。 图2 - 4 分片的语法结构 2 3h 2 6 4 基本档次的关键技术 h 2 6 4 标准加大了预测部分的比重，通过改善预测误差而提高编码效率。区 别于以往标准，h 2 6 4 标准采用了许多新技术l l 捌： 1 ) 亮度分量采用4 种1 6 x 1 6 和9 种4 x 4 帧内预测模式，色度分量采用4 种 8 x 8 帧内预测模式 2 ) 采用7 种不同的块大小( 1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ，8 x 8 ，8 x 4 ，4 x 8 ，4 4 ) 进行帧间预测，提高了编码器的预测精度。 3 1 与整像素精度的空间预测相比，l ，4 或1 ，8 像素精度的运动矢量可以节约 大于2 0 的码率。 钔h 2 6 4 标准采用4 x 4 的整数变换( 与d o t 类似) 和量化，所有的操作都 是通过整数运算实现的，在解码时可以无失真重建。 5 1 采用多参考帧进行帧间预测，比单参考帧编码器节省5 - - - 1 0 的码率， 并且有利于提高编码器的抗误码能力。 国基本档次采用上下文自适应变长编码对变换系数进行熵编码，而对其它 数据则采用定长编码或指数哥伦布变长编码。 7 ) 采用基于4 x 4 块的去块效应滤波器，提高了图像的主观质量。 下面将介绍h 2 6 4 标准基本档次所采用的几种关键技术。 2 3 1 帧内预测 帧内预测包括i n t r a l 6 x 1 6 、i n t r a 4 x 4 、i n t r a s x 8 以及i _ p c m 四种编码模式。其 北京工业大学工学硕士学位论文 中，亮度样值预测采用4 种i n t r a l 6 x 1 6 和9 种i n t a 4 x 4 预测模式，色度分量采用4 种 i n t r a g x 8 预测模式。i n t r a l 6 1 6 适合对平滑区域进行编码，i n a a 4 x 4 适合对纹理复 杂的区域进行编码。ip c m 预测模式提供了一种表示宏块样值的方法，能够精确 表示一些不规则的图像，可能比采用通常的帧内预测、变换、量化和熵编码过程 更有效。采用i 虑解码图像的质量。 1 4 x 4 亮度预测 如图2 5 所示，当选择i n t r a 4 x 4 模式时，通过相邻的样值a - q 预测每 个4 x 4 子块 的样疽a - p 。i a t r a 4 x 4 有9 种预测模式，除了d c 预测模式( 通过一个值预测整个4 x 4 子块) ，可以选择8 个方向预测模式，这些模式适合预测具有方向结构的图像内容。 模式o 为垂直预测模式，通过上面的样值( 八b ，c ，d ) 向下垂直拷贝。模式 1 与模式0 的预测方法类似，唯一的不同是通过左边的样值( i ，j ，kl ) 向右水平 拷贝。模式3 和模式4 是以4 5 度的方向预测子块，而模式5 、模式6 和模式7 是以近 似呈2 9 6 度的方向预测子块。 mabcde ff f g i h i iabcd jef gh ki j ki lmn0p 穿髟i m i a i b c 1 0 t e t f i g t h i f 穿 ( b ) 4 x 4 亮度预测模式 图2 - 5 i n t r a 4 x 4 预测 2 1 6 x 1 6 亮度预测 如图2 6 所示，i n t r a l 6 x 1 6 对整个宏块进行预测，它包括4 种预测模式。模式 0 1 2 与i l l t r a 4 x 4 的模式0 1 2 的预测方法相似。模式3 为平面预测，它用一个线性“平 面”函数对上边和左边的样值进行插值，这种预测方法对于变化平缓的亮度区域 效果更好。 第2 章f l 2 6 4 视频标准的主要编码技术 3 8 x 8 色度预测 进行帧内编码时，宏块中的两个8 8 色度分量都利用上边或左边已恢复的色 度样值进行预测，并且它们总是采用相同的预测模式。这四种模式采用了与1 6 x 1 6 亮度预测模式相同的预测方法，只是模式的编号不同。色度分量的模式是：直流 ( 模式o ) ，水平( 模式1 ) ，垂直( 模式2 ) 和平面( 模式3 ) 图2 - 61 6 1 6 帧内预测模式 4 帧内预测模式的表示 每个4 x 4 块所采用的帧内预测模式必须传送到解码端，而这有可能需