（信号与信息处理专业论文）基于dm642的h264视频编码算法的实现.pdf

南京l f | l j i 乜人学顾七研究生学位论文 摘要 摘要 新一代的视频编码标准h 2 6 4 a v c 以其优异的压缩性能和网络亲和性，并且在基本档次 上的免收专利费，使得其商用的步伐急剧加速。作为视频编码的一个重要应用，h 2 6 4 在会 议电视中也日益得到重视。在d s p 芯片上，t i 公司c 6 0 0 0 系列的d m 6 4 2 以其强大的处理能 力，功能丰富的片内外设和片外接口，特别适合图像数据的处理，得到业界的广泛认可。 在单片d m 6 4 2 上实现c i f 格式的会议电视实时h 2 6 4 编码是一件不容易的工作，这一方 面是因为h 2 6 4 的计算量大，比如运动搜索时的s a d 函数，插值模块等等。另一方面是由于 h 2 6 4 的运动搜索的1 4 精度，使得一共有4 c i f 大小的参考图像数据，而如此多的数据不可 能放在d s p 片内，所以就会形成c p u 与片外存储器的数据频繁通信，而这恰恰是极为耗时 的。 本文首先根据会议电视图像内容的特点，在试验的基础上，对h 2 6 4 编码的帧间搜索模 式和参考帧数进行选择，舍去了对图像质量贡献不大却极为耗时的小块搜索模式以及多参考 帧的运动估计，而只采用了前三种大块搜索模式以及一个参考帧。然后针对一些调用比较频 繁，结构比较简单的模块，如运动估计时求残差的s a d 函数、d c t 变换模块，用效率较高 的汇编语言进行优化；对一些代码较长，结构复杂的模块，则使用d m 6 4 2 的内联指令进行优 化。最后根据d m 6 4 2 数据缓存的策略，提出了一种新的参考帧数据编排流程，并在插值函数 中结合d m 6 4 2 的d m a 技术和内联指令，使得插值函数本身的计量算大幅度降低，以及使运 动估计计算残差时因为c p u 与片外存储器交换数据频繁造成的c p u 挂起等待降低了近一半。 最终基本上达到了视频会议的单片嵌入在d m 6 4 2 e v m 上的d s ph 。2 6 4 基本档次实时编码。 关键字：h 2 6 4 ，视频编码，会议电视，d m 6 4 2 南京i | 1 | j i l j c 学坝l - o d 生学位论文 a b s t r a c t a b s t r a c t d u et oe x c e l l e n tc o m p r e s s i o np e r f o r m a n c e ，n e t w o r kc o m p a t i b i l i t ya n dp r o f i t i n gf r o mn op a t e n t c h a r g eo ni t sb a s e l i n ep r o f i l e ，t h ep a c eo ft h en e wg e n e r a t i o nv i d e oc o d i n gs t a n d a r dh 2 6 4 a v c b u s i n e s sa p p l y m e n th a sb e e ng r e a t l ya c c e l e r a t e d a sa l li m p o r t a n ta p p l i c a t i o no fv i d e oc o d i n g ，t h e h 2 6 4s t a n d a r dh a sa l s or e c e i v e dm o r ea n dm o r ea t t e n t i o ni nv i d e oc o n f e r e n c i n g i nt h ed s pw o r l d ， t h ed m 6 4 2o ft i 。st m s c 6 0 0 0s e r i e si sp a r t i c u l a r l ys u i t e dt ot h ei m a g ed a t ap r o c e s s i n gw h i c hh a s p o w e r f u lp r o c e s s i n gc a p a b i l i t ya n da b u n d a n c eo ff u n c t i o nu n i t sa b o u ti t so n c h i pp e r i p h e r a l sa n d o f f - c h i pi n t e r f a c e ，a n di th a sg o tt h ew i d e l yr e c o g n i t i o ni nt h i sf i e l d i t sn o ta ne a s yw o r kt or e a l i z et h er e a l t i m eh 2 6 4c o d i n gf o rv i d e oc o n f e r e n c i n go fc i ff o r m a t o nas i n g l ed s ef i r s t ，s e v e r a lm o d u l e so fh 2 6 4c o d i n ga r ee x t r e m e l yt i m e - c o n s u m e d ，s u c ha st h e s a di nt h em o t i o ne s t i m a t i o n ，t h ei n t e r p l a t i o nf u n c t i o na n ds oo n o nt h eo t h e rh a n d ，d u ot o h 2 6 4 s1 4p i x e lp r e c i s i o ni nm o t i o ns e a c h i n g ，t h es i z eo fr e f e r e n c ef r a m ei se q u a lt o4 c i e t h e r e f o r e ，i ti si m p o s s i b l et op l a c ea l lt h e s ed a t ai nd s p so n - c h i pm e m o r ya n dr e s u l t si n f r e q u e n t l yc o m m u n i c a t i o nb e t w e e nc p ua n do f f - c h i pm e m o r y , w h i c h i sp r o v e dl o we f f i c i e n c y i nt h i st h e s i s ，f i r s t l y , a c c o r d i n gt ot h ec h a r a c t e r i s t i co fv i d e oc o n f e r e n c i n ga n de x p e r i m e n t r e s u l t s ，w ef i n do u tt h a ts m a l lb o l c km o d e sa n dm u l t i r e f e r e n c ef r a m e si nm o t i o ne s t i m a t i o no n l y h a v eal i t t l ec o n t r i b u t i o nt ot h ei m a g eq u a l i t yb u te x t r e m e l yt i m e - c o n s u m e d s o ，w eo n l yu s et h e f i r s tt h r e el a r g eb l o c km o d e sa n das i n g l er e f e r e n c ef r a m ei nm o t i o ne s t i m a t i o n t h e n ，w eu s et h e l i n e a ra s s e m b l el a n g u a g et od e c r e a s ec p ut o t a lc y c l e sc o s tf o rt h ef e w e rc o d e sm o d u l ew h i c ha r e f r e q u e n t l ya c c e s s e d ，s u c ha ss a di nm o t i o ne s t i m a t i o na n dd c t ；a sw e l le m p l o yt h ei n t r i n s i c i n s t u c t i o n si nd m 6 4 2t oo p t i m i z et h em o d u l ew i t hc o m p l e xs t r u c t u r e a tl a s t ，i nt e r m so fd m 6 4 2 s c a c h es t r a t e g y , w ep r o p o s ean e wr e f e r e n c ef r a m ed a t aa r r a n g e m e n tt oi n t e g r a t ew i t ht h et e c h n i q u e o fd m aa n dt h ei n t r i n s i ci n s t u c t i o n si nd m 6 4 2f o rt h ei n t e r p l a t i o nf u n c t i o n w i t ht h eh e l po fn e w d a t aa r r a n g e m e n t ，w eg r e a t l yd e c r e a s et h eh 2 6 4 si n t e r p l a t a t i o nm o d u l e sc y c l e sa n dt h es o - c a l l e d c p us t a l lw h i c hi sa l m o s to n eh a l fa st h eo r i g i n a lt i m ec a u s e db ys a di nm o t i o ne s t i m a t i o n a n df i n a l l y t h es c h e m eb a s i c a l l yg e t st h er e a l - t i m eh 2 6 4b a s e l i n ec o d i n gr e s u l t sw i t has i n g l ed s p e m b e d d e di nd m 6 4 2 e v mf o rc i fv i d e oc o n f e r e n c i n gi m a g ec o n t e n t k e yw o r d s ：h 2 6 4 ，v i d e oc o d i n g ，v i d e oc o n f e r e n c i n g ，d m 6 4 2 i l 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，事仑- 5 t 中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：e l 期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：导师签名：夕乍明日期：h 矿7 y f 南京邮l u 大学顺1 ：研究生学位论文第一章引言 第一章引言 数字视频技术在通信和广播领域获得了日益广泛的应用，特别是2 0 世纪9 0 年代以来， 随着i n t e m e t 和移动通信的迅猛发展，视频信息和多媒体信息在i n t e r n e t 和移动网络中的处理 和传输技术成为了当前我国信息化的热点。 众所周知，视频信号的信息量太大，要使视频得到有效的应用，必须首先要解决压缩编 码问题，其次解决压缩后视频质量的保证问题。但这两者是相互矛盾的。人们的希望得到的 结果是既要有较大的压缩比，又要保证解码出来的图像质量。 为此，人们付出了巨大的努力，并且已经结出丰硕的成果。早在1 9 8 4 ，c c i t t 就公布了第 一个视频编码国际标准，至今已有2 0 多年了。后来，m e p g 和v c e g 联合开发了一个比早 期研发的m e p g 和h 2 6 3 性能更好的视频编解码标准，这就是被命名为a v c 的，也被称为 i t u th 2 6 4 建议和m e p g 4 的第1 0 部分的标准。这个国际标准已于2 0 0 3 年3 月正式被i t u t 所通过并在国际上正式颁布。 h 2 6 4 标准是视频压缩中的“艺术品”【，其优异的压缩性能较好的主客观图象质量能够 适用于从低码率的移动视频到甚高码率的高清电视，并且将在数字电视广播、视频实时通信、 网络视频流媒体传递以及多媒体短信，特别是进来颇引人关注的i p t v 项目等等各个方面发 挥重要作用1 2 】【3 】f 8 1 。 h 2 6 4 的另外一个优势是在专利费用上，2 0 0 3 年3 月，参与h 2 6 4 标准制定和持有h 2 6 4 主要专利的3 l 家公司确认了他们对基本档次免收专利费的支持，从而在专利费用上，h 2 6 4 无疑比m e p g - 4 标准有着更大的优势，这一点也是促进h 2 6 4 迅速走向商用的重要因素。 视频通信是h 2 6 4 的一个重要应用，2 0 世纪9 0 年代初以来【7 】，会议电视在我国获得来迅 速发展，主要是利用它召丌行政会议，其优点是可节约大量旅途出差时间，节约出差费用， 还争取了时间并能及时作出重大决策。但是以往基于h 2 6 1 建议的视频会议系统压缩比不高， 而且图象质量也难以令人满意，传输费用也高，这些状况在h 2 6 3 建议出现之后有所缓解。 但是在i p 技术出现之后，又出现了新的问题。人们希望利用廉价的i p 网络资源来传送视频 数据，在网络流量不大的情况下，视频图象尚能接受，而当流量大时，网络会发生拥塞，经 常发生丢包，误码，看到的图象中带有不少方块，这样的视频质量是无法让人接受的。于是 对于视频编码技术的要求，不仅仅要压缩比高，而且应在恶劣的传输条件下具有阻抗性、抗 雨京邮电大学硕 ：7 i j f ，( 生学位论文第章引青 误码的健壮性。h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲和性，这对实时的 视频通信是十分重要的。跟h 2 6 3 相比，h 2 6 4 在相同的重建图象质量的条件下，能够节省 5 0 的码率【4 】，并且在增加了n a l 层之后，能够适用于不同的网络中进行传输，如基于i p 的h 3 2 3 网络和基于p s t n 的h 3 2 0 框架等。 h 2 6 4 的主要编码流程跟先前的一些编码标准相比没有本质上的变化，而是在各个主要 模块内部使用了一些先进的技术，提高了编码效率，这些新技术包括： 1 ) 帧内预测编码 2 ) 丰富的运动估计方法 3 ) 可变块大小 多参考帧运动估计 1 4 亮度像素精度运动估计 编解码环路中的去块效益滤波器 4 ) 整数d c t 变换和量化 5 ) 基于上下文的算术编码或哈佛曼编码 视频编码技术能够迅速得到广泛的重视，跟近2 0 年来的硬件技术的飞速发展是离不开 的，特别是数字信号处理器( d s p ) i 勺出现，更是有力地推进了视频编码走向市场化。自1 9 8 0 以来，d s p 芯片的应用越来越广泛。从运算速度来看，m a c ( 一次乘法和一次加法) 的时间已 经从2 0 世纪8 0 年代初的4 0 0 n s 如( t m s 3 2 0 1 0 ) 降低到1 0 n s 以下( 如t m s 3 2 0 c 5 4 x c 5 5 x 等) ， 处理能力提高了几十倍，甚至上百倍。d s p 芯片片内r a m 数量增加一个数量级以上。从制 造工艺来看，1 9 8 0 年采用4l am 的n 沟道m o s m o s ) i 艺，而现在则普遍采用亚微米 ( m i c r o n ) c m o s 工艺。d s p 芯片的引脚数量从1 9 8 0 年的最多6 4 个增加道现在的2 0 0 个以 上，引脚数量的增加意味着结构灵活性的增加，如外部存储器的扩展和处理器间的通信等。 此外，d s p 芯片的发展使得d s p 应用系统的成本、体积、重量和功耗都有了很大幅度的下降。 最成功的d s p 芯片提供商当数美国t i 公司的一序列产品，如表1 1 旧是近十多年t i 公司的 d s p 芯片性价比的纵向比较。t m s 3 2 0 c 6 0 0 0 系列目前是t id s p 芯片的高级产品，具有很高 的性能，且便于高级语言编程，特别适用于需要高性能处理的场合，如图像和视频处理。 2 南京| | | | jf u 人学硕i ：研究生学位论文第一章引言 表1 1 t id s p 芯片发展比较表( 典型值) 年份 1 9 8 21 9 9 21 9 9 92 0 0 2 制造工艺 4um o 8umo 3um 5 ) ( 2 4 ) h = c l i p ( ( h l + 1 6 ) 5 ) ( 2 5 ) j l = c c 一5 串d d + 2 0 牛h l + 2 0 + m l 一5 幸e e + f f ( 2 6 ) j = c l i p ( ( j l + 5 1 2 ) 1 0 ) ( 2 7 ) 其中， ”表示右移。c l i p 表示对数值进行( 0 ，2 5 5 ) 嵌位。即 c l i p ( x ) = m i n ( m a x ( x ，0 ) ，2 5 5 ) ( 2 8 ) 在1 2 插值之后，通过线性插值可得到其他的l 4 像素点。可分为两类： a ，c ，d ，r l ，f i ，k ，q 通过相邻点的线性插值得到，按式2 9 , - - , 2 1 6 a ；( g + b + 1 ) l ( 2 9 ) c = ( h + b + 1 ) 1 d = ( g + h + 1 ) 1 n = ( m + h + 1 ) 1 f = ( b + j + 1 ) 1 i = ( h + j + 1 ) 1 k = ( j + m + 1 ) 1 q = ( j + s + 1 ) 1 e ，p ，g ，r 通过其对角线上的点线性插值得到，按式( 2 17 ) ( 2 2 0 ) ( 2 1 0 ) ( 2 1 1 ) ( 2 1 2 ) ( 2 1 3 ) ( 2 1 4 ) ( 2 1 5 ) ( 2 1 6 ) 南京邮i u 人学倾l j 到f 究生学位论文 第- 二章h 2 6 4 a v c 建议简介 e = ( b + h + 1 ) 1 g = ( b + 1 1 1 + 1 ) l p = ( h + s + 1 ) 1 r = ( m + s + 1 ) 1 囡囡因叵囤 圈口 圈一- ! i 匮 馐习 c c kj z 。上j 国 2 运动搜索的模式 酗 d d ： l r - c q 万j 受要 ：d e ；f ，g h i ；j ：k m f l p a ir ；m ， sn 圜 匣 lp 二。一 圃回国圈 f 一” r ，：” 幽世；战 图2 7 插值过程 囹 囡 晤i l 一一j 匣j ( 2 1 7 ) ( 2 1 8 ) ( 2 1 9 ) ( 2 2 0 ) h 2 6 4 在运动估计中的宏块采用了不同大小和形状的宏块分割与亚分割方法。一个宏块 可以按照1 6 1 6 ，1 6 8 ，8 1 6 或8 8 进行分割，而如果选择了8 x 8 分割，那么还可以按 照8 8 ，8 4 ，4 x 8 或4 x 4 进行亚分割，如图2 8 所示。这些宏块分割与亚分割的模式可 以组合出许多种宏块的分割方法。这种把宏块划分成不同大小的块和亚块进行运动补偿的方 法称为树结构的运动补偿。宏块分割与亚分割所产生的每一个亮度块都有自己的运动矢量。 对于宏块中的色度运动矢量，只要将对应亮度宏块的运动矢量的大小除于2 就可以了。选用 较大的预测块尺寸( 如1 6 1 6 ，1 6 8 ，8 1 6 ) 意味着用于表明运动矢量和分割区域类型的 比特比较少，适用于图像细节比较少、比较平稳的区域的匹配。采用较小的预测块尺寸( 8 x 8 ，8 4 ，4 8 ，4 4 ) 会使运动补偿之后的残差信号的能量降低，但用于表明运动矢量和 分割区域类型的比特会增加很多，适用于图像细节丰富区域的匹配。 南京 f j f u 人学顺上研究生学位论文第二章h 2 6 4 a v c 建议简介 1 6 x 1 6 1 6 88 x 1 68 x 8 模式= l 8 x 8 模式= 2 8 x 4 模式= 3 4 8 模式= 4模式= 5模式= 6模式= 7 图2 - 8 运动宏块的7 种搜索模式 3 运动矢量的预测 每个分割m v 的编码需要相当数目的比特，特别是使用小尺寸分割时。为减少传输比特 数，可利用邻近分割较强的相关性，m v 可由邻近已编码分割的m v 预测而得。预测矢量m v p 基于已计算得m v 和m v d ( 预测与当前得差异) ，并被编码和传送。m v p 则取决于运动补偿 尺寸和邻近m v 的有无。 e 为当d 订宏块或宏块分割子宏块。a 、b 、c 分别为e 左、上、右上方的三个相对应块。 如果e 的左边不止一个分割，取其中最上的一个为a ；上方不止一个分割时，取最左边一个 b 。如图所示为所有分割有相同尺寸时的邻近分割选择。如图2 - 9 所示为不同尺寸时邻近分割 的选择。 其中： ( 1 )传输分割不包括1 6x8 和8x1 6 时，m v p 为a 、b 、c 分割m v 的中值； ( 2 ) 对于1 6 8 分割，上面部分m v p 由b 预测，下面部分m v p 由a 预测 ( 3 ) 对于8 1 6 分割，左面部分m v p 由a 预测，右面部分m v p 由c 预测 ( 4 ) 跳跃宏块( s k i p p e dm b ) ，同( 1 ) 如果如图2 1 0 所示的已传送块不存在时( 如在当前片外) ，m v p 的选择需要重新进行调整。 田一似田 南京i l l l l l u 人学硕l j 研究生学位论义 第二章h 2 6 4 i a v c 建议简介 bc a 幽 图2 - 9 当前和邻近分割( 相同尺寸) 2 6 3 整数变换和整数量化 图2 - 1 0 当前和邻近分i l l ( 不同尺寸) 图像抽样值以空间位置或扫描顺序组织的数据，相互之间具有极高的相关性，因此将预 测差值从空间域变换到另一个域，以改变数据序列的统计特性，得到少量的信息量较大的变 换系数和大部分可以忽略的不重要的变换系数。d c t 是经典的谱分析工具，运算效率高，易于 工程上快速实现。量化是在变换的基础进行的，量化过程就是以某个量化步长去除变换系数。 量化步长的大小成为量化精度，量化步长越小，量化精度就越细，包含的信息越多，所编出 来的码流越高，所需要的传输频带也相应会增加。在h 2 6 4 中，d c t 变换是和量化有机结合 在一起的，有此来达到这两个过程整数运算的目的，这样做对峰值信噪比( p s i 矾) 的影响很 小，一般低于0 0 2 d b 。整数运算更适合于定点d s p 的处理，这是因为乘除操作可以通过左移 和右移位来实现，从而大大减少了运算周期。另一方面，由于整数运算的关系，使得解码过 程对变换和量化可逆，也就是说反量化和变换之后会恢复出原来的数据，从而避免了不匹配 问题。 h 1 2 6 4 中整数变换及量化的具体过程如图2 1l 所示。其中，如果输入块是色度块或帧内 1 4 南京| | | l ；l u 人学顺| 1 卅究生学位论文第二章i - i 2 6 4 a v c 建议简介 1 6 1 6 预测模式的亮度块，则将宏块中各4 4 的整数余炫变换的直流分量组合起来再进行 h a d a m a r d 变换，以达到进一步压缩码率的目的。 2 6 4 熵编码 图2 ii变换编码及量化过程 在本文的实现中，用到了h 2 6 4 两种熵编码方法：e x p g o l o m b 和基于上下文的自适应可 变长编码( c a v l c ) 。 e x p g o l o m b 是改进的v l c ，常用于编码残差数据以外的语法元素。对于不同数据类型 的语法元素，首先通过映射把语法元素的值映射到对应的码字序号，然后通过码字序号查找 到具体的码字。 c a v l c 是通过改进变长编码( v l c ) 发展来的。它通过已编码的相邻的上下文信息或当 日，j 块内已编码的语法元素的上下文信息，为待编码的语法元素选择合适的码表，然后进行查 表运算输出码流，取得了极高的压缩比。 c a v l c 是用于对变换系数的编解码。变换和量化后的系数有如下几个特点：4 4 块数据 经过预测、变换、量化后，非零系数主要集中在低频部分，而高频系数大部分是零：量化后 15 南京邮i u 大学硕l 研究生学位论文 第二章h 2 6 4 a v c 建议简介 的数掘经过z i g z a g 扫描，d c 系数附近的非零系数值较大，而较高频位置上的非零系数值大 部分是+ 1 或一1 ；相邻的4 4 的非零系数的数模是相关的。c a v l c 充分利用残差经过整数 变换、量化后数据的这些特性进行压缩，可进一步减少数据中的冗余信息，并且c a v l c 仍 然保持变长编码易于实现编码速度快的有点，所以可以在较大的码率范围内保持很好的编码 效率，克服了以往变长编码只能适应于单一码率的缺点。 2 6 5 去方块滤波 在h 2 6 4 中，编解码器反变换后图像会出现方块效应。其产生的原因有两个。最重要的 一个原因在于基于块的帧内和帧间预测残差的d c t 变换。其变换系数的量化过程相对粗糙， 因而反量化过程恢复的变换系数带有误差，会造成在图像块边界上的视觉不连续。第二个原 因来自于运动补偿预测。运动补偿块可能是从不是同一帧的不同位置上的内插样点数据中复 制而来的。因为运动补偿的匹配不可能是绝对准确的，所以就会在复制块的边界上产生数据 的不连续。尽管h 2 6 4 a v c 采用较小的4 x 4 变换尺寸可以降低这种不连续现象，但仍需要 一个去方块滤波器，以最大程度地提高编码性能。 在视频编解码中加入去方块滤波器的方法有两种：后置滤波器和环路滤波器。后置滤波 器在处理编码环路外的显示缓冲中的数据，所以它不是标准化过程中的规范内容，是可选项。 而环路滤波器处理编码环路中的数据。在编码器中，被滤波的图像帧作为后续编码帧运动补 偿的参考帧。 在编码环路中使用滤波器比后置滤波器有几点优点。首先，环路滤波器可以保证不同水 平的图像质量。其次，在解码器端没有必要再为滤波器准备额外的帧缓存。第三，试验已显 示环路滤波比后置滤波更能增加视频流的主客观评价的质量水平，同时有效降低了解码器的 复杂度。 自适应去方块滤波器利用简单的算法能可靠地提高图像的主客观评价质量水平。其较好 的性能是因为可靠地区分了真实的和人为的图像边界，并有效地虑除后者。在相同的p s n r 下可以节省码流超过9 。 h 2 6 4 环路滤波是应用于已解码完成的宏块，是基于4 x 4 边界的，也就是说对于每一个 宏块的1 6 x1 6 亮度分量，需要对其4 条水平边界和2 条垂直边界进行滤波。如图2 1 2 所示， 虚线为需要滤波的边界。在块边界，滤波的强度是和块的编码模式、运动矢量和残差数值相 关的，而对于单个像素，基于量化系数的门限值可以取消对任意单个像素的滤波。 1 6 南京m f u 人学硕t ：i j f 究生学位论文第二章h 2 6 4 a v c 建议简介 2 6 6 码率控制 abcd 1 6 x 1 6 亮度块8 x 8 色度块 图2 一1 2 宏块的滤波边界 k l 在h 2 6 4 视频编码标准中仅仅规定了编码后比特流的句法结构和解码器的结构，而对于 编码器的结构和实现模式没有具体的规定。然而无论编码器的结构如何，相应的视频编码的 控制都是编码器的核心问题。在对数字视频信号进行压缩编码时，编码器通过相应的编码控 制算法以确定各种编码模式，如宏块的划分类型、运动矢量以及量化参数等，已选定的各种 编码模式以进一步确定编码输出比特流的比特率和失真度。 由于视频序列中的图像内容随着空问和时间的不同的变换很大，需要为图像的不同部分 选择不同的编码参数进行压缩编码，而码率控制的目的就是确定一组编码的参数。h 2 6 4 编 码器采用了基于l a g r a n g i a n 优化算法的编码控制模型，其编码性能相对于以往的所有标准有 重大提高。 假设图像序列s 被分为k 个不同的块4 ，相应的像素用& 表示。编码所选择的编码模 式q 分为帧内模式和帧间模式两类。每种模式均包括预测编码的模式以及相应的编码参数。 一般地，编码参数为变换系数和量化参数等。对于帧间模式，编码参数还应包括一个或多个 运动矢量。在对图像序列s 进行基于块地混合视频编码时，对于每块瓯所选定的编码模式应 当使编码后的l a g r a n g i a n 代价函数j ( s ，i 五) 达到最小，当且仅当此时认为基于块的混合视频 编码器达到最优化。 对于帧间模式，其运动矢量应使代价函数最小，并作为编码参数被编码传输。因此在编 码控制模型中，宏块分割模式的判决与帧间模式运动估计的最佳比特分配这两个问题降会被 分别处理。 1 7 雨京哪r u 人学坝一1 ：研冗生字位论文 第二苹 h 2 6 4 a v c 建议简介 在l a g r a n g e 参数与量化参数选定后，h 2 6 4 的编码器通过最小化l a g r a n g i a n 代价函数实 现对每一个宏块的编码模式的选定。宏块瓯的l a g r a n g i a n 代价函数如式所示； ( s ，厶j9 ，k ) = 口敬( & ，厶j9 ) + k 宰( & ，厶i9 )( 2 2 1 ) 其中l 为相应的编码宏块模式。 在不同的编码模式下，编码后的比特流的比特率尺肛f 与失真度的计算方法并不完全 相同。这罩以帧问模式为例来说明。 对于采用帧间编码模式的a b 大小的块s ，在给定的l a g r a n g e 参数s 和参考图像s 。的 情况下，通过最小化l a g r a n g i a n 代价函数来实现块s 的运动估计，如式所示 m , = a r gm i n p 啪( 墨，聊) + 扎，刀叫刖( s ，聊) ) ( 2 2 2 ) m e l 其中，m 为可能的编码模式的集合，r 肋( s ，脚) 为传输运动矢量( ，m y ，m r ) 所需的比特 数，失真度皿粕由式计算 为寻找满足式要求的运动矢量m ，首先在整像素位置进行运动估计的运算，求得满足式 要求得运动矢量后，需进一步确定周围半像素位置得运动矢量是否可使l a g r a n g i a n 代价口数 的值进一步降低。由于在h 2 6 4 中采用了1 4 像素的运动估计沾度，之前确定的半像素周围 1 4 像素位置的运动矢量被进一步考察，以确定当采用此1 4 像素精度的运动矢量后， l a g r a n g i a n 代价函数是否可获得进一步的降低。通过以上分析可知，最终选定使得l a g r a n g i a n 代价函数最小的运动矢量具有1 4 像素精度。 由上所述，h 2 6 4 视频编码器中的基于l a g r a n g i a n 优化算法的编码器控制模型如图2 1 3 所示。 1 8 南京邮电人学硕l ： i j f 究生学位论文 第二章h 2 6 4 a v c 建议简介 图2 - i 3编码器控制模型 1 9 南京1 1 1 1 jl u 入学硕i 究生学位论文第三章d m 6 4 2 片内核的结构及j e 硬件仿真板 第三章d m 6 4 2 片内核的结构及其硬件仿真板 对于视频信号处理来说，由于要处理的数据量大，计算复杂，因此要选择口适性价比的 d p s 芯片。在d s p 芯片的选择上，需要考虑的因素有以下几个方面【1 1 1 。 1 ) d s p 芯片的运行速度 衡量d s p 芯片的运算速度的口标有：指令周期，m a c 时间，f f t 执行时间，m i p s 。 指令周期：执行一条指令所需的时间，通常以n s ( 纳秒) 为单位。 m a c 时间：一次乘法和一次加法的时间。大部分的d s p 芯片可在一个指令周期内完 成一次乘法和一次加法操作。 f f t 执行时问：运行一个n 点f f t 称序所需时间。这是由于f f t 运算在数字信号处 理中很常见，因此f f t 运算时间常作为衡量d s p 芯片运算能力的一个指标。 m i p s ：每秒百万条指令的缩写。 2 1d s p 芯片的价格 芯片价格也是选择d s p 芯口要考虑的一个重要因素。如果采用价格昂贵的d s p 芯片， 即使性能再好，其应用范围也受到一定限制，尤其是民用产品。因此应根据实际系统 暄应用情况，确定价格适中的d s p 芯片。当然，由于d s p 芯片的发展艳度，价格下 降较快，在开发阶段选用价格稍贵的d s p 芯片，等到系统开发完毕时，价格可能下 降了一半甚至更多。 3 1d s p 芯片的硬件资源 不同d s p 芯片所提供的硬件资源不同，如片内r a m 、r o m 的数量，外部可扩展的 程序和数掘空间，总线接口、i o 等。即便是同一系列的d s p 芯片，系列中不同d s p 芯片也具有不同的内部硬件资源，可适应不同的需要。 4 ) d s p 芯片的运算精度 一般的定点d s p 芯片字长为1 6 位，如t m s 3 2 0 系列。但有的公司的定点芯片为2 4 位，如m o t o r o l a 公司的m c 5 6 0 0 1 等。浮点芯片的字长一般为3 2 位，累加器为4 0 位。 5 ) 芯片开发工具 在d s p 系统的开发过程中，开发工具是必不可少的。如果没有开发工具的支持，要 想丌发一个复杂的d s p 系统几乎是不可能的。所以在选择d s p 芯片时必须要考虑开 2 0 塑塞! ! ! ! ! 尘叁兰竺土型! ! ! 竺兰垡堡苎兰兰雯里竺竺! 星：塑堡堕笙塑墨些堡堡堕壅堡 发工具的支持情况，包括软件和硬件丌发工具。 6 ) 其他 除了上述因素外，选择d s p 芯片还要考虑到封装形式、质量标准、生命周期等等。 一般地，定点d s p 的价格比较便宜，功耗低，但运算精度稍低。而浮点d s p 的运算精 度高，用c 语占编程调试方便，但价格稍高，功耗稍大。d s p 应用系统的运算量是确定选用 d s p 芯片处理能力的基础。运算量小，则可选用处理能力不是很强的d s p 芯片，降低系统成 本；相反，运算量大的d s p 系统，则必须选用处理能力强的芯片，如果单片芯片达不到要求， 则需要选用多个芯片并行处理。 本系统是基于t i 公司的t m s 3 2 0 d m 6 4 2d s p 设计的，其c p u 主频是6 0 0 m h z ，按照每 个周期并行执行8 条指令的能力来计算，最高计算能力可达到4 8 0 0 m p i s 2 0 1 。 c 6 0 0 0 系列d s p 最主要的特点时在体系结构上采用了v e l o c i t i 的甚长指令字( v l i w ) 结构。在v l i w 体系结构中由一个超长的机器指令字来驱动内部的8 个动能单元，每个指令 字包含了8 个字段，字段之间相互独立，各自控制一个功能单元，因此可以在单周期内执行 多条指令，实现很高的指令级并行效率，最多可以在单周期内同时执行8 条指令。编译器在 对程序进行编译的过程中，决定代码中哪些指令合成一个甚长机器指令。 同时c 6 0 0 0 的v l i w 采用了类r i s c 指令集，具有3 2 比特的寻址能力，支持b y t e 寻址 ( 非字节对齐) ，支持4 0 - b i t 的a l u 运算，并且指令打包以及1 0 0 可条件执行指令。 t i 考虑到d s p 面向的都是数据密集型的应用，频繁的数据访问和存储会大大的影响系 统整体性能的发挥。在总线结构上，为了更有效地处理数据密集型算法，c 6 0 0 0 摒弃了传统 计算机采用的冯诺伊曼总线结构，采用了程序总线和数据总线分离的修j 下哈佛总线结构， 大大提高了总线上的数据吞吐量，使得在单周期内能够同时完成对程序代码以及两个操作数 据的读取，缓解了数据瓶颈对系统性能的限制。同时，随着频繁的数据访问，数据地址计算 的时间可能比实现算术操作的时间周期还长，因此d s p 通常都提供了支持地址计算的算术单 元即地址产生器。地址产生器与a l u 并行工作，因此地址的计算不再额外占用c p u 的时间。 c 6 0 0 0 有2 个地址产生器，可以满足单周期同时读取两个操作数据的目的，并且支持循环寻 址模式。除了以上所提及的特点以外，流水技术是c 6 0 0 0d s p 具有高性能的另外一个主要原 因。 流水技术可以使得2 个或者更多不同的操作重叠执行。在c 6 0 0 0d s p 中所有的指令都按 照取指( f e t c h ) ，译码( d e c o d e ) 、和执行( e x e c u t e ) 三级流水运行，每一级又包含了不同 的节拍，每一个节拍可以被称为级流水。流水处理能够在k + n 一1 个周期内处理r l 条指令， 而无流水的处理器处理n 条指令需要n k 个周期，因此c 6 0 0 0 的流水机制能够大大的提高程序 2 l 南京i i i 【j i u 大学f i ! j | i f f t u 生学位论文第三章d m 6 4 2j 内核的结构及其硬件仿真板 的执行速度。 3 1d m 6 4 2 的内部结构 在d m 6 4 2 的内核包含有两组通用寄存器组，a 和b ，每一组里都是3 2 位寄存器以及每 组都有8 个功能单元，在这8 个功能单元中，有两个是乘法单元( m 1 ，m 2 ) ，其余6 个算术逻 辑单元( a l u s ) ( l 1 ，l 2 ，s 1 ，s 2 ，d 1 ，d 2 ) 。 t m s 3 2 0 d m 6 4 2 片内部集成了很多外围设备和接1 5 1 。其结构图如图3 1 【2 2 1 所示： e m i f a h p i p c i 中断选择 e d m a 控 制 器 回 l 2 l 1 p 缓存 d m 6 4 2 内核 取指 指令分离 指令解码 控制寄存器 控制逻辑 通道a 通道b a 寄存器包ii | b 寄存器包 测试 环路仿真 川宝；tl ： 中断控制 l 1 d 缓存 图3 1d m 6 4 2 片内结构和片内外设 d m 6 4 2 的主要外围设备包括： 三个可配置的视频接口v i d e op o r t ，可以和视频输入，输出或传输流输入无缝连接； 高性能外部存储器接口( e m i f ) ，支持同步或异步存储单元连接 多通道d m a e d m a 控制器 数掘管理输入输出模块( m d l 0 ) 多通道音频串行端口( m c a s p ) 两个多通道有缓存的串口( m c b s p s ) 10 10 0m b se t h e r n e tm a c ( i e e e e8 0 2 3 ，d m 6 4 x 专有) 南京邮j u 人学硕i ：o l ：j l 生学位论义第三章d m 6 4 2 片内核的结构及其硬件仿真板 1 2 c 总线主从模式接口 三个3 2 b i t 通用定时器 用户主机接口h c i 主机口( h p i ) ，可以访问d s p 的整个存储空间( 级联) 3 2 b i t3 3 6 6m h zp c i 主从模式接口 2 b i t 扩展总线( x b u s ) u t o p i a 接口( 通用异步调试操作物理接口) 1 6 个通用输入输出( g p i o ) 支持多种复位加载模式( b o o t ) ，提供3 种节电模式控制 3 2 视频端口v i d e op o r t d m 6 4 2 共有三个视频端口，视频端口p o r t o 和p o r t l 是视频捕获口，而p o r t 2 用来作为显 示口。d m 6 4 2 的视频接口功能丰富，适用于多种数据模式。视频接口可以根据实际需要配置 成采集接口，显示接口或t s i ( 传输流) 接口。一个视频口通道对应三个e d m a 事件( 分别 对应y , c b ，c r ) 和一个d s p 中断。 采集模式： 采集频率可以达到8 0 m h z b t 6 5 6 采集模式下一个v i d e op o r t 可以设置成两个通道，即一个v i d e op o r t 可以采集两路 4 ：2 ：2 格式8 b i t 或1 0 b i t 精度的视频数据。 y c 模式下支持一个通道1 6 b i t 或2 0 b i t 数据 支持y 、c b 、c r 4 ：2 ：2 至4 ：2 ：0 水平互换 显示模式： 显示频率可以达到1 1 0