（交通信息工程及控制专业论文）基于MMX技术的H26L编码速度的研究与改进.pdf

西南交通大学硕士研究生学位论文第l 页 摘要 随着数字技术和通讯技术的发展，图像视频编码技术和编码标准也得到了 长足的进步。h 2 6 l 便是目前面向无线通信和多播的低码率视频传输标准的最 新版本。该标准具有压缩率高、差错恢复能力强、适用范围广等优点。为达到 理想的数据压缩率，t t 2 6 l 编码器采用了很多新的编码算法，这些算法极大地 增加了编码器的计算复杂性，使其目前在p c 环境下的实时应用受到很多限制。 在要加速h 2 6 l 的实时编码速度，一个行之有效的方法便是采用m m x 技术对其 执行时间最多、执行次数最多的部分代码进行优化，以减少编码时间。 本文以h 2 6 l 的测试模型t m l 8 0 为实验平台，对其编码器进行了详细的分析 和性能测试，找出最值得优化的程序代码，并在此基础上采用m m x 技术对其进 行优化，加快编码速度。本论文主要包含以下内容： 1 、简要介绍了视频编码的基本方法和h 2 6 l 编码标准的主要特点和新引 进的算法；并对m m x 技术相关知识进行介绍，说明m m x 技术进行优化的步骤。 这部分知识是进行本论文研究的基础。 2 、通过对h 2 6 l 视频编码的基本原理以及h 2 6 l 编码器程序t m l 8 0 的分 析及测试，找出h 2 6 l 视频编码中耗时最多、执行次数最多的模块。 3 、对以上找出的模块进行m i v l x 优化，并对其试验结果进行了分析和对比。 通过从对整像素搜索的优化效果的分析，得出不必对1 2 像素和1 4 像素搜索 进行优化的原因。 分析和试验表明，通过m m x 优化的方式可以很大程度的提高h 2 6 l 视频编 码的处理速度，使得该标准可以更好的适用于p c 机环境下的多种不同的视频 应用。 关键词：h 2 6 l ；视频编码；脚x 技术 疆南交遘大攀硕士研究生学位论文 蘩 l 覆 a b s tr a c t w i t ht h e d e v e l o p m e n to fd i g i t a lt e c h n i q u ea n dc o m m u n i c a t i o nt e c h n i q u e ， m u l t i m e d i av i d e o c o d i n gt e c h n i q u e a n d c o r r e s p o n d i n gc o d i n g s t a n d a r da r e d e v e l o p i n ga c c o r d i n g l y h 2 6 l ，av i d e o - c o d i n gs t a n d a r dp r o p o s e db yi t u ，i st h el a t e s t s t a n d a r df o r v i d e oc o m m u n i c a t i o na n dm u l f i c a s ti nl o wb i tr a t ec o n d i t i o n s h 2 6 lh a ss u c h a d v a n t a g e s a s h i g hc o m p r e s s i o nr a t e ，s t r o n g e r r o rr e s i l i e n c e c a p a c i t y , h i 热 a d a p t a b i l i t ya n d s oo n i no r d e rt og a i ng o 砸c o d i n gr e s u l t ，h ，2 6 la d o p t ss om a n y n e wa l g o r i t h m st h a tt h ea m o u n to fc o m p u t i n gi n c r e a s en e a t l y , a sar e s u l t , i t s a p p l i c a t i o n si np c e n v i r o n m e n ta r er e s t r i c t e d i no r d e rt oa c c e l e r a t eh 2 6 lr e a l - t i m e c o d i n g ，m m xt e c h n i q u em i g h t b ee f f e c t i v e l yu s e dt oo p t i m i z ep a r tc o d et h a tl a k e s t h em o s tt i m ea n de x e c u t e st h em o s tt i m e s ，w h i c hm a yh e l pt od e c r e a s et h ec o d i n g t i m e b a s e do nt h et e s tm o d e ll o n g - t e r m8 0 ( t m l 8 0 1o fh 2 6 la n dt h r o u g ha d e t a i l e da n a l y s i sa n d c a p a b i l i t yt e s to f t h e e n c o d e r ，t h ep r e s e n tp a p e rf i n d so u tt h e c o d et h a ti sw o r t h y o f o p t i m i z i n g a n di ta l s of i n d so u tt h ew a yt oo p t i m i z et h ec o d e a n da c c e l e r a t ec o d i n gb y u s i n gm m xt e c h n i q u e 髓em a i n c o n t e n t so f t h e p a p e r a r e a sf o l l o w s ： l 。羽妇t h e s i sg i v e sab r i e fi n t r o d u c t i o nt ob a s i cw a y so fv i d e o c o d i n g ，t h em a i n f e a t u r e so fh 2 6 lv i d ee n c o d e r , p r i m a r yt h e o r i e s ，a n dt h ec o r r e l a t i v ek n o w l e d g eo f m m x t e c h n i q u e t h eo p t i m i z es t e po f m m x t e c h n i q u e w 鹪i n t r o d u c e da sf o i m d a t i o n s o f t h i sp a p e r 2 t h ep a p e rp o i n t so u tt h a tt h em o d u l et h a tt a k e st h em o s tt i m ea n de x e c u t e st h e m o s tt i m e sc a nb ef o u n do u tt h r o u g ht h ea n a l y s i so ft h eb a s i cp r i n c i p l eo fh 2 6 l v i d e o c o d i n g a n d c o d i n gp r o c e d u r et m l 8 o o f h 2 6 l c o d e r 3 确ep r e s e n tp a p e ro p t i m i z e st h ea b o v e - m e n t i o n e dm o d u l eb yu s i n gm m x t e c h n i q u e ，a n a l y z e sa n dc o n t r a s t st h er e s u l to f e x a m i n a t i o n w ec a ns e et h er e a s o n w h y w en e e dn o to p t i m i z et h eh a l f p i x e ls e a r c ha n d q u a r t e rp i x e ls e a r c h 姆a n a l y z i n g t h e o p t i m i z i n ge f f e c to f i n t e g e rp i x e ls e a r c h 。 t h ea n a l y s i sa n ds i m u l a t i o nr e s u l t ss h o wt h a tm m x t e c h n i q u e c a l lg r e a t l ys p e e du pt h e p r o c e s s i n go f h 2 6 le n c o d e ta n dm a k ei tp o s s i b l ef o rt h eh 2 6 lt ob eu s e di np ce n v i r o n m e n t i nm a n yv i d e o a p p l i c a t i o n s k e y w o r d s ：h 2 6 l ，v i d e oc o d i n g ，m m xt e c h n i q u e 器南交逶大学龌究生学位论文第1 页 第l 章绪论 1 1 问题的提出 当今信息时代，随着数字技术和通讯技术的发展，视频会议、视频电予 邮件、可税电话等数字化媒体信息的应用越来越多。人们在享粥萁优点的弼 时，也面褊着一个巨大的问题茸前的存储设备和嘲络条件不畿满砖大攮 的数据的存储鞠传输。而箕中数据量龙为突出翡数字铸怠藏是数字视频。解 决这个问题的一个方法就楚数据援缩。 评价一种数据疰缩技拳静幢能好环主要奏三个关键鲍指挥：压缝比、图 像震量、题缩帮瓣压黪速黢。艇缭性熊掌鬻用压缩圪来定义，也就是羼缀过 程孛辕入数据星帮辕墩数据量豹之比，希望压缩比尽可能麴大。第二个指标 图像壤量毒压维毂类型寿关，压缨方法可以分为燹损压缩葶有损压缩，无损 妥壤是揍蠖缀以及解援过程没有损失蹶始图像信息。鸯损压缩则要对原始图 像傲一些改变，这釉压缩篾届图像不完全楣同，可是人眼难以察觉，或着图 像质爨略有下降，但观察者能够接受。第三个指标压缩解压速度，希望压 缭鳃压速度要快，尽量能满足实时性。随着多媒体视频应用的广泛普及， 实时的视频编码传输近年来已经成为视频发展的一个热点。在视频的实时应 用中，一个主要的矛盾是有限的网络带宽资源和视频的大数据量之间的矛 盾；因此要想在网络上得判较好的视频，就需要对视频数据避行较好的编码 压缩。然而，在获得好的视频编码的同时，也极大的增加了视频编码计算的 复杂性，这就引出了另一个矛盾：即庞大编码计算和裔限的计算资源之间的 矛盾。 由于i n t e l 公司c p u 在市场上的奎导遣僚，戳及箕m m j ( 技术可爨简辩处 瑷8 个字节和采嗣s i 诓d 技术和饱和技术，所戳应餍m h 技术爨提嵩视频 处理速度游一种有效技术，冀研究发震水平在监赛氇狠受关菠。 拜2 6 l 是由i 羊争零制定静新一莰褪频编码标准，予2 0 0 2 年底歪式愈名必 嚣，2 6 4 ，并置作秀i t u - t 帮m p e g 联合专家组腭 ， 在个带宽为8 m 的线路上，每秒传输不到1 4 帧。这样以无压缩格式传输是无 论如何也达不到实时要求的。而在一些领域非常需要实时传输闺像，俪如；霹 络视频会议，远程监视系统与多媒体综合服务等。数字化视频数据的海量性与 当今的计算机硬件技术所能掇供的网络传输带宽和存储资源都有很大的差躐； 因嚣对巍频售爨豹黄输秘存鼹造成了缀大熬困难，残为了妨碍人 | 、3 快速有效豹 利用媒体信息的一个瓶颈问题。而对于这类问题的解决，只是靠单纯的扩大存 髓器容量，灌大遴信予线豹转输速率瓣办法是不凌实熬，对数据遴嚣篷壤处理 才是一个切实可行的有效方法。视频压缩技术将图像冗余信息去掉，把重要信 息鹜住，觚而将数据量将下来，囤像潋毯缩形式存储帮传输，这样鬣节约了存 储空间，又提高了信道的利用率。 2 2 视频编码的可能性 虽然表示圈像和褫频信息需要大量的数据，僵是这些数据往往裔高度静裙 关性，这些相关性会引起大爨的数据冗余，因此可以通过去掉这些冗余信息来 实现对图像视频数据的压缩。这些冗余信息主要体现在以下几个方面： 窒闻冗余：窆闻强余主要存在予羚态嬲塑像数据中。在圈一辐图像中，规 则物体和规则背景的表面物体特性鼠有相关性，这些相关性的成像结果在数字 纯强豫中耱表联秀数据冗余。魄懿一糖蚕豫孛懿积本块a 教表露色彩均匀，在 a 上的所有点的光强和色彩以及饱和度都是相同的，因此，在a 这个范围例的 两南交逶大学研究生学僚论文第4 熨 数据表达霄撮大懿冗余。这群冗余是由予在溺一强像中舔嚣戆空阁楼议性形残 黪，嚣戳稼为空瓣冤余。 黪闯冗余：这是动态视频图像逶喾包含的冗余信息。动态视频图像】| 葶列中 熬嚣帧摆邻豹图像，赡一帧隧像与翦一帧图像之阅有较大的槌关性，往往会包 含同榉的背景或纛物体，他们之阈的差别只是位置上有所不同；所以后一帧图 像与它的前一帧图像有许多共同的地方，而这种共同性是由于相邻帧记录了相 邻时刻的同一场景画丽，敞称为时间冗余。 视觉冗余：在大多数情况下，重建图像的最终接受则是人的眼睛。为了达 到较高的压缩比，可以利用人类视觉系统的特点。因为人类的视觉系统憝世界 上最好的图像处理系统，但它远远不是最完美的。人类的视激系统对图像的注 意是非均匀和非线性的，并不是所有图像中的变化都能感知。眈如：图像系统 的量化误差引起的图像变化在一定的范围内楚不能为人隈所察觉。同时，视髓 系统辩图像的亮度和色彩度的敏感性相差很大，对亮度的敏懑度远远大予对色 魔的敏感度。但楚，在记录原始的图像数据的时候，通常都楚假定视觉系统对 黼像的敏感程度燕均匀韵藕线性翡，对予入鼹酶敏感嚣稻不舔感区都阕等对待， 觚而学致了视觉茏余。因踅，螽莱编褥方案熊利糟久类槎觉系统蠹孽一些特点， 霹蔽提高援缩琵。 茄黔，檄撂举因瓣清况，在藩始豹视频黟像中逐颦钱存在别约冗余，比如 缎构咒余、魏识残余、纹理统计冗余等。上述套种形式憋冗余，是压缩图像与 视频数据戆出发焱。图像和视频压缩方法裁是要尽可悲豹消除这些冗余傣息， 以降低便是图像和视频质嚣要的数据蹩。 综上所述，圈像和视频数据具有以下的特征：l 、数据量庞大，使褥视频 数据的处理变得困难：2 、数据中存在大量的冗余信息，而这些冗余信息可以通 过一定的编码方式去除。而藤是以上两个特征，为我们的视频压缩编码处理提 供了必要性和可能性。庞大的数据量经过压缩处理后，就可以只对编码聪的少 薰的数据进行存储或者传输，在视频的接受端只要对收到的数据进行解码处理 就可以得到视频图像了。因此，只要在编码过程中采用适当的方式来去掉其视 频图像的冗余信恿，让保存的数据都尽可能的含有最大的信息量，那么概频的 数据羹就可以大大地减少。 2 3 视频编码的基本原理 视频编码的基本驭理就是采用一系列的变换技术减少视频中的冗余信息， 在一定的霈求和废用袈件下，尽量用最少量的数据量来获褥最好质量的视频图 藉南交添大学研究生学僚论文繁5 燹 像。 由蓠露豹疼容司知，艨始视频数攥含蠢不阉类型瓣冗余售息：空阕冠余、对 阗冗余和视觉冗余等。 空阅冗余，可以根据担邻像素问豹相似性，囊相邻的像素来编码当前像素， 这样就可以充分的利用摁邻像素之间的相关性面达到消除或者减少其空间冗余 的县的；这弛消除空间冗余的图像压缩编码方式通常用于静态图像的编码或者 动态视频的帧内编码图像中。 时间冗余通常都是出现在动态的视频图像中。对于时间冗余信息，我们可以 用预测的方式来予以消除。比如在一段动态视频中，有一个物体的作平移运动， 他在系列的动态图像中只怒位溢发生了变化，在剐的方面基本上没有变化， 那么这时我们只需将其在前一帧的信息齑按搬迁到其后帧的相应位置就可以 了。这样图像的信息并没有任何的损失，但是在视频的数据表示上面就减少了 很多数据量。这种利用帧间预测朱消除襁频图像时间冗余的方法是动态视频编 码的基本方法。 褫觉冗余的产生主要来深子入眼和梳器褫频捕获设备之阕静差剐。梳器视频 捕获设备对于进入其“褫觉”范围的所裔图像信患都一褫同仁，不存在瓣那令 物体残区域受惑兴趣豹翊题。瑟入瑕是蠢差制静对图像遗牙处理，可以只注意 英感兴趣豹携体竣区域；对予视觉冗余鹳淡除，母以逶过歪交变换将图像从空 鹅域转换到羧率域，然爱擐攥人g 受对予不同频率豹誉网敏感程度对其进行不同 豹处理，从露减少视觉冗余。对于视觉冗余的消除，现在很多的图像压缩编码 郝用到了，主要的正交变换鸯离教余弦交换( d c t ) 和小波变换( 砒w e l e t ) 等。 视频编码的基本结构如图2 1 所示： 坠骂癣湎逦b 胁藤耳术：菱i 蘸忑矿n 隔秽流 【一1 。一【。一【一 圈2 - 1 视频编码流程示意图 其中，图像预处理包括图像的格式转换和图像分割，这一过程首先将获得的视 频图像格式转换为亮度、色度分离的分鼙形式，并根据典体编码和应用情况对 色度信息进行适当的简化，褥将一幅完整的大图像分成多个易予编粥的小图像 映，般是分害4 为1 6 x 1 6 的宏块。预测编码v 町醵是一幅图像内部的帧内预测 一主要用于消除图像的空间冗余，氇可黻是多幅闺像闻进行的筷闯琰禊主 甏甭于消除胬像的时海冗余。正交交换掰来将图像南空阉域转换成籁率域，它 西南交透大学研究生学僚论文第6 贾 逶常与羹纯一起馁用 三l 减少图像豹视觉冗余，量亿是图像失粪豹主要来源。熄 编码楚将渔事乏嚣懿系数按变长编码( v l c ) 方式编残一事玛浚蘑输爨，这一过 程可以极大斡减少视频图像豹信怠表示量。 缡秘鹾的援频数据发送绘接收端，接收蝼在牧到数摄流骺进行缎码，然后 上屏鼹示。憋码过程基本上裁是编码过稷的逆过程，就是将编码的图像块经过 编码的逆处理后缀合成一帧完整的图像。 另外，从信息论观点来看，图像作为一个信源，描述信源的数据是信息崖 ( 信源熵) 和信息冗余量之和。信息冗余量就包括我们刚讲到的空间冗余、时 间冗众、视觉冗余等，可见减少冗余量就可以达刹减少数据餐的目的，同时不 减少信源的信息量，它对于视频图像的质量是无损的。从数学上讲，可以把图 像看作一个多维函数，压缩就是减少描述这个函数的数据量，而其实质楚减少 其相关性。另外很多情况下，我们都允许视频图像有一定的失真，即允许在 定条件下的图像质量降低，丽这并不妨碍视频的实际应用，这样视频数据量的 压缩空闻就更大了。 器南交逶大学研究生攀搜论文第7 贾 第三章h 2 6 l 视频编码标准简介 本章首先对视频编码标准的发展现状进行介绍，并对其中的几种主要的低 码率标准进行比较，然后简单介绍h 2 6 l 标准。 3 。1 视频编码标准的发展现状 熬频墅缘技术发熙到今天，各釉图像压缨编码技本层出不穷，迄今人类已 经在视频压缨技术取怨了弓1 人注目的毅进展。作为对视频图像压缩技术成果和 方法鲍总结，编码标准也随羞编码技术的发展丽发展，而且图像压缩标准化对 彀视广播、视频通讯、多媒体计算机葶视昕工业具有a # 常重要的意义。所以人 类通过实际应用的检验，已经制定建立了一系列的视频图像压缩标准，它们逐 渐成为了研究和生产领域的规范，国际标准化组织( i s o ) 和国际电信联盟( i t u ) 标准化部，一直致力于视频压缩标准化工作，从2 0 世纪8 0 年代起，它们相继 制定了一系列的标准和建议，表3 ，l 给出了当前一些主要的标准和建议。i t u t 表3 1视频压缩主要标准 标准名称标准的主簧用途制定组级和通过时蔺 h 2 6 1p x6 4 k b i t s 码率的视频压缩，如视频会议系 i t u1 9 9 0 年1 2 月 统 h 2 6 3 低于6 4 k m t s 码率的视频压缩，如基于p s t n i t u 1 9 9 6 年3 胃 h _ 2 6 3 +和窄带无臻通讯网的可视电话系绫挣9 8 年1 2 秀 h 2 6 l从低予6 4 k b i t s 列l 赫b i t s 之闻秘率稳视频 i t u2 0 0 1 年1 2 月 舔缩，如基于p s t n 和窄带光线通讯瓣躬霹裰 电话系统 j p e g用于恣续静止器像鹃鹾缩 i s o1 9 9 1 年3 月 m p e g l5 m b i t s 秘率翡褫频压缩，龆多媒体稻v h s 矮i s o1 9 9 2 楚 量豹广播电视 擀e g 一2 死耀剩足+ 熬妈率豹视频压缝，热鬻嫂电视 i s o1 9 9 4 年1 t 月 彝裹瀵糍魄视 醋p e g 一4 低于6 4 k b i t s 和凑予6 4 k b i t s 到几兆的视 i s o 1 9 9 8 年1 0 月 频压缀，如窄繁可视电话和移动视频通讯 的建议标准主要聪向实时通馈，例如视频电话和视频会议；丽i s o 制定的m p e g 撂准主要是面向视频存贮、视频广播等应用领域。 表3 - 1 中，像m p e g 、h 2 6 1 等许多标准耀本解决了中高码率的图像传输与 西南交通大学研究生学位论文第8 夏 存储要求，僵它稻在甓翦些热门静多媒体逶信森曩系统是难子滚足要求数， 铡舞基予p s t n 霹瓣视频会议、哥视电话系统等系统，这是由予这些系统采用逶 售倍遴带宽比较窄躯公共电话交换耀( p s t n ) ，如要在p s t n 上实现豳像传竣，就 必须采用麓效图缘捱缨算法。p s t n 网不仅在现在，丽，盟在姆来一段时间内仍越 我国最普及、最主要的通信网，它和避些年发展迅速的移动通信网等都是甚低 码速信道，码速小于6 4 k b i t s ，正是由于这些原因，便得甚低码率图像压缩成 为当前图像领域的研究热点，目前常见的低码率图像压缩标准和建议有如下几 种： h 2 6 3 i t u 于1 9 9 6 年推出的甚低码率图像压缩标准，它是在h 2 6 1 压缩 标准的基础上，进步降低码率和提高低码率下的编码效率，并融提供了改谶 的编码选项，目的是在利用现有的码率小于6 4 k b i t s 的p s t n 网和无线移动通 信网等来开展w 视电话业务。h 2 6 3 视频编码的综合健能院h 2 6 1 有较大的撬 高，测试模型的结果表明在相闻的信邋条件下，前者眈后者的p n s r 高3 - 4 d b ， 并且奁高码率时h 2 6 3 的质量性能也高于转2 6 1 。 h 2 6 l 是i t u 稍定的一稀裔效静视频舔缩编码标准，它集审了淤往标准粒优 点，蔽牧了标准镧定中积累静经验，并在托基穑主采羯了很多的薪技术秘耨算 法。在与涮的褫频编码标准楣跑懿基磷上， 1 2 6 l 共有以下懿些特点；更低码 率、离震鬟的视鬏、良好静鼹络逶应能力等。在网等捱缩信臻比条转下，其数 据量仅为英毯疆缀标猴豹4 0 - 6 0 ，在舄等数攫量情况下，其繁噪比可以比其蚀 方法提裹卜3 d b 。耀时，在捷经道于拭方露 敷凼了诲多重要的改进，现已经成为 多媒体通傣系统中视频医绩姆决方寰的标准。 l p e g 一4 i s o 予1 9 9 8 年i 0 月正式公布的一种具有交互性、通用可存取性 及赢度可扩充性的视频酱频编码压缩标准。应用范围极其广泛，可以用于 6 4 k b i t s 以下甚低码率的音频和视频编码：不仅适用于移动通信和个人通信，而 且也通用于公用电话通信网和视频会议，窄带多媒体通信：实现基于内容的梭 索、交互式家庭购物和无线电话的监控等压缩编码。根据应t f l i i 场台的不同可以 采用分级编码，使用的高频范围为6 4 k h z - 4 m h z ，低频范围为5 k 一6 4 k h z ，具有良 好的兼容性、伸缩性和可靠性。 从以上的各种编码标准可以看出，h 2 6 3 、h 2 6 l 、m p e g 一4 的瞄现标志着醋 前视频压缩编码的重心由高码率转向了低码率，獒有广阔的疲用空间，并将带 动视频通信的更广泛应用。 备个编码标准虽然并不完全一样，僵是它们在处璎上有很多愚怨燕一致的， 西南交逶夹学研究生学位论文第9 页 主要静共嗣点有： 1 ，图像格式。它钓编玛豹图像格式都是y u v ( 或￥c r c b ) ，在编码之裁_ 震要 将获愿豹其她掺式图像转换残v u v ( 或y c r c b ) 摆式。 2 ，基予图像块的编码。嬲有的标准都是基于姆一帧图像分成较小的图像块 来进行编码，编码的基本单位郝是宏块，每个宏块包含1 6 1 6 像索。 3 ，帧间运动预测与运动 f 偿。其原理是利用帧间的相关性，减少空间冗余 性。这一部分的处理是各个标准处理的核心部分，处理措施的好坏直接 影响到编码的效率和图像的质量。 4 ，正交变换岛量化。各标准都是通过正交变换来将图像从空间域向频率域 转换，然后通过量化来减少视觉冗余。正交变换通常都采用d c t 交换， 有的标准也引入了其它变换方法比如小波变换和整数交换等。量化的作 用在保持定质量的前提下，丢失图像中对视觉效采影响不大的信息， 是造成d c t 编码信息损失的根源。 5 ，“z ”字形扫描。对量化后的系数进行z i g z a g 扫播，馥使获得的编码 数据更加具有麓律往，通常使箱的是萃z i g - z a g 扫描，在 l 。2 6 l 串根攥 不阔情况毽可戳采孺双z i g z a g 耪绉。 6 ，不定长熵编码。图像编码豹控涮傣息、运动肉漫信息秘量化过后熬图缘 系数，各捧准郝采羯苓定长熵编码黥方法来进霉亍绽玛。具体豹编鼹方法 有遽鼹不是长编码( u v l c ) 期基于内容约二进剑垂逶应算术编码( c a b a c ) 嚣秘，麓豢足警在赝有的编码椽准中采用，恧赠者只悬在h 2 6 l 中才引 入，作为一个选择模式恧露在。 以上所举的是对各编码标准都采用的些技术，对于不同的标准在具体的 处理上会有差别，面正是这些处理上所采用的不同技术使得不同的编码标准有 不同的编码效率和不间的应用领域。 3 ，2 h 。2 6 l 视频编码编码筒套 3 2 1 概述 h 。2 6 l 是i t u t 制定的一种高效的视频压缩编码标准，它汲取了以往标准的 优点，吸收了标准制定中积累的经验，并在此基础上采用了搬多的新技术和新 算法。在与别的视频编码标准相比的慕础上，h 2 6 l 其有以下孵一些特点： 1 ，约5 0 的码率节省。与l 2 6 3v 2 ( h 2 6 3 + ) 或m p e g 一4 简单类( s i m p l e p r o f i l e ) 相比，h 2 6 l 在使用与上述编码方法类似的磺佳编码器时，袋 西南交逶大学研究生学位论文第10 燹 多节省5 0 静玛率。 2 ，亵蒺鬃静视频。 2 6 l 在较大范围内豹传竣玛率下都裁持续提供赢质爨 熬视频，包捶在低比特率的情况下提供较藤质挺的视频。 3 ，适用予不阉延时的网络应翅。h 。2 6 l 能工作在低延时模式以适应实时通 信灼应用( 如视频会议) ，嗣时又能很好地工作在没有延时限制的应用环 境，如视频存储和以点播服务为基础的视频流式应用。 4 ，较好的差错恢复能力。h 2 6 l 提供包传输网中处理包丢失所需的工具， 以及在误确率较高的无线嘲中处理比特误码的工具。 5 ，良好的网络适应能力。h 2 6 l 在系统层面上提出了一个新的概念，在视 频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网络适配层( n e t w o r kh d a p t a t i o n l a y e r ，n a l ) 之间进行概念性分割，前者是视频内容的核心压缩内容之表 述，后者是通过特定类型网络进行数据传输之表述。遮样的缩构便于信 息的封装和对信息进行更好的优先缀控制。 3 2 2 信源格式 h 2 6 l 的售源编码器处理的是帧频为3 0 h z 的活动图像，它的信源为隔行扫 攒视频，图像信号分为y 分蠼和两个色度信号c b 、c r 分量来编码，它的色信 号格式为y ：u ：v = 4 ：2 ：0 。h 2 6 l 主要支持的两种标准化的图像格式，分别 为：c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ) 、q c i f ( q u a r t e rc i f ) ，每一种图像格式 的具体定义如表3 2 所示： 表3 - 2h 2 6 l 图像格式的尺寸定义图 亮度信号亮度信号色度信号色度信苟 图像格式像素数，行行数，帧像素数，行行数p 陵 q c i f 1 7 61 4 48 87 2 c i f3 5 22 8 81 7 6 1 4 4 其中c i f 为公用中间格式，是为了解决会议电褫国际蠢通时，由予彩色电橇 稍式的不同而弓l 越的矛詹，在编稻时，将p a l 铡式、n t s c 铡式的数字橇频信 譬转换为c i f 格式。解码嚣于群将c i f 格式转羧蔻p a l 制式、n t s c 制式。援定 静c i f 和q c i f 格式静主要参数翔表3 - 3 掰示： 西南交逶大学矫究生学位论文第 贾 表3 - 3c i f 耧i f 主要参数 格式c 琢q c i f 皴 y 捶样频率 6 。7 5 m h z6 7 5 m h z c r c b 搬样频率 3 。3 7 5 m h z3 3 7 5 m h z y 熬有效拙样点3 5 2 甄 缝1 7 6 点，行 c r c b 豹存效抽样点1 7 6 基街8 8 点行 y 的有效行2 8 8 点行1 4 4 点，行 c r c b 的有效行1 4 4 点行7 2 点，行 无压缩速率3 6 4 5 m b i f f s 9 11 5m b i t s 亮度、色度信号的取样位羹如图3 1 所示 xx x xxx o 0o xxxx xx x x xxxx oo0 xx xxxx xxx x x x ooo x x x x x x x 亮度揍号取撰 。 色度信号取样 块逑界 圈3 1 亮度与色度信号取样位置 编码器和解释器采震梅种图像格式，应当狠攒信道带宽和应用要求露定， 本论文采翅豹是q c i f 格式。 3 2 3 宏块的尺寸 宏块是编码一帧图像的基本单位。一幅q c i f 图像可以被划分为9 1 1 = 9 9 个宏块。图3 2 显示了一幅q c i f 格式的图片与宏块的关系。每个宏块都包含1 6 1 6 个像索。 嚣瘫变漾大学骈瓷玺拳燕沦文繁1 2 荑 q c l fl m a g e l l i i l l 1 1 溪3 - 2 戮i f 嚣片与瀚 9 3 2 + 4 宏块预测模式 。2 6 l 橱潍裁定了爨糖预测模式：搴粪内羰涮模式拳l 犊黼预测模式，数与数靛 戆耩准耱魄舔骞了菠遗。矮薅海眷将程繁玉露逶行奔缨。 霹涛交遴大学磷夯生拳壤谂文繁 3 炎 第四章h h x 概述 实时遴续地处理声街和影像等媒体信息的要求使个人计算机( p c ) 不堪遨 受， l 蓠楚遴遘开发专建茨熬速硬绺或数字癌弩楚理嚣( d s p ：d i g i t a ls i g n a l p r o c e s s o r ) 采分担中央处瓒器( c p u ) 的工作，使总体性能褥以提商。当然，成本 遗糖巍建摄离了。雨美谶i n t e l ( 夔特尔) 公司暹遘弓| 入m m x 技术，提升了c p u 酶主体信号处理黼s p ：n a t i v es i g n a lp r o c e s s o r ) 能力，使褥没裔d s p 或专丽加遮 苍片酌p c 祝氇煞溉辩又濂琏赏辩憝瑗多媒体信意，辩有关前较秫藕硬彳串带来藏 大懿肄壹。 4 1 什么是赫瞅 m m x ( m i c r o p r o c e s s o r m e d i a e x t e n s i o n ) 是i n t e l 公司为提高p e 机用软件来处 理多媒体秘通信的能力两攘出黥耨一代处理器按拳，是对i n t e l 体系结 q ( i a ， i n t e la r c h i t e c t u r e ) 擀令集的扩展，它通过程处理器中增加8 个、6 4 位( b i o 寄存瓣 纛5 7 豢藏掺令来实瑗。 m m x 技术被认为是i n t e l 公雨自推出3 2 位的i 3 8 1 芯片以来礅重大的变化。 m m x 逶遥采耀荦指令多数撂( s i m d ：s i n g l e i n s t r u c t i o nd a t a ) 技术，帮一条臻令就 能处糯多个数据，大大旋黼了软件运行速度，将p c 提升巅了般闰形工佟站才 具有静胃橇计算煞力，筏得逶常需要借劲专鬻加速硬件或遥焉d s p 才髓完成髂 复杂实髓售号处璞工佟，存霹程通羽p c 平台上掰寒缀语言鞠弼编程蜜魂。 4 。2 麓瞅的由来 m m x 技术的构想源予酞箍瑾嚣设计师嗣软件开发商的共弼努力，面对瓣 应用软传对于处理器硬传耀盏增离的要求，他们蕊悫越分析了大量的穗序， 如图形、m p e g 视频、音乐合成、语街压缩、语音识剃、闰像处理、游戏、视 频会议等。然蓐，瞧织将这些戏矮程廖分解，簌审找氆诗冀最秀密集懿缀程。 接下来，用先进的计算机辅助工程工巅( c a e ) 来其俸分析这些例程。大量的 努褥结果表蹶，在这璺不薅类裂翡获释孛存在着一鎏共藏黪基本特征，主簧是： l 、，l 、整数旋型( 镪细8 位图形像素糊1 6 健音獭样本) ： 2 、不长静餐高囊重复鹣循环( 镪麴褫鞭串求s a d 谴帮秘e t ) ； 3 、频繁豹乘法繁热( 剿舞f i t 滤渡耪矩簿逡算) ； 4 、嚣算密集型髯法( 捌魏三礁耀形释褫凝援缩) ； 5 、麓度并行豹操俸例如鼷豫处理) 。 钤对这燧共挫要求，设谤了一套鏊本遴用豹整数指令，可以越援媳皮爆予 西涛交通大学研究生学位论文第14 夏 各耱多攥体鞠逶讯应用程序，这就是m m x 援术。 4 3 h x 的基本特点 m m x 技术通过增加新的通用指令和定义新的6 4 位数据类型使微型计算桃 平台性能达到个新的水平，问时又与基于i a 平台的软件和操作系统保持兼 容。m m x 技术扩展的5 7 条新指令可分为7 类，椅成了一个较为完整的扩展指 令集。它楚我们利用m m xj 受术提高应用较件运行逮度簸基础和依据。m m x 指令集中丰富的指令掰并行处理一个綮缩数攒类撵中| ；冬所有数撂元素。m m x 指令执彳亍数据紧缩和镶和两条新懿运算原羹孽。m m x 撂令爵戮处理8 字节组、4 字缰、2 双字缝。这些6 4 住数据称麓紧缨数据。锪秘处理方式孛，上滋或下滋 静缩巢被截取( 镪霍) 至各类数摄毽域孛。运算结超如某类数撂类型值域时被 键移至筐壤鹃最大僮；结果小于数据类型僮域对被饱和至瞧域的最小值。则特 别在色彩计算非露毒用。饱和数擐范嬲如表4 1 所示： 表4 1饱和数据范豳 下限上限 1 6 进制l o 进制1 6 进制l o 进制 带符字节8 0 h- 1 2 87 f h1 2 7 号 宝 8 0 0 0 h- 3 2 7 6 87 f f f h3 2 7 6 7 无符字节o o h 0f f h2 5 5 号字0 0 0 0 h 0f f f f h6 5 5 3 5 m m x 的基本特点有以下几点： l 、引入新的数据类型 m m x 技术的主要数据类型为繁缩定点整数。定点数值的小数点楚隐含酶， 便于用户控制得到最大的灵活性。 m m x 定义了以下4 种新的6 4 位数据类黧及紧缩表示，m m x 指令可以辩 这些紧缩的数据德迸行操作。如图4 1 所示 紧缩字节：8 个字节紧缩在一个6 4 链中； 繁缩字：4 伞字紧缩在一个6 4 经中； 繁缩双字：2 个双字紧缩在一个6 4 位孛； 4 字：一令6 4 嬗。 西南交通大学矫究生学位论文第 s 贾 紧缩字节( s x 8 n t s ) 6 34 8 4 73 23 l1 61 5870 紧维字( 4 1 6 n 招) 6 34 8 4 73 23 l1 61 5o 紧续双字( 2 3 2 b i t s ) 6 33 23 1 0 4 - 7 ( 6 4 b i t s ) 6 3 0 图4 - 1紧缩数据类型 2 、采用s i m d 技术 s i m d 技术运用单指令同时并行蛾处理多个数据元素，从而加速了软件的运 行速度。m m x 技术支持对字节( 8 位) 、字( 1 6 彼) 、汉字( 3 2 位) 和新的4 字( 6 4 位) 整数数据类型的并行操作。 3 、新增6 4 位寄存器 i am m x 技术在c p u 幸新增船了8 个6 4 位遴用寄存器，这擅寄存器戳浮 点寄存器为剐名。操作系统像处璃浮点一样然理m m x 技术。 m m x 寄存嚣能傈存各类紧缩鹣6 4 位数据，蔼每个毒存器碍雳骞存器名 m m 0 m m 7 纛接等蛙。蹦4 。2 表零7 这8 令m m x 寄存器的酲曩。m m x 寄存 器哥耀来实现数据运算，但不用于存储器寻蛙。罨蛙是邋过使愚整型毒存器秘 标准戆弧寻地方渡完成的。 西南交逶穴拳 荸 究生攀位论文第 6 鬣 标志蠛 1 0 06 3 捌b 娃x 7 m 磁x 6 m m x 5 m 4 m m x 3 m m x 2 m m x l m m x o 图4 - 2m 髓x 寄存器缎 3 、保持兼容性 m m x 技术同时与现有i a 处理器、i a 应用程序及揉作系统( 如m s d o s 、 w i n d o w s 9 9 、w i n d o w s 2 0 0 0 、u n i x ) 保持向下兼容。i am m x 状态建立在i a 浮点 状态之上，无需增加新的状态或方式来支持m m x 技术。存储或恢复浮点状态 的浮点指令同样适用于i am m x 状态。m m x 技术在浮点系统结构与操作系统 间使用相同的接口技术( 主簧用于任务切换) 。i am m x 指令集矮有简荦、灵活的 软件模型，对操作系统是透明的。m m x 处理器1 0 0 与蕊有的i a 徽处理希兼 容，现有的各种碰嗣软件w 酷原封不动在采用m m x 技术酌簸瑾器上继续正常 运行。 4 、配茬裔效指令，增强寂雳键力 奁磊蔼懿离缀媒体、逶最帮强像等应麓稷痔中含有钱对段数据类整实现镶 环操撵静复杂算法，i am m x 技术塞接瑶淘这些程序豹交用蔫要，在其掺令集 中弓 入了赫兹逶翅指令。这些指令霹劳行她对多个紧缝在6 4 使孛的不目类型( 8 位、1 6 位、3 2 位) 数据元素遂行冀本运算靼逻辑运算。一条m h 仪指令黪网操 馋8 个字节，且一个对钟周期能执行题条指令。这意味着一个时钟周期熊处理 完1 6 字节的数据元素。这些攒令邋过采用密集计算算法，对一小段数据进行髑 部化操作和循环操作，从丽增加了应用程序的性能。几乎所商靠踅复和循环方 式对熬数数据进行计算的应用程序都能从m m x 技术中受益。 例如，大多数谮频数据用1 6 位( 一个字) 来表示，m m x 用一条指令能同时 操作4 个字；图形、图像信息通常用与调色板相应的8 位( 单字节) 来表示， 而一条m m x 指令能阎操作8 个字节。因此，m m x 技术大大楗高计算机在许多 西南交通大学研究生学位论文第17 页 应用领域的性能，如二维图形、三维图形、图像处理、视频处理、多媒体通讯、 语音识别、语音合成、音像解压缩和虚拟现实等。 5 、降低处理器开销 除提高性能外，m m x 技术还为其他功能释放了附加的处理器周期，使过去 依赖额外硬件的应用，现在只用软件就能执行。 根据i n t e l 的分析，对于某些功能，性能改进的幅度为5 0 - - 4 0 0 ，相当于 一个新代的处理器所能带来的性能提高。在软件内核里，己观察到3 - 5 倍以 上的更大的加速。 4 4w x 程序的开发步骤 无论是用m m x 技术更新现有的应用程序或是开发新的应用程序，都需 要遵循一定的准则和步骤。下面分别叙述通常开发m m x 程序所需要的6 个 步骤。 1 、确定需要采用m m x 技术的代码段 并不是所有的应用程序代码都需要用m m x 技术实现。对于大多数应 用，只有很小的一部分用m m x 技术实现，而这部分代码的所占的运行时间 却非常长。一般说来，需要用m m x 技术现实的代码应具有以下几个特点： 占用的运行时间较多 代码量不大 大量的重复循环 小整数类型( 8 位、1 6 位或小量的3 2 位整数) 2 、选择最合适m m x 实现的算法 m m x 技术有自己的特点，如s i m d 和乘法速度大大提高等。而在一个 应用程序中，可以有多种不同的算法，我们应该根据m m x 的特点选择最适 合其处理的算法。 3 、确定数据组成形式 明确了算法之后，需要按m m x 技术的要求安排数据组成形式，以利于 实现s i m d 。基本原则是尽量把需要处理的数据安排在内存的连续区域，采 用m o v q 指令一次读或写“位数据，或者采用m o v d 指令一次读或写3 2 位数据，从而降低内存访问的次数，提高效率。 4 、编写m m x 代码 在确定了算法和数据组成形式后，就可以着手编写m m x 代码。一般应 有一个对照的c 语言或者普通汇编语言代码，在编写完m m x 代码后，比 西南交通大学研究生学位论文第18 页 较两者的结果，保证无误。 5 、优化m m x 代码 在完成了m m x 代码的初步编写后，还需要对其进行优化，以充分发挥 处理器的潜力。优化的主要工作是调整语句的顺序以及消除或尽量减少各种 处理器延迟，包括内存访问等的延迟。 6 、测试m m x 代码的性能 完成m m x 代码的优化后，可以与原有的程序比较，通过测试了解采用 m m x 技术后的性能的提高情况。 本论