（电路与系统专业论文）基于MPEG2的跳帧视频转码器[电路与系统专业优秀论文].pdf

毕业论文 基于m p e g 2 的跳帧视频转码器 摘要 随着数字技术的发展，视频编码技术被广泛应用于各种场合，为了适应不同 的应用场合制订了多种不同的视频压缩标准。但是不同的应用之间存在着相互联 系，需要使用视频转码技术对视频数据进行转换。现在，视频转码技术在国内外 视频应用领域中显得日益重要。 本文在介绍了视频转码的相关概念、分类、原理和m p e g 2 视频迂缩标准 的相关知识的基础上，重点介绍了视频压缩中的运动矢量估计和视频转码中的运 动矢量重估计的内容。针对已有的重估计算法中运算量仍然很大导致转码延时a 较大的缺点，利用视频相邻帧间运动位移极小的特点，对运动矢量重估计算法中 的前向主导块算法进行了改进，提出了前向对应块算法的理论可能性和具体实现 方法。采用这个改进算法，设计了一个基于m p e g 2 视频压缩标准的降低时间 分辨率的视频转码器，并详细介绍了这个转码器的构成框图、具体的跳帧策略和 运动矢量重估计的算法。利用v c 语言实现这个转码起，最后得到经过转码器转 码后的图像，并通过这些图像和原始图像的对比，证明了这种改进算法的可行性 以及本文设计的视频转码器的实用性。在此基础上，进一步分析了这种算法的可 能改进。 关键字：m p e g - 2 视频压缩标准视频转码运动矢量重估计跳帧前向对应 块法 兰些堡奎 一 董王婴望兰苎! ! 塑塑塑茎璺堡 a b s t r a c t a st h ed e v e l o p m e n to fv i d e ot e c h n o l o g y ，v i d e oc o d i n gi su s i n gi nd i f f e r e n t o c c a s i o n sw i d e l y a st 、h e r ea r es om a n yd i f f e r e n ta p p l i c a t i o n s ，d i f f e r e n tv i d e o c o m p r e s ss t a n d a r d sa r ed r a w nb yi s oa n di e c b u tt h e r ea r es o m ec o n t a c t sb e t w e e n d i f f e r e n to c c a s i o n so fv i d e oa p p l i c a t i o n s ；s ov i d e o c o d i n gt r a n s f e ri sb e c o m i n gm o r e a n dm o r ei m p o r t a n tn o w i nt h eb e g i n n i n go ft h i sp a p e r ，s o m ek n o w l e d g ea n dt h e o r yo fv i d e o - c o d i n g t r a n s f e ra r ei n t r o d u c e d a l s o ，k n o w l e d g eo f m p e g - 2s t a n d a r di si n t r o d u c e d t h e n ， t h ep r e d i c t a b l ee n c o d i n gt e c h n i q u e so fm o v e m e n tc o m p e n s a t i o na d o p t e di nm p e g s t a n d a r di sd i s c u s s e d ，w h i c hi n c l u d ec a u s a l i t yp r e d i c t i o na n dn o n - c a u s a l i t y p r e d i c t i o n b e s i d e s ，t w ob a s i ca r i t h m e t i co f m o t i o nv e c t o rc o m p o s i t i o na r ed i s c u s s e d a f t e rt h a t ，i tp r o p o s e dan e ww a yt oc o m p l e t em o t i o nv e c t o rc o m p o s i t i o n b a s e do n t h en e wa r i t h m e t i c ，av i d e ot r a n s f e r o ri sd e s i g n e d a tt h ee n do ft h ep a p e r ，s o m e r e s u l t so f t h et r a n s f e r o ra r es h o w e dt op r o v et h a tt h en e wa r i t h m e t i ci su s e f i f l a l s o ， f u r t h e ri m p r o v e m e n to f t h en e wa r i t h m e d ci sr a i s e d 。 k e y w o r d s ：m p e g - 2s t a n d a r d ，v i d e o - c o d i n gt r a n s f e r ，m o t i o nv e c t o rc o m p o s i t i o n ， f r a m e - d r o p p i n g - 2 毕鼗论文 蕊- t - m p e g - 2 的跳坝携攘转码器 前言 现在，裰灏编码技术被广泛缝应霜予瓣络视频传输、数字电裰、褫猿会议、 数硝摄像、远穰教学、在线点播等场合。j 蔽些应用能够实现的关键就是数字视频 联缀标准豹制定，它们使褥撬频在获褥极楚嚣镶毙靛同时又能满足人l l 对视频质 囊躺要求。值怒，不同豹应餍场合对视频缡，解码嚣、褫叛数据存放格式、霹络 传输设备等都肖着不同的要求。为了适应不同的应用场含需要，国际标准化组织 刳定彳多静不鼹约视频压缩栋准。比如可裰魄话和视频会议健翅h ：2 6 3 视频嚣缩 禄准，数字电视、d v d 、数字视频广搔使蠲的是m p e g - 2 视频区缭标准，蕊移 动多媒体应用火多使用m p e g - - 4 视频压缩标准。 毽器秘传攘媒会之间或蠢不煎熬视颡黩建之闻存在慧相互联系，比翅可姥器 簧谯不同的媒介上传输福同的视频片断，躐者在不同的暾溺场合下使用其它压缩 标准格式的视频赞料。同时许多实时应用也簧求视频数据在各种编码格式之间能 实现动态实髓变换。为了捷爨矮鄹络间、零嗣戆接入设镛闻以及不嗣的多媒体数 掭格式阉郡可 ；盂褥副壹接两鬣质量报好的连接，就需骚使用饕视频转码技术。 同一语法间的视频转码通常目的是降低码率。通过增大量化步长成是降低空 阕分辨率郝霹戳达到降低璐攀戆要袭，但怒过予增加爨健步长和降 琏空闻分辨搴 衾严重降低鹜像质量。西藏，为了能够在降低码率的同辩又保证图像质量，需要 剐氐时间分辨举即降低帧率。而且在某魑情况下( 如接收端只能处理1 0 帧秒 熬视频固像) ，必缀簿低对越分辨率才煞符合接收璇的袋求。这对，晦 氛对润分 辨率的视频转鹦嚣就显得十分重要了。 此外，由予第三代移动通信技术的推广，向移动终端用户提供多媒体服务成 为必然懿发展戆势。但是，光线绩遂麴带然容基有限，要求我襄将瑷商戆嵩羁摩 视频进一步压缩。在码率变攮较大的情况下，单纯依爨碍率变换的穷法已经不能 获得较好的视频图像质量。同时移动终端设备由于显泳器处理能力、设备成本、 缝糕等豹隈副，簧求援频熬犊率攘对比较低。这裁要求傻蠲降低对翊分辨率豹跳 被视频转码器。 降低时间分辩率的视频转码器被广混艨用在现代视频网络传输巾，如何在降 低涎阑分辨率媳谤提下操 蒌较好熬视频鬻豫震量，是当戆整器上视频转玛疆究豹 肇鼗诗交摸子m p e g = 2 敷瓣攘撬攘转羁纂 魏赢之一。她辨，如何使褥壤频转码器戆够摺有蜜对转换能力，瞧趋蠢翦撬频转 磷延就的热点乏。 瞧楚，蠛套静魏姣褪皴转薅嚣掰慕弱黪逶羲炙塞鍪岱诗算法仍然慧簧大耋浆 避算过稷，大犬地延长了转碣的时间。因此本文对其中种重估计算法掇出了改 滋。莠聚瓣遂令敬遴算法爨糯了令篱攀豹褪颡转鹳嚣。 毕业论文 基于m p e g 2 的跳帧视频转碑瓣 第一章视频转码的概念 1 1 视频转码的概念 ，期搦溯 由于不同的应用场合存在着不同的视频压缩标准，所以许多实时应用，通常 要求视频数据能在各种编码格式之间或者不同速率要求之间进行动态实时转换。 视频转码就是将视频信息由一种编码格式转换成另一种编码格式。转换过程中执 行视频转码操作的设备就是视频转码器删。视频转码技术就是利用视频转码器对 压缩视频进行端到端的处理。也就是说，视频转码器的输入和输出都是按照视频 压缩标准经过压缩的数据一只是视频转码后的压缩数据码流更能适应现有传输介 质的传输带宽和接收端的要求【l 】。一般来说，视频转码包含两种意义：在同一视 频编码标准中转换；在不同视频编码标准中转换。【2 】 视频转码器具有动态调节视频编码参数的能力，从而为不同的终端访问各种 格式的视频提供了可能。例如终端设备可以是p c 机、个人数字助理、掌上电脑 或者移动电话等等。这些终端设备在计算速度、存储容量和显示能力上都有很大 差别。在处理视频信息时，不能对它们采用同一种格式的视频数据。对于同段 视频数据，需要根据接收用户能力的不同而转换成不同的格式，再分别传送给相 应的终端，因此视频转码技术是网上多媒体传输的核心技术之一。从2 0 世纪9 0 年代后期开始，视频转码技术成为视频编码领域的一个新的研究热点，在国内外 受到越来越多的关注。当前对视频转码技术进一步的研究内容包括；如何提高 转码的效率以达到实时要求、研究分级和基子对象的转码算法、对压缩域视频处 理的算法做进一步的研究、提出新的抗误码的算法和结构、如何有效的分配和控 制转码码率、如何评价转码图像质量和复杂度等方面【“。 制转码码率、如何评价转码图像质量和复杂度等方面【“。 t 。2 转码器框强 完成视频转码的软件或者设备就是视频转码器，它处于视频编码器和视频解 码器之间，如图( 1 ) 所示的位置。 3 1 输入 视频 b b 编码 a 转码 垫 叫 器 纠 器 型解码 图( 1 ) 转码器所处位置示意图 视频转码器有三种典型的体系结构：基于像素域的级连式转码体系结构、基 于像素域的快速级连转码体系结构和基于d c t 域的转码体系结构【2 】。一个好的 视频转码体系可以极大地提高转码器的转码质量和运行速度。下面简单介绍三种 转码器的体系结构。 a ) 基于像素域的级连式体系结构 图( 2 ) 基于像素域的级连式体系结构 其中，i q q 是反量化，量化，d c t i d c t 是离散余弦变换，反离散余弦变换，m c 是 运动矢量估计。f 是帧存存储器 毕业论文 基于m p e g - 2 的跳帧视频转码器 图( 2 ) 所示的体系结构是视频转码器最简单的一种实现方式，它将输入的视 频压缩码流完全解码，然后按照要求格式直接将解码后的视频数据进行压缩，得 到输出码流。它实际上就是一个标准解码器串联一个标准编码器。这种体系结构 的编码部分和解码部分是完全独立的，因此应用这个体系结构在视频转码时拥有 很大的灵活性，而且没有错误传播，相当于一个普通编码器，可以实现普通视频 编码器的任何功能。因此这个体系结构在理论上可以实现任何要求的转码，包括 不同标准间转码和同一标准内转码。但是由于它需要重新进行运动矢量估计，计 算复杂度极高，在实际应用中想要达到实时转码的效果，是不可能全靠软件来实 现的【2 】。 b ) 基于像素域的快速级连转码体系结构 输 入 比 特 流 图( 3 ) 基于像素域的快速级连转码体系结构 其中i q q 是反量化，量化，d c t i d c t 是离散余弦变换，反离散余弦变换，m c 是运 动矢量估计，f 是帧存储器。 事实上在视频转码过程中是不需要把所有的数据都全部解压缩出来的，我们 完全可以利用原有的压缩数据重构出需要格式下的部分数据信息，从而节约出很 多的运算时间，在一定程度上克服了上一种体系结构中计算量大，不能全靠软件 实现的缺点。 毕业论文 基于m p e g 2 的麟帧榭额转码器 强( 3 ) 掰零瓣结构框圈裁是辘够囊焉暴骞溪壤数攥重梅窭郝努数豢壤惑戆速 级连转码体系。它同样具有较太的灵活性，可以实现大部分视频转码蔡求，同时 由于不需要实现完全解码，相对减少了很多计算爨，可以在实际应用中做到用软 件实现实时转码，因此是一釉比较常用的转码体系啪。 ( c ) 蒸予d c t 蠛茨转码体系簇捣 圈( 4 ) 萋于d c t 域的转码结构体系 熟中i q q 是反量化 敷化，f 是帧存储器 规毅聪缝过程孛，大蠢痰躅td c t 运算窝i d c t 运算，掰戮在裰频转秘过 程孛，器簧裔多次d c t r d c t 交羧， 蠹一次d c t 域静交换就需要极大静运算萋。 如果在转碣过程中能减少d c 伽d c t 的运算。那么就可以更快的实现视频转码 过程。圈( 4 ) 所示的这种体系锚构可以在d c t 域上赢按进行视频转码，减少了很 多d c t 朔i d c t 运算，从两节约了更多鹃运算煮掰。但是由于它只熊处避d c t 壤鞋主熬援羧数据，嚣戮哭逶麓擎缀，l 、豹一罄努转璐妥袋。当转鹞爨要憝瑾d c t 域以下的数糖信息时，如要求涉及到改变运动矢纛、改变帧编码类型、改燮编码 速率、改变分辨率等情况时，就报难使用这种体聚络构来实现视频转粥。 荜照论文基子m p e c n 2 秘魏辕瓣攒转鹤攀 1 2 视频转码分类 象 按撬籁转秘要求分类 援频转弱_ 羔要煮嚣丈类：网一谬法间转遇寒誉同瀵法闼转码。其中灏一溅法 阀转鼹又珂以分成璐率转换、势辨率转换两釉情况。当然，瞧有可艟出现不嗣语 法间要求实现码率转换或分辨率转羧的情况。 1 ) 不同语法间转换 嚣蘩健溺语法阕熬视羧转戳主癸是毽为辕入鳇援频薅滚窝转瓣嚣簧戡褥裂 靛视频磁流艇遵缀熬视频趱缩橼准誉弱。戮败这粼分舱研究主要集中农不同褪频 探酝在其体朗语法囊现，鹏流绩构缎织上骑对应转抉等方藤i i l 。 除丁鬻滤意不同视频压缩标准乏间的辫同外，不间视频压缩标准间的视频转 磷过程中还成该注意的燕簧器筲髓钓重用输入褫频弱流中鹩有用信惠，遴免一些 鬟复豹缡解璐过程，麸瑟减少援频转玛的疑瓣。一般来说，在不阑的援频援绩标 猴之闽擞援颓转玛遴搴蚕勰挟以下阏题：语义层黪转换、礴率的转换、分辨搴豹 转换、谖码控制等社n 。 由予现谯存在的视频压缩标准徽多，在不同的压缩标准乏间进行的视频转码 繇簧注意的方螽窝阕嚣郝琴鞠蠲，嚣蘧不在这墨详纲介绥琴阉视频基缭椽港翊视 频转码麴暴体内容。瞧总的来说，不嚣视频篷缩榕准翊视频转码鹣过稷就是按照 两者的视频臌嬉要求重赣褥要g 鞠关的信息，再按照新蠹哿莲缩要求踅新进行聪缩。 因为大多涉及到像綮域的内容，所以这种类型的搅频转码一般是不能采用第兰种 体系结构的转礴祷实现鹃。 2 ) 鹞察转换 玛攀转换类型黪视频转硬盘簧应用予瞧褪广播鄹耀络健羧之中。搜耀这耱视 频转码是要是为了实现数字广播中特定级之间的兼容，或者网络传输咿在保证有 效传输的情况下尽可能的节省带宽。 遮稀类黧转磷主要遴过采掰更太静二次薰纯系数裴实璇。最麓蕈麴方法赣是 将输入驰援频码溅经过霹变嫒蟋褥( v d ) 、复爨纯( i q l ) ，然爨将搿到浆d c t 聚数直接阁较大的量化聚数擞- - 次颦纯( q ) ，褥经过变长编码o m c ) 德剃甓 簧的输出码流 1 1 。 毕业论文 罄于m p e g 2 的虢棱襁凝转码嚣 但是在转换过程中，由于需嫠进彳亍两次麓化，它们产生的误差疆加可能会造 成较大的谟码扩散，使得视频转礴后褥到静褫频信息经过解褥获褥的图像质蠢磁 褒较大编麓，影羲视频翡搜薅。爨建为了有一令较好懿恢复爨缳囊鬟，鸯涎嫉鼹 要采用闼环结 旬来避免量化误差纳积累。虽然这么做牺憋了一定的算法复杂度和 存储空间，但是却可以获褥相对理想的图像质蠡。 3 ) 分辨率转换 分辨率转换类登瓣橇额转磁按照甏改变懿努辨搴内容又胃疆分成露阂分辨 率转换农窆闯分辨率转换，按分辨率大小的改交情摁又弼越分戏增加分辨率转鹦 和降低分辨率转码。 这种类型的视频转码童要针对用户端解码器存在的一些限制，比如说网络的 实时处理髓力、解码端处联能力和用户端显示器的分瓣率等。 8 ) 冀孝麓努辨搴转码 时间分辨攀转码也就是平常说的帧枣交换。通常是由于实时处瑾能力等因素 不足或者为了保证图像质爨同时降低碣率才会需簧改交时间分辨率，因此时间分 辨率视频转换通常都是降低时间分辨帛的视频转褥，而很少有增加时间分辨率的 情激出瑷。本文所讨论翡税频转码嚣氆是一稀繇低对闽分瓣率类篷的褫菝转鹳 嚣。 降低时间持辨率在操作上就是丢赛部分圈像帧，使每个单位时间内的帧数减 少。在丢弃帧的过稷中，豳于双向预测帧圆帧) 不做其它类型帧的参考帧，所以 可黻首先考虑薏弃这种类蹩的秧。僵怒为了不使褫频转礴之精得到的视频图像出 瑰辩阉分辨率忽意忽低嚣情况，骞辩链会需要丢弃肉罄桉( 1 稹) 残者攀囱颈浏 蛲 帧) ，此时就会影昀到基予这些帧褥到运动矢景豹其它帧。所以降低时潮分 辨翠的视频转码还需要考虑到参考帧被丢弊后受影响的帧的运动矢量黧估计和 运动补偻的问题。1 2 1 坊空阀分辨率转礴 捐黠予薅闼分辨搴褪羰转双，窆潮分辨攀麴筏频转鹳要复杂摄多，宅蓑霹能 是降低空间分辨率，也可能是增加空闻分辨率。 降低空间分辨率也就是将几个图像宏块合并成更少的图像宏块。如果降低的 分辨率燎原先的l 4 或者l ，4 的n 次方，那么可l 上童接将相邻宏块进行合并，搡 毕业论文 蔫于m p e g - 2 的跳帧视频转码器 作相对简单。但如果涉及划其他分辨率降低的要求，简单的宏块合并就无法做到 了，宦还需要使用更复杂的插值运算，来计算出新的宏块信息。因此该类视频转 码涉及的难点主要为如何从蹶始压缩码流的运动矢量中映射出降低空间分辨率 的图像宏块所对应的运动矢量：如何由原始压缩码流的宏块纹理数据强压缩城中 下采样获得新的纹理数据；考虑能够补傣误碣扩散的转鹤缩构良瑟可煞的减少圈 像质整静下降珏“。 溺样，增热空阕分辨翠静褫籁转玛麦要是逶过矮蓬运算将一令宏块挥分蔽多 令宏块。它爨要考虑熬裁楚妇餐扶恐毒数运动矢量中映射出瑟的运动矢量。不过， 增热空超分辨率的载频转妈同样不太使用，艨以对它的研究相当少。 现在有一种利用上采样、下采样原理得到任意比例陂变的宏块信息转换的视 频转码算法。不管悬降低空间分辨率还是增加空间分辨率都可以采用这种算法， 可以说它猩很火程腱上解决了空间分辨率转换中的宏块信息生成问题。 飞2 急接受转码稳规凝瘦鞠镘蠖分类 苓疑豹视频瘟瘸矮域慰予视频转璐鹣要袋都誉一群。按照援频豹不弱痰翅镁 域，视频转玛还可以分为以下几秘类型。 1 ) 针对商质量的视频编辑转鹳。麓质爨豹视频编辑通常要求一定的硬件支 持，对图像质缎的要求也较高，对转码速度的要求反而不高，所以一般不套用到 “码率控制”、“谣弃b 帧”等常用的降低码率的方法，因为这些传统方法不 能获得很好的i 豳像质量。这种应用领域下的视频转码的技术难点生要是在图像序 列被任意截断乏后如何带效城拼撩。铡如，截断精的序列憝以b 帧、p 帧开头， 就造反了视频眶缩标准中关予g o p 必颓戳i 鲮开头酶规定，那么就有必要对原序 列静l 牵囊、p 筷避稃处臻，然后将蔽为歼头耱b 较、p 椟转纯药l 筷，再佟为耨 滓列熬嚣头。路1 】 2 ) 铃对数字患视应耀。数字电视嶷翅熬转强大多不用降低分辨攀，豢竟数 限制也不是缀大。遮静转码_ 荛要要解决约就是实孵转换的阏题。因此主要考虑 d c t 系数块和运动矢量的重用，这荦中领域中的视频转码器对转码后的图像质爨要 求较高，而对比特率的控制等则要求不高。盼1 1 毕业论文 基予m p e g - 2 的跳帧视疑转码器 3 ) 针对税频会议应用。筏频会议应用通常不用降低分辨率，褥菇图像静交 化幅度不犬，比特率邋常不商，对图像质匿要求啜不商，函诧转诵的主要阎憨在 于通信的安时性和与网络设镛的兼容性。 4 ) 针对移动通信应用。移动通信应用的视频通常要求比普通视频的分辨率 低，比特攀也要大幅度降低，对图像质量的要求反而不高，通常会采取诸如丢弃 部分b 蛾魏方法来减小帧率，二次量化的系数参数也要参考信道带宽再确定e 这就要求将镶源编码魏转鸫过程专售遴终会起来。 - 1 3 转码的关键技术 掇然不同的视频转码有不同的要求和目的，不同的视频转鹤算法有着不闻静 转码方法，但是涉及到的关键技术在饭大程度上有着共同性，其中又以不同最法 标准之间的视频转码所用到的关键技术为最多。不同语法间的视频转码有很多算 法可以实现，针对不间的编码方式有着相当多可行的方案。这些方案的共同特点 就是充分测羽了赝爨簧棚互转换缤鹳之闽豹共鼹特性，尽量减少缡解码赝带寒的 强缘震爨损失，弱黠达到慰瓣秘瓷源满裁熬乎饕。因数，这里用m p e g - 2 m p e g 4 铙频压缩标准之阉鹤视籁转鹣为镶，奔缁有关援额转码巾用戮静关键技术。 m p 嚣g 2 和m p e g - 4 视籁途缩标准帮是蒸于分头d c t 交换翱运动倍计蹿 偿 结构的视频藤缩标准。但是m p e g - 4 标准的简单缓没有形状编码，同时，m p e o 4 标准中还加入了帧内d c a c 预测；采用了些更先进的矢麓预测方式褥到遥动 矢量，对运动矢最的表述格式也与m p e g - 2 不间；采用了不同的量化过程；支 持颟的宏块编码模式。巍然，m p e g - 2 标准也有独特的地方，比如存在b 帧的帧 内宏块缡码等【2 。 在视频转璐麴分类中提剃麴语法阕嬲援频转犸经霉鑫遇麴诱义鼷转换、码搴 转换、势辨宰转换彝误璐控锻等阕瑟，这些瓣爨也是祝教转璐孛鬻要耋蕊解决熬 内容。 1 ) 语义层的转换 语义层的转换数据比较容易从聪缩流中分离出来做对应的映射。简单的说就 是将序列头信息转换为视频对象和视频对象头信息：图像头信息转换为视频对象 窭些丝塞薹主鬯! i 生些垡坚塑壁墨矍 乎嚣头信息；另外还有一些计算帧率和其它的与时间褶关的信意确字需要生成 1 1 l 。 这一部分鹊转羧，根据不阉螅视频转娼要浓，可以楣对省略，或者直接把相 荚信息拿来使用，也就是说，在转码时对这部分的合理处淫w 黻减少转码的时 间。 2 ) 宏块编码模式转换 不丽的视频标准中，可能存在着不同的编码模式。爨此需要徽编码模式转换。 出乎m p e g - 4 苓支持图像峻内部存在不同类型的宏块编码，所以在既要实现语 法转换又要改变空间分辨率的情况下，必须先在空间分辨率下交换，然后重新确 定宏块的编码模式，统一内部各个浃的编鹤类型，才能黯运动矢量和d c t 系数 傲修正。这对通常疆采蹋以下三种处理方法中的一荦中；采用帧阀编码，运动矢量 和d c t 系数设置为0 ；采用帧问编码，运动矢童从相邻块中预测，计算帧闻编 码残澄数据：采用桢内编礴，运动矢釜设鬻为0 ，计算相反的帻内编码数据h ，。 上述曼秘处理方法备有优缺点，也各鸯不圃鲍适用范圈s 3 ) 运动矢量重估计 运动矢薰估计是视频转码中最复杂的环节之一。如采采用第一种体系结椽靛 视频转码，即先分离出运动矢量、计算出圈像的具体信息蒜按照新的要浆熬瓤进 舒运动矢量的 鑫计和 偿，将会出现极大的运算煎，耗费时间过多从而造成过多 的视频转鹬延时，这样褥到的褫频转码器不舆有任何实用价值。綦予这种原因， 视频转码中急嚣解决豹闷题之一就是热俘利用已窍舱运动矢量偿息霪悠计如爨 要的运动矢量镶息。此外，m p e g 4 视频压缩标准还支持运动矢量的8 * 8 运动补 偿方式，即允许一个宏决内的4 个8 * 8 涣分掰裔自己的运动矢薰，可戬分溺进行 运动矢量补偿【j 1 ，所戳m p e g - 4 压缩标准稻其它压缩标准乏阙的视频转码中还黎 要对此额外注意。 运动矢蹩的复用虽然可以减少转码的时间，值可能会等致运动矢量出现较大 偏差，嚣就在转码要求较高对，嚣要对运动矢羹徽逃一步的修难。在运动矢羞估 计壤细化时，可以在已褥奎u 运动矢量信息螅裁提下将运动矢嫩馈计的搜索密蓖豳 尽可能缩小，这样可以很快得到相对最优的运动矢量。虽然这种做法会带来定 毕业论文 基于m p e o - 2 的跳帧视频转码器 最的额外计算，却可以很好的提高视频转码后图像的恢复质量。对于恢复图像质 量要求很高的视频转码，可以有效的实现其要求。 当然，在视频转码要求不是很高的情况下，可以直接利用输入压缩视频数据 码流中分离出来的运动矢量通过简单的叠加等运算得到新的运动矢量。这种方法 计算简单，所需要的视频转码时间较少，延时较低，但得到的图像恢复质量不如 前一种方法来的高。 4 ) 纹理数据处理 通常情况下，纹理数据的处理都是在像素域中进行。一些有特定要求的视频 转码中的纹理数据处理可以在d c t 域直接处理，实现图像的叠加、旋转和缩放 等功能。在d c t 域中进行纹理处理的话，运动矢量的重估计也就在d c t 域中实 现。在d c t 域中，可以通过相邻的4 个8 * 8 的d c t 块与相应的变换矩阵相乘实 现纹理数据处理。由于避开了d c t 变换和d c t 反变换，而且有些运算矩阵可以 事先算好放在内存中，所以在d c t 域中进行这些处理过程可以提高纹理数据的 处理速度【”。 5 ) 误码扩散 在视频转码中，不论要求得到的视频是降低码率还是降低时间分辨率，都会 出现误码扩散的问题。误码扩散的产生通常由重量化的误差、运动矢量的复用、 下采样等因素引起。要解决这些问题带来的误码扩散就必须从视频转码器的结构 改进上进行考虑。般可以通过加入一个反馈补偿环来适当修正参考帧数据的方 法减少误码扩算。 t l 不过在需要做对象级的转码时，针对场景中不同的对象，需要考虑分配不同 的带宽，因此最终视频转码后得到的图像中不同对象的质量恢复情况要根据各自 的重要程度来决定，有时为了得到较好的恢复图像质量，甚至可以直接将有些不 重要的对象丢弃。 望些丝苎 墨王坚坠i 箜堂堂堂塑竖! 苎堡一 1 。4 本文的结构和任务 1 4 1 本文主要任务如- f ： 1 介绍相关的视频转码概念和m p e g - 2 视频压缩标准 2 构架出一个基于m p e g - 2 标准的降低时间分辨率的视频转码器的框架和 实施方案 3 介绍运动矢量重估计的算法，提出一种用于降低时间分辨率的视频转码 器运动矢量重估计算法的简化，并将这种简化算法用在提出的视频转码 器中，验证这种简化算法的可行性。 1 4 2 本文的结构： 第一章介绍视频转码的基本概念和相关知识 第二章介绍了m p e g - - 2 视频压缩标准中的运动处理，介绍了降低时闻分 辨率的视频转码中最重要的运动矢量重估计和运动矢量估计的基本概念，提出其 中一种运动矢量重估计算法的简化并论证其可行性 第三章提出降低时间分辨率的视频转码框架、方案和具体实现 第四章本文提出的降低时间分辨率的视频转码器的仿真结果和进一步的改 进 1 5 本文涉及的相关概念和部分简写 1 5 m p e g - 2 标准盼招关知识 本文构架的视频转码器是基于m p e g - 2 视频压缩标准的降低时间分辨率的 视频转码器，因此在本文和视频转码器的实现过程中涉及到大量的有关m p e g 一2 视频压缩标准的知识。所以在这一节中对m p e g 2 视频压缩标准的相关知识做 一个简单的介绍。 m p e g 标准是由国际标准化组织( i s o ) 和国际电工委员会0 e c ) 共同制定 毕业论文 萋于m p e g - 2 豹端螭援壤转鹦嚣 的一系列视频编，j 孵确橱潍，其中m p e g 是m o v i n gp i c t u r e se x p e r t sg r o u p ( 运动 圈像专家组) 的简写。 m p e g - 2 视频压缩标准予1 9 9 4 年1 1 月被正式确定必阻隧标准，是“涵动图 像及有关声音傣息的遵用编码”标准。最初定义的图像掺式采用的是7 2 0 * 4 8 0 像素，传输速率为4 1 0 ) m b p s 。它不仅窍逐行扫描( 面向帧) 的规定，也商隔行扫 攒( 堪内场) 的援定，充分考虑了对m p e g - i 税频压缩标准的兼容和对图像质羹疆 及传输速率的多屡次要求，具有可分级性、灵活性和广泛的适应性。它包括了筏 频道债的备个领域，如多点电视会议、工作蛄窗箍示、异步转移模式潮络税皴遴 信和嵌入式标准电税的h i ) i v 等。 s l f l m p 琶g 2 标准包括9 项内容：系统、视频、伴音、符合条件测试、软件、数 字存储媒体翡指令和控制、非后商兼客鹩管凝、1 番比特视频和实黠接鞠。m p e g - 2 视频毽缩标准是一种p r o f i l e 程l e v e l 必饕础豹嫂穗化系歹臻。按照馊月的壤鹃工具 韵集会胥以分成5 类：笼b 帧媳篾单类、允许b 帧的主类、在主类蒸础上加上 s n r 分级戆s b 双可分级、联合主类、s n r 和空间域可分级的空间域可分级类。 除此之外，还鸯包含以上所有情况再加上瞬间域可分级的离类。目前用的最多的 是皇类。嘲 按照编鹤阔像昀分辨率可以分成4 级：低级( 输入信号的像素惩i t u - r 6 0 1 格式的l ，4 ，圈像格式为3 5 2 * 2 8 8 ，3 0 帧，秒) 、主用缀( 输入信芍的像素为r r u r 6 0 1 格式。相应于标准清晰电视，豳像格式为7 2 0 * 5 7 6 ，3 0 锁缈) 、高级1 4 4 0 级( 为 4 ：3 模式惫褫商清晰度格式，大致楣当子每行1 4 4 0 个取样韵h d t v ，图像格式为 1 4 4 0 1 1 5 2 。6 0 榭秒) 、高缀( 为1 6 ：9 模式电视离清搿发格式，大致相当予每行 1 9 2 0 个取样的h d t v ，图像格式为1 9 2 0 * 11 5 2 ，6 0 帧秒) 。【4 1 r 7 】嘲【l 0 】 m p e g - 2 掭准巾豳像压缨剃熙了麴像中的聪秘特性：空间相关性和时间摆关 性e 鞭为帧图像内灼任倪一个场爨郝是融_ 若干像素点 匐成的，因此一个像素通 常与它周围的某些像索在亮度翱色度上存在一定的关系，这种关系就是空阀相关 性；硒一个节目中的一个情节由若干帧连续圈豫组成，一个动作的实现就涉及戮 多个图像帧，所以一个图像序列中前后帧阉像乏闻也存在着一定的关系，这种关 系就是时间榍关饺。这两种榻芙佼的存在使得视频图像中存在着大鬣的冗余倍 毕渡论文 簇予m p e g - 2 的蹴帧褪频转码嚣 恩。如果我们熊将这些冗佘信息去除，只保留少量非翱关信息再进行传输，就可 以大大节省传输频带。而接收机利用这臻非相关信息，按照一定的解码算法，可 潋焱僚涯一定弱塑像震耋麴蘩搀下恢复爨溅烂蚕豫。毽靛是说，一个好獒莲维编 粥方案就是能够嫒大限度地妊除匿像中的冗余信息。1 6 j 【8 j 1 ) m p e g 2 的编解码糕原理 m p e g - 2 缝壤强器一般塞编璃爨簿璐撰、控涮单嚣耱接口单元等帮努缓成。 编码器完成将模拟，数字的视频信号转变成特定的数字粥流，去除冗余信息，实 现难缩；解码器对收到的数字码流恢复冗余信息，并转变成模拟数字的视频信 譬，实嚣辫瓜；搂曩攀元竞艘缡簿殛器毒摸羧擞字视巍频窝数字蕊羲设备麴攘 髓；控制单元巍成对编解码器内部各个部分的控制，附管等【5 】。 针对两种糊关性产生的冗余，m p e g 编解码器中聚用两种关键技术：帧内离 数余弦缡璐鞫逡凌李 嫠峻翘獗溺亲溃豫。褰m p e g 系绫孛，d c t 羧零窝运动蛰 偿帧问预测维合起来。编码器从原图像中减去运动补偿预测图像形成幅“预测 误差”图像。这个预测误熬褥进行d c t 变换，把系数摄化后进行编码得到最终 熬援频缡强。宅与瓣疆嚣繇爨熬“麓韵蘩惑”洳运动必羹、霾步痿感) 缝台蘧采 就可l ；上形成视频比特流。谯解码过程中。麓化的d c t 系数会被恢复、逆变换产 缴预测误差图像。把预测误麓图像与从鳃碣图像产生的避动补偿预测图像相加产 垒鬃疆辕窭。鞠濒霆筵编羁嚣徐密靛魄特攀大夺取决予添餮像懿复杂程度蠢霹疆 测性、运动补偿预测的有效性。对每个要编码的图像块，编码器会程不同的预测 方式中做出选撵，使得能够猩有限的比特率下得到最健的解码图像质量。 2 ) 瓣嚣舀阮弱编码蕊溅淫次 m p e g - 2 标准的编码码流一共分为6 个层次：视频序列层、图像组层、图像 爆、像条、宏块层和像块屡。除了宏块层和像头层外，上面4 个层次都有相应的 起始疆，霹燕予闲误鹞或荚穗滠西罨致羧笈嚣臻失露步襄重簿疆器弱鬟薪撼挺弱 步。【习嘲 视频序列层中的序列揩的是图像序列。序列起始码精的序列头中包含了图像 必寸，图像竟舞阮，霾橡邃率等痿惑。滓舞扩震褥孛藏食了一些辫翱数蹇。兔了 僳证能视频解码器能随时进入图像序列，简不会产生解读错误，序列头是重复发 邀的。f 6 】 肇篷毽文 羞卡m p e g - 2 弱襄壤撬攘转鹤嚣 g o p 囊楣受翘富预测襄生成关系熬一维l 顿、p 帧秘b 梭黼像捣成，但是 i v p e g 2 视频标准规定欺帧图像必须怒i 帧格溅的。由于p 帧、b 帧需簧采用 茭它鲮载傣惠，掰淡黄输豹鬏寒楚不戆按照鎏豫瓣避阗缓痒寒数。嚣我程g o p 漱中必须包含了这个g o p 的有关时间信息，可以用它来区分不同帧的时间位置。 溺 图像就是我们平常所说的帧。这是视频中完羰图像的最底层。图像根据不同 的编码方式可戳分成i 帧、p 帧鞴b 帧。萋于和g o p 中存在时闻信患静相两舔 因，它的头信息中包含了图像编码的类烈和射阆参考信息。 宏块层在像条层下。m p e g - 2 视频压缩标准中定义了三种宏块结构：4 ：2 ：0 宏块、4 ：2 ：2 宏块秘4 ：4 ：4 宏块。宏块结秘串麴三令数字分剩钱表了一个宏块魏亮 度像块和色度像块的数激关系。这三种宏块结构实际上对应于不同的三种亮度和 色覆接襻莠式。豫宏块癫羞予今象素缝戏，一般是8 * 8 个象素竣者1 6 1 6 令象 綮。 宏浃瑟之下建豫块艨。它罴m p e g - 2 褥滚蠹孽簸底层，也楚漾行d c t 交换豹 旗本单强。一个像块由8 * 8 个捆样值构成，同像块内的抽样值必须全部是y 信号抽样值或全部是c b 信号抽样值，戏全部燕c r 信鼍抽样值。勇外，像块也 用于表器8 * 8 个抽样值缝过d c t 变换蘑所生成靛8 * 8 个d c t 系数。删 在强进行帧内编码的情况下，编码圈像只需经过d c t 变换、量化器和比特 豢l 编码爨瑟不嚣经过预溯换楚理藏霹戬嫩璇缭璐魄特滚，这里d c t 交换壹接瘦 用于原始图像数据。 嚣在较闽缡筠熬德琵下，舔始圈豫葵先稻峻存髓嚣串静蔟溺嚣像避移笼较， 计算出相应的邋幼矢量，由运动矢量和参考帧生成原始图像的预测图像。褥将原 始图像每预溺橡索差值新生成的差分闺像数据谶行d c t 变换，然后经避蠢纯和 编码生成编码比特流。【8 】 3 ) m p e g - 2 编码黼像分类 m p e g - 2 视频压缩标准中寇义的编码图像分为三类，分别称为i 帧、p 帧、 b 帧。 其巾，i 帧是自包仓的，即编码对不器要参考其它的帧。躁为这个特点，i 帧可以等同静止图像对待。m p e g 标准利用j p e g 的压缩标准来压缩i 帧。假与j p e g 撂准不阏豹是，援缨必须是实| l 萼进行的。基予l 梭瑟有象素都要避行缡鹤，褥不 - 2 0 - 毕业论文 基于m p e g - 2 的跳帧视频转码器 存在0 块，i 帧的压缩比在m p e g 图像中是最低的。i 帧在宏块中使用了8 * 8 像素 块，并对它进行d c t 变换、d c 分量利用d p c m 编码，同一分量中不同块之间的差 值利用变长编码方法编码咖。可以说，i 帧是视频图像中的一个随机访问点，解 码器可以利用i 帧定位图像信息的准确性。 p 帧是前向编码帧，需要利用在它之前的i 帧或p 帧信息来实现编解码。 使用p 帧的理由是：相邻的帧间，它们的区域并没有很大改变，而只是整个区域 移动了一下。在这种时域冗余的情况下，如果仍然采用i 帧的编码方式会造成编 码冗余度过高的情况所以需要使用运动预测来降低冗余度。运动预测的几种方 法可以在编码器端实现。不同的预测方式育不同的编码性能。代价大的方法会带 来更好的结果，但也会带来大的冗余和时间延迟，因此在编码器端必须权衡以下 因素：计算能力与视频质量。p 帧的运动补偿有几个匹配标准，如计算亮度绝对 值的差量，最小的差值代表最佳的匹配宏块等。正因为这个原因，m p e g 标准不 为运动预测指定具体的算法，而是规定了要求得到的结果。p 帧图像所需编码的 仅仅是运动矢量( 不同宏块之间的空域差值) 与这些块中的微小差值。标准也没有 定义搜索范围( 即运动矢量最大值) 的大小，但它受到运动矢量的定义域限制，搜 索区域越大，运动预测的效果越好，但速度越慢。此外，p 帧的特定宏块的编码 必须考虑到宏块间差值与运动矢量。将所有最佳匹配的宏块的8 * 8 像素块与所要 编码的宏块的差值利用o c t 转换。为了进一步压缩数据，d c t 系数全是零的宏 块将不被进一步处理，它们直接用6 个位存储。并直接加入到编码数据流中。与 j p e g 标准以及i 帧宏块的编码方式不同，p 帧的a c 与d c 系数使用相同技术的编 码。接下来，应用行程编码与变长编码方法进行压缩。由于相邻宏块之间运动矢 量仅存在微小差异，所以可以利用d p c m 编码，得到的结果可以利用一张表转换 到变长编码的码字嘲。 b 帧又叫双向预测编码帧，它可以利用以前和以后的i 帧或者p 帧信息来编 码，并利用这些帧达到最高的压缩比。b 帧定义为以前和以后i 帧或p 帧的差值， 所以它不能被直接访问。为了预测b 帧图像，莹须考虑在它之前和之后的p 帧或 i 帧。解码时，b 帧的宏块可以由之前或之后的p 帧或i 帧预测得到。除了使用 对前面帧的运动矢量外，也可以同时使用对后面帧的运动矢量，也就是说，它允 许同时使用两个匹配宏块的差值运动补偿。在这种情况下，利用两个运动矢量， 肇弛论文 簇于m p e g - 2 的髓帧视频转玛嚣 计算出该插值块与所要编码的块的差值，并进一步地犟用与p 帧宏块类似的量化 岛熵编码方法进行编码。在咿e g 一2 视频压缩标准中，b 帧是不能作为其它任何 牵羹熬参考获 嚣猩德在筑疆黎孛豹。瓣嘲 m p e g - 2 标准的视频压缩技术与进去的褫频压缩方法相比，具有搬大的优势。 首先，它能够提供在低速率下的高质量传输，并且不同鼍：其它方法中独立处理视 簇枣翳孛翡每一谈，嚣燕剩掰籀缝彦爨蕊瓣豹摇觳毪影戏蓬豫组，获嚣减多了数 精传输量，另外，它能够衣不同的图像质爨和传输速率上进行选择，可以选择给 窳图像质量级别下的低传输率，也可选撵商质量的图像而设定某一传输率。 4 ) 援菝毽缀鹃分类窝荧键技拳 为了适应不同数据率设备的应用，m p e g - - 2 视频雁缩标准定义了兰种质量不 同的编码方式：信噪比可变性、空间分辨率可变性和时间分辨率可变性。信噪比 豫变经编筠方式生要惩予实糯蚕嚣爱蠢懿撬藏羧务蒙嚣，接受条羚麓辩哥浚获褥 降低质量的图像，不至于没肖信号，而接收条件好时得剿高质量的信号：空间分 辨率可变性用予实现大小不同图像的兼容传送；时域分级主要用于不同帧频图像 魏藏窑镑送。蠲 m p e g 一2 视频压缩标凇的压缩算法中包含的关键技术环节主要为：离散余弦 搬换、量化、之型扫描和游程编码、可燮长编解码、预测编码、运动估计、运 溺每 嫠。箕审瓣予犊瓣绽璐瓣 蠢嚣，预溅缀羁、运动镀诗窝运动孝 褛楚最重要戆 兰个环节。 5 ) m p e g - 2 标准的主墼应用领域 m p e g - 2 糠难是磊在爨溺邃较广泛懿一令褪菝基缕耩难，它主餮疆耀在竣下 领域中：广播沮星服务、通过光纤网络或铜线进行有线电视分配、谢线数字音频 分配、数字音频广播、电予影院、固定飘照服务、家臌影院、个人间通信( 如电 裰会浚、毫筏惫诿) 、交曩或存镶媒终( 翔毙蠢) 、遮续存德媒舔( 鼹数字录爨 机) 、远程视频监控、瞬矫数据库服务、多媒体邮件。 e ) t e l 可以说m p e g - 2 视频臌缩技术可以威用在大多数的数字视频漪频压缩应用 镁城。 毕业论文 基于m p e g - 2 的跳帧视频转码嚣 1 。5 2 本文涉及部分简写和概念说臻 m p e g - 2 标准：1 9 9 4 年推出的m p e g - 2 压缩标准，以实现视频音频服务与应 用互操作的可能性。m p e g - 2 标准是针对标准数字电视和高清晰度电视在各种应 用下的压缩方案和系统层的详细规定。m p e g 是m o v i n gp i c t u r e se x p e r t sg r o u p ( 运 动图像专家组) 的简写。 i 帧、p 帧、b 帧：m p e g - 2 标准中一个g o p 由若干个帧组成。这些帧分为i 帧、p 帧和b 帧，分别是帧内编码帧、前向预渊编码帧和双向预测编码帧的简写 表示。 d c t i d c t ：离散余弦变换逆离散预先变换。在m p e g 标准中用来在连续的模 拟信息和离散信息之间转换。 c o p ：g r o u po fp i c t u r e s ( 图像组) 的简写。在m p e g - 2 标准中，视频信息 是按照c o p 为单位进行编解码和传输的。 j p e g 标准：j o i n tp h o t o g r a p h i ce x p e r t sg r o u p 的简写，是第一套国标静 态图像压缩标准。悯 宏块：m p e g 标准中每帧图像都由若干宏块组成。宏块由一定数量的像素组 成，宏块的大小根据不同的分辨率要求而不同，一般大小是8 * 8 像素或者1 6 1 6 像素。 v l c v l d ：可变长度编码解码。可变长度编码就是一个变长的编码器把输入 符号映射到一系列的码字，每个符号映射到一个码字。码字有变化的长度，且必 须包括整数个位，因为长度不一定，所以需要增加一个标志位来表明所使用的码 字位数。在编码过程中，经常出现的符号用较短的变长编码表示，不常出现的符 号用较长的变长编码表示。通常使用的可变长度编码有哈夫曼编码、预计算的哈 夫曼编码等