（计算机应用技术专业论文）转码技术中h264模式决策快速算法的研究与实现.pdf

摘要 蘧羞数窄撬频及多媒体接术鳇发曩，逵矮子不廷领壤耱m 艇蓐，瓣。2 瓠等嗣际视= | | 羹编聪 标准应运而生。为了适成用户终端的多样性以及网络自身的传输特性，常需将已压缩的视频 码流进行转换编码，以实现资源欺辜+ 新一代视频标准 2 6 4 ，a 、，c 挺有当前最斑的编码效 率。因魏献箕它视频缡褥标准转按铡h 。2 6 4 穰裔实际应搦价值。僵 差2 雒使用了一系剜计算 簸杂度很高的新算法使得这一转换过程相当费时。快速转码算法的研究已成为当前的研究 热点，快遮宏块模式决策正是其中鳇关键技术之一。 介绍了h 2 6 4 的编码特点，并与以前的标准进行比较。回顾了转码技术现状队及转码过 糕中的关键挂闯题。分橱了典型的蠛内和帧闻模式决策算法，著指出了这些算法躲不足之处。 分剐提出了编码转换过瑕中h 2 6 4 的帧内和帧黼模式决策快速算法。 在帧内预测模式选择上，利阁了变换域内系数直接转换的的优势，节省了i d c t 和h t 两个复杂熬计算步骤；健塌了两仑簸杂发相差较大毽又离庶相关豹代价函数莜次对候选模式 进行筛选，既有效保留了最优帧内预测模式，叉降低了模式决策的计算复杂度。 在壤瓣鞭测模式选择上，充分考瘩瑟了 董。2 氍戆多宏块摸式窝多参考犊等特点，提出了 綦于多帧参考的帧间快速模式决策舞法。将h 2 6 4 中的宏块模式加以分类，减小了映射模式 的选择范嘲。自适应的运动估计搜索范围确定方法，可以抉速有效的含成新的运动矢量。缝 合提前遐出鞠由上至下宏块分割等方法，巍快了赖闻模式选择。 所提出的帧内和帧间模式决镱算法适用予多种编码榕准向 l 2 6 4 的转换，其商较好的遇 瑙牲。在篱束静转鹞系统孛实瑷了菇h 2 6 3 、醚雌g - 2 、潆黼4 箍单糨次编码豹巍频寓 壬2 6 4 的转换。 关键谲：珏0 6 4 ，编羁转挠，攘式凌滚，装逡颡溜，稹瘸镁溅 a b s t r a c t w i m t h e d e v e l o p m e n to fd i g i t a lv i d e 0 锄d m u l 廿m e d i a t c c l l i 】o l o 断t h es e r i e s o f m p ：e g 趾d h 2 6 xv i d e oc o d i n gs t 8 1 1 d a r d sh a v eb e e nw i d e l yu di nd j f f b r e n ta p p l i c 砒i o 砸i i lo r d 盯t 0a d a p t t o 廿把d h e r s 姆o f t e m i i l a lu s e r sa l l d 砌船e so f v a r i o u sn e t w o r k s ，ac o n l p r e s s e dv i d e ob i 拓廿e 锄i s o 船n 订a n s c o d e df 如mo n ef o m l 越t oa n o t h e ra n ds i l a r e db yd i 饪b r e n ti l s e r s t h ee m e 唱e n c eo f 也e n e wg e n c 叽v i d e oc o d i n gs t a l l d a r dh 2 6 4 a 、7 cg r e a n yc o n 埘b u t e st 0m ev i d e o sc o m p r e s s i o n a 1 1 d 姗n s m i s s i o n t h et o - l 2 6 4t r a l l s c o d i n gi sb e c o m i n ga na c 廿v er e s e a r c ht o p i ca n df 酤tm o d e d e c i s i o ni so n eo f t h ek e yt e c h n i q u e si nt h ep r o c e s so f t 0 一h 2 6 4t r a n s c o d i n g i nt h i sp a p e lt i l es t 种岍q i l oa n dk e yp r o b l e m si nt r a l l s c o d i l l gt e c l 】i l o l o g yi sp r e s e n t e d t h e f c a t u r e so f h 2 6 4i s 柚a l y 髓da n dw e l lc 鲫p a r e dw 岫o t h e rc o d i l l gs t a l l d 盯d s a f t e rg o i l l go v e r s e v e r a lt y p i c a lm o d ed e c i s i o na 】g o r i m m s ，n o v e lf 融m o d ed e c i s i o nm e t h o d sa r ep r o p o s e d c o n s i d e r i n gt w o 硒p e c t s ，i n t 汁f 帅e 蛐di n t e r - 如m ep r e d i c t i o i l w h e nn 锄s c o d i n go n ef b r i n a t0 f v i d e os e q u e n c et oh 2 6 4f b r i n a t f o ri n 廿a - f r 锄ep r e d i c 廿o n ，t a ：k - m gt h ea d v a n t a g eo f d i r e c tc o e 衢c i e n 忸c o n v e r s i o ni i l 廿l e 证锄s f o n nd o m a i n ，i d c ta n dh ta r es a v e d 1 、v oc o m p u t 砒i o n a l l yd i r e mb u th i g t l l yc o r r l a t e d c o s tf u n c 吐o n sa r ee m p l o y e d 私ac r i t e r i o nt oc h 0 0 s et h eo p t i m a li n n 哥厅蚴em o d e s f o ri n t e r - e a m ep r e d i c t i o l l t h em u l t i p l em o d e sa n dm u h i 一丘咖er e f e r e n c ef e a t u r e so f h 2 6 4 a r ew e l lc 衄s i d e r e dt oe 街c i e m l yd e c i d et h eb l o c ks i z et ou s e t h ep r o p o s e da d a p t i v em o t i o n e s 廿m a t i o ns e a f c h 啪g e ，e a d y - s t o pa n dt o p - d o w ns p l i 仕i n gm e t l l o d sc o n l 矗b 咖t ol l i g l - s p e e d n 舶s c o d i n gw i 也n e 9 1 i 百b l ep s n rd m p a n d1 n l eb i 订a t ei n c r e 站e t h ep r o p o s e da l g o t l l m sc 柚b e 印p l i e dt o 舰1 1 s c o d i n gs e v e 咖v i d e of 0 衄a t st oh - 2 6 4 - n e s y s t e mi m p l e m e n t e da tt l l ee n do f t h i sp 印e rc a l l 仃锄s c o d ev i d e oe n c o d e d b yh 2 6 3 ，m p e g - 2 ， m p e g 4s i m p l ep r o m et 0h ，2 6 4 ：k e y w o r d s ：h 2 6 4 ，t r a n s c o d i n 昏m o d cd e c i s i o n ，i n 仃a _ p r e d i c t i o n ，i n t e r - p 佗d i c t i o n 图目录 幽1 1 不同设备的多媒体访问1 圈2 1 视频转码器结构4 图2 也h 2 6 4 宏块分害0 模式8 爨2 ，3 | 2 6 x ( i t u 矗) 与m 嚣g ( i s 蝴e c ) 标猴瓣测定关系1 0 隧2 罐各缡羁标准匏p s h 澈随融褥奉变纯静跑较 l 图2 5 转码技术分类，1 2 图2 坩级联式像素域转码结构1 3 图2 。7 开环和闭环转码结构1 3 图2 8d c t 域内子采样1 4 翻2 9 像素域跳帧转换1 5 黉2 + l o 空鞫下采撵孛运凌矢爨麓确定1 6 黉2 。 1 躐陵情况下运裁矢豢合成1 7 图2 1 2f d v s 示意图1 8 图2 * 1 3 多帧参考示意图2 0 图3 ，14 4 块帧内预测的9 种模式。2 3 图3 21 6 1 6 块帧内预测的4 种模式2 3 翻3 。3 梭内颈测结搀鞋：较2 4 嚣3 。4 像素域豹d e t 到 狂耱换2 彳 圈3 。5 变换域的d c t 到 t 转换2 8 图3 。6 帧内模式及预测示黛阔2 9 图3 。7 像素域内r d 代价计弊3 0 图3 。8 变换域内r d 代价计算3 0 图3 9k 僮和模式预测准确发的关系图3 2 鹫4 + l | 。2 s 3 至 。2 辑转换戆对应模式3 7 鼙4 * 2 搜索范围与p s 淑关系篷线。3 9 囤4 。3 运动估计处理过程3 9 图4 4 多帧参考情况下1 6 1 6 块模式的分布4 0 图4 5 魁个算法流程图4 1 图4 6 三个搜索范围方法的比较4 l 嚣4 。7f o r o m a n 视频序列p s 淑靛毙较4 3 霆4 媾m 豳l l e 褪凝痔捌憨獬t 豹毙较，4 4 翻4 国c o 雒蟾u a 斑携额序捌摊n r 的比较4 4 圈4 一l on e w s 视频序列p s n r 的比较4 5 图4 1l 不同参考帧范围下4 种方法p s n r 性能比较4 5 图5 。l 转码系统结构图4 7 图s ，2 系统模块组成4 8 圈5 心转玛爨功髓秀嚣匿4 9 强5 4n e w s 、南m 、融o b 滟转羁蘸嚣效暴魄较5 。 v 转码技术中 2 6 4 模式决饿快速算法的研究与实现 1 1 研究背景 第1 章绪论 数字裁频菝寒在避去凡年中获得了广泛应用，援颧广播，税额光盘数羁掇像杌，远箍 教学，在线点播和视频会议等就魁些典型例予。这些应用得以实现的关键就是数字视频压 缩标准的制定，它使视频获褥了擞离压缩比的丽时又满慰丁人 f 】对视频质量的鼗求。且藏， 为了适应不溯的应拜j 场含，国际称准讫组织镱定了多种视频编码标准。如m p e g 1 和 m p e g 2 的制定使基于c d _ r o m 的数字视频和数字电视成为可能。而为了满足视频会议、 霹援宅话等诋毙特率簧辕鲍爨要，又密现了 | 2 6 l 、 差。2 6 3 、 o 嚣g 堪等编羁标壤。手撬、 鬻上电脑、移动p c 、车内浏览嚣等移动设备的普及使得通过这些设备来访问i n t e f n e t 上丰 寓的多媒体漆源成为一种迫切需求( 如图1 1 瓣示) 。然磁不同的客户端设备在信息接收、 箍理帮存储等方面有着缀夫差异，在处理视额信息时，对它们都采用间种数嚣格式是不切 实际的。所以疆求视频流根据应用场合和客户端能力的不同而被转化成不同格式( 如不同编 褥拯睦、传羧速率窝传羲凌量) ，嚣终竣绘攘藏终蟋。这静器蒗捷箨撬频转玛技零疲运嚣生。 将视频数据由一种编码格式转换成另一种编码格式就叫做视频转码。执行视频转码操作的设 蠢叫做视频转码器【1 9 】。现在，视频转码技术融成为多媒体传输技术的核心技术之。国妇 外学者对遂一领域静研究也在不断深入。 圈l ，l 不同设备的多媒体访问 转码技术中h 2 6 4 模式决策快速算法驰研究与实现 盎蠲予不麓领域魏壤鹃标准，森港法、垂壤效率、赣爨璐搴、主要编薅技零上存在着差 异，健它们鼹鬻相戗的压缩算法，如：帧闯运动补偿( m o t i o nc o r p s 硝o n ，m c ) 、离散余 弦变换( d i s c r e t ec o s i n et h n s f o 玎n ，d c t ) 、量化( q u a r n iz a _ d o n ，o ) ，或在局部屡筒上，互 成特例。这撼相似性为支持不同系统、实现网络间资源拭攀的转换编码创造了条件。 目前，在m p e g 系列标准已褥熬| 广泛应用静同对，耩代静视频编码标准 。2 6 4 已经 餐访竞藏。谈搽壤靛绽璐框繁与瑰鸯瓣黼哦一l 、醚惩g v 2 键额标准一致，都是鏊予块憨混 合编码。但砖它采用了更先进的技术，如：不同大小和形状的宏块分割、多参考图像的运动 预测、帧内预测、去块效应滤波器蒋，在追求更高的编码效率和简洁表达形式的嗣时，也提 供了良好的视频质量，是当前最高效但也更加复杂的视频聪缩方法。 在不久豹将来，h 。2 6 4 编码标准将其毒越来越广泛的疲髑，蒡摄取戗m p e g 2 簿毁藏躲 编璃标准，残舞来来瓣主流标准。跌蒸纯形式魏编码标撞舞这一标准静转换蠢成为一个新静 研究热点。 1 2 研究意义与目的 鼹菝编戮广泛应翅予l n 耙m e t 我频终输、鼗字毫褪、撬羰会谈等场合。不霹黢碰箨瓣撬 频编解码器、数据存放格式、两络传输设备等都有不同的要求，针对特定领域制订的编码标 准也不尽相同，为了使得异质网络、不同的接入设备以及不问多媒体数据格式之间能够无缝 连接，对视频转码技术的研究就晟得尤为重要。 以m 耀g 和h 2 6 x 等标准为主的多媒体技本发展迅速，弗褥爨广泛瘟用。在襁频终输 系统窝存继系统串，撬频转换编码技拳羯手霹已编羁豹撬频数掘进 亍簿羁率、晦空淹分辨率、 降时间分辨率等处理，是适配码流传输带宽，对视频码流谶行格式转换以及适应举闻多媒体 终端应用需求的关键技术。h 2 6 4 的出现为网络多媒体传输节省了许多带宽。对划h 2 6 4 标 准转码的研究也成为了转码研究领域的热点研究问题。 跟以裁的编码标准穗魄，h 2 6 4g | 入了镘多蓊靛特点，翻多耱较大枣静运动 楼，l 越 像素静运魂矢鬣( m 。蛀o n 砖e 幻f ，荆) 精纯，多犊参考静运动朴偿，加权预铡，犊蠹帮蠢 方向性的空间预测等特点。这些特点使得h 2 6 4 取得更高的编码效率，但同时这又以更高的 计算复杂度为代价。例如，帧内预测中的i n t r a 1 6 1 6 年口i n n 认4 4 模式述分别对应 着4 种和9 币申方l 匈性预测选择，所以在到h 2 6 4 的编码转换中，对宏块模式的选择往往耍耗 费大鬟的时闽。懿聚赣够发现宏块务释分赛l 模式之阕懿关系，找到模式决策中豹娥张，进蔼 翔莰模式决策这一嚣节，将对转璃漪遮发有镶大疆离，褒蜜辩转羁中懿意义更是举霹售量。 2 转瓣投术中珏2 酣模式决簿疑选嚣法魏鞒究与实现 1 3 文章结构 本文对 l 2 6 4 标准的诸多特点进行了深入分析。并将h 2 6 4 标准与之前的标准进行比较， 分析黪辫。在总结了编码转换技术之后，列举并分辑了些典型的模式决娥方法斡优点与不 是，避嚣提出了关于寝肉嚣赣阕摸式凌策熬囊冀涟。文章缝织结捣懿下： 第一章，绪论，介绍了淬= 文的研究背景，研究内容及其目的与意义。通过对当前多媒体 及移动设备发展趋势的分析，说明了视频转码技术的必要性和重要性。 第二章，首先概述了视频编解码各种标准以及h 2 6 4 的特点，并将h 2 6 4 标准与以前的 标准避纷陡较。总续了当嚣筏鞭转褥技术以及关键翊题。分褥7 犊内和蛲翔模式获燕戆典型 彝法，并拽出了其中豹不是。 第三章，针对帧内预测横溅选择的特点，总结出谯变换域内比在像素域内解决这一问题 更加迅速。对比了h 2 6 4 的h t 变换与以前的d c t 巍换的异同之后，提出了帧内预测模式 决豢鲍新算法，弥补了其它算法的不足之处，并绘出了实验结果。 第嚣章，对 。2 秘的多犊参考祷点拓臻程雳，撼懑了使翅鑫逶应运劫 蠹计搜索蔼垂静方 法，并缩合提前退出、由上鬣下宏块分割等方法有效加快了帧间模式决镱。 第而章，将所提出的帧内年口帧间快速模式决策方法相结合，实现了一个快速转码系统， 并对系统性能进行了分析。 攀穴章，巷结了本文掰擞瓣王终及其对南珏。2 酗缡礴转羁躯按零囊黻，势对将来鳃研究 进行袋耀。 墩后是参考文献和致谢。 3 转码技术中h 2 6 4 模式决策快速算法的研究与实现 第2 章视频转码技术 编码转换往往着眼于两方面，即如何提高转码速度与尽可能提高转码后的图像质量。而 这个两个方面经常不可兼得，所以对转码技术的研究也表现在如何均衡速度和质量两方面。 由于视频分量信号压缩编码极其耗时，特别是其中的运动估计( m o t i o ne s m 砥o n ，m e ) ， 往往要占用编码运算量的6 0 7 0 ，所以在对已编码的码流转换过程中，应充分利用输入 码流中的运动矢量和宏块信息。为取得最优运动矢量，通常先从输入码流获取基本运动矢量， 再在其指向点周围的新搜索宙内进行估计，在小范围内通过优化得到最优运动矢量。 最简单的转码器就是级联转码器( 如图2 1 所示) ，它由两部分组成，即先由解码器对 输入视频流解码，再由一个编码器按照要求对解码后的视频进行编码压缩。其他更先进的转 码器就功能上来说，也具有这样类似的结构。 源视频流v s ： 目标视频流v t ： 比特率b r l 书亟h 丑 比特率b r 2 帧率f r l帧率f 口 空间分辨率s r l 空间分辨率s 陀 压缩算法a l l ： 压缩算法a l 2 图2 1 视频转码器结构 为了研究和设计转码器，必须要对转码器两端的编码标准( 可能是相同或不同标准) 都 有深入了解下面先介绍一下各种视频编码标准。 2 1 视频编解码技术及标准 数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可视电话 及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。视频压缩国际标准 主要有由国际电信联盟标准化部门( 1 t u - t ) 制定的h 2 6 l ，h 2 6 2 ， l 2 6 3 ，h 2 6 4 和由i s 伽e c 的活动i 訇像专家组( m p e g ) 制定的m p e g - l ，m p e g - 2 ，m p e g 4 。h 2 6 x 系列标准主要用 于实时视频通信，比如视频会议、可视电话等；瑚p e g 系列标准主要用于视频存储、视频广 播和视频流媒体( 如基于h l t e m e t 、d s l 的视频。无线视频等等) 。随着市场的需求，在尽可 能低的存储条件下获得好的图像质量和低带宽图像快速传输已成为视频压缩的两大难题。为 此i t u t 和l s o ，i e c 两大国际标准化组织联手制定了新一代视频压缩标准h 2 6 4 m p e g 4 a v c 。 4 2 1 1 视频压缩基本原理 各种视频乐缩标准在编码时都利用了图像中的两种特性：空间相关性和时间相关性。一 帧图像内的任何一个场景都是由若干像素点构成的，因此一个像素通常与它周围的某些像素 在亮度和色度上存在一定的关系，这种关系叫作空间相关性。一个节目中的一个情节常常由 若干帧连续的图像序列构成，一个图像序列中前后帧图像间也存在一定的关系，这种关系叫 作时间相关性。这两种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信息 去除，只保留少量非相关信息进行传输，就可以人大节省传输频带。而接收机利用这些非相 关信息，按照一定的解码算法，可以在保证一定图像质量的前提下恢复原始图像。一个好的 编码压缩方案就是要能够最大限度地去除图像中的冗余信息。 2 1 2m p e g m p e g 活动图像专家组于1 9 8 8 年成立，是为数字视膺频制定压缩标准的专家组，目前 己拥有3 0 0 多名成员，包括i b m 、s u n 、b b c 、n e c 、i n t e l 、a t & t 等世界知名公司。 m p e g 组织最初得到的授权是制定用于“活动图像”编码的各种标准，随后扩充为“及其伴随 的音频”及其组合编码。后来针对不同的应用需求，解除了“用于数字存储媒体”的限制，成 为现在制定“活动图像和音频编码”标准的组织。m p e g 组织制定的各个标准都有不同的目标 和应用，目前已提出m p b g 1 、m p e g 2 、m p e g 4 、m p e g - 7 和 艇 e g 2 1 标准。 1 ) m p e g 1 标准 最初的瑚p e g 标准，即砌p e g - l ，于1 9 9 3 年8 月公布，用于传输1 5 m b p s 数据传输率 的数字存储媒体运动图像及其伴音的编码。m p e g 1 是用于v c d 的，而它的音频压缩格式 就是大家熟悉的m p 3 格式，m p e g - 1 采用基于块的运动补偿、d c t 、和量化结构，其最优 压缩码率是1 2 m b p s 。 2 ) m p b g 2 标准 m p e g 组织于1 9 9 4 年推出m p e g - 2 压缩标准，以实现视音频服务与应用互操作的可能 性。m p e g - 2 标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的 详细规定，编码码率为3 m b s 1 0 0 m b s 。m p e g - 2 特别适用于广播级的数字电视编码和传 送，被定为s d t v 和h d t v 的编码标准。m p e g - 2 是第一个引进档次概念和级别概念的标 准，它增强了互用性而不降低灵活性。 3 ) m p e g 4 标准 m p e g 组织于1 9 9 9 年2 月正式公布了m p e g 一4 ( i s 伽e c l 4 4 9 6 ) 标准第一版本。同年 年底m p e g _ 4 第二版亦告完成，且于2 0 0 0 年年初正式成为国际标准。m p e g 4 与p e g 1 转码技术中王 2 6 4 模式决策快速算i 击的研究与实现 穗潞e g _ 2 毒穰大豹不霹。辨隧不其是具律压臻葬法，宅楚铮黠数字电稷、交互式绘鹜 瘴用( 彩齑合成内容) 、交互式多媒体( w w w 、资料撤取鸟分散) 等整合及压缩技术的需 求而制定的国际标准。m p e g 4 标准将众多的多媒体应用黎成于一个完整的框架内，旨在为 多媒体通储殿应用环境提供标准的算法及工具，从而建立超一种能被多媒体传输、存储、检 索等应用领域普遍采用豹统一数据格式。 凇e g * 4 标准舞鞋藏稼准戆最纛薯瓣差爨在予它是莱臻鏊予瓣象懿编码璎念，朝在编疆 时将一幅景物分成若干在时间和空间上相互联系的视频谱频对象，分别编码屠，稃经过复用 传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方 便我们对不嘲的对象采用不同的编码方法和表示方法。又有利于不同数据类型间的融合，并 且这样也可以方便的实现对于各种对象的操作及编辑。 2 。1 3 酲。2 6 x 国际电信联盟的标准化部门i t u - t 主要制定的是与通储相关的码率视频压缩标准，如 h 2 6 x 系列。j 驻几年来，新出现和即将出现的视频业务，使低鹕率视频通信得到广泛的应用。 会谈电褪、霹褪窀话发篾撮抉，公建逄话圈靼无线溺终主瓣传输速率仍然攫寄戳，嚣篮误羁 率蔫。h 2 6 3 等标准能很好的解决这类应用问题。对予不间躲避用通过选项静形戏选择不同 的配最，方便灵活，能够兼容标准的以前版本。 1 ) h 2 6 1 标准 h 2 6 l 熄l j u t 为在综合业务数字嬲( i s d n ) 上开展双肉声像业务( 可视鼠落、视频 会议) 露镯宠瓣，速率藩拍k 瓿鲮熬数僖。 差。2 6 是对e 掰轻q c i f 蘧嵇鋈像穰姣避行整理， 每颤图像分成豳像层、宏块组蜃、密块层、块层来处理。 2 6 l 是最早酶运动圈像压缩标准， 它详细制定r 视频编码的各个部分，包括帧间预测、d c t 变换、量化、熵编码。以及与固 定速率的倍邋相适配的速率控制等部分。 2 )h 2 6 3 视频编码标准 拜2 6 3 燕嫒晕瘸于氨璃攀程壤编秘鹁玎u o 蠡难，辕麓交现懿第二舨( 嚣。2 鹳+ ) 及 h 2 6 3 + + 增加了许多选项，使其具谢曼广泛的适用性。h 2 6 3 是在h 2 6 l 基础上发腰起来的， 其标准输入阁像格式可以是s q c t f 、q c i f 、c i f 、4 c i f 躐者1 6 c i f 的彩色4 ：2 ：0 般取样图 像。h 2 6 3 与h 2 6 l 相比采用了半像索的运动补偿，并增加了4 种有效的压缩编码模式。无 限制的运动矢攫模式允许h 2 6 3 鹊运动矢量指商强缘以外驰区域。基于句法的冀卷编码模式 蓬震算零鳊鹦往替霍夫曼编码，霹农接礤逡纛重建图像震麓籀藏夔壤嚣下降懿秘牵。它豹颈 测模式允许一个宏块中4 个s 8 巍度块各对应一个运动矢鬣，从而提高了预测精度：两个 色度块的运动矢量则取这4 个亮廉块运动矢量的平均值。补偿时，使用重盛的块避动补偿， 6 转码技术中h 2 6 4 模式决策快速算法的研究与实现 8 8 亮度块的每个像素的补偿值由3 个预测值加权平均得到。使用该模式可以产生显著的 编码增益，特别是采用重叠的块运动补偿，会减少块效应，提高主观质量。 2 1 4h 2 6 4 m p e g 4a v c h 2 6 4 m p e g - 4 a v c 1 】( 下文简称为h 2 6 4 ) 是自m p e g 一2 视频压缩标准发布以后的最 新、最有前途的视频压缩标准。h 2 6 4 是由i t u t 和i s o ，i e c 的联合开发组共同开发的最新 国际视频编码标准。在i s o ，m c 中该标准命名为a v c ( a d v a n c e dv j d e o c o d i n g ) ，作为m p e g 4 标准的第1 0 部分，在i t u t 中正式命名为h 2 6 4 标准。 相对于早期的视频压缩标准，h 2 6 4 在编码框架上还是沿用以往的m c d c t 结构，即 运动补偿加变换编码的混合结构，因此它保留了一些先前标准的特点。h 2 6 4 还引入了很多 先进的技术，包括4 4 整数变换、空域内的帧内预测、1 4 像素精度的运动估计、多参考帧 与多种尺寸块的帧间预测技术等。新技术带来了较高的压缩比，在相同的重建图像质量下， h 2 6 4 比h 2 6 3 + 和m p e g - 4 简单档次( s i m p l ep r o f i l e ) 减小5 0 码率，但同时算法复杂度也 有所增加。下面具体介绍一下| l 2 6 4 的技术特点。 夺4 4 整数变换 h 2 6 4 将整幅图像分成4 x 4 像素大小的块进行编码。与以往编码标准中d c t 变换不同 的是h 2 6 4 使用一种整数变换，其基本编码特性与4 4 的二维d c t 变换相似，将二维整数 变换分解为一维整数，变换先进行行整数变换再进行列整数变换。在变换过程中系数均为整 数保证了编解码端的数据可以精确匹配，整数变换是和量化紧密结合在一起的，在整数变换 过程中所有的系数都会扩大相应的倍数，结合量化可以减少复杂度和提高量化精度。 冷 基于空域的帧内预测技术 视频编码是通过去除图像的空间与时间相关性来达到压缩的目的。空间相关性通过有效 的变换来去除，如d c t 变换、h 2 6 4 的整数变换；时间相关性则通过帧间预测来去除。这 里所说的变换去除空间相关性，仅仅局限在所变换的块内，如8 8 或者4 4 块，并没有块 与块之间的处理。 l 2 6 3 + 与m p e g - 4 引入了帧内预测技术，在变换域中根据相邻块对当前 块的某些系数做预测。h 2 “则是在空域中，利用当前块的相邻像素直接对每个系数做预测， 更有效地去除相邻块之闾的相关性，极火地提高了帧内编码的效率。h 2 6 4 基本部分的帧内 预测包括9 种4 4 亮度块的预测( i n u4 4 ) 、4 种1 6 1 6 亮度块的预测( i n 认1 6 1 6 ) 和4 种色度块( i n w 认8 8 ) 的预测。i n n u4 4 模式由于块尺寸较小，比较适 合于编码细节丰富的图像，且能获得较小的差值，但同时若采用较多i n t r a4 4 的模式， 则会增加帧内编码复杂度。i n t r a _ 1 6 1 6 比较适用于编码图像中的平滑区域。 夺运动估计 转码技术中h 2 “模式决策快速算法的研究与实现 h 2 6 4 的运动估计具有3 个新的特点：1 ，4 像素精度的运动估计；7 种大小不同的块进行 帧间预测；前向与后向多帧参考。h 2 6 4 的帧间预测中，一个宏块( 1 6 1 6 ) 可以被分为1 6 8 、8 1 6 、8 8 的块，而8 8 的块( 子宏块) ，又可以分为8 4 、4 8 、4 4 的块( 如 图2 2 所示) 。总体而言，共有7 种火小不同的块做运动估计，以找出编码效率最高的预测 模式。与以往标准的p 帧、b 帧不同，h 2 6 4 采用了前向与后向多个参考帧的预测。半像素 精度的运动估计比整像素运动估计有效地提高了压缩比，而l ，4 像素精度的运动估计可带来 更好的压缩效果。 编码器中运用多种大小不同的块进行运动估计，可节省1 5 以上的比特率( 相对于只 1 6 1 6 的块) 。运用l 4 像素精度的运动估计，可以节省2 0 的码率( 相对于整像素预测) 。 多参考帧预测方面，假设用5 个参考帧预测，相对于一个参考帧，可降低5 1 0 的码率。 以上百分比都是统计数据，不同视频因其细节特征与运动情况而有所差异。 夺 帧编码和场编码自适应方式选择 对于运动量较小的图像序列，帧编码邻行之间空间相关性大，故采用帧编码模式；对于 运动量大的，场编码邻行间的时间相关性大。故采用场编码模式。有时同一帧中有一部分内 容运动量大，有一部分内容运动量小则可在帧编码中进一步分成图像自适应帧场( p a f f ) 和宏块自适应帧场( m b a f f ) 等模式。 1 6 8 1 688 田- 田目口 1 6 1 68 1 6 宏块分割：1 6 1 6 844 8 8 1 6 88 8 8 1 6 ，1 6 8 ，8 8 田田口 4 88 44 4 子宏块分割：8 8 ，4 8 ，8 4 ，4 4 图2 - 2 h 2 6 4 宏块分割模式 夺熵编码自适应技术 在h 2 6 4 中采用了两种自适应的熵编码：上下文自适应变长编码( c o n t e x i - a d 8 p n v e v 撕a b l e - 1 e n g c i lc o d i n g ，c a 、，l c ) 和上下文自适应二进制算术编码( c o n t e x i - a d 叩n v e b m a r y 撕m m a t i cc o d i n g ，c a b a c ) ，它们都利用待编码视频信息邻近己编码像素的统计特性，因而 码率压缩比( 编码效率) 进一步提高，而后者编码效率更高，但计算更加复杂些。 转码投本中 王2 雒模式决燕快逮算法滟研究与实现 审 去块效应滤波器 h 2 6 4 标准引入了去块效庶滤波器，对块的边界谶行滤波，滤波强度与块的编码模式、 运动失鬣及块的系数有关。去块效应滤波器在提高压缩效率的同时，改善了图像的主观效果。 夺h + 2 6 4 中率失真优化技术 不糊予竣往戆编璃标准，在壬 。2 6 4 标准中采羯了窭失真往诧按术( r 粕d 汝o r 垃龃 o p t i m i z a t b n ，r d o ) 。h 2 6 4 的运动估计与模式选择算法有低复杂度模式和商复杂度模式之 分 1 l 】，在参考软件实现中由r 工) o 选项来设定：当r d o 设置为o f r 时，为低复杂模式，设 置为o n 时，则为高复杂模式。低复杂度模式虽然能加快h 2 “的编码速度，但其编码效率 远不如离复杂度模式，而h 。2 6 4 的强大忧势恰恰在予篡离篷缩的编码效率方藤。态复杂度模 式f 黪率失龚往往算法使矮r p 鼗债来选择最佳编璐摸式，萁表这示热下： ，( m ， 抑z m ) = 蹦d ( s ，c ( m ) ) + 丑 柑7 跏灭( m p ) ( 2 1 ) 式中m = ( m ，m y ) 7 为当前考虑的运动矢量，p = ( n ，p ，) 7 为预测运动矢量，量玎口 是拉掇期霾( 己a 蓼鞠g e ) 乘数雕予，它和待编码宏块掰在条赘编码类型( 搬p 条带或b 条带 等) 及鬃讫参数q p 有关；鲻洳一p ) 表示滗特率蓓慰，其值是通过查表获褥的；s a d ( s u m o f a b s o l u t cd i 腩r c n c e ) 表示帮失真度信息，其计算公斌如( 2 2 ) 所示。 黝d 魄。( ) ) ：量量l 。扛，y 卜。 一，y 一】 ( 2 - 2 ) # = l 冀中s 表示原始视频信鸶，# 表示已编筠静视频僚母，8 f 和玛表示当裁模式的垂直和承 平尺寸，其值可以为1 6 、8 或4 ，式中的绝对值是通过查找绝对值表来获得的。 2 1 s1 1 2 6 4 与其它编码标准的比较 至今公布的m p e g 与h 。2 6 x 等各葶 视颏编鹨糠潍，大多遵循同一璇诗模黧，包括蔫端 的运动储计和补偿、变换域编码和熵编码等。这个模烈又常常被称为d p c m ，d c t 视频编解 码混合模型。h 2 6 4 标准同样遵循上一模型，然而它尚垃上前的标准又有很多不同点。 从时间上来看，各种视频标准之间的发展关系如圈2 - 3 所示【2 0 】。实际上m p e g 编码技 术是麸量 2 6 x 援颓编鹨技拳笈鼹蠢霭寒靛。凇e g - 4 与瓣2 配蘸整髂特犍大致攘当，a 程g 4 的第l o 部分与h 。2 6 4 完全稿潮。 9 转码技术中h2 “模式决策快速算法的研究与实现 1 9 8 81 9 9 0 1 9 9 21 9 9 4 1 9 9 6 1 9 9 82 0 0 0 2 0 0 22 0 0 4 图2 3h 2 6 x ( i t u - t ) 与m p e g ( i s o ，i e c ) 标准的制定关系 从编码格式和配置上来看，各标准之间既有相同之处，又有很多不同。表2 1 列出了众 多视频编码标准与h 2 6 4 标准技术实现上的比较。【9 】 表2 1 各标准技术参数的比较 h 2 6 3 + f e a t u r e sm p e g _ 2m p e g 4h 2 6 4 h 2 6 3 + + 支持h 2 6 3简单档次，主要档 简单档次，简单变尺 档次 度，核心，主要， 基本档次，主要档次， a i l n e x e s 次4 ：2 ：2 ，高档次等扩展档欢 n 比特，f g s 等 摹本方法基于块基于块基于块基于块 处理单元宏块宏块宏块宏块 帧类型l p ，b ，p bl ，e bi ，e bl p b ，s p s i 熵编码 v l c s a cv l cv l cc a v l c o r c a b a c 运动估计精确度l ，2 像素l ，2 像素l ，4 像素1 ，4 像素 运动矢量可指向图片外仅指向图片内可指向图片外可指向图片外 变换域块转换 8 8 d c t8 8 d c t8 8 d c t4 4h l t c 窖e r d c t 多参考帧支持a n n 既u不支持不支持支持 8 8 ，1 6 1 6 ， 1 6 1 6 ，1 6 8 ，8 x 1 6 ， 运动估计块尺寸8 8 。1 6 1 61 6 1 6 1 6 8 ，8 x 1 68 8 ，8 4 ，4 8 ，4 4 帧内预测不支持不支持不支持支持 扫描格式逐行逐行隔行运行隔行逐行隔行 预测模式帧帧，场帧，场帧，场 从s q c i f 到演播室 s q c i f ，q c i f ， 从s q c i f 到 玎) t v 分辨率( 4 k 4 k 像 从s q c i f 到皿t v 分辨率 c i f 4 c 皿1 6 c i f 素) a i l i l “j 8 8 去块滤波器无8 8 块边界4 4 块边界 块边界 1 0 转码技术中 重2 6 4 模式决策抉速算法的研究与实现 款编码2 陵筑上 较， 2 礤 l 冀豫的编码毒羞嗳曼戆饶势。圈2 4 是各耱编稻耩准往能 的沈较【2 0 。可以看出，在图像编码效率上，h 2 6 4 算法鼹为领先，m p e g 4 和h 2 6 3 算法 基本相同，m p e g 2 算法效率最低。在相同的图像清晰度骤求下，h 2 6 4 所需要的带宽比 m p e g - 2 节省将近半。同样，不论是商带宽还是低带宽，h 2 6 4 的清晰度( p 孙撒值) 都 远远大于其魏编码标准。 圈2 _ 4 各编码标维的p 辩幔随比特率变化的比较 2 。2 视频转鹑分类及冀算法 从压缩犏码标准的角度划分，转粥可分为同类码流转换( h o m o g e n e o u st r 8 l l s c o d i n g ) 和 异类码流转换( h e t e r o g e n e o i l st r a i l 8 c o d i n g ) 。同类码流的转换( 如m p e g ，2 到啪p b g 2 ，h 2 6 3 到h ，2 6 3 等) 瓤予是同一标准内部的转换，一般不用考虑谱法的问题，只按照输嬲骚求迸彳亍 参数上静胡液燮羧；舅类码流熬转换( 强锻- 2 到凇e g _ 4 ，黼p e g 一2 蘩 毛+ 筠4 麴转换等) ， 可以为不同黼络技术问提供透明连羧，逡类转换由于涉及到不同的编码标准，不仪鬻考虑语 法和结构问题，同时也要考虑两种标准间是否存在兼容性问题，如涉及m p e g 4 的异类码 流转换编码限于简单类、矩形视觉对象( v i d c o o b j e c t ，v o ) 情况，在这种情况下m p e g 4 与传统m p e g * l 、m p e g - 2 、h 0 6 3 栋准兼容。如果涉及h 2 6 4 ，虽然该标准也是蘩予块的琨 台编码，鼙袋溺了更先进、受复杂熬鼓零，赝夔蔑霉毪闲麟魄蔫要考懑。异粪褪颡转鹳器静 设计是在充分分析不同标准之闻异阍的基础上，采用类儆予嘲类码流转码的结幸勾和算法来设 计研究视频转码基本结构的。图2 。5 蜊树状结构表示出了不同转码技术之间的美蔬。 转码技术中h 2 6 4 模式决策快速算法的研究与实现 图2 - 5 转码技术分类 获实现方法受度翻势，露颟转璐胃分秀码率转换、努辨率转换( 空阕势瓣窭转羧帮露闻 分辨率转换) 、单层多层转换、v b r 与c b r 转换等。其中对码率转换、空间分辨率幂l 时闻 分辨率转换的研究占主导地位，下面将分别对这三类转码技术进行分析。 2 2 。l 码率变化编码转换 码率变换靠改变量纯系数来降低橇频玛流鲍码率，可黻遥过多种结构静转鹅器来实现。 其中影响最火的就是转码器的体系结构，下面分别介绍几种常用的码率变化转码器的体系结 构。 审 级联式像素域转码结构( c a s c 积c d 班) ( e 1 一d o m a i n 骶a n s c o d i n g ，c p d ” 鹞率囊捩转筠孛，聂基本浆羊幸维鞠藏是像素蠛痰瓣缀联式转羁结构，毙游输入夔压 缩视频流完全解码，再按照输出的臻求直接压缩或输如格式的视频流( 如图l