（计算机软件与理论专业论文）面向移动流媒体的动态多码率转码技术研究.pdf

浙江大学硕士学位论文 摘要 摘要 近年来，随着移动通信技术的不断发展，网络接入速度的飞速提升，移动终 端的越趋智能化，以及数字压缩技术的日益优化，移动终端已从简单的通信、联 络工具，发展为一个多媒体智能平台。与此同时，传统的彩信、图铃下载等增值 业务已无法满足用户的需求。移动流媒体的出现将改变这种状况，它能为用户提 供包括移动视频点播、移动视频聊天、移动视频监控等服务。移动流媒体是移动 通信和流媒体传输的结合，它通过移动网络在移动终端上采用流媒体技术进行数 据传输然而，移动终端的多样性，无线网络的波动性以及移动终端的处理能力 有限这些因素制约了移动流媒体的发展，需要研究相应的技术来解决这些问题。 码率变换的转码可以根据终端的处理能力以及网络带宽的条件，提供最合适 的视频流，因此是解决上述问题的关键技术要变换码率，最直接的方法是采用 级联式码率变换转码器，它将解码后的视频流按目标码率进行重新编码，从而能 得到最佳的图像质量，但是完整的解码和编码过程具有极高的计算复杂度：另一 种方法是采用歼环式码率变换转码器，它通过解码到d c t 域来重新量化系数， 该方法形式简单、运算量小，但因丢失高频信息，解码图像质量损伤在图组内累 加，从而加重了漂移现象。因此码率变换算法的研究目的在于从计算复杂度和图 像质量的权衡中找到一个最佳的平衡点。另於，考虑到移动终端的多样性，需要 为不同的终端生成不同码率的码流，而现有的转码器需要预先为每个目标码流进 行一次转码，工作量大且灵活性差。因此，我们有必要为移动流媒体平台设计一 个全新的转码器。 针对移动流媒体的特点，提出了全新的码率变换技术：动态多码率转码技术。 其核心思想是采用基于m v 信息的闭环式f g s 转码器生成一个可以单独解码的 基本层码流和一个可以在任何位置截断的增强层码流，从而提供灵活的目标码 率。采用该技术的最大收益是服务端只需进行一次转码即可满足多种目标码率的 需求。同时，针对无线网络波动大的特点，给出了网络自适应的动态转码决策的 算法，通过r t c p 包的反馈信息对网络状况进行诊断，从而对码率进行动态地调 整此外，还对f g s 转码器的解码端进行了优化，大幅提高了解码性能。实验 结果表明，该动态多码率转码技术转码速度快，转码后的图像质量高，并可根据 网络状况灵活提供多种码率，完全符合移动流媒体转码的需求 最后，采用上述的动态多码率转码技术，实现了一个完整的移动流媒体平台。 关键词；移动流媒体，动态多码率，转码 浙江大学硕士学位论文 a b s t r a c t w i t ht h cd c v e l o p m e n to fm o b i l ec o 删c a t i t c c h i l o l o 秭m es p e e d u po fm o b i i e n 咖。出c o m l 鲥o n ，t l l ei n t e l l i g t i z a t i o fm o b i l cd 嘶c 鹤，舭dt l l ei m p r o v 锄c n to f d i 菩t a l m 畔i t e c h n o l o g y ，描o b i l ed e v 主c 器h a v cb e c nn o to 出yl l l es i m p i et o o l s f o r 唧谢咖o n ，b u ta l i n t e l l i g e n tp l a t 内嘶sf b rm u l t i m e d hm e a n w h i l c ，u s e f s h a v eb 嘲d i 路a t i s f i e d 、i t l ls i l l l p l ev a l u ea d d e ds e n ，i c 倦，m c h 私m m s ，d o w n l o a d i n g o f p i c h 腓柚dr i i l ge t c t h e 锄e 玛e n c co f m o b i l es 删n gm e d i a 伊e a t i yc h 锄窘姻t l l e s i t 删白ri tp f o “d 嚣s c i 溺i l l d u d i n gv o d ，v i 蛔哪嘶c a t i o na n dv i d e o s u r v e i l l a r 睇o v 盯w i r c l 鹤sc h 删e i s m o b i l e 蛐伽n i n gm e d i ai st l l ec o m b 讯a c i o f m o b i l ec o m m l l l l i c a t i o n 姐d 蛐r e 锄i i l gm e d i a 仃a 邶m i s s i o n n 仃a n 锄i t sd a l am r o u g h m o b i l en n w o f l 【璐i n gs 灯咖i n gm e d i at e c h n o i o g yo v 胃m o b i l ed e v i c 鹤h o w c v e f t h e d i v e r s i t yo ft e 咖i n a lu s e 侣， t l i ev o l a t i l ew i r d 鹤sn e t w d 出a n dt l l el i m i t e d 洲p i l _ t a t i a lp o w 盯眦) b i l ed e v i c 留a l l l i l i l i tt h ed e v c l o p m c n to f m o b i l e 妣a l i l i n g m c d 试s ow en e c dt of 鹤e 疵hs o m e e c h n o l o 舀髓t o i v ct h 鹤ep r o b l e m s b i t - 翰t cr e d u c t i o n 廿j m s c o d i n gc a i lp r 0 “d ec o n 屯s p o n d i n gb i h a t ev i d s t r e 锄s a c c o r d i n gt ot 量l ec o m p u t a t i o n a lp a w 盯o f t h em d b i l et a m i n a l s 锄dt h eb 狮d w i d t ho f 玳舸d ( s 0i ti s t l l ek e yt e c t l r i o l o g yt os o l v c 也e s ep r o b l 啪s t h em o s t s 删g l l t 旬n m r dw a yt o 1 1 i e v et t i i s i st ou c 硒c a d c dp i x e l m o m a i nh 铆鹪c o d i n g 越曲曲峨哪，w 圭l i c hm ：c i 埘妫t h ev i d e ob i ts t i e 锄姐d 如l l yf e 锄c o d e sm e c o i i s m l c t c d s i 印a la tt l l en e wr a t c t h eb e s tp c f f 0 咖如c ec 趾b e 枷e v e db yt l l i s 婶p r o a c h h o w “i ti sq u i t ec o s t l y h lo p e n i o o p 仃锄s c o d i n ga f c b j t e c t l l 】r e ，t l l eq u 枷z e d c o e 伍c i 锄t sa r ei l e r q 1 删z o d 越l dm 锄s i l l i p l yr 锶u 枷z c dt o 枷s 黟m en e w o u t p u tb “r a t e s i 凹i f i c a n t m p l e x i t yi ss a v c d h o w c 、，e r 抓ni sg m 盯a t o db yt 1 峙 l o 鹞o f h i g h 蠹戗弘瑚c yd a t a s om e f e s e a r c ho f b i t f a t er 司u c 蛀o nt r a 璐击n g 主st o 位l d ag o o db a l 锄c ei nm e 打a d f fb e 附o o o m p l “时a n dq 】i l y m y 国e d i v e r s i t yo f m o b i l e 枷n a l sr e q u 妇誊鼬e m t h l g 、，i d e 0 蛐嘲m 塔诵t l ld i 丘h e mb i t _ 糟t e 1 1 圮既i s t i n g 位m s c o d e 舟n c e dt o 协m s c o d eo n c cf b r 龃c h 协r g ms t a i i l i n g 嘶t l ik 斌v y w o r l ( 1 0 a da n dp o o rn e x i b i l i 咄t h e r e f o 屿w en e e dt od e s i 鲫an e wt r 矾s c o d e rf o r m o b i l es 垃如j r l gm e d i 乱 ho r d 盯t dm 耐t l l en c c d so fm o b i l es 呦n i n gm e d i a w ep r e s 肌tan o v e lb i “钏c e 崩h c t i t e c h n o l o g y ：d y i l 锄i cm u l 6 一r a t c 胁n s o o d 协gt e c h l o 醪i 乜c d i d e ai s 璐i i l gm vi i l f o 】抓b 勰e dd o s o d - l o o pf g st r a 璐c o ( 1 e rt og e 豫t eab a s el a y 盱 u 浙江大学硕士学位论文 s t r 洲n gw 1 1 i c h 伽b ed o d e ds i n g l ya n d 船e i l l l 柚c 锄i l a y 盯w i i i c h 啪b e m m c 羽脚a t 锄yd e s i f a b l en 啪b c fo fb i 伍t os t l p p o r tc o n t i n i l sb i t r a t es c a i a b i i i i 够 t t i m u 曲t l l i sw a 弘出m s c o d i n go t l l yn e 。凼o n 。e 幻g t m e r a t e 删。獬t a l 苫e tb i 卜r a t e s t r 蜘啪m 啪w i i i l e i no f d c r t ow o r kp m p e l l yi i lv o l a t i l e 晰r c l e 鹳n e t 、帕r k ，an e m o r k a d a p t i v ed y l l 锄i c 仃a n 0 d i n ga l g o 削c l i ni sp r o p o s e d r t c p 龟。d b a c kp a c k e ti s a i i a l y z e dt od i a 攀1 0 s el l l en e t o r l 【，锄dt l l eo u l p u tb i t - m t ei sd y n a m i c a l l ya d j u s t e d h a d d i t i o i l ，m ed e c o d i n gp a no fm cf g s 妇l s c o d c ri so p t i i i i i z e d 蛳dt l l ed e c o d i n g p l 盱f o 咖a n c ei ss d b s t a l l t i a l l yi l l c r e 鹳e d e x l 豳e n t a lf e s u l t ss h o wt h a tt h ed y n a i i l i c m u l t i r a t et 啪s c o d i n gt 耐l l o g y 如l l ys a t i s 母t t i en d so f m o b i l e 蝴i n gm e d i a f o f i t s 拓g h 船舶s c o d i n gs p e e d g o o d 仃a n s c o d i n gq u a l i t ya n dn e t w o f l ( a d a p t i v eb i 善_ l 嫩e d y n 孤i c a l l ya d j l l s 恤圮n t f i r i a i l y ，a d o p t i n gm ed y i i 锄i cm u l t i r a t e1 协s c o d i n gt e c h o l o 鼢ac o m p l e t e n l o b i l e 蛐潞趾i l i n gm c d i as y s t 锄i sp f 璐饥t e d k e y w o r d o ：m o b i l es 仃e 锄i n gm 础a ，d y n 锄i cm u l t i - r a t e ，t r 锄s c o d i n g l i i 浙江大学硕士学位论文 图目录 图1 1 不同设备的多媒体访闯 图2 _ l 视频转码器结构 图2 - 2 h 2 “宏块分割模式 图目录 图2 - 3 转码器功能分类一1 l 图2 - 4 级联型码率变换转码器 图2 - 5 开环式码率转换器 图2 - 6 简化的像素域转换编码器 图2 - 7 d c t 域转换编码器 图2 8 d c t 域内子采样 图2 9 像素域跳帧转换 1 2 1 2 图2 - 1 0 空间下采样中运动矢爱的确定 围2 - l l 跳帧情况下运动矢量合成 图2 - 1 2f d v s 示意图 图3 _ l 面向移动流媒体的动态多码率转码器架构 图3 _ 2 基于m v 信息的闭环式f g s 转码。 图3 3 转码器中f g s 编码部分 图孓4f g s 解码器 1 4 1 5 1 6 1 7 图3 5f g s 的体系结构 2 1 2 3 2 4 2 4 图3 - 6 三种转码结构生成图像质量比较。2 6 图孓7m o b 旺序列中三种转码结构的各帧图像质量比较 幽4 1r t p 在整个系统中的位置图 图4 - 2r t p 会话示意图 图4 - 3 会话中的同步 图4 - 4 “反馈一决策”的q o s 解决方案的示意图 图4 - 5 网络自适应动态转码的结构图 图“人数统计误差的产生 图孓if g s 转码的解码过程 2 9 3 0 3 1 图5 - 2 优化前解码过程中的时问分布信息 罔孓3 一次载入四个字节 图5 - 4 1 6 位索引u w 模式对比y u v 模式 3 3 3 7 3 8 图5 - 5 无乘数整数d c t & i d c t 流程图 4 0 图孓6 针对a k i y o 对比优化前和 r m 丌d m i 上的优化后解码器对于每个模块的解码时间4 3 浙江大学硕十学位论文 圈目录 图5 _ 7 f o r e m n 比特率1 0 0 k ，3 0 f p s ，q p = 2 8 1 l 原始图像和快速c s t 及整数i d c t 解码结 果比较f b ) 不同比特率下的p s n r 值 图章l 移动流媒体系统架构 图6 - 2 主服务器流程图 图6 - 3 内容服务嚣漉程图 图6 - 4 r t p 协议模块设计图 图6 - 5 客户端结构图 图6 _ 6 内容服务器类图 图串7 主服务器类图 图r t p 协议成员状态转换图 图6 _ 9 客户端类图 圈6 1 0 主服务器 “ 4 6 4 7 4 8 4 9 5 1 图6 - 1 1 内容服务器 5 3 5 4 5 4 图夸1 2 左上图：设置主服务器地址右上圈：选择视频列表。下图：视频播放5 _ 5 v n l 浙江大学硕士学位论文 袭且录 表目录 表孓l 四个测试视频在f g s 转码后的p s n r 表孓1 r m 丌d m f 和 r m 9 2 0 t 上不同格式序列的解码结果 2 7 4 3 浙江大学硕士学位论文第1 章绪论 1 1 研究背景 第1 章绪论 近几年来，随着2 5 g 移动通信g p r s 和c d m a 1 x ( p d s n ) 成功商用，使移 动网络数据传输速率成倍增长，中国移动与中国联通适时推出了电视直播、在线 直播v o d 等移动流媒体业务。目前，国内3 g 正式商用的日子正日益临近，而 根据国外3 g 的发展经验，移动流媒体将成为3 g 网络上的核心增值业务。 流媒体就是在i p 网上采用流式传输，它不需要下载整个文件就可以在向播 放器传输的过程中一边下载一边播放，实现了在网上点播或观看电影、电视【1 5 1 。 现在，以“流”的形式进行数字媒体的传送，使人们在一定的带宽环境下就可以 在线欣赏到连续不断的高品质音频和视频节目。 随着移动网络数据传输速率成倍增长，再加上固网移动流媒体技术的不断成 熟，为移动网络歼展视频业务创造了条件：首先流媒体技术在客户端所提供的缓 存中存储，有效地降低了对传输带宽、时延和抖动的要求，使得在无线环境下实 现实时媒体播放业务成为可能。其次，移动终端体积小低能耗的要求，决定了终 端有限的存储空间而无需在终端中保存整个媒体文件，避免了过大的终端存储空 间。再加上流媒体技术不在客户端保存整个媒体文件，有利于媒体文件的版权保 护。在我国3 g 移动通信网尚处于试验阶段当前的移动流媒体业务承载在g p r s 和c d m a 1 x 的中速数据通道上，因为g p r s 和c d m a 1 x 已解决了承载层的 移动性问题，故剩下来需要解决的问题是如何在带宽窄干扰大、传输不稳定的无 线环境中，在体积小、低耗电的终端上来完成流媒体的传送与回放。由此，移动 流媒体技术相对子固网流媒体技术而言还需要解决以下问题： ( 1 ) 移动终端系统平台的多样性 与p c 平台相比，移动终端的系统平台多样化更加明显，常见的系统平台有 s y l b i 姐、w i n d o w sm 0 b i l c 、l i l 嗽、p a l l l lo s 以及一些私有平台不同的客户端 设备在信息接收、处理和存储等方面有着很大差异，在处理视频信息时，对它们 都采用周一种码率是不切实际的。所以要求视频流能够根据应用场合和客户端能 力的不同而被转化成不同码率，再传输给相应终端。所以为了适应不同平台的移 动终端对流媒体的访问，视频转码技术的研究将对移动流媒体的发展起到关键作 用。 ( 2 ) 实时适应网络带宽的变化 在移动通信系统中，环境对网络传输速率的影响很大，要在移动网络上开展 流媒体业务，必须使流媒体系统能实时适应网络传输带宽的变化。与传统有线传 浙江大学碗上学位论文第l 章绪论 输相比，无线网络状况更不稳定，除去网络流量所造成的传输速率的波动外，移 动设备的移动速度和所在位置也会严重地影响到传输速率1 4 5 l 【8 】9 】。因此，需要 转码器能够根据当前的网络状况，实时地改变当i ； 的码率。其次，无线信道的环 境也要比有线信道恶劣的多，数据的误码率也要高许多，而高压缩的码流对传输 错误非常敏感，还会造成错误向后面的图像扩散，因此转化后的码流在信源和信 道编码上需要很好的容错技裂i o j 【14 】【l 棚。 ( 3 ) 移动终端处理能力低，动态内存小 虽然目前国内市场上基于a 砌诅9 或是与此同等能力的芯片的高端手机已经 越来越多，但是与p c 平台相比较，移动终端的处理能力较低，动态内存较小。 如何针对移动设备设计转码后码流的解码端，从而实现终端的优化，将成为能否 保障媒体数据在终端实时并且流畅的回放的重要因素。 综合考虑上述的各种问题，对于动态多码率转码技术的研究将有效地解决移 动流媒体面临的平台多样性和实时适应网络带宽变化的问题，从而有助于我们设 计并实现一个高效的面向移动设备的流媒体平台。 1 2 研究意义与目的 数字视频技术在过去十几年中获得了广泛应用，例如在视频广播、数码摄像 机、在线点播和视频会议等方面的应用就很典型。这些应用得以实现的关键就是 数字视频压缩标准的制定，它使视频获得了极高压缩比的同时又满足了人们对视 频质量的要求。目前，为了适应不同的应用场合，国际杯准化组织制定了多种视 频编码标准。如m p e g 1 和m p e g 2 的制定使基于c 胁r o m 的数字视频和数字 电视成为可能。而为了满足视频会议、可视电话等低比特率传输的需要，又出现 了h 2 6 l 、h 2 6 3 、m p e g - 4 等编码标准。手机、掌上电脑、移动p c 、车内浏览 器等移动设备的普及使得通过这些设备来访问h l t 曲1 e t 上丰富的多媒体资源成为 一种迫切需求( 如图1 1 所示) 。然而不同的客户端设备在信息接收、处理和存 储等方面有着很大差异，在处理视频信息时，对它们都采用同一种编码格式是不 切实际的。所以要求视频流根据应用场合和客户端能力的不同而被转化成不同格 式( 如不同编码标准、传输速率和传输质量) ，再传输给相应终端。这种需求使 得视频转码技术应运而生删。将视频数据由一种编码格式转换成另种编码格式 就叫做视频转码。执行视频转码操作的设备叫做视频转码器【3 1 1 。现在，视频转 码技术已成为多媒体传输技术的核心技术之一。国内外学者对这一领域的研究也 在不断深入i z 4 j 。 2 浙江大学硕士学位论文 第l 章绪论 图1 1 不同设备的多媒体访问 针对移动流媒体的特点，我们要为不同的移动终端生成不同码率的码流，传 统的转码技术需要预先为每个目标码流进行一次转码。如果网络带宽发生变化， 传统的转码技术也无法灵活应对。因此，研究动念多码率的转码技术不但能更好 的解决平台多样性的问题而且能根据当静网络状况，及时并灵活地做出改变码率 的决策。 1 3 内容安排 首先对移动流媒体的特点和面临的问题进行了分析，并提出了解决这些的问 题的关键技术：动态多码率转码技术。介绍了常见的视频编解码标准后，回顾了 转码技术现状以及转码过程中的关键性问题，迸而提出了适合移动流媒体的动态 多码率转码技术的新算法。结合在实时环境中应用的r 1 1 p ，r t c p 协议的“反馈” 机制，给出了动态改变码率的转码决策过程。最后，针对转码后码流在移动终端 的优化，从解码器的优化入手，提出了能大幅改善终端解码性能的优化策略。文 章组织结构如下： 第一章，绪论，介绍了移动流媒体的发展前景及研究意义。通过分析移动流 媒体面临的问题，说明了研究动态多码率转码技术的必要性和重要性。 第二章，首先概述了视频编解码各种标准，总结了当前视频转码技术以及关 键问题，分析了典型转码技术的优点与不足。 第三章，针对移动流媒体的特点，提出了一个适合移动流媒体平台的动态多 码率转码技术新算法 浙江大学硕士学位论文 第l 章绪论 第四章，结合在实时环境中应用的i m ，r 1 1 c p 协议的“反馈”机制，给出 了动态改变码率的转码决策过程。 第五章，针对转码后码流在移动终端的优化，从f g s 解码器的优化入手， 提出了能大幅改善终端解码性能的优化策略 第六章，采用我们的动态多码率转码技术，实现了一个移动流媒体平台，并 对系统性能进行了分析。 第七章，总结了本文所傲的工作以及对移动流媒体的完善所作的贡献，并对 将来的研究进行展望。 最后是参考文献和致谢。 4 浙江大学硕士学位论文第2 章视频转码技术研究 第2 章视频转码技术研究 首先，我们有必要对现有的转码技术进行分析和总结。视频转码主要解决两 个问题，即如何提高转码速度以及使转码后的图像质量损失尽可能小。而这个两 个方面往往不可兼得，所以对转码技术的研究也表现在如何均衡速度和质量两方 面。由于视频分量信号压缩编码极其耗时，特别是其中的运动估计( m 嘶o n e s t i m a l i o n ，m e ) ，往往要占用编码运算量的6 0 7 0 ，所以在对已编码的码 流转换过程中，应充分利用输入码流中的运动矢量和宏块信息。为取得最优运动 矢量，通常先从输入码流获取基本运动矢量，再在其指向点周围的新搜索窗内进 行估计，在小范围内通过优化得到最优运动矢量。 最简单的转码器就是级联转码器( 如图2 1 所示) ，它分两个部分：先由解 码器对输入视频流解码，再由一个编码器按照要求对解码后的视频进行编码压 缩。其他更先进的转码器就功能上来说，也具有这样类似的结构 源视频流v s ： 比特率b r 2 v t ： 比特率b r l 书叵哪 帧率f 眨帧率f n 空删分辨率s r l 空问分辨率s 陀 压缩算法a l l压缩算法a l 2 图2 - 1 视频转码器结构 为了研究和设计转码器，必须要对转码器两端的编码标准( 可能是不同标准) 都有深入了解，下面先介绍一下各种视频编码标准。 2 1 视频编解码技术及标准 数字视频技术广泛应用于广播电视、计算机、通信等领域，带来了数字电视、 可视电话及会议电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。 视频压缩国际标准主要有由国际电信联盟标准化部门( 删t ) 制定的h 2 6 l ， h 2 6 2 ，h 2 6 3 ，h 2 6 4 和由活动图像专家组( m p e g ) 制定的m p e g - l ，m p e g 2 ， m p e g - 4 。h 2 6 x 系列标准主要用于实时视频通信，比如视频会议、可视电话等； m p e g 系列标准主要用于视频存储( d v d ) ，视频广播和视频流媒体( 如基于 i n t 锄c t ，d s l 的视频，无线视频等等) 。随着市场的需求不断提升，在尽可能低 的存储条件下获得好的图像质量和低带宽图像快速传输已成为视频压缩的两大 难题。为此i s o i e c 和删t 两大国际标准化组织联手制定了新一代视频压缩 标准h 2 6 l 瓜伊e g 4 a v c 。 浙江大学硬士学位论文 第2 章视频转码技术研究 2 1 1 视频压缩基本原理 一帧图像内的任何一个场景都是由若干像素点构成的，因此一个像素通常与 它周围的某些像素在亮度和色度上存在一定的关系，这种关系叫做空间相关性。 一个节目中的一个情节常常由若干帧连续的图像序列构成，一个图像序列中前后 帧图像日j 也存在一定的关系，这种关系q 做时间相关性。各种视频压缩标准在编 码时都利用了图像中的这两种特性。由于这两种相关性使得图像中存在大量的冗 余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息进行传输，就 可以大大节省传输频带。而接收端利用这些非相关信息，按照一定的解码算法， 可以在保证一定的图像质量的前提下恢复原始图像。一个好的压缩编码方案就是 能够最大限度地去除图像中的冗余信息。 2 1 2m p e g m p e g 活动图像专家组于1 9 8 8 年成立，是为数字视音频制定压缩标准的专 家组，目前已拥有3 0 0 多名成员，包括i b m 、s u n 、b b c 、n e c 、i n t e l 、a t & & t 等世界知名公司。m p e g 组织最初得到的授权是制定用于“活动图像”编码的各种 标准，随后扩充为“及其伴随的音频”及其组合编码。后来针对不同的应用需求， 解除了“用于数字存储媒体”的限制，成为现在制定“活动图像和音频编码”标准的 组织。m p e g 组织制定的各个标准都有不同的目标和应用，目前已提出m p e g 1 、 m p e g - 2 、m p e g 4 、m p e g 7 和m p e g 2 1 标准。 ( 1 ) m 腿g l 标准 最初的m p e g 标准，即m p e g - 1 ，于1 9 9 3 年8 月公布，用于传输1 5 m b p s 数掘传输率的数字存储媒体运动图像及其伴音的编码。m p e g 1 是用于v c d 的， 而它的音频压缩格式就是大家熟悉的m p 3 格式，m p e g 1 采用基于分块的运动 补偿、d c t 和量化机构，其最优压缩码率是1 2 m b p s 。 ( 2 ) m p e g 2 标准 m p e g 组织于1 9 9 4 年推出m p e g 2 压缩标准，以实现视音频服务与应用互 操作的可能性。m p e g 2 标准是针对标准数字电视和高清晰度电视在各种应用下 的压缩方案和系统层的详细规定，编码码率为3 m b s l o o m b ，s 。m p e g 2 特别 适用于广播级的数字电视的编码和传送，被认定为s d t v 和h d l 的编码标准。 m p e g - 2 是第一个引进档次概念和级别概念的标准，增强了互用性而不降低灵活 性。 ( 3 ) m p e g - 4 标准 运动图像专家组m p e g 于1 9 9 9 年2 月正式公布了m p e g - 4 ( i s o i e c l 4 4 9 6 ) 6 浙江大学硕士学位论文第2 章视频转玛技术研究 标准第一版本。同年年底m p e g 4 第二版亦告完成，且于2 0 0 0 年年初正式成为 国际标准。m p e g 4 与m p e g 1 和m p e g - 2 有很大的不同。m p e g 4 不只是具体 压缩算法，它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒 体( w w w 、资料撷取与分散) 等整合及压缩技术的需求而制定的国际标准。 m p e g 4 标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信 及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检 索等应用领域普遍采用的统一数据格式。 m p e g 4 标准同以前标准的最显著的差别在于它是采用基于对象的编码理 念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象， 分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组 合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和 表示方法，又有利于不同数据类型间的融合，并且这样也可以方便的实现对于各 种对象的操作及编辑。 m p e g “在多媒体传输，多媒体存储等领域具有广泛应用：1 ) 低比特率下 的多媒体通信，如视频电话、视频电子邮件、移动多媒体通信，电子新闻等。2 ) 互联网上的视频流与可视游戏。3 ) 数字电视、交互多媒体应用。4 ) 实时多媒体 监控。5 ) 基于内容存储和检索的多媒体系统。 2 1 3h 2 6 x 国际电信联盟的标准化部门r r u - t 主要制定的是与通信相关的码率视频压 缩标准，如h 2 6 x 系列。近几年来，新出现和即将出现的视频业务，使低码率视 频通信得到广泛的应用。会议电视、可视电话发展很快，公用电话网和无线网络 上的传输速率仍然很有限，而且误码率高。h 2 6 3 等标准能很好的解决这类应用 对于不同的应用通过选项的形式选择不同的配置，方便灵活，能够兼容标准的以 前版本。 ( 1 ) h 2 6 l 标准 h 2 6 l 是r r u t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电话、 视频会议) 而制定的，速率为6 4 k b ，s 的整数倍。h 2 6 1 只对c 球和q c i f 两种图像 格式进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部 分，包括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固定速率的 信道相适配的速率控制等部分。 ( 2 ) h 2 6 3 视频编码标准 h 2 6 3 是最早用于低码率视频编码的r r u - t 标准，随后出现的第二版( h 2 6 3 + ) 7 浙江大学硬士学位论文 第2 章视频转码技术研究 及h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性。h 2 6 3 是在h 2 6 l 基础 上发展起来的，其标准输入图像格式可以是s q c i f 、q c i f 、c i f 、4 c 礤或者1 6 c i f 的彩色4 ：2 ：o 亚取样图像。h 2 6 3 与h 2 6 l 相比采用了半像素的运动补偿，并增 加了4 种有效的压缩编码模式。无限制的运动矢量模式允许h 2 6 3 的运动矢量指 向图像以外的区域。基于句法的算术编码模式使用算术编码代替霍夫曼编码，可 在信噪比和重建图像质量相同的情况下降低码率。先进的预测模式允许一个宏块 中4 个8 x 8 亮度块各对应一个运动矢量，从而提高了预测精度；两个色度块的运 动矢量则取这4 个亮度块运动矢量的平均值。补偿时，使用重叠的块运动补偿， 8 8 亮度块的每个像素的补偿值由3 个预测值加权平均得到。使用该模式可以产 生显著的编码增益。特别是采用重叠的块运动补偿，会减少块效应，提高主观质 量 2 1 4h 2 6 4 ，m p e g - 4a y c h 2 6 钔p e g 4 a v c 【17 】【1 9 2 7 l ( 下文简称为h 2 6 4 ) 是1 9 9 5 年自m p e g 2 视频 压缩标准发布以后的最新、最有前途的视频压缩标准。h 2 6 4 是由i t u - t 和 i s o i e c 的联合开发组共同开发的最新国际视频编码标准。在l s 0 l e c 中该标准 命名为a v c ( a d v 锄c e d d e o c o d i n 曲，作为m p e g 4 标准的第l o 个选项；在u - t 中正式命名为h 2 6 4 标准。 相对于先期的视频压缩标准，h 2 6 4 在编码框架上还是沿用以往的m c d c t 结构，即运动补偿加变换编码的混合结构，因此它保留了一些先前标准的特点。 h 2 6 4 还引入了很多先进的技术，包括4 4 整数变换、空域内的帧内预测、1 ，4 缘素精度的运动估计、多参考帧与多种大小块的帧问预测技术等。新技术带来了 较高的压缩比，在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和m p e g - 4 ( s p ) 减小 5 0 码率，但同时大大增加了算法的复杂度。下面具体介绍一下h 2 6 4 的技术亮 剧i 】【2 1 1 3 1 2 】【。 夺4 4 整数变换 h 2 “将整幅图像分成4 4 像素大小的块进行映射编码。与以往的编码标准 中d c t 变换不同的是h 2 6 4 使用一种整数变换，其基本编码特性与4 4 的二维 d c t 变换相似，将二维整数变换分解为一维整数，变换先进行行整数变换再进 行列整数变换。在变换过程中系数均为整数保证了编解码端的数据可以精确匹 配。 空域内的帧内预测技术 我们通过去除图像的空间与时间相关性来达到视频压缩的目的。空间相关性 通过有效的变换来去除，如d c t 变换、h 2 6 4 的整数变换；时间相关性则通过 s 浙江大学硕士学位论文第2 章税频转码技术研究 帧间预测来去除。这里所说的变换去除空间相关性，仅仅局限在所变换的块内， 如8 8 或者4 4 ，并没有块与块之阃的处理。h 2 6 3 + 与m p e g 4 引入了帧内预测 技术，在变换域中根据相邻块对当前块的某些系数做预测。h 2 6 4 则是在空域中， 利用当前块的相邻像素直接对每个系数做预测，更有效地去除相邻块之间的相关 性，极大地提高了帧内编码的效率【2 9 l 。 运动估计 h 2 “的运动估计具有3 个新的特点：1 4 像素精度的运动估计；7 种大小不 同的块进行帧间匹配；前向与后向多参考帧。h 2 6 4 的帧白j 编码中，一个宏块 ( 1 6 1 6 ) 可以被分为1 6 8 、8 1 6 、8 8 的块，而8 8 的块被称为子宏块，又可以 分为8 4 、4 8 、4 4 的块( 如图2 - 2 所示) 总体而言，共有7 种大小不同的块 做运动估计，以找出最匹配的类型。与以往标准的p 帧、b 帧不同，h 2 6 4 采用 了前向与后向多个参考帧的预测。半像素精度的运动估计比整像素运动估计有效 地提高了压缩比，而l 4 像素精度的运动估计可带来更好的压缩效果。 帧编码和场编码自适应方式选择 对于运动量较小的图像序列，则帧编码时邻行之问空问相关性大，故采用帧 编码；对于运动量大的，则场编码邻行间的时间相关性大，故采用场编码。有时 同一帧中有一部分内容运动量大，有一部分内容运动量小，则可在帧编码中迸一 步分成图像自适应帧场( p a f f ) 和宏块自适应帧场( m b a f f ) 等模式。 1 6 8 1 688 口田目田 1 6 1 6 8 8 1 61 6 88 8 宏块分割：1 6 1 6 ，8 x 1 6 ，1 6 8 ，8 8 44 口田目园 8 x 84 x 8 8 x 4 4 x 4 子宏块分割：8 8 ，4 8 ，8 4 4 4 图2 - 2 h 2 6 4 宏块分割模式 熵编码自适应技术 在h 2 “中采用了两种自适应的熵编码：上下文自适应变长编码( c a m ) 和上下文自适应二进制算术编码( c a b a c ) ，它们都利用待编码视频信息邻近已 编码像素的统计特性，因而码率压缩比( 编码效率) 进一步提高，而后者编码效 9 浙江大学硕士学位论文 第2 章视频转码技术研究 率更高，但计算更复杂些。 去块效应滤波器 h 2 6 4 标准引入了去块效应滤波器，对块的边界进行滤波，滤波强度与块的 编码模式、运动矢量及块的系数有关。去块效应滤波器在提高压缩效率的同时， 改善了图像的主观效果。 夺h 2 6 4 中率失真优化算法 不同于以往的编码标准，在h 2 6 4 标准中采用了率失真优化算法( r d o ，r a t e d i s t o r t i o no p t i m i z a t i o n ) 。h 2 6 4 的运动估计与模式选择算法有低复杂度模式和高 复杂度模式之分唧，在参考实现中由r d o ( 率失真优化) 选项束设定：当r d o 设 置为o f r 时，为低复杂模式，设置为时，则为高复杂模式。低复杂度模式虽 然能加快h 2 6 4 的编码速度，但其编码效率远不如高复杂度模式，而h 2 6 4 的强 大优势恰恰在于其高压缩的编码效率方面。高复杂度模式下的率失真优化算法使 用r d 代价来选择最佳编码模式，其表示如下： ，( m ，a 铒州州) = s 佃( j ，c ( ，玎) ) + k r ( m p ) ( 2 1 ) 式中册= ( m ，所，) 为运动矢量，p = ( p ，p ，) 为预测的运动矢量，以吣删是拉 格朗日( l a g r a n g c ) 运动模式乘数因子，它和待编码块所在条带编码类型( 如p 条带 或b 条带等) 及量化参数q p 有关；r 伽一p ) 为表示运动矢量差值( 候选运动矢 量减去预测运动矢量) 所需的二进制位数，其值是通过查表获取的；绝对误差和 ( s 啪o f a b s o l u t cd i 侬狲c e ，s a d ) 定义如公式( 2 2 ) 所示，其中的绝对差值是通 过查找绝对值表实现的。 删d ( s ，c ( 聊) ) = 兰兰k k ，y 卜c k m ，) ，一m ，1 甜为j 西8 蔚砂 ( 2 2 ) j 。lv l 式中j 表示源视频信号，c 表示解码视频信号。 2 2 视频转码分类及其算法 从压缩编码标准的角度划分，转码可分为同类码流( h o m o 鲫舢 n 锄s c o d i n g ) 和异类码流转换( h e i e r o 窖咖啪仃a n s 0 0 d i i l g ) 。同类码流的转换，如 m p e g - 4 到m p e g _ 4 ，h 2 6 4 到h 2 6 4 ，由于是同类转换，一般不用考虑语法的 问题，只进行参数上的相应变换；异类码流间的转换，可以为不同网络技术问提 供透明连接，如m p e g 2 到m p e g _ 4 ，m p e g - 2 到h 2 6 4 的转换等【1 8 】【2 0 】。这类转 换由于涉及到不同的编码标准，不仅要考虑语法和结构问题，同时也要考虑两种 标准闻是否存在兼容性问题，如涉及m p e g _ 4 的异类码流转换编码限于简单类、 1 0 浙江大学硕七学位论文 第2 章视频转码技术研究 矩形视觉对象( v i d o b i c c t ) 情况，在这种情况下m p e g - 4 与传统m p e g - l 、 m p e g 2 、h 2 6 3 标准兼容。如果涉及h 2 6 4 ，虽然该标准也是基于块的混合编码， 但采用了更先进、更复杂的技术，所以兼容性问题也需要考虑。异类视频转码器 的设计是在充分分析不同标准间异同的基础上，采用类似于同类码流问视频转码 的结构和算法来设计研究视频转码的基本结构的。图2 3 用树状结构表示出了不 同转码技术之间的关系。 场编码 或 帧编码 转码器功能分类 仅格式转换 同类转换 增强 筹错控制 比特率转换 ( 分辨率不 变时) 空问分辨率 转换 时间分辨率 转换 单层 或 恒定比特率 或 动态比特率 图2 - 3 转码器功能分类 从实现方法角度划分，视频转码可分为码率转换、分辨率转换( 空间分辨率 转换和时间分辨率转换) 、单层多层转换