（通信与信息系统专业论文）3g无线环境下基于avsm的打包策略研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 随着3 g 网络的启动，移动多媒体业务的蓬勃发展，国内急需自主知识 产权的视频压缩技术以提升我国的核心竞争力，支持产业的可持续发展。为 适应上述需要，中国数字音视频编解码技术标准工作组制定了具有自主知识 产权的新一代移动视频压缩标准a v s m ，旨在为迅速发展的无线网络与手机 等移动设备提供视频编解码规范和标准，应用范围包括交互存储媒体、宽带 视频业务、多媒体邮件、分组网络的多媒体业务、远程视频监控、视频会议、 可视电话等。 本文深入研究了a v s m 视频压缩标准及其关键技术，了解到a v s m 在许 多方面相对于h 2 6 4 来说还并不完善，于是在比较了h 2 6 4 与a v s m 的异同 的基础上，将h 2 6 4 原有的固定片大小分片技术应用到a v s 上，并通过实验 比较，分析了a v s m 在3 g 信道环境下分别应当采用怎样的打包策略会得到 较好的解码效果。文章的主要内容包括：1 实现了a v s ，m 的r t p 封装。不同 的视频编码标准有不同的结构和概念，目前尚无a v s mo v e rr t p 的标准文 档，因此本文实现了一种适合a v s m 视频r t p 封装方案。2 将固定片大小分 片应用到a v s m 中。a v s 中只提供了固定宏块分片方式，但是在3 g 环境下， 固定片大小分片方式却有更好的适应性，本文在a v s m 中加入了这种分片方 式，并在3 g 环境下分别对固定宏块方式和固定片大小方式进行了实验，得出 不同分片方式下相对较好的打包策略。3 i n t e m e t 环境下的差错模式不适用于 在3 g 信道下丢包的模式，本文将基于有损率失真的帧内更新算法结合无线信 道的特征在a v s m 中做实验，验证了在3 g 有损信道下采用帧内更新技术对 提高p s n r 的作用。 关键词：a v s m ；r t p 封装；固定宏块分片；固定码率分片；帧内更新 西南交通大学硕士研究生学位论文第1 i 页 a b s t r a c t w i t ht h e0 街c i a la p p l i c a t i o no f3 gn e t w o r ka n dt h em o b i l em u l t i m e d i a b u s i n e s s f l o u r i s h i n g l yd e v e l o p e d ，i n d e p e n d e n t i n t e l l e c t u a l p r o p e r t yr i g h t s r e g a r d i n gv i d e oc o m p r e s s i o nt e c h n i q u ea r eg r e a t l yn e e d e df o re l e v a t i n gt h ec o r e c o m p e t i t i v e n e s so fo u rc o u n t r y , h o l d i n go u tt h es u s t a i n a b l ed e v e l o p m e n to ft h e r e l a t e di n d u s t r i e s i no r d e rt oa c h i e v et h ea b o v eg o a l s ，c h i n ad i g i t a la u d i o v i d e o c o d i n gt e c h n i q u es t a n d a r dt e a me s t a b l i s h e dan e wg e n e r a t i o no fm o b i l ev i d e o c o m p r e s s i o nt e c h n i q u es t a n d a r dc a l l e da v s m w h i c hi st op r o v i d ev i d e oc o d i n g s t a n d a r da n ds p e c i f i c a t i o nt ot h er a p i d l yd e v e l o p e dw i r e l e s sn e t w o r ka n dm o b i l e f a c i l i t i e ss u c ha sm o b i l ep h o n e t h es c o p eg o e s + f r o mm u t u a lm e m o r ym e d i a , b r o a d b a n dv i d e os e r v i c e m u l t i m e d i ae - m a i l m u l t i m e d i as e r v i c eo fg r o u p i n g n e t w o r k , d i s t a n tv i d e om o n i t o r i n g ，v i d e oc o n f e r e n c et ov i d e op h o n ea n de t c t h i sa r t i c l eg o e sd e e p l yi n t ot h es t u d yo fa v s mv i d e oc o m p r e s s i o ns t a n d a r d a n dt h er e l a t i n gk e yt e c h n i q u e s p o i n t i n go u tt h ef a c tt h a tn o wa v s mi sn o ta s c o m p r e h e n s i v ea sh 2 6 4 t h i sa r t i c l ei sb a s e do nc o m p a r i s o n sm a d eb e t w e e n h 。2 6 4a n d 斟s m 、f i x e ds l i c es i z es l i c i n gt e c h n i q u e st h a th 。2 6 4h a sa r ep i c k e du p a n da p p l i e di n t oa v s w h i c ha r ep r o c e e d e db ye x p e r i m e n t st h a tw h a tk i n do f p a c k i n gm e t h o ds h o u l db ea d o p t e db va v s mu n d e r3 gc h a n n e l s t h em a i n c o n t e n to ft i l i sa r t i c l ei n c l u d e s ：1 t h er t pe n c a p s u l a t i o no fa v s m t h e s t r u c t u r e sa n dc o n e e p t sv a r yal o ta m o n gd i f f c r e n tv i d e oc o d i n gs t a n d a r d s n o w t h e r ei sn os t a n d a r df i l eo fa v s mo v e ri 汀p an e wm e t h o dt or e a l i z et h ep r o p e r a v s mv i d e or t pe n c a p s u l a t i o ni si n t r o d u c e dh e r e i n 2 f i x e ds l i c es i z es l i c i n g w i l lb ed i s t r i b u t e dt ot h ea p p l i c a t i o no fa v s m a v so n l yp r o v i d e st h em e t h o do f f i x e db l o c k ss l i c i n g h o w e v e ri n3 ge n v i r o n m e n t p a c k i n go ff i x e ds l i c es i z eg i v e s b e t t e rf l e x i b i l i t y n l i ss l i c i n gm e t h o di sa d d e di n t oa v s mh e r e i ni n3 gc h a n n e l s e x p e r i m e n t sw e r et a k e nt ol o o kf o r t h em e t h o do ff i x e db l o c k sa n df x e ds l i c es i z e e o n c l u d i n g t h eb e t t e r p a c k i n g m e t h o d su n d e rd i f f e r e n ts l i c ed i s t r i b u t i o n e n v i r o n m e n t s 3 t h ee r r o rp a t t e r nu n d e ri n t e r n e te n v i r o n m e n ta r en o ts u i t a b l ef o r t h ep a t t e mw h i c hw e n tt h r o u g ht h e3 gp a c k e tl o s sc h a n n e l w ec o n s i d e r dt h ei n t r a r e f r e s h m e n ta l g o r i t h mb a s e do nr a t e 。d i s t o r t i o no p t i m i z a t i o nw i t hl o s s e sa n dt h e f i t u r e so f3 gc h a n n e l t h e nm a d ee x p e r i m e n t si na v s mt op r o v et h a tt h i s a l g o r i t h mc a ni m p r o v et h ep s n r k e yw o r d ：a v s - m ；r t pe n c a p s u l a t i o n ；f i x e db l o c k ss l i c i n g ；f i x e ds l i c es i z e s l i c i n g ；i n t r ar e f r e s h m e n t 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文复印件和电子版，允 许论文被查阅和借阅。本人授权西南交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书 2 不保密莎适用本授权书 ( 请在以上3 - 框内打“寸) 学文论文作者签名：侈畴 日期： 坶年6 月万日 指导教师签名： r 、 z 房 日期：d9 年月妒 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作 所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： 1 实现了一种适合a v s m 的r 曙封装。 2 将更加适应3 g 环境的固定片大小分片策略应用到了a v s m 中。找 到了一种相对较好的打包策略。 3 在3 g 无线环境下验证了基于有损率失真的帧内更新算法对提高 p s n r 值的作用。 西南交通大学硕士研究生学位论文第1 页 1 1 课题背景 第1 章绪论 随着通信技术的发展，人们对视频的需求不断增长，涌现出了各种各样 的视频应用。多媒体内容包括文字，语音，音乐，声音，静止图像，电视图 像，电影，动画图形等。多媒体技术集计算机，视频压缩，音频压缩，数据 压缩以及通信等技术于一体，具体包括媒体的采集，处理，存储，显示和传 输等。2 0 世纪8 0 年代后期以来，图像编码技术取得了引入注目的发展，先后 出现了用于电视电话会议的国际标准i t u th 2 6 1 ，用于低码率可视电话的 i t u th 2 6 3 标准，用于静止图像压缩的j p e g 标准。上个世纪9 0 年代以来， 通信技术与媒体压缩技术都得到了快速发展，一些媒体压缩与通信的国际标 准的相继提出及其产业化应用开发使得多媒体通信进入了一个新的阶段。由 i s o m p e g 和i t u t 制定的多个国际标准为不同的厂家和视频提供者奠定了 一个共同工作的基础。 适逢数字音视频标准更新换代的历史性机遇，为减轻国内音视频相关产 业的专利费负担以及提升核心竞争力，基于我国专家多年参与m p e g 国际标 准制定的经验，由国家信息产业部科学技术司于2 0 0 2 年6 月批准成立的“数 字音视频编解码技术标准工作组”联合国内从事数字音视频编解码技术研发 的科研机构和企业，针对中国音视频产业的需求，提出了我国自主的第二代 信源编码标准信息技术先进音视频编码系列标准。简称a v s ，即 a u d i ov i d e oc o d i n gs t a n d a r d 。 a v s m 是a v s 视频系列标准中的第七部分移动视频编码标准，在国家标 准计划中称为信息技术先进音视频编码第七部分：移动视频，其目的是 为手机等移动设备提供视频编解码规范和标准，应用范围包括交互存储媒体 宽带视频业务，多媒体邮件，远程视频监控，视频会议，可视电话等。a v s m 开始制定于2 0 0 4 年3 月，制定的初期被称为a v s 移动视频编码标准( a u d i o v i d e oc o d i n gs t a n d a r df o rm o b i l i t y ) ，在2 0 0 5 年6 月a v s 工作组第1 3 次会议 上被正式命名为a v s l p 7 a v s 视频第7 部分，并完成了标准的送审稿。 a v s m 与h 2 6 4 同属于第二代信源压缩标准，在实现技术上与h 2 6 4 有 着很多相似之处，但相对于h 2 6 4 来说还不够完善。本文将在研究分析二者 的异同的基础上，参考h 2 6 4 ，对a v s m 的在3 g 环境下的差错控制性能进行 实验和研究。 西南交通大学硕士研究生学位论文第2 页 1 2 视频压缩编码的国际标准 1 2 1m p e g 标准( 1 ，2 ，4 ) ( 1 ) m p e g - 1 m p e g 1 主要是针对1 5 m b p s 以下数据传输率的数字存储媒质运动图像 及其伴音编码的国际标准。采用c i f 视频格式，具有随机存取，快速正向逆 向搜索，逆向重播，视听同步，容错性，编码解码延迟等功能。m p e g l 视 频编码部分的基本算法与h 2 6 1 h 2 6 3 相似，但又引入了帧内帧( i ) ，预测帧 ( p ) ，双向预测帧( b ) 等概念，进一步提高了编码效率。 ( 2 ) m p e g 2 m p e g 2 核心部分与m p e g 1 基本相同，是在m p e g 1 基础上的进一步 扩展和改进。它主要是针对数字视频广播，高清晰度电视和数字视频等制定 的编码标准，可以支持固定比特率传送，可变比特率传送，随机访问，信道 跨越，分级编码，比特流编辑等功能。从本质上讲，m p e g 2 可视为一组 m p e g 1 的最高级编码标准，它保留了m p e g 1 所提供的所有功能，并设计 成与m p e g 。1 兼容，但又增加了基于帧场等新的编码技术。 ( 3 ) m p e g - 4 m p e g - 4 的第一版完成于1 9 9 8 年，第二版完成于1 9 9 9 年。初始的名称 是“甚低比特率音视频编码”，后定义为“音视频目标编码”。码率限制的消失 意味着更宽广的适用码率范围，而把“音视频编码”转变为对“音视频对象”的 编码则是工作目标质的飞跃。但是m p e g 4 的基本视频编码器还是属于和 h 2 6 3 相似的一类混合编码器。 1 2 2h 2 6 x 标准 ( 1 ) h 2 6 1 h 2 6 1 是第一个广泛投入应用的数字视频编码标准，又称为p x 6 4 ，其中p 的取值范围是1 3 0 的可变参数。p 取值较小时，只能传清晰度不太高的图像， 适合于面对面的电视会话：p 取值较大时( 如p 6 ) ，则可以传输清晰度较好 的会议电视图像，最初是针对在i s d n 上实现电信会议应用，特别是面对面 的可视电话和视频会议而设计的，h 2 6 1 奠定了混合编码框架的雏形，其视频 压缩算法的核心是运动估值预测和d c t 编码。它属于恒定码流可变质量编码 而非恒定质量可变码流编码。 ( 2 ) h 2 6 3 h 2 6 3 是为低码流通信而设计的。但实际上这个标准可用于很宽的码流范 围，而非只用于低码流范围，它在许多应用中可以被用来取代h 2 6 1 。h 2 6 3 西南交通大学硕士研究生学位论文第3 页 标准在低码率下能够提供比h 2 6 1 更好的图像效果。 ( 3 ) h 2 6 3 + h 2 6 3 + + h 2 6 3 + 是h 2 6 3 的改进版本，它在保证原h 2 6 3 标准的核心句法和语义 不变的基础上，增加了若干选项以提高压缩效率或某方面的功能，进一步提 高了压缩编码性能。另一重要的改进是可扩展性，它允许多显示率，多速率 及多分辨率，增强了视频信息在易误码，易丢包网络环境下的传输。新增选 项可归纳为新的图像种类和新的编码模式两类。 h 2 6 3 + + 是在h 2 6 3 + 的基础上又增加了3 个选项，主要是为了增强码流 在恶劣信道上的抗误码性能，同时也是为了增强编码效率。 ( 4 ) h 2 6 4 h 2 6 4 同样采用d p c m 加变换编码的混合编码模式。但它采用“回归基本” 的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能；应用目 标范围较宽，以满足不同速率，不同分辨率以及不同传输场合的需求。其技 术特点包括： 1 帧间编码，可变块大小的运动补偿预测技术； 2 帧内编码，多方向的空间预测技术： 3 环路滤波器，去除块效应： 4 4 4 的整数正交变换及相应的量化策略： 5 改进的运动向量预测编码： 6 更加高效的熵编码器； 7 基于率失真的编码优化技术。 这些措施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像质量 下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强， 增加了差错恢复能力，能够很好地适应i p 和无线网络的应用。但从总体上说， h 2 6 4 性能的改进是以增加复杂性为代价而获得的，其编码的计算复杂度大约 相当于h 2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的2 倍。 1 2 3a v s 标准 a v s 视频标准系统结构原理如图1 1 所示，a v s 视频标准是基于空间和 时间的预测和补偿、空域的变换及基于统计的熵编码的混合编码，a v s 视频 标准采用了一系列技术来达到高效率的视频编码，包括变换与量化技术、帧 内预测技术、亚像素插值与帧问预测技术、环路滤波技术和熵编码技术等。 在a v s 视频标准中，所有宏块都要进行帧内预测或帧间预测，帧间预测使用基 于块的运动矢量来消除图像间的冗余，帧内预测使用空间预测模式来消除图 像内的冗余，再通过对预测残差进行8 8 整数变换( d c t ) 和量化消除图像内 的视觉冗余。a v s 的变换和量化只需要加减法和移位操作，用1 6 位精度即 可完成。使用环路滤波器对重建图像进行滤波既可以消除块效应改善重建图 西南交通大学硕士研究生学位论文第4 页 像的主观质量，也能够提高编码效率，滤波强度可以自适应调整。最后，运 动矢量、预测模式、量化参数和变换系数用熵编码进行压缩。 - - - _ r 紫 i ； 主 ir 叫兰| 羔 图1 1a v s 视频标准系统结构原理框图 1 33 g 中的多媒体业务 1 3 13 g 业务的特点 3 g 系统提供的业务大致可以分为6 大类【l q ： 1 ) 基本电信业务：包括语音业务，紧急呼叫业务，短消息业务。这些都 是无线运营商最基本的业务，按照很多咨询商的估测和参考国外已投入运营 的3 g 网络的业务数据，未来运营商的3 g 业务收入的绝对主体依然会来自这 些以话音业务为核心的基本电信业务。 2 ) 补充业务：包括呼叫转移，住家号码显示等，这些补充业务与g s m 2 是相同的。 3 ) 智能网i n ( i n t e l l i g e n tn e t w o r k ) 业务：移动智能网业务是结合移动通 信网和智能网业务平台提供给用户的各种补充业务，包括预付费业务，移动 虚拟专用网业务，被叫集中付费业务，通用个人通信业务，无线广告业务， 分时分区计费业务，统一接人号码业务和号码可携带性业务等。 4 ) i p 承载业务：面向数据服务的数据承载业务包括基于电路交换的承载 业务和基于分组交换的承载业务，承载业务带宽的增加和q o s 的保障是3 g 业务相对于2 5 g 的一个娴熟特点。 5 ) 位置业务：主要包括分时分区的计费业务，移动位置黄页，紧急定 位，以及其他很多基于位置的应用等。 6 ) 多媒体业务( 增值业务) ：包括以可视电话为代表的电路型实时多媒 体业务；以可以在线看新闻，在线体育转播等应用为代表的基于流媒体的分 西南交通大学硕士研究生学位论文第5 页 组型实时多媒体业务；支持多媒体文件下载播放和转发的非实时存储转发型 多媒体消息业务等。 以上3 g 系统提供的业务有如下特征1 1 7 1 ： 基于u m t 3 g 的业务是从2 g 或2 5 g 继承而来的，在3 g p p r 9 9 为基础的 体系结构下，又产生了一些新的业务能力，总体上有如下的一些特征： 1 ) 由于承载层带宽的增加，多媒体业务的引入，商业价值链更加复杂， 例如一个在线实时节目播放，牵扯到节目内容的版权问题，广告收入问题等， 而这些在以往的2 。5 g 增值业务中都没有涉及到。 2 ) 3 g 网络所支持的业务从基本话音业务到多媒体类业务，业务种类繁 多，业务特性也有很大的差异。 。 3 ) 相对于2 5 g 业务，3 g 的分组域业务普遍有q o s 的要求，并且基于 空中信道的q o s 是3 g 计费的一个标准计费要素。 4 ) 3 g 的网络向下兼容2 5 g 的网络所提供的所有业务。 5 ) 作为3 g 的一个标志性特征，由于数据承载带宽的增加，引入了多媒 体业务的概念。 1 3 23 g 中的多媒体业务 多媒体业务是同时综合两种或多种媒体( 例如声音，音频，数据，视频， 图像) 的业务。一般多媒体业务可以分为交互式和分发式两种。交互式的多 媒体业务又可以分为对话式，多媒体消息和查询业务等3 种。 对话式业务是一种实时的业务，在业务双方同时进行，对时延要求高( 通常 9 ( 2 1 ) m v ay2 s i g n ( m v 4r ) ( a b s ( m v ar ) xb l o c k d i s t a n c e e ( 5 12 b l o c k d i s t a n c e a ) 西南交通大学硕士研究生学位论文第1 2 页 + 2 5 6 1 9( 2 2 ) 如果a 、b 、c 三者中只有一个块可用( 可用是指本块已解码，并且与当 前块的参考索引值相同) ，那么e 块的运动矢量预测值m v e p r e d 为这唯一可 用块的原始运动矢量m v x 。否则，根据e 的块的模式和a 、b 、c 的位置关 系来按以下规则计算： ( 1 ) 如果e 所在的宏块的模式为8 1 6 ，见图2 4 ，e 为左块时，e 的运动 矢量预测值为相邻块a 的m v , , i ( m v , , ix ，m v a ，) ，当e 为右块时，e 的运动 矢量预测值为相邻块c 的运动矢量峨( m v cx ，m ，o ( 2 ) 如果e 所在的宏块的模式为1 6 x 8 ，见图2 4 ，e 为上块时，e 的运动 矢量预测值为相邻块b 的运动矢量m v b ( m v bf ，m v by ) ，当e 为下块时， e 的运动矢量预测值为相邻块a 的运动矢量m v a ( m v aj ，m v a ，) 。 1 6 8 图2 48 x 1 6 或1 6 x 8 模式预测 2 部分像素运动估计 a v s m 的运动估计精度为l 4 像素，这样可以提高运动补偿的精度， 减小预测的残差信号。与m p e g 4 a v c 相比，a v s m 的部分像素估计精度 更加准确。亮度的二分之一样本位置的预测值通过8 抽头滤波器f i ( 1 ，4 ， 1 2 ，4 l ，4 1 ，1 2 ，4 ，1 ) 和4 抽头滤波器f 2 ( 1 ，5 ，5 ，1 ) 计算得到，四分之一样本 位置的预测值通过线性插值计算得到。 ( 1 ) 二分之一样本 如图2 5 所示，二分之一象素位置样本b 的计算过程是首先用f l 对水平 方向上最近的 8个整数样本滤波，得到中间值 b = ( - c + 4 d - 1 2 e + 4 1 f + 4 1 g 一1 2 h + 4 i _ j ) ：最终的预测值b = c l i p l ( ( b + 3 2 ) 6 ) 。 c l i p l 函数的作用是把结果限制在。一_ 2 5 5 之间。 西南交通大学硕士研究生学位论文第1 3 页 彩三= 堰) = 慰 黻露瓢弹 爹絮多一。一$ 图2 5 整数样本、一：分之一样本和四分之一样本的位置 二分之一样本h 是用4 抽头滤波器得到，首先用f 2 对垂直方向上最 近的4 个整数样本滤波，得到中f b j 值h = ( a + 5 f + 5 n s ) ；最终的预测值 h = c l i p l ( ( h + 4 ) 3 ) 。二分之一样本i 是用f 2 在垂直方向上对最近的4 个二分 之一样本a a ，b ，t ，h h 的最终预测值滤波得到。其他二分之一样本点处的预 测值类似。 ( 2 ) 四分之一样本 四分之一样本a = ( f + b + 1 ) l ，其中b 是相应位置二分之一样本的最终 预测值，f 是整数样本值。四分之一样本i = ( h + j + 1 ) l ，其中h 和i 是相 应位置二分之一样本的最终预测值。其他四分之一位置样本也采用同样方法。 与亮度相对应，色度样本插值采用1 8 精度的双线性插值方法。如图2 6 所 示，样本预测值由周围的整数样本点值和距离得到。 p r e d x ，y 1 2 c l i p l ( ( ( 8 一d ，) x ( 8 一d ，) x a + d ，x ( 8 一d ，) x b + ( 8 一d ，) d ，x c + d ，d ，x d + 3 2 ) 6 ) ( 2 3 ) 图2 6 色度弧象素插值 在获得与h 2 6 4 相当的编码效率情况下，a v s m 充分考虑到移动通信设 备处理能力和存储容量的限制，在帧间预测中采取了更为简洁有效的技术方 案。其表现在：不支持双向预测、加权预测；采用新的参考图像缓冲区管理 机制，限定至多两个参考帧，在缓冲区管理上十分简单、有效。相对于h 2 6 4 ， 西南交通大学硕士研究生学位论文第1 4 页 算法复杂度小，对存储空间的要求低，因而，编解码器更易于在资源有限的 移动终端上实现。此外，a v s m 目前只支持4 ：2 ：0 格式的图像压缩，且只支 持帧图像，不支持场图像。 2 2 4 熵编码 在熵编码方面，a v s m 避开实现复杂度较高的c a b a c ，采用了较简单 的c a v l c 进行编码。对变换系数使用c a v l c 编码，帧内和帧问亮度采用7 张码表，色度采用4 张码表，以便于编码过程中自适应切换，提高编码效率。 对于除了变换系数外的其他语法元素，如宏块类型、帧内预测模式、运动矢 量、量化参数等则采用了指数哥伦布码( e x p g o l o m b ) ，指数哥伦布码是一种 可以无限扩展的可变长编码方法，是u v l c ( u n i v e r s a lv a r i a b l e l e n g t hc o d i n g ) 编码方案在阶数为二时的特例，根据v c e g 组织在m - 8 1 草案中的规定， 该方法用于所有语法元素的熵编码。 e x pg o l o m b 码有固定的构造规律，分为“前缀”和“后缀”两部分，前缀由 7 _ 启r o b i t s 个o 和一个1 构成，后缀由z e r o b i t s + k 个比特构成。其码字构造 如下： 【z e r o b i t s0 1 i n f o 】 c o d e n u m = 2 z 锄a 如“一2 。+ r e a db i t s ( z e r o b i t s + k )( 2 4 ) i n f o = c o d e n u m + 1 2 撕。鼢+ k( 2 5 ) 其中i n f o 是信息位，z e r o b i t s 是数字l 前面零的个数，码长为( 2 z e t o b i m + l + k ) ，c o d e n u m 是码值。表2 列出了l 一3 阶e x p o o l o m b 码表的前5 个码字的结构。 可以看出，已知z e r o b i t s 、阶数和i n f o ，即可以解出码字。当解码器 接收到传输过来的比特流后，也能够很快的根据“1 ”前面出现的o 的个数、 阶数和后面的信息位解出码值。这种码表的优点是结构简单，不需要存储码 表。 在对语法元素使用e x p g o l o m b 码进行编码之前，根据出现的概率进行映 射，可使出现频度高的语法元素可以分配更少的码字，而使出现频度低的参 数值分配较长的码字。这样遵循了熵编码的准则，使得平均比特率降低，可 以提高了编码效率。 2 2 5 环路滤波 a v s m 采用了环路滤波来平滑宏块边缘，从而减小解码宏块之间的块 西南交通大学硕士研究生学位论文第1 5 页 状效应。 环路滤波以宏块为单位，除图像边界及条带的边界之外，宏块的所有边 界都应进行滤波。a v s - - m 的整数变换是基于4 x 4 块的，环路滤波器也是在 4 x 4 的块边界上进行滤波1 9 1 ，即宏块内部各个4 x 4 块的边界，以及当前宏块与 相邻宏块的上边界和左边界。 滤波是按照光栅扫描顺序依次处理，对亮度宏块，顺序为垂直边界从左 到右，即a , b ，c ，d ；水平边界由上到下即e , f , g ，h ：对色度宏块来说，顺序为垂直 i j 水平k ，l 。当前宏块的上边或者左边的样本值可能在以前的宏块环路滤波过 程中已经被修改，这些样本值被作为当前宏块的环路滤波的输入，并且当前 宏块环路滤波可能进一步修改这些样本值。当前宏块垂直边界滤波过程中修 改的样本值作为水平边界滤波过程的输入。 a v s m 根据宏块类型和宏块的q p 值分为帧内宏块滤波模式和帧间宏 块滤波模式。判断了当前宏块在边界上需要滤波后，对于滤波器是否使用， a v s - - m 还设置了一个门限值q ，当i p 0 q o l a 时才使用滤波器，以避免相邻 块正常的比较大的图像反差( 非块效应) 被滤掉。a 值的大小与量化步长q p 有关，当量化步长越大，块效应现象越严重，此时a 值也会大些。 2 3a v s m 的网络适应性和抗误码性能 作为一种面向移动视频通信的编码标准，为适应各种网络环境和应用场 合，a v s m 定义了类似h 2 6 4 的视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和 网络提取层( n e t w o r ka b s t r a c tl a y e r ，n a l ) 。其中视频编码层的功能是进行视 频编解码，包括上述帧内预测、帧间预测、变换量化和熵编码等功能；网络 提取层用于采用适当的格式对视频编码层编码视频数据进行封装打包。 同时，a v s m 采用了多种增强压缩视频流抗误码能力的编码技术，以适 应误码多发的移动视频应用。这些技术包括：采用i d r 图像( 即时解码刷新 图像) 消除误码扩散所导致的图像漂移，i d r 图像后的所有图像的解码过程 都不会用到该i d r 图像前的图像进行帧问预测；条带数据独立编码及受限帧 内预测编码，某一条带因误码或者丢包而无法解码并不影响其他条带的解码； 多序列参数集和图像参数集，a v s m 允许存在多个序列参数集和图像参数 集，并允许这些参数集单独作为n a l 单元传输，这些极为重要的参数信息 可以事先嵌入到解码器中或是采用可靠的传输机制和性能更好的信道将其可 靠地送达解码器，以保证解码端正确解码等。但a v s m 删减了h 2 6 4 中对 编码效率有着较大影响的抗误码工具，如灵活宏块排序( f m o ) 、任意条带顺 序( a s o ) 、冗余片( r s ) 等技术。使得抗误码工具够用，但是又不至于太繁杂， 有利于应用实现。 西南交通大学硕士研究生学位论文第1 6 页 2 4a v s m 与h 2 6 4 的主要技术对比 a v s 与h 2 6 4 的技术的简单比较如表2 1 所示。 表2 1a v s 与h 2 6 4 的主要技术对比 编码t 具 a v s h 2 6 4 帧内预测基于8 8 块，5 种亮度预测模式，4基于4 x 4 块，9 种亮度预测模式，4 种 种色度预测模式色度预测模式 多参考帧预测最多2 帧 最多1 6 帧 变块大小运动补偿 1 6 x1 6 ，1 6 x 8 ，8 x1 6 ，8 x 8 1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ，8 8 ，8 x 4 ，4 x 8 ，4 x 4 b 帧宏块直接编码模时域空域相结合，当时域内后向参 独立的空域或时域预测模式，若后 式考帧中用于导出运动矢量的块为向参考帧中用于导出运动矢量的块 帧内编码时，使用空域相邻块的运为帧内编码时只是视其运动矢量为 动欠量进行预测0 。依然j ! j 丁预测 b 帧宏块双向预测模称为对称预测模式，只编码1 个前编码前后两个运动矢量 式向运动矢量，后向运动矢量由前向 导出 i 4 像素运动补偿l 纪像素位置采用4 拍滤波，l 搿像1 趁像素位置采用6 拍滤波，l 弭像素 素位置采用4 拍滤波、线性插值位置线性插值 变换与量化8 x 8 整数变换，编码端进行变换归4 x 4 整数变换编解码端都需要归一 一化，景化与变换归一化相结合， 化，量化与变换1 月一化相结合，通过 通过乘法、移位实现 乘法、移位实现 熵编码自适应性2 dv l c ，编码块系数过c a v l c ：与周围块相关性强，实现较 程中进行多码表切换复杂：a b a c ：计算较复杂 环路滤波 基丁二8 x 8 块边缘进行，简单的滤波基于8 x 8 块边缘进行，滤波强度分类 强度分类，滤波较少的像素，计算复繁多，计算复杂。 杂度低。 西南交通大学硕士研究生学位论文第1 7 页 第3 章a v s m 的r t p 封装及分片打包策略研究 3 1 传统流媒体系统简介 互联网的普及和多媒体技术在互联网上的应用，迫切要求能解决实时传 送视频、音频、计算机动画等媒体文件的技术，在这种背景下，产生了流式 传输技术及流媒体。通俗的讲，就是在互联网上的视音频服务器将声音、图 像或动画等媒体文件从服务器向客户端实时连续传输时，用户不必等待全部 媒体文件下载完毕，而只需延迟几秒或十几秒，就可以在用户的计算机上播 放，而文件的其余部分则由用户计算机在后台继续接收，直至播放完毕或用 户中止操作。这种技术使用户在播放视音频或动画等媒体的等待时间成百倍 的减少，而且不需要太多的缓存。 流媒体指在i n t e m e t i n t r a n e t 中使用流式传输技术的媒体，如：音频、视 频或多媒体文件，它在播放前并不下载整个文件，只将开始部分内容存入内 存，其他的数据流随时传送随时播放，只是在开始时有一些延迟。一个完整 的流媒体系统应该包括以下几个组成部分：( 1 ) 编码工具。用于创建、捕捉 和编辑多媒体数据，形成流媒体格式，这可以由带视音频硬件接口的计算机 和运行其上的制作软件共同完成。( 2 ) 流媒体数据。( 3 ) 服务器：存放和控 制流媒体的数据。( 4 ) 网络：适合多媒体传输协议或实时传输协议的网络。( 5 ) 播放器：供客户端浏览流媒体文件。 流媒体的关键技术是流式传输。流式传输主要指通过网络传输媒体( 如 视频、音频等) 的技术总称。实现流式传输有两种方法：实时流式传输 ( r e a l t i m e s t r e a m i n g ) 和顺序流式传输( p r o g r e s s i v es t r e a m i n g ) 。顺序流式传输 是顺序下载，在下载文件的同时用户可观看在线媒体，在给定时刻，用户只 能观看已下载的那部分。由于标准的h t t p 服务器可发送这种形式的文件， 也不需要其他特殊协议，它经常被称作h t t p 流式传输。顺序流式传输比较 适合高质量的短片段，如片头、片尾和广告，但不适合长片段和有随机访问 要求的视频，如：讲座、演说与演示。它也不支持现场广播。实时流式传输 指保证媒体信号带宽与网络连接配匹，使媒体可被实时观看到。实时流式传 输需要专用的流媒体服务器与传输协议，媒体数据总是实时传送，特别适合 现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。 现有的国际上最著名的流媒体服务器是r e a l s e r v e r , w i n d o w sm e d i a s e r v e r 和q u i c k t i m es t r e a m i n gs e r v e r ，它们分别是由r e a l ，微软和苹果公司 开发的。这三家公司不仅仅拥有各具特色的流媒体服务器，他们都还拥有一 整套完整的流媒体系统解决方案，可以说是在流媒体应用领域三分天下。 西南交通大学硕士研究生学位论文第1 8 页 3 2 流媒体传输协议 在流媒体系统中实现流式传输需要合适的传输协议。由于t c p 需要较 多的开销，故不太适合传输实时媒体数据。在流式传输的实现方案中，一般 采用h t t p t c p 来传输控制信息，而用r t p u d p 来传输实时媒体数据。另 外，上述的三家公司，为了提高流媒体系统的性能，在基础传输协议的基础 上还开发出了自己的传输协议，如用于r e a l 系统的r t s p ( r e a l t i m e s t r e a m i n gp r o t o c 0 1 ) 协议，w i n d o w sm e d i a 的m m s ( m i c r o s o f tm e d i as e r v e r ) 协议等。 实时传输协议r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 1 2 6 j 是用于i n t e r n e t 上 针对多媒体数据流的一种传输协议。r t p 被定义为在一对一或一对多的传输 情况下工作，其目的是提供时间信息和实现流同步。r t p 通常使用u d p 来 传送数据，但r t p 也可以在t c p 或a t m 等其他协议之上工作。实时传输 控制协议r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) t 2 7 1 一般和r t p 一起使 用，提供流量控制和拥塞控制服务。当应用程序开始一个r t p 会话时将使用 两个端口：一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送数据 包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供 这些服务。通常r t p 算法并不作为一个独立的网络层来实现，而是作为应用 程序代码的一部分。有关r t p r t c p 的描述可参见i e t f 的r f c 3 5 5 0 。 由于后文要使用r t p 对视频数据进行封装，因此在这里对r t p 协议尤其是 r t p 包头做一个比较详细的介绍。 t p 协议核心是其数据包格式。数据包是r t p 对数据传输的封装单位，典 型的数据包由包头和载荷组成，在协议中仅定义了包头的数据结构，而不限 制载荷大小。载荷与应用相关。r t p 包头由对载荷的描述信息构成，图3 1 为r t p 包头的结构： o123 o1 z3哇567 8 9o123唪567 89o123哇567 8 9o1 4 - - - + - - + 一+ 一+ 一+ - - 4 - - - 1 h - + - - + - - + - - + - - 4 - - + - - + - - + 一一+ 一+ - - + - - + - - + 一+ - - + 一+ -