（计算机软件与理论专业论文）可扩展视频编码的文件存储研究.pdf

摘要 摘要 近年来，可扩展视频编码的研究已经取得了极大的成功，即将广泛应用至社 会生活各个领域，很有必要对可扩展视频编码的文件存储技术进行研究，以便对 可扩展视频编码码流进行高效的存储，管理，交换和传输。本文研究定义了通用 数学模型描述可扩展视频编码码流结构特征和率失真信息等属性，结合相关国际 标准开发出高效的可扩展视频编码文件格式。 本文首先建立了一个有向无环图模型，该模型能够描述可扩展视频编码码流 中各子码流和子码流问复杂的依赖关系。通过该模型，视频流媒体服务器能够根 据网络带宽，终端能力，正确地选择子码流进行传输播放。传输不同的子码流集 合可以解码得到不同帧率，空间分辨率和主客观质量的视频效果，适应不同的传 输环境。 其次，针对精细粒度可扩展视频编码技术，本文扩展有向无环图模型，在该 模型中加入码率，原始失真和自适应因子等属性，建立了自适应率失真模型。该 模型能够存储视频图像的率失真信息。尽管在复杂的可扩展视频编码技术中，误 差传递路径会随着选择播放的子码流集不同而变化，本文建立的模型却能够自适 应误差传递路径的变化，估计出较为准确的失真信息。基于拉格朗日乘子法的最 优化码率分配算法可以利用该模型中的率失真信息分配码率，在码率一定的条件 下提供最好的视频效果。 最后，本文以基于 l 2 6 4 的可扩展编码技术为例，分析其码流结构和误差传 递路径，建立基于h 2 6 4 的可扩展编码自适应率失真模型，设计了兼容国际标准 的可扩展视频编码文件格式。该文件格式简单，灵活，能够被各视频系统方便使 用。实验结果证明了基于自适应率失真模型的可扩展视频编码文件存储技术的有 效性。 关键词文件格式；可扩展视频编码：有向无环图模型：自适应率失真模型 a b s t r a c t a b s t r a c t d i 】r j n gn l ep a s td e c a d e ，m a i l ya p p m a c h e sh a v eb e d e ve ：l 叩e d t oa c h i e v e s c a l a b i l 越韶o f 、，i d e o ni sn c c e s s a r yt 0 咖d yt h ef i l es t o m g et e c h n o l o g yo fs ca _ l a b l e v i d e of o r 廿l es t o r e ，m 姐a g c ，e x c h a l l g e 趾d 廿a i l s f 醯o fs c a 】a b l ev i d c ob i 曲e 吼t h e t h c s i sd e 矗n e dag e n 积cm a m sm o d dt od e s c r i b em es c a l a b l e1 r i d b i t s t m a ms t r l l c 缸 a n dr a t e d i s t o m o ni i l 】b m a t i o np r o p c n i e s af i l ef 0 肌a ti sp r o p o s e db a s e do nt h e g e r i cm o d d 孤di s o b a s em e d i a 丘1 ef 0 肌a t w bf i r s t 口e a t ead n c t e da c y c l i cg r a p hm o d e it od e s 嘶b em e 叭b s 骶锄sa i l d r c l 撕o n s i l i p s 锄o n g l o s es u b s 廿e 锄si na s c a l a b l e d e os 仕e 蜘b yd i r e c t e da c y c l i c g r a p hm o d e l ，v i d e os e e rc a i ls d e c tc o r r e c ts u b s 雠a m sb yn e 咐o r kb a n d 叭d t h 锄d t e n n i n 缸c a p a b i l i 哆t og e ta n y 缸n er a t e ，s p a t i a l r e s o l u d o nb u t a r s e 筝a n u l a f s c a l a b i l i t yp r c s 即t 娟o no f 、，i d e o s e c o n d ，a i la d a p t i v er a t e - d i s t o r t i o nm o d di sp r o p o s e db ye x t e n d i n gd i r e c t e d a c y d i ca r a p hm o d e lf o r 血e 目a i l l 】1 a rs c a l a b l ev i d e oc o d i n g w ea d dr a t e o r i 百n a l d i s t o r t i o n 锄da d a p t i v es c a l et om ed i r e c t c da c y c l i cg r a p hm o d e l t h ee r r d r p r o p a g a t i o np a mi sc ：h a n g e db e c a u s e 恤t 血ed i 脓e 工l ts u b s t r e 锄s e t sa r es e l e c t e df o r s p e c i f i cs p 撕a 1a n dt 锄p o r a lr e s o l 砸o i l b u tt l l i sr a t e d i s t o 币o nm o d di sa d a p 曲e 耐t 1 1d i 丘i 盯e n te o rp r o p a g a t i o np a t i l s w bc a i le 器i l ye s 血n a t et h ed i s t o r t i o na t d i f f h e n te r r o rp r o p a g a t i o ns i t l l a t i o n t h el a f a n g em u l t i p l i e fm 劬o dl l s i n gr a t ea n d d i s t o n i o ni 1 1 f o r i i l a t i o ni s 也e na p p l i e dt oo 删h a la 1 1 0 c a t e sb i t r a t ef b re a c hf h m ei n 缸e 群a 工m l a rs c a l a b i l i 够s u b s 廿e 锄s w et a k eh 2 6 4s c a l a b l ee x t a 塔i o na se x a m p l et oa 1 1 a l y s e d 也eb i t s 协：锄曲兀l c t u r e a n d 锄rp r o p o g a t i o np a l h 蛆dc r e a t em ea d 印t i v cr a t e - d i s t o n i o nm o d c l c o m p l y i n g 、i mm ep r e s 锄止e ds c a l a b l ev i d e 0s 打e 撇m o d e l ，也ef i l ef o r m a tf o rs c a l a b l e 讥d e oi s p r o p o s e db a s e do ni s ob a s em e d i a f 订ef o n 她w h i c hi ss 沛p l ea n dn e 妇b l ee n o u 曲 t oa d d r e s s 恤ed e m a n d so fs c a l a b l ev i d c o 印p l i c a t i o n e x p 鲥m e i l t a lr e s l l l t sc o n 血m t l l ee f f b c t i v e i l e s so f t l l ep r o p o s e df i l es t o r a g et e d m 0 1 0 9 y k e y w o r d sf i l ef o 衄a t ；s c a l a b l ev i d e oc o m n g ；d i r e c t e da c y c l i cg r a p hm o d d ； a d a p 6 v er a t e d i s t o r t i o nm o d d i - 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人己经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 签名： 白璺j日期：2 丝： ：! 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全鄯或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 幺迅：l 导师签名日期：2 叫f j ， 衔 第l 章绪论 1 1 课题研究背景 第l 章绪论 科学技术是第一生产力，以计算机和网络通信技术为代表的信息技术正推动 人类社会步入一个崭新的时代。随着计算机普及和国际互联网席卷全球，人们的 生活与工作方式正随之发生巨大的变化。信息产业的发展为人类社会提供了有用 而又可靠的硬件，软件和网络，改变了人类的工作方式和生活习惯。人们已经不 再满足于通过报纸，杂志获取文字图片信息，通过广播，电话传递语音信息以及 通过电视，电影传递视频信息；而是希望能拥有一个将所有信息媒体融合在一起 的多媒体信息平台。人们可以在这个平台上随时随地共享声像图文并茂的多媒体 信息，能够在这个平台上方便地完成多媒体信息的输入，加工，传输和获取。 科学技术的发展已经初步建立了这样一个平台。在过去的几十年中，个人计 算机配各了高性能的多媒体设备；人们可以利用多媒体操作系统和多媒体应用软 件方便地处理多媒体信息；国际互联网使得多媒体信息的共享成为可能。据估 计现在有l o 亿人在使用围际互联网，占世界人口的五分之一，而据c n n i c ( c h i n a h n e h l c t n d t l o r k h l f o r m 撕0 n c e n t 口) 最新公布的数据表明，截至到2 0 0 5 年1 2 月 3 1 日，中国使用国际互联网的总人数已达1 1 ，1 0 0 万 1 。人们能够通过国际互联 网阅读新闻，浏览图片，共享文件，传递邮件和发送即时通消息。还有不少人利 用互联网传载多媒体信息；语音聊天，视频电话和视频点播等已经成为互联网上 的最新的应用。在报告 1 】中给出的统计数据表明，分别有3 8 3 和3 7 1 的中国 人上网使用了在线音乐收听及下载和在线影视收看及下载的服务。 此外传统的媒体如电话通信网络和有线电视网络正在积极发展，试图采用新 的技术能够和国际互联网融合从而构造一个能够提供包括语音、数据、视频和多 媒体业务的综合开放网络架构，以使得更多习惯于电话和电视使用的人们能够方 便的共享多媒体信息。3 g ( 珊et h i r dg m 盯a d o n ) 无线通信系统以提供高速接入 和多媒体服务为特征，其高速的接入带宽为无线网络多媒体服务提供了物理上的 保证，同时各种便携式设备如：手机，个人数字助理的数据存储和处理能力正在 提高，使得无线通信与多媒体通信的结合成为可能。口t v ( d1 h e 们s i o n ) 则面 提高，使得无线通信与多媒体通信的结合成为可能。口t v ( pt w e 们s j o n ) 则面 北京工业大学工学硬士学位论文 向家庭用户提供包括数字电视在内的多种交互式服务的崭新技术。这些技术的发 展确保能建立一个人们可以在任何时间，任何地点就能够方便联入的多媒体信息 平台。 由于视频数据量巨大，建立这样一个多媒体信息平台最为巨大的一项挑战在 于：在只有有限带宽，丢包严重，抖动剧烈，延时大，具有网络异构性和多媒体 终端多样性的平台上实时传输视频数据。当前国际上一些研究机构正在研究可扩 展视频编码技术，该技术以其较好的网络带宽适应性和容错性成为视频编码、传 输领域中最为瞩目的解决方案。在将可扩展视频编码技术应用到实际的系统中， 涉及到如何将可扩展视频编码存储于磁盘文件，如何在磁盘文件中加入必要的元 数据，以帮助视频服务器高效，正确地处理，传输视频数据。 本课题主要研究可扩展视频编码的文件存储技术，研究在将可扩展视频编码 技术应用到网络传输的时候，如何存储可扩展视频编码码流，以充分发挥可扩展 视频编码自适应码率变化的特点，便于可扩展视频编码码流的交换，管理，实时 传输和编辑；保证视频数据在满足网络和终端需求的同时，提供最好的视频效果。 1 2i p 网络视频传输系统概况 口网络视频传输技术日益成熟。一般可以将口网络视频传输分为两类：一 类等同于一般的文件传输，将视频数据当成一般文件，非实时下载后播放，主要 涉及的是文件传输问题；另一类是流媒体传输，在传输过程中实时播放，涉及到 编解码，会话控制，实时传输和差错控制等技术。当前研究视频传输技术通常指 视频流媒体传输技术。 1 2 1i p 网络视频传输系统框架 视频流媒体技术是视频压缩和网络传输等技术的融合。包括了视频流媒体的 编码、发布、传输和解码播放等环节。视频流媒体传输依赖于网络的传输带宽、 媒体文件的传输控制、媒体文件的编码压缩效率及客户端的解码等几个重要因 素，其中任何一个因素都会影响视频流媒体技术的发展和应用。在视频传输系统 框架中涉及多项技术问题：一，视频数据必须经过编码压缩和预处理才能适合流 式传输，需要的技术工作包括高效的压缩算法以及流式信息的加入：二，视频 第l 章绪论 流媒体传输前必须进行会话协商控制，常用的会话协议有r t s p 【习( r e a lt i m e s 船椭i n gp m t o c 0 1 ) ，s d p 【3 】( s e s s i o nd e s c i i p t i o np r o t o c 0 1 ) 等；三，视频流媒体 的传输方式有多种，需要了解不同的特点，根据应用的要求选择单播、组播等不 同方式；四，视频流媒体的传输需要合适的传输协议，般采用r t p 】玎c p 【4 】 ( r e a l 一t i m et r a i l s 口o r tp r o t o c o 】r t pc o r 血o lp r o t o c 0 1 ) 来传输实时的多媒体数据； 五，视频流媒体有一定的传输质量要求，i 峪v p 嗍( r e s o l l r c e r e s e a t i o np r o t o c 0 1 ) 等协议为流媒体传输提供质量保证。一个典型的视频流媒体传输系统框架如图 1 1 所示。 ：二：二 lq 。s 管理露 - r t c p ， ，r 视频编码器 目_ _ 目目口隧 r t p 槲 酉数毋l l 文件封装器l 网绍 h 么l 会幽露 _ ， 彝 f ( 视频文件卜l 赣 尊 舅会话建立霍 r r r s p ， 招 s d i ， 翻融强强隧黼黼潮龋 ( 用户和终端配穆 翻“ *蘑 豳 “。” 霆 日e 日h 目日目目目* n 视频流媒体服务器 l礴壤秘鞠嘲豳强髓隧 q 。s 管理lu r t c p ， r t p h 一 输出设 c h 视频解码器 雾 数枣le 鞫 h 蟹目口强霜瑟翮疆豳 网 ( 竺! 竺 l 会话控制l 咿 * r 1 s p ， l 会话建立 s d p ( 终端卜 霾 能力交换 用户终端 图1 1 视频流媒体传输系统框架 f 远u r e l 一lt h e 右：a m e w o r k0 fv i d e os t r e a m i g 视频流媒体传输研究已经取得了较大的成功。r e a l n e t w o r k s ，微软和苹果 等公司的流媒体系统也得到了广泛的应用。为了进一步推广视频流媒体在网络上 北京工业大学工学硕士学位论文 的传输，苹果，思科等公司于2 0 0 0 年1 2 月发起成立了i s m a ( i n t e r n e ts 仃e a i i 血g m e d i a 朋l i a i l c e ) ，用于开发口协议上的端对端媒体流解决方案。然而视频流的传 输占用带宽比较大，对时延敏感，有一定的实时性要求。由于目前的国际互联网 是只提供尽力而为服务( b e s t e f f b r t ) 的分组交换网络，具有丢包严重、带宽随时 间变化，端到端延迟抖动，网络异构和终端多样性等特点，这为视频实时传输提 供q o s ( q u a l 时o fs e r v i c e ) 保证带来巨大的挑战。目前的视频流媒体系统对这 些问题的解决不甚灵活，只能传输较低质量，较低码率的音视频，并且需要较大 的缓冲，没有很好的用户交互性，同时不能与其他网络服务如网页服务以公平的 方式共享带宽。如果在未来多媒体信息平台上没有很好的视频流媒体传输控制技 术，那么视频流媒体的广泛应用必将导致平台拥塞，严重的情况下将导致平台崩 溃。 为解决视频流媒体传输中存在的问题，各大研究机构，企业正在视频编码， 网络通信各领域展开积极的研究。其中视频编码领域着力研究了各种编码技术， 推出了一系列的视频编码标准以适合不同的应用，s v c 【6 2 3 】( s c a l a b l e d e o c o d i n g ) 技术就是是其中最受瞩目的一项技术。 1 2 2 传输系统中的视频编码技术 在多媒体信息中视频信息是包含内容最为丰富的一种媒体，能提供比文本、 声音和图像更为丰富和形象生动的信息。但是由于视频包含的数据量非常大，会 占用大量的存储空间和传输带宽，例如，一幅分辩率为6 4 0 4 8 0 ，彩色为2 4 b i t s 像素，帧率为3 0 h z 的视频，其每秒的数据量约为3 0 m b 。另外，视频各帧之间 又存在严格的时间顺序，这就要求视频传输必须有较高的鲁棒性。因此高效的视 频压缩和鲁棒的视频传输技术一直是人们致力研究的课题，也是发展多媒体信息 平台中必须解决的技术难题。 压缩数据量的重要方法是消除冗余数据。原始视频中存在着大量的信息冗 余，如时间冗余、空间冗余、信息嫡冗余、谱间冗余、几何结构冗余、视觉冗余 和知识冗余等。各种视频编码技术正是对视频数据消除这些冗余而得到较高的压 缩比。当前学术和应用领域都在致力于视频技术的研究，并且在国际电信联盟组 织( r r u t ) 和国际标准化组织( i s o ) 两大国际组织机构组织下制订了一系列 的国际视频编码标准。国际电信联盟组织提出了h 2 6 x 系列( 如：h 2 6 l 、h 2 6 2 第1 章绪论 和h 2 6 3 等) 视频编码标准2 4 【2 5 1 ，主要用于网络实时传输的视频会议和可视电 话等方面。国际标准化组织起草了m p e g x 系列( 如：m p e g 一1 、m p e g 2 、 m p e g 4 ) 视频编码标准6 1 7 】 2 郇，主要用于视频存储( d v d ) 、视频广播、视频流 ( 如互联网视频以及无线视频) 。其中m p e g 一1 和m p e g 一2 标准在视频存储方面 取得了极大成功，而所提出的m p e g 4 标准则是突破了原有的编码概念，提出了 基于对象的编码方法。此外，该组织还针对多媒体内容标识和普通的多媒体架构 分别提出了m p e g 7 嗍和m p e g 2 1 【8 1 两类标准。1 9 9 8 年，视频编码专家组 ( v c e g i t u - t sg 1 6 q 6 ) 开始了h 2 6 l 标准的研制工作，旨在将编码效率比现有 的视频编码标准提高一倍以上。2 0 0 1 年1 2 月，v c e g ( d e oc o d i n ge x p e n sg r o u p ) 与运动图像专家组( m p e gi s o m c jt c i s c 2 9 九v g l l ) 合作，成立了联合视频小 组t ( j o i n t d e ot e a m ) ，开始致力于完成新的视频编码标准h 2 6 4 a v c 2 7 】 i t u t 称之为h 2 6 4 ，i s o 称之为a v c ( a d v a n c c d d e oc o d i n 曲，作为m p e g _ 4 标准的第十部分。h 2 6 4 a v c 全面应用了视频编码理论的最新成果，与现有的各 种标准相比，在相同的视频质量下，比特率减少了一倍以上，这也意味着在相同 比特率下，视频质量可大大提高。根据应用要求，h 2 6 4 a v c 可以设计工作在多 种速率，可广泛应用于网络上的多媒体流服务、视频点播、可视游戏、低比特率 的移动多媒体通信( 视频手机等) 、交互式多媒体应用、实时多媒体监控、数字电 视与演播电视、虚拟视频会议等领域。 由于网络环境复杂，存在网络信道不稳定，延迟和阻塞等问题，不利于具有 严格实时性要求的视频传输。针对该问题，国内外各研究机构企业都在积极研究 可扩展视频编码技术。可扩展视频编码已经成为流媒体传输技术中的一项关键内 容和技术。可扩展的视频码流在实际传输应用中可以针对不同的网络传输状况， 不同的终端设备能力和不同的用户需求，提供码流的部分子集而不是所有码流进 行传输。选择传输的码流子集越大，终端解码播放将得到帧率，空间分辨率和视 频质量越高的视频效果，但传输的数据量越大，所占网络带宽也越大：反之，若 选择传输的码流子集越小，终端解码播放将得到帧率，空间分辨率和视频质量越 低的视频效果，但传输的数据量越少，所占网络带宽也越小。可扩展视频编码的 这项特性，符合率失真曲线的变化规律，从而终端能够获得与网络带宽，自己性 能相当的最佳解码质量。因此可扩展视频编码可以为视频流媒体传输应用提供高 效灵活的解决方案。 北京工业大学工学碗士学位论文 在m p e g 2 和m p e g 4 中，几种分层的可扩展视频编码技术得到实现：时 间可扩展( t e m p o r a ls c a l a b l e ) 视频编码，空间可扩展( s p a t i a ls c a l a b l e ) 视频编 码和视频质量可扩展( q u a l 毋s c a l a b l e ) 视频编码：m p e g _ 4 还支持精细粒度可 扩展( f i i ：【cg r 锄1 撕t ys c a l a b i l i t ) r ) 视频编码【9 】；在尚未完成的m p e g 2 1 编码标 准中，一种更加灵活、复杂的可扩展视频编码 2 2 】【2 3 ( h 2 6 4s c a l a b l ee x 衄1 s i o n ) 技术正在研究中。 可扩展视频编码技术的发展可以进一步完善视频流媒体的应用，帮助建立高 效，鲁棒的多媒体信息平台。然而如图1 ，1 所示，在将任何视频编码码流应用到 流媒体系统前，必须将码流封装存储到一定格式的文件当中。可扩展视频编码技 术的应用也有同样的需要。 1 2 3 传输系统中的视频编码文件存储技术 当前，般视频编码的文件存储技术已经成熟。j s o 基本媒体文件格式【2 8 】 作为m p e g 4 标准的一部分，能够提供简单，强大的一般媒体编码文件存储功能， 可以提供灵活，可扩展的文件格式存储媒体信息，以便于媒体的交换，管理，编 辑和播放。该项技术已经得到广泛的应用，用于存储m p e g 4 视频码流的m p 4 文件格式鲫和用于存储a v c 视频码流的a v c 文件格式 3 0 】均是i s o 基本媒体文 件格式的扩展应用。但是这些技术都缺乏针对可扩展视频编码码流的文件存储。 i s o 基本媒体文件格式文件采用面向对象的组织结构，媒体数据以及媒体数 据相关的控制数据均被封装在各个盒子( b o x ) 中。文件解析器可以通过对各个 盒子的解析，高效的对媒体数据进行存取，管理。 在i s o 基本媒体文件格式文件中，媒体数据封装在m d a t 盒子中，称之 为m e d i am d a t 。相关媒体数据的编解码信息和媒体数据的存储位置信息，同步信 息等均存放在诎盒子中，称之为m e d i a 仃a c k 。在本地播放的时候，文件解 析器可以根据m e d i a 廿a c k 中的信息正确配置解码器，从m e d i am d a t 中读取到正 确的媒体供解码器解码。 在流媒体应用中，包头等数据也封装在另一个m d a t 盒子中，称之为h i n t m d a t ，h i 缸lm d a t 中的数据读取控制可以通过另一个触盒子进行存取，称之 为h i n t 仃a c k 。通过h i n t 仃a c k ，m e d i at r a c k ，可以打包数据完成传输，解码和播放。 第1 章绪论 图l - 2i s o 基本媒体文件格式结构 f i g l l r e1 - 2t h es 帆t u r eo f i s ob a s em 。d i af i kf o r m a t i s o 基本媒体文件格式采用面向对象的方式设计，各种内聚性强的数据存储 在同一个盒子中，而内聚性弱的数据存储在不同的盒子中。这使得复杂的文件结 构变得简单，利于解析；同时i s o 基本媒体文件格式并不针对特定的媒体类型和 网络协议设计，在经过简单扩展后可以应用于任何媒体和网络传输协议。这也是 i s 0 基本媒体文件格式被广泛应用的原因所在。 除此而外，在流媒体应用中也存在其他一些公司自行设计的文件格式，较为 通用的有微软公司的a s f 文件格式，r e a ln e 柳o r k s 公司的m 文件格式和苹果 公司的m o v 文件格式。而苹果公司的m o v 文件格式正是i s o 基本媒体文件格式 的前身。 可扩展视频编码的特点决定了可扩展视频码码流与一般视频编码码流的在 结构上存在很大不同。可扩展视频编码码流中包含一层或多层码流，这些码流通 过一定依赖关系的组合可以提供不同视频效果和码率的码流。而对于精细粒度可 扩展编码的码流，甚至单层码流在任意位置能够被截断以提供连续变化的视频码 冒回 北京工业大学工学硕士学位论文 流和码率从而适应网络带宽的变化，截断时如何进行码率分配以得到理想的率失 真也是可扩展视频编码应用时的特点。而一般的视频编码技术只有单层码流，在 视频传输过程中必须全部传输。正是由于这样的不同，当前的针对一般视频编码 码流的文件存储技术不能够直接运用在可扩展视频编码码流上。这些文件存储技 术不能够正确描述可扩展编码码流中各层码流之间的组合依赖关系，也不能帮助 截断精细粒度可扩展码流层时获得最优分配的码率。 可扩展视频编码文件存储技术的研究才刚刚开始，只有少数的研究成果，而 且这些成果也只是一些初步的研究。s i r 培e r d a v i d 等人基于i s o 基本媒体文件格 式提出了可扩展视频编码的文件格式 3 ”，该文件格式能够很好的兼容现有的文件 格式，然而由于它直接存储特定视频效果需要的子码流集合，产生了存储冗余； 同时也没有提供元数据帮助实现精细粒度可扩展视频编码的最优化码率分配。 1 3 课题的研究目标和研究意义 本课题研究旨在解决当前可扩展视频编码中的文件存储问题。通过分析各种 可扩展视频编码技术及其生成码流的特点，建立可扩展视频编码的码流结构和码 率分配模型，该模型能表述可扩展视频编码码流中各层码流之间的依赖关系并提 供最优化码率分配。我们在此模型上设计新的文件格式。依据该通用模型设计的 新文件格式能够正确，有效地表述各层码流之间的依赖关系，存储码流，帮助视 频服务器选择恰当的码流组合；提供了必要的元数据帮助视频服务器做最优化码 率分配。同时该文件格式应与当前一般视频编码码流的文件格式有较好的兼容特 性，继承当前一般视频编码码流文件格式所具有的优点。 在未来的多媒体信息平台中，网络状况复杂，终端设备多样。可扩展视频编 码技术在多媒体信息平台中的应用有着得天独厚的优势，使用可扩展视频编码技 术压缩视频数据，并在多媒体信息平台上传输势在必行。设计一种新文件格式封 装可扩展视频编码码流，是可扩展视频编码技术从理论走向应用的必经之路，关 系到可扩展视频编码技术的应用前景，影响到未来多媒体信息平台的成功建立。 一个融合的多媒体信息平台将大大提高人类的生活水平，改善人类生活工作环 境。 1 4 本文的内容安排与组织结构 第1 章绪论 本文的研究内容包括可扩展视频编码的有向无环图模型，自适应率失真模 型，以基于h 2 6 4 的可扩展视频编码为应用例子，设计基于自适应率失真模型并 兼容i s 0 基本媒体文件格式的可扩展视频编码文件格式。本文分析了分层可扩展 视频编码的码流结构特点，建立有向无环图模型描述分层可扩展视频编码码流各 层间的依赖关系；分析了精细可扩展视频编码最优化码率分配算法，在有向无环 图模型的基础上建立了自适应率失真模型，该模型既能描述码流层间关系，又能 实现码率的最优化分配；基于h 2 6 4 的可扩展视频编码技术是最为灵活的可扩展 视频编码技术，本文最后以该技术为研究对象，基于自适应率失真模型设计了兼 容i s 0 基本媒体文件格式的文件格式，并给出了以该文件格式封装的码流在码率 自适应传输下的实验结果，实验结果表明该文件格式能够有效的支持码流层选取 和最优化码率分配。 本文分以下几个部分：第一章是绪论部分，介绍了课题研究背景，视频流媒 体系统涉及到的视频编码和文件格式技术，重点指出可扩展视频编码文件格式的 需求；第二章则重点介绍有向无环图模型的建立；自适应率失真模型的建立将在 第三章中给出详细的描述：第四章基于自适应率失真模型设计了基于h _ 2 6 4 的可 扩展视频编码码流的文件格式，该文件格式能够兼容i s o 基本媒体文件格式。该 章同时还给出了实验结果。最后，总结本文所阐述的内容并展望未来的工作。 第2 章可扩展视频编码的有向无环图模型 第2 章可扩展视频编码的有向无环图模型 2 1 引言 可扩展视频编码技术在过去十年中取得了极大的研究成果，科学家们研究出 许多种可扩展视频编码方法。在m p e g 2 和m p e g 4 中就包含了几种不同的分 层可扩展编码方法：时间可扩展，空间可扩展和视频质量可扩展。随着可扩展视 频编码技术的发展，视频流媒体系统也能够取得更好的适应性，然而也面临新的 存储技术挑战。 般而言，可扩展视频码流包含一层或多层的子码率。在子码流间存在着一 定的依赖关系。在视频传输的过程中，必须根据网络状况，用户需求和子码流间 依赖关系选取特定的子码流集进行传输。 在本章中，我们通过分析分层可扩展视频编码技术及其码流结构特征，定义 一个通用的可扩展视频码流结构模型。该模型能够描述分层可扩展视频码流结 构，以及各层予码流间的关系。基于该模型的文件格式能够为视频服务器高效的 选取子码流集提供元数据。 2 1 2 可扩展视频编码的码流结构 2 2 1 可扩展视频编码技术 较为成熟的可扩展视频编码技术最早出现在m p e g _ 2 标准中，随着m p e g - 4 的标准化进程的推进而不断深入和细化。可扩展视频编码实质上是将原始压缩码 流在率失真意义上划分成逐次累进的多个码流子块，使得初始部分码流予块可以 形成一个基本层( b a s el a y 曲，而后面的各码流子块可以形成一系列增强层 ( e n h a n c e m e ml a y e r ) 。基本层可以单独解码，而增强层的解码依赖于基本层。它 同一般视频编码的最大区别在于：前者可以对码流作选择性重建，而后者却不能。 正是其特有的码流选择扩展特性才使得它能够应对传输带宽的变化和终端的多 样性。 近几年，随着m p e g - 4 标准视频编码方案研究的深入，目前基于传统运动补 北京工业大学工学硕士学位论文 偿+ d c t 混合编码框架出现了下面三种不同的分层可扩展视频编码算法： = i 尊囊j e 卜 r 一几 一 厂i _ 11i 一 i j1 _ j l _ - l 1 pj f 。 1厂- 一广 一厂 ppp 基车差 壁强县 e 忙m i 毋 e m 匀 抽 基本凄 质量可扩展 时间可扩展 f _ _ 卜f 1 丁 空闷可扩展 圈2 l 三种分层司扩展视频编码框架 f i g u r e 2 一it h e 缸m e w o r ko f i 啪d s c a k l b i ev i d e oc o d i n g 时间可扩展视频编码： 时间可扩展视频编码是把原始视频数据以相同的空间分辨率，不同的帧率压 缩成两层。基本层以低帧率编码，而增强层提供低帧率视频效果中缺少帧的信息， 获得高帧率的视频效果。因此时间可扩展视频编码效率较高，接近于一般视频编 码。在时间可扩展视频编码过程中，基本层可采用本层的i 帧，p 帧预测，而在 增强层采用来自基本层的i 帧，p 帧或来自增强层的p 帧迸行预测。如图2 1 。 空间可扩展视频编码： 空间可扩展视频编码是把原始视频数据以相同的帧率，不同的空间分辨率压 缩成两层。基本层以较低的空间分辨率编码。对重建的基本层图像进行上采样可 以作为增强层高分辨率图像的预测参考帧。解码时，增强层的数据能够补充基本 层解码得到低空间分辩率视频效果，获取高空间分辩率视频效果。如图2 1 。 视频质量可扩展视频编码： 视频质量的可扩展性也即s n r ( s i 弘a l - t o 埘o i s y r a t i o ) 可扩展是以相同的帧 第2 章可扩展视频编码的有向无环图模型 率和空间分辨率把原始视频数据压缩成多层，但是它们的量化精度不同。编码时 d c t 系数以较大的量化参数量化得到基本层数据进行熵编码，d c t 系数和前次 量化后系数的差可以作为增强层数据进行熵编码；解码时首先基本层比特流经过 基本层熵解码器解码。然后反量化产生重建的d c t 系数。增强的比特流在增强 层进行熵解码，d c t 系数的增强残差在增强层反量化时产生。因此，通过增加 基本层的重建d c t 系数和增强层的d c t 残差可获得更高精确度的d c t 系数。 具有更高精确度的d c t 被传递给反d c t 单元得到重建数据，这些数据或直接作 为图像数据，或作为运动预测残差加到参考宏块中得到图像数据。如图2 - l 。 分层可扩展视频编码技术可以提供较好的网络适应性，然而比较分层可扩展 视频编码技术的率失真曲线和理想率失真曲线，我们可以看到分层可扩展视频编 码技术的率失真曲线呈阶段性变化，不能达到平滑的变化。这是因为每次可扩展 的最小单位是层，根据网络带宽的变化，视频服务器决定某层视频是否应该传输， 带宽变化较大。为适应网络带宽的平滑变化，在m p e g 一4 中一种新的技术f g s 9 】 ( f i n eg r 删1 撕母s c a l a b l e ) 应运而生。 图2 2 精细粒度司扩展视频编码框架 f i g l l r e 2 _ 21 1 l e 缸m e w o r ko f 砌eg r 孤u l a r i t ys c a l a b l e d e oc o d i n g 精细粒度可扩展视频编码： 精细粒度可扩展视频编码方式是把视频流编码成两个比特流，一个非扩展的 基本层和一个精细粒度可扩展的增强层视频流。根据可获的信道带宽，或解码器 的性能，仅有一部分的增强层和基本层得到传输。 北京工业大学工学硕士学位论文 基本层能单独进行解码提供较粗糙的视频质量。增强层仅能和基本层一起解 码，做为补充提供更优的视频质量。和其他的可扩展编码方法不同，精细粒度可 扩展视频编码器对增强层视频流采用位平面编码。正如我们所知，在传统的d c t 编码，量化的d c t 系数采用游程( r u n l e v e l ) 编码。在一个非零d c t 系数前 连续为零系数的数目被称为”游( 砌) ”，而非零d c t 系数的绝对值被称为”程 ( 1 e v e l ) ”。位平面编码方式和游程编码方式的最大区别在于，位平面编码方式 把每个量化的d c t 系数看成一个二迸制整数，而不是一个确定值的十进制整数， 每次对宏块中量化的d c t 系数二进制整数中相同位进行编码。位平面编码方式 能够以任意编码比特重建d c t 系数，可获得对增强层连续的比特控制。如图2 - 2 。 2 2 2 可扩展视频编码的码流结构 通过2 2 1 节的分析，我们可以看到可扩展视频编码码流结构比一般的视频 编码码流结构更加复杂。一般视频编码码流中，视频数据可看成是单一的一层， 其中任何一部分数据的丢失会导致一些未丢失数据在解码过程中无效，例如在 h 2 6 4 码流中，i 帧数据的丢失会导致以它为参考的p 帧和b 帧数据都不能够被 解码。而分层可扩展视频编码的码流中包含了多层子码流，不同的子码流组合能 够提供不同的视频效果，上层的子码流丢失并不影响下层子码流的解码。 早期几种视频编码标准如：m p e g 2 等提供了简单的可扩展视频编码技术， 这些可扩展视频编码主要是以分层可扩展为主。信号可能被分成多层编码，包含 一个基本层和多个增强层。时间，空间的增强层用基本层的重构数据作为预测参 考编码，而质量增强层则以基本层的d c t 系数为参考，对取较低量化参数量化 后的d c t 系数与基本层d c t 系数的差值进行编码。解码后的增强层能在基本层 的重构数据基础上提高视频的时间，空间分辨率或视频的质量。 尽管在m p e g - 4 中所采用的精细粒度可扩展视频编码技术较之前面几种分 层可扩展视频更为复杂，它能够截取任意码率的码流，以保证视频质量的平滑扩 展。但是就一般情况而言，精细粒度可扩展视频编码的码流也包含两层码流：非 扩展编码的基本层和一个使用位平面编码的增强层。 除此而外，还有很多其他的可扩展视频编码技术，它们融合了分层可扩展视 频编码技术和精细粒度可扩展视频编码技术，如：p f g s 【”】( p r o 乎e s sf i i l e g r a i l u l a r i t t ys c a l a b l e ) ，m p f g s ( m a c r o b l o c kp r o g r e s sf i n eg 瑚u 1 撕t t ys c a l a b l e ) ， 第2 章可扩展视频编码的有向无环图模型 f g s t 【3 习( t e l l l d o r a lf g s ) 等。尽管它们的编码细节各有不同，码流结构却有着类 似的形式。即可扩展视频编码的码流中包含有多层码流，所有的数据构成一段可 扩展视频编码码流，而每一层码流数据构成一段子码流。这些子码流问存在着不 同的依赖关系，某些使用位平面编码技术的子码流还能够被任意截取，如精细粒 度可扩展视频编码中增强层构成的子码流。 随着小波理论的发展，可扩展视频编码也取得了新的进展。因为小波变换多 分辩率的特性，使得应用小波变换到视频编码技术中，能够提供更为灵活同时也 更为复杂的时间，空间可扩展性。近年来基于小波理论的可扩展视频编码技术已 经成为视频编码领域的热门研究课题。 基于小波理论的可扩展视频编码技术主要有两类。类基于三维小波变换 【1 州1 9 】，在该类技术中，小波变换被应用到空间和时间维度上，同时根据小波变 换在空间，时间维度上变换次序的不同又可以将这类技术分成两种： 1 6 1 7 文中提出把时间维度上的小波变换应用到视频数据上先于空间维度上的小波变 换， 1 8 1 9 文章提出的技术方案则是视频每帧图像首先被空间维度上的小波 变换分解为多个子带，每个子带中再进行时间维度上的小波变换。经过三维小波 变换的视频数据已经被分解成多个子带。在小波逆变换的时候，低频子带的数据 和高频子带的数据进行逆变换可以得到较高分辩率的信号，因此在基于三维小波 变换的可扩展视频编码码流中，我们同样可以定义每个子带中的数据构成一段子 码流。如果某子带的数据使用了位平面编码技术进行编码，该段子码流也是精细 粒度可扩展的，可以在其提供的上下限内以任意码率截取码流。 近年来也出现了一些结合小波变换和离散余弦变换的混合编码框架，其中比 较成熟的是基于h 。2 6 4 的可扩展视频编码技术0 2 3 】，该技术已经成为h 2 6 4 a v c 标准s v c 组织的技术草案。该组织主要研究制订基于h 2 6 4 的可扩展视频编码技 术的标准。在该项技术框架中，空间可扩展性是通过空间分层编码实现的：输入 的视频序列，首先下采样成为几个不同空间分辨率的序列：每一个序列作为一个 空间层，高分辨率层的视频帧可以用低分辨率帧的信号作为预测参考。经过空间 预测的每层序列再采用m c t f 【3 3 】( m o t i o nc o m p o s i t i o nt r a n s f o 硼f i l t e r ) 进行 小波变换可以得到时间上的可扩展视频编码。空闻每层经过小波时域变换的序列 最后采用离散余弦变换进一步取掉视频数据空间上的冗余，对d c t 系数采用位平 面编码以获取精细粒度的可扩展视频编码。空间上的每层视频序列和传统的空间 北京工业大学工学硕士学位论文 分层可扩展视频编码类似，我们可以认为它们构成一空间层；而在每一空间层中， 每个小波子带的数据构成不同的时间层；在同一空间，时间层中的数据，因所处 位平面不同又可以分在不同的视频质量层。在某一特定的空间，时间和位平面层 中的所有视频数据定义为子码流。 综合以上分析，我们可以得