（通信与信息系统专业论文）基于对象的可分级视频编码.pdf

硕士学位论文 摘要 随着计算机和通信技术的不断发展，在网络中实时传输视频等媒体信息成为一种必 然趋势。然而当前网络的带宽有限且带宽是实时变化的，不同用户的网络情况也存在很 大差异，这些都为网络实时传输视频流制造了困难。 解决这个问题最合适的方法就是可伸缩性的编码视频序列，可伸缩性编码通常将视 频序列编码为基本层和增强层两个层，基本层码流是必须传输的，包含最基本的视频信 息，码率较低。增强层是作为可选传输的，可以任意截断，带宽不足时甚至可以不传输， 传输的增强层越多，解码出的图像质量就越好。由于这种方法生成的视频流可以在一个 很大的码率范围内自我调整，因而能够适应复杂的网络带宽波动。其次，由于增强层的 数据包丢失不会影响到其它帧，对视频质量影响也不大，因而可伸缩性视频编码生成的 视频流具有较好的鲁棒性。 但是这种方法的编码效率较低，和传统的非分级编码方法相比要低3 d b 左右。为了 提高它的编码效率，本文重点分析了分级编码和基于对象编码的研究现状，并在此基础 上提出了一种基于对象的可分级视频编码方法。该方法在增强层运用了运动补偿技术， 提高了编码效率；引入高空间分辨率增强层，获得较好的空间可分级性，可以应用在需 要改变空间分辨率的视频传输中；在位平面编码时采用选择性增强技术，提高了感兴趣 区域的视频质量。 通过n s 一2 网络模拟器进行了仿真试验，结果表明该方法提高了编码效率和图像质 量，并且可以提供视频的空间可分级性。 关键词：精细可分级；运动补偿：空间可分级：基于对象的编码：选择性增强 、 基于对象的可分级视频编码 a b s t r a c t w i t ht h ed e v c l o p m e n to f 锄p u t e r 粗d 咖m u l l i c a t i st c c h n o l o g y r c a l - t i m ev i d c o 觚d m e d i at 姗s m i s s i o nb e c d m e sa ni n e v i t a b l et r c n d h o w e v e r t h eb 柚d w i d t l io fn e t 、) 旧 r ki s l i m i t c d 加dr e a l - t i 妣c h 矩g c d 姐dt l l en e 押o r k s0 fd i 他砌tu s c 娼ms i 鲥f i 啪t l yd i 疏f c n ta t t h c 鼢m ct i l i l e ，w h i c ha 托t h er e a s o 璐f o rt h cd i f f i c i l l t i 岱0 f 删- t i m cv i d c 0 柚dm c d i a b 锄圊咀i s s i o n t h es c a l a b l ev m c o d i n gs c q u 明c ci st h em o s ts u i 切b l cm e t h o dt o l v ea b o v ep r o b l e m t h cv i d c 0s e q u e n i su s u a l l ys 印a r a t e di n t 0 锕ol a y e 瑙b ys c a l a b l ev i d c 0c o d i n 舀i nw h i c h t h eb 嬲i cl a y e r 锄de n h 锄c e m e n tl a y e ra 托i n c l u d e d t h eb 弱i cl a y e ri sm l l s tb et r a n s m i t t e d ，i n w h i c hb 勰i ci n i ! b n n a t i 蚰i sc o n t a i n c d 觚db i t f a t ei sl o w e r n ec 血锄c c m e n tl a y e ri s 觚叩t i o n 仃a n s m i s s i o n ，w h i c h 啪b ec u to 竹e v e nn o n 一胁s m i s s i w h e nt h eb 柚d 【w i d t hi si n s u i c i e n t s bm ee n h 锄c c m e n tl a y c r 觚l s m i s s i o ni sm o r c ，t h ei n l a g eq u a l i t yi sb e t t e r t h cs c a la _ b l ev i d e 0 s 骶锄sa r ca b l et 0a d 印tt 0c o m p l i c a t e df l u c l u a t i 0 璐o fn e 咖r kb 锄d w i d t hb c c 肌s et h ev i d e o s t 他锄s 啪b e l f 二r e g u l a t e dw i t h i nt h cs c 0 p eo fal 盯g cb i 缸a t c s e 伽d l y f o rt h el o 豁0 f 髓h 加c e m e ml a y c rd a t ap a c k e tw i l l ta f e c t 也co t h e r 向m ca n dt h eq u a l i t yo fv i d c 0 s c q u e n c c ，t h ev i d s e q u 锄c cg e n c r a t e db yt h es c a l a b l ev i d c 0c 0 曲略h 弱b e t t e rr o b u s t n e 髓 w h e r c 弱，t h cc r l a d d i l l gr a l eo ft h es 1 a m ev i d e oi sl e 蹒c 岱c i 锄t ，w h i c hi sl o w3d b m p a r e dw i t ht h et r a d i t i o n a ln 锄一h i e r a r c t l i c a lc d d i n gm e t h o d 1 l lo r d e rt oi m p r o v ec o d i n g c 蚯c i e n c 弘an c w 丘】呛伊a n u l a rs c a la _ b l ev i d e oc o d i n gm m o db 弱e do nt h ei i n a g eo b j e c ti s i n t 刚u c c db 蠲e d t h ca n a l y s i so ft h e 血e - 孕锄u l a i i t y - s c a l a b l e 弛dt h ec o d i n gb a s c d 彻t h c i m a g ed b j e c t ，i n 砌c hm o t i o n0 0 m p e n s a t i o nt e c h o l o g y i ne n h a n c c m e n tl a y e ri se m p l o y e dt 0 i m p r o v et h ec o d i n ge f f i d 曲亡y t h ch i g hs p a t i a lr c s o l u t i o nc n h a n 蚴e ml a y c ri si n d u c e dt 0 0 b t a i nab e t t e rd 缎施c a t i o n ，w h i c hc a nb ea p p l i e di nt h e 协m s m i 豁i o n0 ft h es p a t i a l 托l u t i o n v i d e 0t h a tn c e d e dt ob cc h 锄g c d 1 1 l es e l e c t i v c l ye n h 锄c ei su t i l i z c dj nw l l i l ep l 加ec o d i n gt o i m p r o 、，ct h cv i d q u a l i t yo ft h ei n t e r c s t e dr e g i o n 弧cs i m u l a t i o ni s 铡函c d 伍en s 一2n e 铆o r ks i m u l a t o f ，w l i i c hs h o w st h a tt h cc o d i n g e 伍c i e n c y 觚dt h ei m a g cq u a l i t y 伽b ei m p r 0 v e d 柚dt h cv i d e 0s e q u e n c es p a c es c a l a b i l i t y 锄b ep r o v i d e d e i t h e r k e yw o r d s ：蜀m - 伊锄u l a i i t y s c a l a b l e ；m o t i 佃伽p e n s a t i o n ；s p a t i a ls c a l a b i l i t y ；c o d i i l g b a d 强t h ei m a g co _ b j e c t ；l c c i v ce n l i 姐咖锄t n 硕士学位论文 插图索引 图2 1 时域分级编码示意图5 图2 2 空间域分级编码示意图5 图2 3 视频编码的性能比较7 图2 4 基本f g s 编码器框图1 0 图2 5 基本f g s 解码器框图l o 图2 6f g s 的组播1 2 图3 1 ( a ) 帧内模式的上下文取点位置( b ) 帧间模式的上下文取点位置1 6 图3 2 灰度形状信息编码方案1 7 图3 3 无限制运动补偿模式2 1 图3 4 ( a ) 用于0 b m c 的邻块结构2 2 图4 1 选择性增强2 4 图4 2 码流结构( 树型结构) 2 5 图4 3 码流结构( 流型结构) 。2 5 图4 4 码流控制策略( 位平面提升前) 2 6 图4 5 码流控制策略( 位平面提升后) 2 6 图4 6 ( a ) 精细可分级编码( f g s ) 的结构( b ) 增强层采用运动补偿技术的结构2 7 图4 7 ( a ) f g s 编码的编码器结构( b ) 增强层采用运动补偿技术的编码器结构2 7 图4 8 ( a ) f g s s 的结构( b ) 增强层运用运动补偿的f g s s 的结构2 8 图4 9 编码器结构框图2 9 图4 1 0 解码器结构框图3 0 图4 1 1 网络传输模型拓扑图3 0 图4 1 2c a r p h o n e 序列帧序号一p s n r 曲线3 0 图4 1 3c a r p h o n e 序列第5 5 ，5 6 ，5 7 帧原始图像和重建图像3 l 图4 1 4 包和帧丢失情况3 2 图4 1 5c a r p h o n e 序列帧序号一p s n r 曲线3 2 图4 1 6c a r p h o n e 序列第5 5 ，5 6 ，5 7 帧原始图像和重建图像3 3 图4 1 7f 0 r e 腿n 序列帧序号一p s n r 曲线3 3 图4 1 8f 0 r e 髓n 序列第2 5 ，2 6 ，2 7 帧原始图像和重建图像3 4 图4 1 9 包和帧丢失情况3 5 图4 2 0f o r e 髓n 序列帧序号一p s n r 曲线3 5 图4 2 lf 0 r e 衄n 序列第2 5 ，2 6 ，2 7 帧原始图像和重建图像3 6 图4 2 2f 0 r e 腿n 序列帧序号一p s n r 曲线3 6 图4 2 3f o r e 如a n 序列第2 6 ，2 7 帧原始图像和重建图像3 8 图4 2 4 包和帧丢失情况3 9 l n 基于对象的可分级视频编码 图4 2 5f 0 r e m a n 序列帧序号一p s n r 曲线。3 9 图4 2 6f o r e 髓n 序列第2 6 ，2 7 帧原始图像和重建图像4 l 图5 1n s 的仿真工作机制4 5 图5 2 记录档案的格式图4 7 兰州理工大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：三盏谀日期：矗p 诉岁月留日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同 时授权中国科学技术信息研究所将本学位论文收录到 砉薹【阮，一易吲) 2 + 幌刖一咒谯，) 2 】 ( 3 7 ) 其中：毋，是亮度值 该不等式左面一项表示了帧方式下两场位移差值，不等式右边一项表示了场 方式下位移差值，对这两个差值的比较代表了当前帧的运动剧烈程度，当上述不 等式运算结果为真时，说明两场之间的运动较为剧烈，选用场方式d c t 将取得更 好的编码收益，否则，选用帧方式d c t 。 量化方式的选择也有两种：h 2 6 3 量化方案和m p e g 2 量化方案，用户可以根 据对重建质量和码率的要求选取 3 3 任意形状v o p 的运动预测与补偿 与m p e g 2 相比，m p e g 4 中增加了两个运动预测模式：无限制运动预测模 式( u n r e s t r i c t e dm o d c ) 和先进预测模式( a d v a n c c dm o d e ) 。这两种预测模式实际上已 经在h 2 6 3 的高级选项中采用【4 1 4 3 1 。三种预测模式中参考帧都需要先进行基于宏 块的填充。三种模式中运动向量搜索范围都可以达到f 一2 ，一础柚，2 ，一础一0 5 1 ，其 lj 中0s ，一c o 如7 无限制运动预测模式中运动向量可以指到实际v o p 外面，而先 进预测模式可以支持一个宏块中有多个运动矢量，以及块重叠运动补偿。 3 3 1 多边形运动匹配与整象素运动估计 和参考v o p 相同，当前任意形状v o p 也需要填充为整数宏块，不同的是当 前v o p 不需要特殊插值算法，仅需要简单填充零值即可，原因是当前v o p 以外 的象素对匹配判决函数没有影响。 运动估计存在多种匹配准则，常用的有最小绝对误差和( s a d ) 准则，最小均方 误差( m s e ) 准则和最大归一化互相关函数( n c c f ) 准则，判决公式如下： 1 9 基于对象的可分级视频编码 鲥脚川。荟荟眦一“( i 呱) i m 洲m 川一志套卦舢一“( 小刀) r c c ，( 臃，力) - ( 3 - 8 ) ( 3 - 9 ) ( 3 - 1 0 ) 由于s a d 准则实现简单，运算量小，在m p e g 4v m 中选用了s a d 准则，并 针对任意形状匹配的要求，将公式( 3 8 ) 修正为 一 鲥d ( 朋，刀) 一三i ( f ，j ) 一，i 一( f 一坍，j 一 ) i ( ! ( 彳细 4 ( u ) - 一o ) ) ( 3 - 1 1 ) - - j 整象素运动估计在亮度分量中进行，对大量的序列图像观察表明，图像的大 部分在相邻两帧之间是不存在运动的。基于这种现象，若零矢量对应的匹配误差 等于或仅稍高于运动估计中所确定的运动矢量，则将目的运动矢量置零。结果证 明，运用零运动矢量技术得到的矢量场噪声较小，对系统的编码性能影响不大 因此对于零向量，s a d l 6 ( o ，o ) 的计算方法修正为： s 彳d1 6 ( o ，o ) - s 4d 1 6 ( o ，o ) 一( 乡+ 1 ) ( 3 - 1 2 ) 其中， 口一c t l v t ，h f | | 2 6 “一， 一，h - 8 经过( 3 1 1 ) 和( 3 1 2 ) 式搜索得到的最小的s a d l 6 ( m ，n ) 对应着整数象素搜索匹配 向量( m ，n ) ，记v o = ( m ，n ) 。 在隔行视频的条件下，运动估计还可以分别从当前v o p 和参考v o p 的顶场 和底场之间进行，因此将增加另外四个候选运动向量。选择场方式或帧方式进行 运动估计的判决函数为： mbmenn 小；篡，沪枷一肌| ( ! ( 么勿0 叫) ( 3 - 1 3 ) 当4 1 0 l1 0 2i o 优先缀 图4 5 码流控制策略( 位平面提升后) 4 2 在增强层运用运动补偿技术的精细可分级编码方法 图4 6 ( a ) 是精细可分级编码( f g s ) 的结构，图中深色的部分是传输并被用户接 收到的。从图中，我们发现f g s 编码只在基本层运用了运动补偿技术来削弱时间 冗余，而没有在增强层运用运动补偿技术。这样就造成了f g s 编码的编码效率比 其他编码要低。换句话说，如果在增强层采用运动补偿技术，编码效率就可以被 提高。在增强层采用运动补偿技术的结构图如图4 6 ( b ) 所示。该方法的核心思想是 采用更精确地参考图像做更精确地运动补偿。由于基本层和增强层都采用了运动 估计和运动补偿技术，编码效率得到了提高。图4 7 ( b ) 是该方法的编码器结构图， 图4 7 ( a ) 是f g s 编码的编码器结构图。比较两者，我们会发现，和f g s 编码器相 硕十学位论文 比，新方法的编码器只增加了用于运动补偿的位平面数和i d c t 变换两个模块。我 们知道，编码器的计算复杂度主要来自于运动估计和运动补偿，所以新方法的计 算复杂度和f g s 相比并没有什么明显的增加。这样，我们认为新的编码方法有两 个优点： 1 增强层采用运动补偿，提高了编码效率。 2 较低的计算复杂度和较简单的结构使其容易实现。 图4 6 ( a ) 精细可分级编码( f g s ) 的结构( b ) 增强层采用运动补偿技术的结构 图4 。7 ( a ) f g s 编码的编码器结构( b ) 增强层采用运动补偿技术的编码器结构 4 3 空间s n r 可分级的分级编码方法( f g s s ) f g s 编码方法并没有提供空间可分级性，为了获得空间和s n r 可分级性，我 们需要在f g s 编码器的基础上增加一个高空间分辨率增强层。虽然增加的高空间 分辨率增强层可以提供空间可分级性，但高空间分辨率的图像并不能获得s n r 可 分级性。解决方法是引入第三增强层低空间分辨率层这种方法的结构复杂 并且把所有的基本比特用在了第二增强层，但是变化的带宽使基本的比特并不可 靠。因此这种方法是有局限性的，并且限制了它的应用范围。事实上，对于增强 层，我们关心的焦点是比特率的可测量性和实现的复杂性。因此我们修改高空间 分辨率增强层为高空间分辨率s n r 增强层，这样空间和s n r 都能够获得可分级 基于对象的可分级视频编码 性图4 8 ( a ) 示出了f g s s ( 2 1 】的结构。基本层是低空间分辨率低质量层，编码采用 传统的基于运动补偿的编码方法。f g s 增强层是低空间分辨率高质量层，采用位 平面编码方法编码原始图像与基本层重建图像的d c i i 系数差值。高空间分辨率 s n r 增强层参考基本层图像和相同的静态图像进行运动估计。运动向量和d c t 系数差值采用位平面编码来获得s n r 可分级性由于基本层重建图像是低空间分 辨率的，所以在增强层采用它们作参考进行运动估计和补偿之前，必须上采样到 相同的高分辨率增强层。 _ 一l 图4 8( a ) f g s s 的结构( b ) 增强层运用运动补偿的f g s s 的结构 4 4 增强层运用运动补偿的f g s s 编码方法 虽然f g s s 方法获得了空间s n r 可分级性，从图4 8 ( a ) 中我们可以看出，低 空间分辨率f g s 增强层的所有运动估计和运动补偿都参考的是基本层的重建图 像，并且f g s 增强层的比特流只负责当前图像的解码和重建，并没有参与后面的 运动估计和补偿。换句话说，f g s 增强层有太多的时间冗余，造成了编码效率的 低下。高空间分辨率s n r 增强层的参考帧都是基本层的重建图像，这就造成了运 动估计的不精确，而且，这种不精确在上采样后会更加严重，会影响后面图像估 计的精确性直到下一个i 帧。因此f g s s 方法需要改进。结合图4 6 ( b ) 和4 8 ( a ) 两 种方法提出一个新的结构，如图4 8 ( b ) 。在增强层运用运动补偿的f g s s 方法不仅 获得了空间s n r 可分级性而且提高了编码效率。从图4 8 ( b ) 可以看出，f g s 增强 层也作为运动参考，由于参考更加精确，增强层的时间冗余被削弱了，编码效率 得到了提高。一个图像组的编码序列为：i ，bn 功b nn 功吼p h ，其中z 表示 低空间分辨率层， 表示高空间分辨率层【4 6 1 。 4 5 一种基于对象的分级编码方法 为了进一步提高图像质量，我们将上述方法与基于对象的编码方法相结合。图 4 9 是该方法的编码器结构框图。该编码器包含两个编码器，一个是低空间分辨率 硕士学位论文 编码器，一个是高空间分辨率编码器。低空间分辨率编码器与增强层运用运动补 偿的f g s 编码器结构相似，因此结构简单，计算复杂度不高。高空间分辨率编码 器的结构虽然看似复杂，但由于它有很多模块都是与低空间分辨率编码器共用的， 所以整个编码器的计算复杂度增加并不多。 - 蕞空瞬分耪率蘑嚼矗! 鹚携攀燎醵 图4 9 编码器结构框图 从图4 9 中可以看出，低空间分辨率基本层包含低空间分辨率图像的运动向量 和纹理信息，通过传统的基于运动补偿的方法编码，生成低空间分辨率基本层比 特流。低空间分辨率增强层先对低空间分辨率原始图像和基本层重建图像的d c t 残差系数进行对象分割及优先级排序，选择性增强，然后进行位平面编码生成低 空间分辨率增强层比特流。高空间分辨率一s n r 增强层包含高空间分辨率原始图像 的运动向量和纹理信息，先对高空间分辨率原始图像和重建图像d c t 残差系数进 行对象分割及优先级排序，选择性增强，然后进行位平面编码生成高空间分辨率 增强层比特流。该方法在增强层运用了运动补偿技术，提高了编码效率：将增强 层分为低空间分辨率和高空间分辨率两层，可以满足人们改变视频分辨率的要求； 在位平面编码时采用选择性增强技术，可以针对人们的视觉特性，提高人们感兴 趣区域的位平面，保证该区域的有效传输，在带宽一定的情况下可以提高人们感 兴趣区域的图像质量。图4 1 0 为该方法的解码器结构框图。 基于对象的可分级视频编码 4 6 实验和仿真 伊氍搴辩镑渗率壤喝赢空弼分辨黎增强鼷 图4 1 0 解码器结构框图 实验中我们采用f 0 r e m a n 和c a r p h o n e 序列对系统性能做了测试。其中，低空 间分辨率采用q c i f ( 1 7 6 1 4 4 ) 格式，高空间分辨率采用c l f ( 3 5 2 2 8 8 ) 格式。 我们对序列的前8 0 帧编码，基本层编码帧率为1 5 帧s ，增强层编码帧率为3 0 帧 s 。通过n s 2 构建一个简单的网络传输模型，模型的拓扑图如图4 1 1 所示： g 卜s 卜g _ 图4 1 1 网络传输模型拓扑图 、 设定节点1 ，2 之间的链路带宽为2 m ，时延为l m s ，节点2 ，3 之间链路带宽 为0 1 8 m ，时延为1 0 m s ，节点3 ，4 之间的链路带宽为2 m ，时延为1 m s 。在这种 网络情形下，q c i f 格式的c a r p h o n e 序列没有包和帧丢失，p s n r 曲线如图4 1 2 所示，从图中我们可以看出p s n r 值比较稳定，最高达到了3 6 以上，最低的也接 近了3 3 ，平均p s n r 值达到了3 5 0 6 。获得的主观图像质量也是不错的，原始图像 和重建图像如图4 1 3 所示。 i ：一a 一麓一磊剁f 蕉1 7 匿叼 马 霉# ， u 磊r 卜。_ l i 。， 斑 图4 1 2c a r p h o n e 序列帧序号一p s n r 曲线 第5 5 帧原始图像和重建图像 第5 6 帧原始图像和重建图像 第5 7 帧原始图像和重建图像 图4 1 3c a r p h o n e 序列第5 5 ，5 6 ，5 7 帧原始图像和重建图像 我们在网络状况较低的条件下重做了一次实验。节点1 ，2 之间的链路带宽设 为1 m ，时延为1 m s ，节点2 ，3 之间链路带宽为0 1 5 m ，时延为1 0 m s ，节点3 ，4 之间的链路带宽设为1 m ，时延为1 m s 。这种情形下的包和帧丢失情况如图4 1 4 所示： 3 1 基于对象的可分级视频编码 图4 1 4 包和帧丢失情况 如图4 1 4 所示：第一行表示共发送了1 0 1 个数据包，其中3 0 个为i 帧包，1 8 个为p 帧包，5 2 个为b 帧包；第二行表示共丢失了2 个数据包，1 个为l 帧包，1 个为b 帧包；第三行表示共发送了8 1 帧，包括1 0 个i 帧1 8 个p 帧和5 2 个b 帧； 最后一行表示丢失2 帧，1 个为i 帧，1 个为b 帧。p s n r 曲线如图4 1 5 所示，由 于网络状况有所降低，出现了包和帧的丢失，所以p s n r 的最低值降低到了3 0 ， 平均p s n r 值也降到了3 4 6 6 ，但大部分的p s n r 值还是稳定在3 4 3 6 之间的。重 建图像的质量较网络状况较好时也略有下降，但效果还是可以接受的。原始图像 和重建图像如图4 1 6 所示。 黧 纛 i 辫缪囊鹱囊骥 麓；荔鍪鬻篱 诵叛烂鬻3 疆攒约兹鬻 o 蔗l o | 。1 蓑+ 鬻爹i j ，秀j i 2 黟篡城蔫鞫霞囊i 雾鬻i ! 黪蔫舞：l 脚j 。j 爱。8 9 l l 1 0 鑫童雾鬟l ：_ 1 lj 8 1 0 鳓 图4 1 5c a r p h o n e 序列帧序号一p s n r 曲线 第5 5 帧原始图像和重建图像 硕士学位论文 第5 6 帧原始图像和重建图像 第5 7 帧原始图像和重建图像 图4 1 6c a r p h o n e 序列第5 5 ，5 6 ，5 7 帧原始图像和重建图像 在节点1 ，2 和节点3 ，4 之间的链路带宽为2 m ，时延为1 m s ，节点2 ，3 之 间链路带宽为0 1 8 m ，时延为1 0 m s 的情形下。q c i f 格式的f o r e m a n 序列没有包 和帧丢失，p s n r 曲线如图4 1 7 所示，从图中我们可以看出，p s n r 值基本上稳定 在3 3 3 4 5 之间，最高的p s n r 值达到了3 4 5 8 ，最低的达到了3 2 8 3 ，平均p s n r 值为3 3 6 9 。重建图像的质量也是不错的，原始图像和重建图像如图4 1 8 所示。 图4 1 7f o r e m a n 序列帧序号一p s n r 曲线 3 3 基于对象的可分级视频编码 第2 5 帧原始图像和重建图像 第2 6 帧原始图像和重建图像 第2 7 帧原始图像和重建图像 图4 1 8f o r e m a n 序列第2 5 ，2 6 ，2 7 帧原始图像和重建图像 在节点1 ，2 之间的链路带宽设为1 m ，时延为1 m s ，节点2 ，3 之间链路带宽 为0 1 5 m ，时延为1 0 m s ，节点3 ，4 之间的链路带宽设为1 m ，时延为1 m s 。这种 情形下的包和帧丢失情况如图4 1 9 所示： 硕士学位论文 图4 1 9 包和帧丢失情况 如图4 1 9 所示：第一行表示共发送了1 1 2 个数据包，其中4 0 个为i 帧包，1 9 个为p 帧包，5 2 个为b 帧包；第二行表示共丢失了8 个数据包，6 个为i 帧包，2 个为b 帧包；第三行表示共发送了8 1 帧，包括1 0 个i 帧1 8 个p 帧和5 2 个b 帧； 最后一行表示丢失5 帧，3 个为i 帧，2 个为b 帧。p s n r 曲线如图4 2 0 所示，从 图中可以看出，大部分的p s n r 值还是不错的，稳定在3 4 左右，有一小部分的p s n r 值比较低，降低到了2 3 左右，平均p s n r 值为3 0 9 4 。重建图像的质量较网络状 况较好时也有所下降。原始图像和重建图像如图4 2 1 所示。 图4 2 0f o r e m a n 序列帧序号一p s n r 曲线 第2 5 帧原始图像和重建图像 3 5 基于对象的可分级视频编码 第2 6 帧原始图像和重建图像 第2 7 帧原始图像和重建图像 图4 2 1f o r e m a n 序列第2 5 ，2 6 ，2 7 帧原始图像和重建图像 高分辨率图像包含更多的信息，因此在网络状况较好时才可以传输，因此我 们设定节点1 ，2 之间的链路带宽为2 m ，时延为1 m s ，节点2 ，3 之间的链路带宽 为0 6 8 m ，时延为1 0 m s ，节点3 ，4 之间的链路带宽为2 m ，时延为1 m s 。这种情 况下，c i f 格式的f o r e m a n 序列没有包和帧丢失，p s n r 曲线如图4 2 2 所示，从 图中我们可以看出，p s n r 值基本上稳定在3 4 5 3 6 之间，最高达到了3 6 以上， 最低也超过了3 4 5 ，平均p s n r 值达到了3 5 2 1 。重建图像的质量也比较不错。原 始图像和重建图像如图4 2 3 所示。 图4 2 2f o r e m a n 序列帧序号一p s n r 曲线 第2 6 帧原始图像和重建图像 3 7 基于对象的可分级视频编码 第2 7 帧原始图像和重建图像 图4 2 3f o r e m a n 序列第2 6 ，2 7 帧原始图像和重建图像 硕士学位论文 当节点1 ，2 和节点3 ，4 之间的链路带宽为1 m ，时延为1 m s ，节点2 ，3 之 间的链路带宽为0 6 m ，时延为1 0 m s 时，包和帧丢失情况如图4 2 4 所示： 图4 2 4 包和帧丢失情况 如图4 2 4 所示：第一行表示共发送了2 4 9 个数据包，其中9 3 个为i 帧包，5 3 个为p 帧包，1 0 2 个为b 帧包；第二行表示共丢失了1 9 个数据包，1 个为i 帧包， 1 8 个为b 帧包：第三行表示共发送了8 1 帧，包括1 0 个i 帧1 8 个p 帧和5 2 个b 帧：最后一行表示丢失1 4 帧，1 个为p 帧，1 3 个为b 帧。p s n r 曲线如图4 2 5 所 示，从图中可以看出，p s n r 值波动较大，虽然有一部分在3 4 左右，但有不少出 现了大幅度下降，有些已经降到了1 0 以下，平均p s n r 值也降到了2 9 5 4 。重建 图像的质量也比较差。原始图像和重建图像如图4 2 6 所示。 图4 2 5f o r e m a n 序列帧序号一p s n r 曲线 基于对象的可分级视频编码 第2 6 帧原始图像和重建图像 硕士学位论文 第2 7 帧原始图像和重建图像 图4 2 6f o r e m a n 序列第2 6 ，2 7 帧原始图像和重建图像 4 7 本章小结 首先介绍了选择性增强技术和增强层运用运动补偿的分级编码技术，结合这 两种方法的长处，提出一种新的基于对象的分级编码方法，该方法在增强层运用 运动补偿，增加了高分辨率增强层，削弱了增强层的时间冗余，提高了编码效率。 在位平面编码时运用选择性增强技术，使感兴趣区域可以优先编码传输和解码， 在码率相同的情况下可以提高感兴趣区域的图像质量。实验证明了该方法不但提 高了编码效率和重建图像质量，而且可以提供更好的精细可分级性。 4 1 基于对象的可分级视频编码 5 1 实验平台n s 2 简介 第5 章实验环境 n s 2 1 4 7 4 8 j 是美国d a r p a 支持的v i n t 项目的核心部分，由u cb e r k e l e y ， u s c i s i ，l b l 和x e r o xp a r c 等大学和实验室联合开发。其目的是构造虚拟的网 络平台，提供一系列仿真工具，实现新的网络协议的设计和开发。它的前身是 s k e s h a v 研制的r e a l 仿真器。这是一个可扩展的、容易配置的、可编程的事件 驱动仿真引擎，其源代码全部公开，提供开放的用户接口。n s 2 以它对有线和无 线( 本地或卫星) 网络、局域网和广域网、网络分层模型各协议的丰富支持、强大的 二次开发能力以及可扩展、易配置和编程的事件驱动特性，在国际网络研究界得 到广泛的应用。n s 2 是一个面向对象的仿真工具，既能进行现有网络元素的仿真 分析，又是一个开发新协议、新方案的强大工具，用户可以通过继承n s 2 类来开 发适合自己需要的对象模块，集成到n s 2 环境中去。 n s 2 在设计思路上满足网络研究界在网络模拟方面的多种需求： ( 1 ) 抽象：模拟器要能提供不同粒度的抽象，允许通过单一的模拟器既能模拟 出详细的细节，又能进行一定程度上忽略细节的高级别的模拟。很多情况下，网 络协议要在不同层次上进行研究，并且有许多数据流的汇聚和许多协议的交互。 n s 2 的抽象机制允许研究者在不更换模拟器的前提上考察这些问题，并且可以通 过不同层次的抽象对同一结果做验证。 ( 2 ) 仿真：大多数模拟实验是限制在一个单一的模拟世界里，仅仅包括模拟器 应有的那些协议和算法。而仿真允许一个运行的模拟器和真实的网络节点交互， 在协议设计上会是一个强有力的工具。n s 2 提供了将真实网络中的分组引入到模 拟器中的手段 (