（通信与信息系统专业论文）基于3带小波提升与运动补偿的可伸缩视频编码研究.pdf

摘要 摘要 视频通信是信息交换非常重要的内容 而视频编码技术又是视频通信技术的 基础 然而由于网络的异构性 带宽的波动性以及终端设备的多样性给视频编码 带来了新的挑战 为了使压缩后的视频流具有时域 空域和质量等多方面的可伸 缩性 最大限度地适应网络环境和用户端条件的变化 可伸缩视频编码 s c a l a b l e v i d e oc o d i n g s v c 应运而生 如今可伸缩视频编码的实现已经衍生出了若干方法 基于小波变换的可伸缩 视频编码作为其中的重要分支也得到了长足发展 特别是基于运动补偿时域滤波 m o t i o n c o m p e n s a t e dt e m p o r a lf i l t e r i n g m c t f 的可伸缩视频编码方式 由于 其优越的性能 成为了视频编码的一个热点 本文在对已有的可伸缩编码技术的研究之上 主要做了如下工作 第一章和 第二章介绍了可伸缩视频编码的应用背景 研究现状和发展趋势 同时对小波变 换基本理论进行简述 详细介绍了基于小波的视频可伸缩编码方案 并给出一些 经典框架 第三章在传统的基于提升小波变换时域滤波的可伸缩视频编码方案的 基础之上 将3 带5 3 小波提升与网格运动估计模型相结合 相较2 带小波提升 方案有更好的时域分级灵活性以及压缩性能 运动估计采用改进的弹性网算法 仿真实验证明了它比基于块匹配的运动估计算法性能更为优越 帧组划分和时域 分解级数均使用了自适应算法进行选择 同采用固定尺寸帧组和固定时域分解级 数的方案相比有一定的性能增益 对运动矢量场进行了精简 在一定程度上提高 了运动矢量编码性能 用3 d e z b c 算法进行三维子带编码 并分析了码流的可 伸缩性 第四章对本文编码方案进行了软件的仿真实现 验证了它的空域 时域 质量可伸缩性 同时与其他方案进行了性能对比 证明了本文编码方案具有不错 的压缩性能 第五章对本文的研究工作进行了总结 同时进行了前景展望 关键词 可伸缩视频编码 3 带小波提升 运动补偿时域滤波 a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fn e t w o r k i n gt e c h n o l o g y v i d e o c o m m u n i c a t i o n b e c o m e sm o r ea n dm o r ei m p o r t a n ti nt h ef i e l do fi n f o r m a t i o nc h a n g e h o w e v e r d u et o t h eh e t e r o g e n e i t yo fn e t w o r k t h ef l u c t u a t i o no fb a n d w i d t ha n dt h ed i v e r s i t yo ft e r m i n a l e q u i p m e n t s v i d e oc o d i n gt e c h n o l o g yi sc o n f r o n t e dw i mn e wc h a l l e n g e s i no r d e rt o a d a p tt ot h ec h a n g eo fn e t w o r ke n v i r o n m e n ta n dt h ec h a n g eo fc l i e n t sc o n d i t i o n t h e c o m p r e s s i n gv i d e of l o w i n gm u s th a v et e m p o r a ls c a l a b i l i t y t h es p a t i a ls c a l a b i l i t ya n d t h eq u a l i t ys c a l a b i l i t y i ns u c hc i r c u m s t a n c e ss c a l a b l ev i d e oc o d i n g s v c e m e r g e d t h i sv i d e oc o d i n gs c h e m eh a sm a n yi m p l e m e n t a t i o nm e t h o d s t h es c a l a b l ev i d e o c o d i n gb a s e do nw a v e l e tt r a n s f o r m a t i o ni sa ni m p o r t a n tb r a n c ho ft h e s em e t h o d st h a t d e v e l o pb yl e a p sa n db o u n d s e s p e c i a l l yt h es c a l a b l ev i d e oc o d i n gb a s e d o n m o t i o n c o m p e n s a t e dt e m p o r a lf i l t e r i n g m c t f b e c o m e sa r e s e a r c hh o t s p o td u et o i t ss u p e r i o rp e r f o r m a n c e i nt h i sp a p e r o nt h ee x i s t i n gs c a l a b l ec o d i n gt e c h n o l o g yr e s e a r c h m a i n l yd o n et o d ot h ef o l l o w i n gw o r k c h a p t e r sia n di ii n t r o d u c e das c a l a b l ev i d e oe n c o d i n ga p p l i c a t i o nb a c k g r o u n d t h es t a t u sq u oa n dd e v e l o p m e n tt r e n do ft h eb a s i cw a v e l e tt r a n s f o r ma tt h es a m et i m e t h e o r yb r i e f l yd e s c r i b e di nd e t a i lb a s e do i lw a v e l e ts c a l a b l ev i d e oc o d i n gs c h e m e s a n d g i v e ss o m eo ft h ec l a s s i c a lf r a m e w o r k c h a p t e ri i ii nt h et r a d i t i o n a lw a v e l e tt r a n s f o r m b a s e do nl i f t i n gt h et i m e d o m a i nf i l t e r i n gs c a l a b l ev i d e oc o d i n gs c h e m eb a s e do na p r o p o s e dn e ws c a l a b l ev i d e oc o d i n gs c h e m e s t l l i sp r o g r a mu s 铭3 b a n d5 3w a v e l e t l i f t i n gf o rt i m e d o m a i nf i l t e r i n g c o m p a r e d l r i t l l2 b a n dw a v e l e tl i 衔n gs c h e m ef o r b e t t e rf l e x i b i l i t ya n dt i m e d o m a i nc o m p r e s s i o np e r f o r m a n c ec l a s s i f i c a t i o n m o t i o n e s t i m a t i o nt oi m p r o v et h ef l e x i b i l i t yo ft h eu s eo fn e t w o r ka l g o r i t h m s s i m u l a t i o n r e s u l t ss h o wn l a tt h a nb a s e do nb l o c k m a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h mi sm o r e s u p e r i o rp e r f o r m a n c e f r a m eg r o u pa n dt h et i m e d o m a i nd e c o m p o s i t i o ni n t os e r i e s u s i n gt h ea d a p t i v ea l g o r i t h mt oc h o o s e w i t ht h eu s eo ff i x e d s i z ef r a m ea n daf i x e d t i m e d o m a i nd e c o m p o s i t i o no ft h ep r o g r a mc o m p a r e dt os e r i e sac e r t a i nd e g r e eo f p e r f o r m a n c eg a i n o nt h em o t i o nv e c t o rf i e l dt os t r e a m l i n e t os o m ee x t e n t i m p r o v e d i i a b s t r a c t t h e p e r f o r m a n c e o fm o t i o nv e c t o r c o d i n g 3 d e z b ca l g o r i t h m u s i n g t h r e e d i m e n s i o n a ls u b b a n dc o d i n g a n da n a l y s i so fs c a l a b l eb i t s t r e a m c h a p t e ri vo f t h i sa r t i c l ec o d i n gs c h e m e sf o rt h es i m u l a t i o ns o f t w a r et ov e r i f yi t sa i r s p a c e t h et i m e d o m a i n q u a l i t y s c a l a b i l i t y a n do t h e rp r o g r a m sa tt h es a m et i m et h ep e r f o r m a n c e c o m p a r i s o no fc o d i n gs c h e m e si nt h i sp a p e rp r o v et h a t w i t hg o o dc o m p r e s s i o n p e r f o r m a n c e c h a p t e r svg a v eas u m m a r i z e do f t h i ss t u d yw o r k a n dm a k et h eo u t l o o k a tt h es a m et i m e k e y w o r d s c a l a b l ev i d e oc o d i n g 3 b a n dl i f t i n g m o t i o n c o m p e n s a t e dt e m p o r a l f i l t e r i n g n i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果 据我所知 除了文中特别加以标注和致谢的地 方外 论文中不包含其他人已经发表或撰写过的研究成果 也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明 确的说明并表示谢意 签名 皇赴魄沏7 年f 月矿日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留 使用学位论文 的规定 有权保留并向国家有关部门或机构送交论文的复印件和磁 盘 允许论文被查阅和借阅 本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索 可以采用影印 缩印或 扫描等复制手段保存 汇编学位论文 保密的学位论文在解密后应遵守此规定 签名 三呈芝壶导师签名 日期 聊年f 月 7 日 第一章绪论 第一章绪论 随着网络技术的发展 视频在网络中的传播越来越频繁 然而由于网络的异 构性 带宽的波动性 设备的多样性导致了传统的视频编码技术不能够很好的满 足视频通信的需求 可伸缩视频编码技术正是在这样的背景之下诞生的 1 1 可伸缩视频编码应用背景及研究现状 九十年代后期 随着网络业务的蓬勃发展 网络条件日趋复杂化 这就要求 视频编码所生成的码流能够适应网络结构的异构性 网络带宽的波动性及网络设 备的多样性 即视频编码技术所提供的码流应是可伸缩的 l 网络结构异构性是指各子网的带宽 存储 拥塞控制等各不相同 用户通过 不同的子网传输数据时的传输率 延时 丢失率等也不相同 网络的这一特性要 求视频码流具有可伸缩性 例如 在某一网络中 甲用户与视频服务器位于同一 子网么 乙用户则需通过子网曰接入子网彳才能连接上视频服务器 对于视频服 务器所发出的同一视频码流 甲用户可以接收到子网彳所能传输的码流 乙用户 接收到的码流同时受到子网彳和子网召传输能力的限制 由于子网网络条件的不 同 甲用户可以正常接收并重建的码流传输到乙用户时 很可能由于子网b 网络 条件较差 丢失了一部分数据 导致无法正常重构 而可伸缩编码具有可截断性 可很好的解决这一问题 网络带宽的波动性是指当网络发生拥塞时 有效传输带宽会突然降低 造成 视频质量下降 无论是在互联网还是在无线网络上传输视频码流都存在同样的问 题 这时就需要码流可以部分解码 以较低帧率或较差画面质量重构视频信息 采用可伸缩视频编码可以很容易的满足这一要求 网络设备的多样性是指用户用于接收播放视频信息的设备及播放方式是多种 多样的 这就要求视频码流能支持不同的设备和播放形式 对于某些视频服务 一个服务器要同时支持多个用户 而这些用户的设备其带宽 分辨率 处理能力 存储空间等都可能不同 为了满足不同用户的要求 需要压缩后的视频码流可以 在不同的带宽和分辨率条件下进行重建 即视频码流具有可伸缩性 电子科技大学硕士学位论文 可伸缩视频编码有三种基本特性 时域可伸缩性 t e m p o r a ls c a l a b i l i t y 空 域可伸缩性 s p a t i a ls c a l a b i l i t y 和质量可伸缩性 q u a l i t ys c a l a b i l i t y 这三种特 性分别对应着从单一码流中可以恢复出不同帧率的视频 不同分辨率的视频以及 不同码率的视频 现行的可伸缩编码按实现方式可以划分为基于小波 基于d c t 和基于匹配 追踪 m a t c h i n gp u r s u i t m p 三大类 基于m p 的可伸缩编码由于运算复杂度较高 研究和实用价值有限 基于d c t 的可伸缩编码最具代表性的就是m p e g 4 中使用的精细可伸缩编 码方案 f i n eg r a n u l a r i t ys c a l a b i l i t yc o d i n g f g s 其核心思想就是将视频帧分 成两个层 一个是基本层 一个是增强层 基本的码流用m p e g 4 的不可分级的 a s p a d v a n c e ds i m p l ep r o f i l e 模式编码 对于增强层 先得到原始d c t 系数和 基本层对应的粗糙量化d c t 系数的差 对差值用比特平面进行编码 f g s 增强 层可以在任何位置截断 进而重构不同质量的视频 基于小波的可伸缩编码复杂度较基于d c t 的较高 但灵活性以及压缩性能都 要好于后者 比较有代表性的有e z w e m b e d d e dz e r o t r e ew a v e l e t 算 法 2 1 s p i h t s e tp a r t i t i o n i n g i nh i e r a r c l l i c a lt r e e s 算法t 3 1 m r w d m o r p h o l o g i c a l r e p r e s e n t a t i o no f w a v e l e td a t a 算法 4 j 以及e b c o t e m b e d d e db l o c kc o d i n gw i t h o p t i m i z e dt r u n c a t i o n 算法岭j 等 在上述三类可伸缩编码中 基于小波的可伸缩编码方案由于其优异的性能广 受青睐 近些年取得了长足的发展 下一章将进一步对其进行介绍 1 2 本文研究内容和结构安排 本文主要研究基于运动补偿时域滤波的可伸缩视频编码 并在此基础之上提 出了一种基于3 带小波提升与运动补偿相结合的优化编码方案 本文各章内容的具体安排如下 第一章 绪论 介绍了可伸缩视频编码的应用背景及进展 本文的研究内容 和结构安排 第二章 基于小波的可伸缩视频编码 首先介绍了小波变换的基本理论 然 后介绍基于小波的可伸缩视频编码方法 第三章 基于3 带小波提升与运动补偿的可伸缩视频编码 在详细研究基于 2 第一章绪论 运动补偿时域滤波的可伸缩视频编码的基础之上 提出了一种基于3 带小波提升 与运动补偿相结合的优化编码方案 第四章 仿真结果和分析 通过仿真验证了本文所提出编码方案的可伸缩性 同时与其他可伸缩视频编码方案进行了性能上的比较 第五章 结论和展望 总结本文工作 并提出了需要进一步研究的问题 3 电子科技大学硕士学位论文 第二章基于小波的可伸缩视频编码 2 1 小波变换基本理论 对于线性时不变系统 f o u r i e r 变换无疑是最有力的工具 但是 当试图对瞬 变或非平稳信号进行分析时 f o u r i e r 变换就无能为力了 因此 人们研究了短时 f o u r i e r 变换 小波变换和一般的时频分布方法 用于对信号局域时频特性的分析 特别是小波变换 在图像压缩领域得到了实际应用 并取得了很好的效果 2 1 1 传统小波变换 1 9 小波函数沙 f 需要满足如下几个条件 r 沙 f 出 0 2 10 1 i y f 出 2 一 m l 2 缈 2 e 1 2 出 1 2 2 式 2 1 被称为容许条件 式 2 2 被称为归一化条件 具有有限能量的函数厂 f 的连续小波变换 c o n t i n u o u sw a v e l e tt r a n s f o r m c w t 如式 2 3 所示 其中虬 6 f 称为小波基函数 哆 口 6 e 厂 r 歹 r 渺 e 厂 r 去歹 等 出口 厂 p r 2 3 相应的逆变换公式为 邝 2 虿1 土l 了1 吩 口 6 虬朋批 2 4 式中 第二章基于小波的可伸缩视频编码 q f 学 2 5 连续小波存在信息冗余 在重构信号的时候需要将其离散化 也就是要对将 对尺度因子和平移因子进行离散处理 尺度因子a 和平移因子b 的离散化公式分别为a m 为整数 口o 1 b b o 口o n 记为 f 啄刚2 沙 町 t n b o 2 6 相应的离散小波变换定义为 气 厂 e s o t d t 2 7 其中c m 为离散小波变换系数 简称小波系数 离散小波重构公式为 厂 f c c 卅 f 2 8 其中c 是与信号无关的常数 常取c l 当 2 6 0 l 时 就得到了所谓的二进 积的形式 将一维多分辨分析和m a l l a t 算法推广到二维图像信号的情形 设 巧 e z 是口 r 中的一个多分辨率分析 令吁 巧 巧 可以证明 哆 愆构成r 似 的 一个多分辨率分析 若 巧 e z 的尺度函数痧 x 生成的正交小波函数为 x 则 呼 愆的尺度函数 而y 石 y y 生成的小波函数分别为 i 沙1 x y 曲y 少 y 2 五少 y x y 2 9 l 五y 沙 x y y 5 电子科技大学硕士学位论文 并且函数系 2 2 2 7 y 1 2 1 工 7 沙2 2 7 x 沙3 2 7 x m 2 一 y m 2 y m 2 y 以 咒 疗 2 1 0 构成r 似2 的正交基 设待分析的二维图像为厂 厂 x y 哆 与一维逼近信号的分解类似 二维 逼近图像4 厂 x 少 可分解为 a j f a j f d f 七d f d j 式中 4 厂 q m 托 办 m 甩 巧 厂 彰 朋 m 刀 i 1 2 3 并且q 聊 甩 与q 聊 万 和d 川i 朋 刀 之间有关系 q m 刀 h k 一2 m h 1 2 n c k k t t l 巧 m 挖 h k 一2 m g 1 2 n c j k z t mk a u 球 聊 1 g k 2 m h 1 2 n c j k 七 qk o 壤 加 刀 g k 2 m g 1 2 n c j k 2 1 1 2 1 2 2 1 3 2 1 4 2 1 5 令耳和皿分别代表作用于阵列 g z 2 的行和列算子h 而g r 和q 也具 有同样的意思 则一维m a l l a t 分解算法即可推广为下面的二维m a l l a t 分解算法 6 第二章基于小波的可伸缩视频编码 i q q 皿q 叫 耳g c q j o 1 j 磙 g g c q 2 1 6 相应地 还可写出二维m a l l a t 重构算法 q 研研q 研q q q 研职 q q q 3 j j 1 0 2 1 7 q t 巧 职 取 图2 1 二维信号的小波分解 式 2 1 6 表示的二维正交m a l l a t 分解算法可以用图2 1 所示的滤波器组表 示 将与其相应的重构算法滤波器组替换为分解滤波器的对偶滤波器组 就可以 完成二维双正交小波变换 2 1 2 提升小波变换 2 0 传统小波变换的一个重要性质就是由一个母函数的伸缩平移构成一个正交 基 由于伸缩 平移运算在傅里叶变换域变换为一般的代数运算 因此小波变换 的大多数性质都是通过傅里叶变换工具来描述的 但在一些应用环境下 伸缩平 移是不可能实现的 在这些情况下 传统的小波变换或不可用 或必须对信号进 行延拓 在有限区间内定义的函数或离散情况时的有限长序列 必须通过延拓方式才 可以利用小波变换进行分析 如果是定义在一个特殊曲面上的函数 例如定义在 球面上的函数 很难通过伸缩 平移进行描述 从而也难以用传统小波变换对其 进行分析 放弃用伸缩 平移一个母函数构成小波基 也就可以不采用傅里叶变换作为 7 电子科技大学硕士学位论文 主要工具 在这样的前提下 出现了应用范围更广 计算速度更快的新一类小波 变换 提升小波变换就是这样一类新的小波变换工具 提升方法具有如下几个优点 1 可以实现更快速的小波变换算法 一般通过提升方法可以达到比m a l l a t 算法快两倍的离散小波分解 2 提升方法可以实现完全的同址运算 3 利用提升方法 正向小波变换和反变换结构是非常一致的 仅有正负号 的区别 4 提升小波变换的描述非常简单 可以避免使用傅里叶变换 提升算法的过程分为分裂 预测 更新三个步骤 图2 2 给出了实现小波变 换的一个最基本的提升方案 其中 预测和更新分别对应着一个提升步骤 c j n 勺 图2 2 提升过程不葸图 下面对提升过程进行一个介绍 首先说明一下符号 口0 表示数据集 a o l f z 口 c l 的含义类似 第一步分裂过程 是将 分解成两个集合口l c i 分解方法有多种 例如将 奇数点集合定义为a 偶数点集合定义为q 这称为惰性小波变换 1 a z yw a v e l a e t 在实际应用中 第一级分解多采用这种分解方式 第二步是预测 主要是消除第一步分裂后留下的冗余 给出更紧致的数据表 示 预测的目的是用a 预测c l 预测误差形成新的c i 即 c 1 c i p a 1 2 1 8 式 2 1 8 中 相当于伪代码中的赋值 p 是预测算子 对预测p 的构造需 8 第二章基于小波的可伸缩视频编码 要考虑原始信号本身的特点 具体应用时 要尽量使预测结果接近c l 这样得到 的细节部分 也就是高频分量比较小 数据的相关性越强 得到的高频成分就越 小 能量就越集中 越有利于之后的熵编码 第三步是更新过程 更新是为了使某一全局特性得到保障 为此 对预测误 差利用更新算子u 对a 更新得到更准确的低频分量 a l q u c 1 i 口 1 口 i 一 厂 勺 i 钆l 勺 l 一以口川 口 j o i n a j l c j 1 2 1 3m 带小波变换 2 1 9 2 2 0 传统的2 带小波变换 对信号的进行小波分解是按倍频程方式进行的 这使 得了信号的分频范围受到一定的限制 为了克服这一缺陷 人们开始着手研究m 带小波变换 2 3 1 行列 图2 3 图像的m 带小波变换分解流程图 文献 2 4 给出了对信号实现m 带多分辨率分解和重构的方法 文献 2 3 通过 张量积将其推广到到二维情况下 实现了对图像的m 带多分辨率分析 并在此基 础之上实现了图像的压缩 图2 3 为文献 2 3 1 给出的图像的m 带小波变换分解 9 电子科技大学硕士学位论文 流程 图2 4 为实现图像m 带小波变换压缩算法的编码流程 在相同分解层情况下 m 带小波变换对图像信号的分解较传统的2 带小波更 为细致 输入图像卜叫m 带小波变换h 分析量化 输出图像hm 带小波逆变换h 反量化 编码 解码 图2 4 图像m 带小波变换压缩算法的编码流程 2 2小波可伸缩视频编码的演进 存储或传输 小波视频编码的算法普遍都是以小波图像编码算法为基础的 了解小波图像 编码算法有助于理解小波如何应用于视频编码 所以本节先简单介绍下基于小波 变换的图像压缩编码 再对小波可伸缩视频编码进行介绍 2 2 1 小波图像编码算法 基于小波变换的图像压缩编码可描述为如下三步 z 习 1 选择合适的小波函数对图像进行小波变换 2 对变换后的得到的小波系数进行量化编码 从而产生二进制码流 3 对码流进行熵编码 形成最终的比特流 近几年 在有效利用小波系数所具有的统计特性的基础之上 小波图象压缩 技术衍生出了诸多算法 其中较为经典的有 嵌入式零树小波编码算法 e z w 分层树集划分算法 s p i h t 比特流优化截取内嵌块编码算法 e b c o t 和嵌 入式零块编码算法 e z b c 1 2 6 1 e z w 算法建立在 零树 的基础之上 所谓 零树一是指 对于给定的门限 r 如果一个小波系数在粗尺度上是不重要的 同时在较细尺度上同样空间位置 的小波系数对于门限r 也不重要 那么则称这些小波系数构成了一个 零树 算法为了对小波树进行递归编码 定义了零树根 勿限 孤立零 i z 正重要 系数 p o s 负重要系数 n e g 四种符号 编码后所生成的码流有效的消减了 对高频系数编码的开销 提高了小波系数编码效率 并具有质量可伸缩性 而且 1 0 第二章基于小波的可伸缩视频编码 算法复杂度较低 s p i h t 算法是在吸收e z w 算法精华的基础之上提出的 其性能要优于e z w 算法 这一算法的很多思想直接来至e z w 算法 首先 它也是对于一个给定门 限先进行重要性判定 再对重要系数进行细化表示 其次 他也是首先对一颗最 大的树判断它是否全部为非重要系数 若是 则仅用一个比特 否则将进一步划 分 这类似于e z w 中的零树判决 s p i h t 也引入了许多更一般的表示方法 它 不采用类似e z w 中的四种符号 在整个递归编码过程中只进行二元判断 重要 性判定和重要系数细化得到的结果均只需一个比特即可表示 此外 s p i h t 只采 用2 作为门限值 一遍扫描完成后 以一1 相当于门限减半 进行下一轮扫描 这是一种典型的比特平面编码 s p i h t 算法产生嵌入式码流同样具有质量可伸缩 性 算法复杂度较低 e b c o t 算法是j p e g 2 0 0 0 的基本编码算法之一 与e z w 和s p i h t 所不同 e b c o t 算法利用了子带内相邻系数之间的相关性 通过将子带划分成编码块的 方式 对每个码块单独编码 所生成的嵌入式码流不但可以提供质量可伸缩 还 能实现分辨率可伸缩 同时支持随机访问 e b c o t 的压缩性能略高于s p i h t 但复杂度也有所提高 e z b c 算法采用了和e b c o t 相类似的自适应四叉树分割方法 分离重要系 数 e z b c 算法首先获得各子带的四叉树结构 每个四叉树的节点为相对应块子 带系数的最大值 和一般的基于像素的位平面编码方法不同 它还需对各个不同 四叉树层的节点进行编码 e z b c 算法利用小波分解图像四叉树结构的统计相关 性进行零块编码 同时它还利用了各层子带系数四叉树结构的上下文信息 对四 叉树节点的重要系数采用基于上下文的算术编码方法 e z b c 算法采用统一的零 块编码方法 其压缩性能优于e z w 和s p i h t 编码算法 2 2 2 小波可伸缩视频编码 小波在静止图像压缩中优异表现对小波视频压缩的研究起到了促进作用 近 年来 诞生了不少新的算法 零树熵 z t e 视频压缩编码算法 2 刀是在e z w 算法的基础之上提出的 它 虽然失去了嵌入特性 但其压缩率较e z w 算法有了很大的提高 同时具有空域 可伸缩性 p a c c p a r t i t i o n i n ga g g r e g a t i o n a n dc o n d i t i o n a lc o d i n g 视频压缩编 电子科技大学硕士学位论文 码算法 2 8 是对e z w 和s p i h t 算法综合优化的结果 其压缩性能要高于z t e 算法 重叠块匹配运动补偿 o b m c 算法 2 9 使用相邻块的运动补偿预测的加权来表示 当前块的预测 即减少了运动补偿残差帧的整体能量 同时在一定程度上也消除 了块效应 可变多分辨率运动补偿 m r m c 视频编码算法 3 0 利用小波金字塔 结构各层间的相关性 来降低运动补偿过程的运算复杂度 这种运动补偿方法在 降低运动搜索时间的同时 也加大了对传输带宽的需求 文献 3 1 利用冗余小波 变换代替一般小波变换 取得比较理想的运动补偿效果 低频子带平移 l o wb a n d s h i t t 运动估计与补偿算法 3 2 将参考帧与沿水平 垂直和对角三个方向各平移一 个像素的三帧一起进行小波分解 对当前帧的匹配在所有变换子带中进行 运动 补偿效果要好于空域运动估计 但其计算复杂度较高 文献 3 3 将基于网格的运 动估计与冗余小波变换相结合 取得了比较好的性能 二维小波变换在时间轴上的进行扩展就得到了三维小波变换 将其应用于视 频序列 可以消除时间及空间上的相关性 在文献 3 4 中 三维小波变换被首次 用于视频编码 在此基础之上 文献 3 5 提出了多速率三维子带编码 较为经典 的三维子带编码算法有3 d e z w 3 6 3 d s p i h t 3 7 1 及3 d e s c o t l 3 8 1 等 三维小波视频编码可分为不带运动补偿和带运动补偿两大类 不带运动补偿 的三维小波视频编码方案直接对视频序列各帧中同一坐标的像素进行滤波 3 9 4 0 对于剧烈较为剧烈的视频序列编码效率很降低 带运动补偿的三维小波视频编码 方案压缩性能要明显好与前者 文献 4 1 中首次提出了运动补偿三维子带编码器 4 1 1 文献 4 2 在此基础上改进了连接像素和未连接像素的处理 4 2 文献 4 3 文 献 4 4 及文献 4 5 将提升小波引入到了时域滤波环节 文献 4 6 中提出的 m c e z b c 融合了上述技术 形成了一套完整的三维提升小波编码方案 其编码 性能相当的出色 1 2 第三章基于3 带小波与运动补偿的可伸缩视频编码 第三章基于3 带小波提升与运动补偿的可伸缩视频编码 3 1 编码框架概述 可伸缩视频编码从根本上就是为了更好利用不断变化的网络带宽 因而衡量 一个可伸缩视频编码方案的好坏 可伸缩性是其核心因素 一个好的方案应该同 时具备时域 帧率 可伸缩性 空域 空间分辨率 可伸缩性及质量 码率 可 伸缩性 小波的多分辨率表达以及嵌入式编码方式可以使生成的码流同时具有以 上的三种特性 现行主流的小波可伸缩视频编码方案中 运动补偿与时域滤波相结合的混合 视频编码框架尤其受到研究者的关注 这一框架的基本流程如下 首先在时域上 进行一维小波变换 再在空域上完成二维小波分解的变换结构 然后对得到的小 波系数进行3 d 子带编码 所生成的码流能很好满足时域 空域及质量三方面的 伸缩性 同时由于在时域作一维变换时用开环运动补偿代替了闭环预测 因而在 某一质量层下 避免了编解码端由于参考对象的变化而引起漂移现象 最终减少 了重建视频质量下降的现象发生 此外 多帧时域滤波相对简单的帧间预测方式 能更好地利用视频在时间方向的冗余 从而提高视频编码的性能 基于上述分析 本文所采用的编码框架正是建立在这一方案的基础之上 如 图3 1 所示 流程大致分为以下五个层次 1 将输入的视频序列分为多个帧组 再按组进行运动估计 然后沿着运动 轨迹进行运动补偿时域滤波 运动估计与运动补偿时域滤波交错进行 达到合适 的分解级数为止 这一层次是为了消除时域冗余信息 2 对时域滤波所形成的高低频帧用d 9 7 小波进行空域分解 这一层次是为 了消除空域冗余信息 3 以子带为单位作独立的编码 即三维子带编码 这一层次是为了对小波 系数进行合理组织 生成具有各种可伸缩性的码流 4 对上一步生成的码流进行熵编码 本文采用j p e g 2 0 0 0 中基于上下文的算 术编码器 4 7 1 这一层次是为了消除统计冗余信息 迸一步提高压缩比 5 将熵编码后的码流同运动矢量编码后的码流进行封装 以生成具有完全 电子科技大学硕士学位论文 可伸缩性的单一码流 图3 1 本文所采用的可伸缩视频编码方案 运动补偿时域滤波是整个系统的核心 也是本文研究的重点 本章后续小节 主要围绕它展开 随后会依次对运动矢量编码及三维子带编码进行分析 最后将 从时域可伸缩 空域可伸缩以及质量可伸缩三个层面对码流结构进行分析 3 2 运动补偿时域滤波 运动补偿时域滤波是整个可伸缩视频编码系统的关键环节 运动估计及时域 滤波又是这一环节的核心部分 本节提出了一种基于网格模型的运动估计同带运 动补偿的3 带小波提升时域滤波相结合的方案 同时对帧组尺寸选择和时域分解 级数选择进行了优化 3 2 1 带运动补偿的3 带小波提升时域滤波 运动补偿时间滤波可视为沿时间轴在运动轨迹上对齐帧间滤波像素 视频编 码取得好性能的关键是充分利用帧间的冗余 因此若运动补偿能利用到真实的运 动场信息 沿对齐的时间轴方向进行小波分解的线性滤波 自然会产生很好的能 量聚集效果 时域滤波过程中如果无运动补偿 则在低频帧会出现模糊现象 在 高频帧会产生很多大幅值系数 所以现行的时域滤波方案一般都是结合运动补偿 的 运动补偿时域滤波主要包括两个部分 运动估计和时域滤波 首先 对原始 图像序列进行运动估计 获得运动矢量 然后沿着运动轨迹进行时间方向的滤波 从而将视频信号分解成不同的时域帧 去除时间冗余信息 由于在时间方向进行 1 4 第三章基于3 带小波与运动补偿的可伸缩视频编码 滤波实际上就是进行小波变换 因此能以提升方式完成 在本节中 先简单介绍 一下传统小波提升时域滤波方案 然后引入3 带小波提升时域滤波与网格模型运 动估计相结合的方案 最后通过仿真对其性能进行验证 3 2 1 1 传统2 带小波提升时域滤波 图3 2 基于2 带5 3 小波提升的运动补偿时域滤波 小波变换均可以由若干基本操作实现双通道有限冲激响应滤波 这些基本操 作可分为有限预测和更新操作 下面以2 带5 3 小波提升实现为例 对传统小波 提升时域滤波予以说明 设x a n 硪啊 y 1 2 是原始视频序列第k 帧的采样 m 以 三 啊 他 和 以 u l i 分别对应高频 细节 帧和低频 近似 帧 不 考虑运动因素 则其提升实现为 1 嘎 z 恐 l 一寺 恐 印 乇t 2 l 3 1 1 甩 2 恐t 以 言 魂一 m 纹 以 3 2 设岷 如表示从帧墨到帧如的运动补偿映射 使得岷 h 吒 行 以 则 加入运动补偿后的提升实现为 1 吃 玎 x 2 t i 以 一寺 1 4 2 i 乇女 以 t 2 啼2 t l 恐t 2 l 3 3 1 5 电子科技大学硕士学位论文 i a n 屯女 l 去 呒 一 九一 z l 斗 吸 万 3 4 t 逆变换只需颠倒预测和更新的步骤 并将加减反号即可 1 x 2 t 刀 厶 z x 1 t 一 吃一 以 斗 魄 z 3 5 r 1 恐t l 挖 h a 咒 寺 t 斗2 t i 恐t 刀 哎i 2 斗2 i 屯女 2 l 3 6 二 时域分解流程如图3 2 所示 3 2 1 23 带小波提升时域滤波 传统的2 带小波分解提供了以2 为因子的时域可分级 例如原始码流的时间分 辨率为3 0 帧 s 则通过这种方式得到的码流还可提供1 5 帧 s 和7 5 帧 s 的时域分 级 为了适应更灵活的时域分级要求 文献 4 8 提出了基于3 带小波提升的可分级 视频编码方法 实现了以3 为因子的时域可分级 例如当原始码流的时间分辨率为 3 0 帧 s 则能提供2 0 帧 s 和l o 帧 s 的时域分级 同时编码性能也得到了改善 实际上 如果将2 带小波提升与3 带小波提升相结合 可以提供更加灵活的时域可 伸缩性 1 类似h a a r 小波的3 带小波提升实现 在3 带小波分解中 2 个预测操作符p 前向 和p 后向 产生2 个高频帧 2 个更新操作符u 前向 和u 一 后向 产生2 个低频帧 与3 2 1 1 节类似 设 胁 x n r h 是原始视频序列第k 帧的采样 k 以 兰惋 l i 惕 k 胁 吸 啊 惕 1 对应2 个高频帧 u n 三厶h 以 对应1 个低频帧 当p p l u 一 去时 得 到类似于h a a r d x 波的最简单的3 带小波提升实现 下文一律简称为3 带h a a r d x 波提 升 不考虑运动补偿 其表达式为 鳝m x s 川 聆 一 l 3 7 蝌刀 一l 1 一x s j 以 u n 小三雠m h i 行 1 6 3 8 3 9 第三章基于3 带小波与运动补偿的可伸缩视频编码 式3 7 式3 8 和式3 9 对应的滤波器传输函数分别为 h z z 1 h 一 z z 一1 z 互1 丢 z z 1 可用流程图表示为 3 1 0 3 1 1 3 1 2 图3 33 带h a a r d 波提升买现 设岷毗表示从毛帧到如帧的运动补偿映射 使得 毗 刀 黾 l 则 加入运动补偿后的提升实现为 配 胛 i 胛 一呢i 硝m 毛女 以 3 1 3 k 晰 毛h l 卜呢i 硝 屯t 刀 3 1 4 u 甩 h 刀 丢呢州斗 雠 刀 丢形纠哼 舷 3 1 5 可用流程图表示为 1 7 电子科技大学硕士学位论文 图3 4 带运动补偿的3 带h a a r d 波提升实现 很容易验证这种提升实现的可逆性 对式3 1 0 式3 1 1 和式3 1 2 稍加变形就可 得到其逆变换为 屯 以 砧m 呢t 硝川 毛t 行 3 1 6 屯h 咒 酊 甩 形t 川h 屯t 胁 3 1 7 屯 咒 厶 甩卜三 川 磁 印卜丢 纠呻 薛 z 3 1 8 2 类似5 3 小波的3 带小波提升实现 3 带 h a m d 波提升实现使用了双向更新 但是预测是单向的 双向预测有利于 提升高频帧的质量 从而提高整个编码系统的性能 这在基于2 带小波提升实现的 可伸缩视频编码中已经得到了证明 文献 4 9 对这一形式进行了拓展 使用前两帧 或两帧共同进行预测 其表达式为 k z 毛川 n p 毛i 甩 毛h 印 3 1 9 k 以 x 3 i l 以 一p 一 x 3 女 胆 毛t i z u n 毛t 刀 u 鳕 刀 c 厂一 薛研 可用流程图表示为 1 8 3 2 0 3 2 1 第三章基于3 带小波与运动补偿的可伸缩视频编码 图3 5 前两帧或后两帧共同预测的3 带小波提升实现 在传统的混合编码方案中 双向预测是很常见的 比如b 帧结构 但一般都是 使用前后两帧对中间帧进行预测 为了简便起见 对上述方案进行下修改 也使 用前后两帧进行预测 则表达式变为 雠 l 毛 n p x 3 刀 一 1 p x j 以 3 2 2 酊 刀 x 3 t l l 卜 i 一 以卜 1 一 b t 厶 刀 墨t 咒 口砑 n a h i n 3 2 3 3 2 4 其中 o 1 是权重因子 可根据选用的运动模型以及实际视频序列来调节 仿真表明 的取值在0 1 至l j 0 3 之间效果较好 当 0 时 式3 2 2 式3 2 3 和式3 2 4 同3 带h 醐r 小波提升实现相同 取 o 1 中的任何值 均有日 1 h 1 0 证 明前两个式子确实表示3 抽头的高通滤波器 将式3 2 2 式3 2 3 带入式3 2 4 由式 3 2 4 表示低通滤波器可解得口 此即为类似5 3 d x 波的3 带小波提升实现 下文 4 一律简称为3 带5 3 d 波提升 加入运动补偿后 表达式为 鳝 刀 屯川 l 卜 呢m 川 毛m l 卜 1 一 硝 毛七 刀 3 2 5 1 9 电子科技大学硕士学位论文 酊 甩 屯 一 z 卜 呢 一 七一 五 一 l 卜 1 一 吆 斗 i 一 x 3 万 u 咒 屯 刀 i 1w 3 川川 磁 z 三呢h 硝 薛 z 可用流程图表示为 3 2 6 3 2 7 图3 63 雨5 3 小 圾提f l 买蚬 式3 2 7 j