（通信与信息系统专业论文）低码率视频压缩编码的研究及dsp实现.pdf

北京邮电大学博士论文 低码率视频压缩编码的研究及d s p 实现 摘要 多媒体通信的出现极大地改变了社会生活 同时也带来了巨大的挑战 需要 在许多关键技术上有所突破 视频技术是多媒体通信的核心 随着通用处理器性 能的发展 为视频编解码的全软件实现提供了可能 也方便了多媒体通信终端的 实现 本文主要研究的内容如下 1 基于d s p 的多媒体通信终端硬件平台的设计与实现 分析低码率视音频编码与通信的系统需求 构建i s d n 可视电话终端的硬件 平台 此硬件平台以p h i l i p s 的d s p 芯片t r i m e d i a 为核心 配以外围的辅助芯片 构成一个完整的硬件系统 主要完成了视频输入输出接口的设计 音频输入输出 接口的设计 i s d n 网络接口的设计 系统启动 存储器以及外围接口的设计 外围设备驱动程序的开发 并在i s d n 可视电话终端平台的基础上加入一个以太 网接口 可实现i p 网上的视频通信 2 h 2 6 4 视频编码算法的研究 本文对h 2 6 4 各部分的新技术做深入研究 包括整数变换 帧内预测与帧间 预测 熵编码 并针对复杂的h 2 6 4 算法 提出高效的帧内预测算法和1 4 象素 运动估计的快速算法 仿真表明h 2 6 4 的顿内预测技术相对于h 2 6 3 来说 提高了近2 d b 但算 法非常复杂 尤其是4 x 4 亮度块的预测 文中通过分析 找出4 x 4 亮度块的帧内 预测算法复杂度可分为三个方面 计算s a d 与预测块 当前块 预测块与残差 块的存取 边界判断与预测模式的有效性判断 通过仿真发现大量的存储交互与 判断所需要的编码时间已经大大超过s a d 的计算 这在具体实现编码器时非常 影响效率 针对以上问题 本文的方法是 划分4 x 4 亮度块的类型与宏块的类型 调整编码结构 不进行预测值的存取工作而直接找晟佳预测模式 从而避免了所 有的边界判断与模式有效性判断 避免了大量的存储交互 仿真证明 本文的方 法显著的提高了帧内预测的速度 图象质量保持不变 1 4 象素搜索的次数在运动估计中占很大比重 并且在找匹配块时必须隔点 取象素 增加了许多繁琐的工作 本文根据运动估计中s a d 的特性 利用最佳 整象素周围相邻的整象索点来判断收敛点的范围 把1 4 象素的搜索从 6 次减 小到6 次以内 把重建的整象素图象与内插的图象分为1 6 个图象分别存储 根 据象素的特性建立了一个半象素的表和4 个1 4 象素的表 去除了额外计算 提 高了搜索速度 通过仿真证明 本文方法与全搜索相比质量几乎没有损失 3 基于d s p 的h 2 6 4 编码器的实现 本文在t r i m e i d a 的p n x l 3 0 2 上实现了h 2 6 4 的压缩编码 h 2 6 4 具有比以 往视频压缩标准更好的压缩效率 但算法复杂度有数倍的增加 通过计算机仿真 对编码进行合理的取舍 重新调整编码结构与流程 进行代码的重写 然后对各 部分关键算法进行合理的改进 应用快速算法 并进行d s p 上的优化 达到了 实用的目的 本文h 2 6 4 编码器工作于基于i p 的平台上 对q c i f 图象编码可达到2 5 帧 秒 c i f 图象可达到1 0 帧 秒以上 满足低码率视频通信的要求 通过对标准序 列的编码仿真 本文编码器的性能相对于h 2 6 3 来说有显著的提高 北京邮电大学博士论文低码率视频压缩编码的研究及d s p 实现 a b s t r a c t m u l t i m e d i ac o m m u n i c a t i o nc h a n g e st h es o c i e t ya n dl i r e d e e p l y b u ta1 0 to f t e c h n o l o g i e s m u s tb es t u d i e dt o i m p r o v et h e m u l t i m e d i ac o m m u n i c a t i o nv i d e o c o m p r e s s i o n i st h ec o r eo fm u l t i m e d i ac o m m u n i c a t i o n a st h ed e v e l o p m e n to f g e n e r a l p u r p o s e d s p a l l s o f t w a r e i m p l e m e n t o fv i d e oc o d e cb e c o m e s p o s s i b l e a n d a d m i n i s t e rt ot h e d e s i g na n di m p l e m e n to fm u l t i m e d i ac o m m u n i c a t i o nt e r m i n a l r e s e a r c h e so f t h e p a p e rm a i n l y i n c l u d ef o l l o w i n g 1 d e s i g na n di m p l e m e n to f m u l t i m e d i ac o m m u n i c a t i o nt e r m i n a lh a r d w a r eb a s e do n d s p a n a l y s et h er e q u i r e m e n to fv i d e oa n da u d i oc o d e cs y s t e m a n dc o n s t r u c ti s d n v i d e o p h o n et e r m i n a lh a r d w a r e t h em a i np r o c e s s o ro f 也eh a r d w a r ei st r i m e d i ao f p h i l i p s a n dt h e r ea r eo t h e rc h i p si n 也eh a r d w a r e m sp a r to f 也ep a p e ri n c l u d e s 也e d e s i g no fv i d e oi oi n t e r f a c e a u d i oi oi n t e r f a c e i s d nn e t w o r ki n t e r f a c e m e m o r y i n t e r f a c ea n de t c a n dt h ed r i v e ro fa 1 1p e r i p h e r a l s i na d d i t i o n a d d 也ee t h e r n e t i n t e r f a c et ot h ei s d n v i d e o p h o n et e r m i n a lh a r d w a r et or e a l i z ev i d e oc o m m u n i c a t i o n o v e r1 pn e t w o r k 2 r e s e a r c h e so na l g o r i t h m so f h 2 6 4v i d e oc o m p r e s s i o n s t u d yt h ea d v a n c e dt e c h n o l o g i e so fh 2 6 4 t 1 1 a ti n c l u d ei n t e g e rt r a n s f o i t n i n t r a p r e d i c t i o n i n t e rp r e d i c t i o na n de n t r o p yc o d i n g e f f i c i e n ti n t r ap r e d i c t i o na n df a s t a l g o r i t h mo f 1 4p i x e lm o t i o ne s t i m a t i o na r ep r o p o s e d t h e t e c h n o l o g y o fi n u a p r e d i c t i o n i nh 2 6 4c a l la c h i e v e2 d bp s n rg a i n c o m p a r e d w i t hh 2 6 3 b u tt h ea l g o r i t h mi ss oc o m p l e x e s p e c i a l l yi n4 x 4l u m i n a n c e b l o c k t h et h e s i sd i v i d e st h ei n t r ap r e d i c t i o na l g o r i t h mi n t ot h r e ep a r t s c a t c u l a t i o no f s a da n dp r e d i c t i 0 1 2b l o c k m e m o r yo p e r a t i o no fc u r r e n tb l o c k p r e d i c t i o nb l o c ka n d d i f f e r e n c eb l o c k a n dj u d g m e n to fp r e d i c t i o nm o d ea n db o u n d a r y t h ec o d i n gt i m e t h a tt h el a s tt w op a r t su s e di sm o r et h a nt h ef i r s tp a r t t h ep r o p o s e dm e t h o di s 也a t b l o c kt y p e sa n dm b t y p e so f4 x 4l u m i n a n c eb l o c ka r eg i v e n a n df i n dt h eb e s t p r e d i c t i o nm o d ed i r e c t l yw i t h o u tm e m o r yo p e r a t i o no fp r e d i c t i o nb l o c k a sar e s u l t a l lj u d g m e n ta n dal o to fm e m o r yo p e r a t i o na r ea v o i d e d s i r e u l a t i o ns h o w st h a t p r o p o s e da l g o r i t h mc a l li m p r o v et h ec o d i n gs p e e do fi n t r ap r e d i c t i o nn o t a b l y w i t h o u t c h a n g i n g t h eq u a l i t yo f i m a g e 1 4p i x e s e a r c h i n g p o s s e s s e sam u c hh i 曲p r o p o r t i o ni nm o t i o ne s t i m a t i o n a n d w em u s t g e to n ep i x e lv a l u ee v e r yf o u rp i x e l sw h e nf i n d i n gm a t c hb l o c k t h u s t h e r ei s al o to fa d d i t i o n a lw o r k i nt h et h e s i s d e p e n d i n go nc h a r a e t e r i s t i co fs a d a n db e s t i n t e g e rp i x e la n dp i x e l sa r o u n di t w ec a n d e c r e a s et h es e a r c h t r i gp o s i t i o n so fl 4n i x e l f r o m16t o6 1 4p i x e li n t e r p o l a t i o ni m a g eu s e dt op r e d i c ti sd i v i d e di n t o16 i m a g e st o s t o r ei n m e m o r y s e tu pah a l fp i x e lt a b l ea n df o u rl 4 p i x e lt a b l e s b a s e do n c h a r a c t e r i s t i co fp i x e tt oa v o i da d d i t i o n a lw o r k sa n di n c r e a s et h e c o d i n gs p e e d s i m u l a t i o ns h o w st h a tp r o p o s e da l g o r i t h ma l m o s ta c h i e v e st h es a m ep s n r c o m p a r e d w i t hf u l ls e a r c h i n g 3 i m p l e m e n t a t i o no f h 2 6 4c o d e rb a s e do nd s p 北京邮电大学博士论文 低码率视频压缩编码的研究及d s p 实现 i nt h et l l e s i s w ei m p l e m e mt h eh 2 6 4c o d e ru s i n gp n x l3 0 2o ft r i m e d i a h 2 6 4 v i d e os t a n d a r dc a l ta c h i e v ec o n s i d e r a b l v h i g h e rc o d i n ge 伍c i e n c y 也a l lp r e v i o u s s t a n d a r d s h o w e v e r t h i sc o m e sw i 血ac o s ti nc o n s i d e r a b l yi n c r e a s e dc o m p l e x i t ya t e n c o d e n f i r s t l y w e c a n c e ls o m e o p t i o n s o fe n c o d e r d e p e n d i n g o n c o m p m e r s i m u l a t i o n a n da d j u s tt h es t r u c t u r ea n df l o wo fe n c o d e rp r o g r a m s e c o n d l y u s ef a s t a l g o r i t h m st or e p l a c ee v e r yk e ya l g o r i t h m so fe n c o d e r n l i r d l y c a r r yo u t 也ec o d e o p t i m i z a t i o n b a s e do n a l lt h e s es c h e m e s t h eh 2 6 4c o d e ri si m p l e m e n t e d t h eh 2 6 4c o d e rw o r k si nt h ei pt e r m i n a lh a r d w a r e e n c o d i n gs p e e dc a na c h i e v e 2 5 f p sf o rq c i fa n d1o f p sf o rc i f s i m u l a t i o nf o rs o m et e s tv i d e os e q u e n c e ss h o w s t h a t0 1 1 1 c o d e rc a r la c h i e v em u c hb e t t e rp s n rt h a i lh 2 6 3 北京邮电大学博士论文 第一章序论 第一章序论 1 多媒体通信及其关键技术 近年来 由通信技术 多媒体计算机技术以及电视技术相互融合而产生的多 媒体通信技术迅速发展 并将得到广泛的应用 根据国际电联 i t u t 的定义 媒体包括 感觉媒体 表示媒体 显示媒体 存储媒体与传输媒体 1 多媒体则 是指相互之间以时空同步的方式存在的多个媒体 多媒体技术就是同时处理多种对象并把它们融合在一起的技术 多媒体技术 集计算机 通信和信号处理为一体 是多学科的交叉技术 多媒体技术之所以能 够在2 0 世纪8 0 年代末出现并立即在世界范围内得到迅速发展 得益于图像压缩编 码技术的成熟 大规模集成电路的发展以及大容量数字存储技术的发展 多媒体通信综合了多种媒体信息间的通信 它是通过现有的各种通讯网来传 输 转储和接收多媒体信息的通信方式 几乎覆盖了信息技术领域的所有范畴 包括数据 音频和视频的综合处理和应用技术 多媒体通信系统应具备存储 传 输 处理 显示多种表示媒体的功能 多媒体通信是未来通信发展方向之一 多 媒体通信技术使计算机的交互性 通信的分布性以及电视的真实性融为一体 向 人们提供了全新的信息服务 近年来各类通信网上出现了越来越多的多媒体应 用 多媒体业务将会成为未来通信服务市场的主流 目前使用最为广泛且发展前 景最好的多媒体业务主要是会议电视 远程教学 远程医疗 可视电话等业务 多媒体通信系统具备集成性 交互性 同步性三个特征闭 3 集成性 多媒体通信系统应至少包括两种或两种以上的表示媒体 如视频图像 文本 数据 语音及图形动画等 同时处理 存储 传输 并能显示多种感觉媒体 各 种媒体之间相互关联 不能分离 组成统一体 交互性 交互性指的是在通信中人与系统之间的相互控制能力 多媒体通信系统必须 能以交互方式进行工作 而不是简单地单向 双向传输或广播 因此 它能够真 正实现多点之间 多种媒体信息之间的自由传输和交换 如果需要 这些信息的 交换要做到实时进行 而且多媒体终端用户对通信的全过程有完整的交互控制能 力 在多媒体通信系统中 交互性有2 个方面的内容 其一是人机接口 也就是 人在使用系统的终端时 用户终端向用户提供的操作界面 其二是用户终端与系 统之间的应用层通信协议 多媒体通信终端的用户对通信的全过程有完备的交互控制能力 这是多媒体 通信系统的一个主要特征 也是区别多媒体通信系统还是非多媒体通信系统的一 个主要准则 例如 数字彩色电视机可以对多种表示媒体 图像编码 声音编码 进行处理 也能进行多种感觉媒体 声 文 图 的显现 但用户除了能进行频 道切换来选择节目外 不能对它的全过程进行有效的选择控制 因此 彩色电视 系统不是多媒体系统 点播电视 v o d 就不一样了 它可以对其全过程进行有效 的控制 因此 v o d 系统是多媒体通信系统 北京邮电大学博士论文 第一章序论 同步性 由于各种表示媒体所采用的编解码方法不同 存储的数据库不同 传输的途 径也可能不同 但在用户多媒体终端显示时必须将这些表示媒体按要求同步 以 构成一个整体的信息 同步性指的是在多媒体通信终端上显现的图像 声音和文 字是以同步方式工作的 通过网络传送的多媒体信息必须保持它们在时间上或事 件之间的同步关系 多媒体通信系统中的同步性是多媒体通信系统中最主要的特 征之一 可以这样说 信息的同步与否决定了系统是多媒体系统还是多种媒体 系统 对多媒体通信系统来说 以上3 个特征必须是并存的 是缺一不可的 缺少 其中之一 就不能称其为多媒体通信系统 特别是交互性 它向用户提供了更有 效的控制和使用信息的手段 可以加深人们对信息的理解和注意力 它使被动地 获取和使用信息变得主动按用户所需要的顺序重新组织事件 交互性是多媒体通 信的重要标志 多媒体通信的关键技术包括多媒体信息的压缩技术与多媒体通信网 多媒体信息的压缩技术 多媒体信息主要包括图像 声音和文本3 大类 这些信息具有数据量庞大 码率可变 突发性强 复合性信息多 同步性 实时性要求高等特点 其中视频 音频等信号的信息量之大 是我们传统的面向文字的应用所不能想像的 此外 这些信息的表达方式 输入 输出的要求也备不相同 因此 在多媒体通信中 为了使多种媒体能协调有效的工作 就必须对这些数据进行有效的表达和适当 的处理 这就是通常所说的多媒体信息处理 这些处理既包括常规的信号采集 数字化 滤波 重建等过程 也包括那些对多媒体通信具有特别意义的信息压缩 编码 存储等处理 其中多媒体信息的压缩技术在多媒体通信领域中非常重要 以视频信息为例 在不压缩的条件下 其速率可达1 6 0 m b i v s 左右 高清晰度电视 更可高达1 0 0 0 m b i t s 以上 不能对多媒体数据进行有效的压缩 就难以保证通信 顺利地进行 多媒体通信网 多媒体信息的传输对通信网络有很多要求 在多媒体通信系统中 网络上运 行的不再是单一个媒体 而是多种媒体综合而成的一种复杂的数据流 在这些数 据流中 有速率低至几百比特每秒的文本信息 也有速率高达上百兆比特每秒的 高清晰度电视节目流 如何处理好不同速率的信息 这就对通信网提出了相当高 的要求 不但要求网络对信息有高速传输的能力 也要求网络对各种信息的高效 综合传输能力 包括带宽 实时性与可靠性 时空约束 分布处理等 总之 多媒体通信的出现极大地改变了社会生活 使人们接触的信息空前地 丰富和多采 生活更加舒适和便捷 但同时也带来了巨大的挑战 需要在许多关 键技术上有所突破 视频技术是多媒体通信的核心 学术和应用领域一直都在致力于视频技术的 研究并且胄4 订了几个标准 这些标准包括了各种范鼠的应用 从静止图象 可视 电话到高清晰度电视 码速率从几十k b p s 到几十i b p s 覆盖了很大的视频速率 范围和应用领域 能满足不同要求的应用 速率 图象质量 复杂度 容错性和 实时性 近几年来 新出现和即将出现的视频业务 使低码率视频通信得到广泛的应 用 会议电视 可视电话发展很快 公用电话网和无线网络上的传输速率仍然很 有限 而且误码率高 这就要求标准能够满足高压缩比和强信道冗错能力 h 2 6 3 2 北京邮电大学博士论文第一章序论 能很好的解决这类应用 以及后来的h 2 6 3 h 2 6 l h 2 6 4 在提高编码的压缩 效率的同时 提高码流对高误码率信道的容错能力 2 视频压缩编码标准简介 数字视频技术广泛应用于通信 计算机 广播电视等领域 诸如会议电视 可视电话以及数字电视 媒体存储等等 而一系列的应用促使了许多视频编码标 准的产生 i t u t 与i s o i e c 是制定视频编码标准的两大组织 i t u t 的标准主 要应用于实时的视频通信领域 如会议电视 其标准包括h 2 6 1 h 2 6 3 h 2 6 4 m p e g 系列标准是由i s o f l e c 制定的 主要应用于视频存储 d v d 广播电视 因特网或无线网上的流媒体等方面 两个组织也共同制定了一些标准 h 2 6 2 标 准等同于m p e g 一2 的视频编码标准 而最新的h 2 6 4 标准则被纳入m p e g 4 的 第l o 部分 图1 1 表示了视频编码标准的发展历程 ii s 0 i e c m p e g l咿e g 一4 1 9 8 41 9 8 81 9 9 21 9 9 6 2 0 0 02 0 0 4 图1 1 视频编码标准的发展 1 h 2 6 1 视频编码标准 h 2 6 1 一 纠是i t u t 为在综合业务数字i n i s d n 2 开展双向声像业务 可视 电话 视频会议 而制定的 速率为6 4 k b p s 的整数倍 h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理 h 2 6 1 的压缩编码算法由具有运动补偿的帧间预测 块 d c t 和熵编码组成 每帧图像分成图像层 宏块组 g o b 层 宏块 m b 层 块 b l o c k 层共4 个层次来处理 图1 2 为h 2 6 1 的源编码器框图 一个典型的视频编码器包括运动补偿的帧 间预测 d c t 变换 量化 熵编码以及与固定速率的信道相适配的速率控制等 部分 用以在保证图像有满意的质量下 最大限度的压缩码率 北京邮电大学博士论文 第一章序论 td c t 变换 q 量化器 p 带运动补偿可变延迟的帧存储器 f 环路滤波器 c c 编码控制 图1 2 源编码器 p i n t r a i n t e r 标志 t 传输与否标志 q z 量化步长指示 q 变抉系数的量化索引 v 运动矢量 f 环路滤波器交换开 关 夺源格式及图像分块 对视频的压缩通常是分块进行的 采用4 2 0 格式的一帧图像 按不同的层 次分成若干宏块组 宏块及块 具体而言 c i f 和q c i f 分别被分成大小相同的 1 2 个和3 个宏块组 每宏块组在分成大小相同的3 3 个宏块 每个宏块为一个基 本处理单元 由4 个8 x8 的亮度块和2 个8 8 的色度块组成 夺运动估计与补偿 图像编码中 每帧图象可以分为i 帧和p 帧 而图象的编码方式以宏块为单 位分为i n t r a 和i n t e r 两种 当一帧图象在编码时 不依赖于前面帧的信息 而采用类似于静止图象的编码方法来进行编码时 称该帧为i 帧 如果一帧图 象的编码要依赖前面帧的信息通过时域预测来进行 称该帧为p 帧 用于对该p 帧进行预测的帧为参考帧 参考帧通常为前一帧鼹码后的结果 对于i 帧的每 个宏块 总是采用i n t r a 方式编码 而对于p 帧的宏块 可以采用i n t e r 方 式 也可以采用i n t r a 方式来编码 由运动补偿算法来决定 对于帧内编码宏块 直接进行d c t 变换和量化 对于帧间编码宏块 则对 差值进行d c t 和量化 并将运动矢量传送出去 然而实际传送的并不是m v 而是m v d m v d 是本宏块的m v 与预测的m v 的差值 此外 对色度信号不 作运动估值 而是直接使用同一宏块中的亮度块的位移矢量减半作为色度的运动 矢量 4 北京邮电大学博士论文第一章序论 变换与反变换 采用d c t 变换 以8 8 像素块为基本单位 将2 维空间像素值变换为2 维 空间频域系数 采用i d c t 将2 维频域系数变换为2 维空间像素 图象经过d c t 变换 从时域变换到频域 可以减小系数之间的相关性 而 且低频系数值大 高频系数值小 部分为零 大部分能量集中在少数的系数上 只传送这部分系数给收端 既可以降低数据率 又不至于使图象有明显的损伤 夺量化 反量化 在量化之前 所有的处理都没有涉及到数据的压缩 除了d c t 变换中 系 数值受有限字长影响而引入的舍入误差外 而只是改变了图象的表示方式 使 得对图象质量影响大的信息集中到了少数的量上 以便于将这少数至关重要的量 选择出来加以传输 达到降低数据率的目的 量化是编码器中唯一产生信息损失 的地方 通过量化 将d c t 系数进一步离散化 这对数据压缩是很重要的一步 原理上 对宏块中的d c t 系数 应采取不同的量化步长可以减小量化误差 获得好的主观图象质量 但在实现中 h 2 6 1 建议规定量化系数的设定只可出现 在图象层 g o b 层 宏块层 因此 每个宏块内 除了i n t r ad c 系数采用步 长为8 的没有死区 d e a d z o n e 的线性量化器 其余系数采用带有中央死区的同 一个量化器 具有相同的偶数量化步长 经过反量化和运动补偿后的图象被存储 下来 供下一次预测使用 呤熵编码 经过d c t 变换和量化后 许多高频系数量化为零 首先为了选取编码样本 进行z i g z a g 扫描 将二维矩阵变换为一维序列 一维序列中通常会出现较多的长 连零情况 再采用游程编码e v e m r u n l e v e l 表示序列可将序列缩短 最后 进行变长霍夫曼编码 宏块编码时 根据该宏块是i n t r a 还是i n t e r 宏块 量化参数是否改变 是否包含块系数 是否采用环路滤波器 分为1 0 种类型的宏块 在宏块头中用 m t y p e 标志 对于码表中给出的e v e n t 情况直接查码表完成编码 对于未给出的其他e v e n t 情况 根据给定的编码规则进行编码 除量化后的d c t 系数外 其他的头信息 和标志信息直接用给定的码表来编码 夺环路滤波器 环路滤波器又称为2 维空间滤波器 其功能是消除高频噪声 当使用帧间运 动补偿时 通常采用环路滤波器 它作用在8 8 像素块上 用于消除边缘块效 应 夺速率控制策略 由于编码器所产生的码流数据量是变化的 在恒定信道带宽条件下 为了适 应恒定速率的要求 在编码器和信道之间需要设置一个缓存器 当码流的速率高 于信道的传输速率时 缓存器会越来越满 当码率低于信道速率时 缓存器会越 来越空 通过监测缓存器的空满状态来改变量化器的量化步长 可以防止缓存嚣 溢出和变空 实现对压缩码流速率的控制 量化步长加大 码率下降 但图象质 量也会下降 因此速率控制要在尽可能保证图象质量稳定的条件下 使码流速率 北京邮电大学博士论文第一章序论 适应恒定速率信道的要求 2 h 2 6 3 视频编码标准 h 2 6 3 t 6 1 是最早用于低码率视频编码的i t u t 标准 随后出现的第二版 h 2 6 3 t 7 8 9 以及 l 2 6 3 1 0 1 1 l l 1 1 2 1 增加了许多选项 使其拥有更广泛的适用性 h 2 6 3 视频压缩标准 h 2 6 3 是r r u t 为低于6 4 k b i t s 的窄带通信信道制定的极低码率视频编码标 准 该标准是在h 2 6 1 的基础上发展起来的 其标准的输入图象格式可以是 s q c i f q c i f c i f 4 c i f 或者1 6 c i f 的彩色4 2 0 亚取样图象 h 2 6 3 与h 2 6 1 相比采用了半像素的运动补偿 并增加了4 种有效的压缩编码模式 无限制的运动矢量模式 一般运动矢量的范围都限制在已编码的参考帧内 这种限制 使得对当前帧 图象边界的宏块进行运动估计时 由于参考宏块可能已处于参考帧之外而无法得 到最优的效果 在h 2 6 3 中取消了这种限制 允许运动矢量指向图象以外的区域 当某一运动矢量所指的参考宏块位于编码图象之外时 就用其边缘的图象像素值 来代替这个不存在的宏块 当存在跨边界的运动时 这种模式能取得很大的编码 增益 特别是对小图象而言 另外 这种模式包括了运动矢量范围的扩展 允许 使用更大的运动矢量 这对摄象机运动特别有利 基于句法的算术编码模式 使用算术编码代替霍夫曼编码 由于算术编码在符号的概率分布不为2 的幂 的情况下也能逼近压缩的理论极限 符号的熵 因此 可在信噪比和重建图象质 量相同的情况下降低码率 先进的预测模式 在一般情况下 每一宏块对应一个运动矢量 在先进的预测模式下 一个宏 块中4 个8 x 8 亮度块可以各对应一个运动矢量 从而提高了预测精度 两个色度 块的运动矢量则取这4 个亮度块运动矢量的平均值 补偿时 使用重叠的块运动 补偿 8 x 8 亮度块的每个像素的补偿值由三个预测值加权平均得到 是否使用4 个8 x 8 块运动矢量代替1 6 x 1 6 块运动矢量由编码器决定 通常 该模式的使用可 以产生相当显著的编码增益 特别是采用重叠的块运动补偿会减少块效应 提高 主观质量 p b 帧模式 一个p b 帧包含作为一个单元进行编码的两帧图象 p b 帧的名称源于h 2 6 2 中使用的p 帧和b 帧 p b 帧模式可在码率增加不多的情况下使帧率加倍 h 2 6 3 视频压缩标准版本2 北京邮电大学博士论文第一章序论 i t u t 在h 2 6 3 发布后又修订发布了h 2 6 3 标准的版本2 非正式地称为 h 2 6 3 标准 它在保证了原h 2 6 3 标准的核心句法和语义不变的基础上 增加了 若干选项以提高压缩效率或某方面的功能 具体如下 分级图象 分级视频编码对在噪声信道和存在大量包丢失的网络中传送视频 信号很有意义 这种编码方法允许将视频流分成多个逻辑信道 某些逻辑信 道数据的丢失不会严重影响图象的重建 h 2 6 3 增加了3 种分级图象 一种 提供时问分级 其它两种提供信噪比和空间分级 增强的p b 帧 h 2 6 3 的p b 帧在预测类型上有一定的局限 这限制了p b 帧模式的应用范围 在h 2 6 3 标准的版本2 中 对原有的p b 一帧模式进行了 一些细微的修改 b 宏块在原有的双向预测的基础上增加了前向和后向预 测模式 增加了应用范围 提高了压缩效果 用户定义的图象格式 原h 2 6 3 标准限制了其应用的图象输入的格式 它仅 允许5 种视频源格式 新的h 2 6 3 标准允许用户使用更广范围的图象输入格 式 从而拓宽了标准使用的范围 使之可以处理基于视窗的计算机图象 更 高帧频的图象序列以及宽屏图象 先进的帧内编码 该模式通过d c t 系数的空间预测 极大地提高了帧内编 码的压缩效率 块效应消除滤波器 该模式通过在环路中增加块边界自适应滤波器 减小了 最后重建图象的块效应 片结构 该模式通过定义由若干宏块构成的片结构 增强了编码图象抗信道 差错和包丢失的能力 参考帧选择 该模式允许选择非时间最近的参考帧作为预测基准 从而增强 了抗误码能力 使用该模式需要反向信道 i i 参考帧重取样 该模式允许参考帧在运动预测之前重新进行取样 使用该模 式可以实现全局运动补偿等技术 h 2 6 3 视频压缩标准 h 2 6 3 在h 2 6 3 的基础上增加了三个选项 主要是为了增强码流在恶劣信 道上的抗误码性能 同时也是为了增强编码效率 这三个选项分别为 增强型的参考帧选择 e r p s 能够提供增强的编码效率和信道错误再生能 力 特别是在包丢失的情形 实现e r p s 模式时 需要设计多缓冲区用于 存贮多参考帧图象 数据分片的模式 d p s 能够提供增强型的抗误码能力 特别是在传输过程 中本地数据被破坏 d p s 的思想是通过分离视频码流中d c t 系数头和运动 矢量数据 将运动矢量采用可逆编码的方式进行保护 在h 2 6 3 的码流中增加补充信息 保证增强型的反向兼容性 附加信息包括 指示采用的定点i d c t 图象信息和信息类型 任意的二迸制数据 文本 任意的 版权 标题 视频描述 统一的资源识别 重复的图象头 当前的 前帧 可靠参考时间的下一帧 不可靠参考时间的 下一帧 交替的场 上或下场 指示 稀疏的参考帧识别 7 北京邮电大学博士论文 第一章序论 3 m p e g 1 标准 m p e g 一1 1 1 3 1 是i s o i e c 制定的音视频编码标准 该标准包括三个部分 第 l 部分为系统 阐述几种伴音压缩数据和图像数据的复用 以及加上同步信号后 的整个系统 第2 部分为视频 阐述视频压缩与码流结构 第3 部分内容为音频 阐述数字伴音的压缩 其压缩数据可有6 4 1 2 8 和1 9 2 k b p s 三种码率 该标准是 为速率为1 1 5 m s 的数字声像信息的存储而制定的 辅p e g 一1 和h 2 6 1 视频编 码算法的核心是一样的 采用块运动补偿加d c t 变换为核心的压缩方案 主要 区别是m p e g 1 增加了b 帧图象类型 m p e g 一1 标准的基本目标是 在图像质量方面 普遍认为应高于电视电话的图像质量 可以被大家接受的 是v h s 录像机的图像质量和光盘c d r o m 的放像质量 这些图像质量被认 为在通用的计算机显示屏幕上也是基本满意的 在储存媒体方面 结合目前情况 普遍认为应该可以储存在以下几种媒体 光盘 数字录音带d a t 温盘 可写磁光盘 在传输码率方面 普遍认为应符合目前计算机网络的传输码率 即 1 1 5 m b s 其中以1 2 m b s 更适宜 因为这是c d r o m 和个人计算机目前 传输的码率 4 m p e g 2 栩i 准 m p e g 2 1 5 标准是为了适应数字电视节目的生成 编辑 存储 恢复 传输 和显示的综合要求而研发的 其目标是提供c c i r i t u r 广播质量的n t s c p a l 和s e c a m 信号 并且也支持h d t v 质量 m p e g 2 实际上最后得到的是一个通用 的标准 它在很宽范围内对不同分辨率和不同输出比特率的图像信号有效地进行 压缩 m p e g 一2 对m p e g l 作了重要的改进和扩充 如帧场自适应编码 差错恢 复等技术 建议了一套视频和音频压缩以及相关数据的复杂的复接传输方法 m p e o 2 定义了5 个类和4 个级 不同应用可以根据各自的特点和要求选用 类和级之间有一定的限制关系 见表1 1 所示 简单主要s n r 分级空间分级高 高xx 高 1 4 4 0xxx 主要xxxx 低xx 表1 1m p e g 2 类 级关系表 m p e g 一2 标准共有9 部分 系统 视频 音频 符合性测试 软 件 数字存储媒体的指令和控制 非向后兼容的音频 1 0 比特视频 实时接口 目前 m p e g 2 在视频系统中广泛应用 特别是在视频存储 d v d 广播电 视领域 8 北京邮电大学博士论文 第一章序论 5 m p e g 4 标准 m p e g 组织在m p e g 1 m p e g 一2 标准的制定过程中积累了大量的经验 认 识到m p e g 4 1 6 1 标准制定过程中必须坚持的原则 1 7 1 8 1 1 9 如 不定义系统 而 定义工具 一个功自 个工具 工具的可重置性 最小集的标准化 事 实化标准 坚持最后期限 等 这些原则使之能够制定m p e g 4 这个更为复杂 和庞大的多媒体标准 m p e g 一4 的目标是覆盖目前标准尚不支持的领域 支持一种新的通信方式 存取和使用数字a v 对象信息 使用通用的交互a v 终端为各种应用提供共同的 解决方案 m p e g 4 不针对任何专门的应用 而是通过支持功能的组合实现其目 标 m p e g 4 标准的视频部分定义了各种不同性质的基本处理单元 对象 不同的 对象使用不同的编码表示方法 2 0 视频对象 视频对象是用户可在场景中存取和使用的实体 视频对象可以是长方形的 也可以是任意形状 编码表示既可以是不分级的 也可以是分级的 为了存取独 立的对象 定义了形状的编码方法 f b a 对象 f b a f a c ea n db o d ya n i m a t i o n 即人脸和身体动画 它是由两个独立的流 构成 一个是b i f s b i n a r yf o r m a tf o rs c e n e s 流 包含面部定义参数和身体定义 参数 另一个是f b a 流 包含面部动画参数和身体动画参数 2 d 网格对象 2 d 网格对象表示的是2 维的几何形变形体 使用它可以在解码器的合成过 程中 通过对已有的视频对象或静止图象进行分块的形变 来创建人工合成的视 频对象 3 d 网格对象 3 d 网格对象是3 维多边形模型的一种有效的编码表示 对3 d 网格的连通 性的压缩是无损的 目前 m p e g 一4 比较实用化的是s p 简级 或a s p 先进的简级 主要应 用于低码率方面 如因特网上的流媒体 无线网的视频传输以及视频存储等 其 核心类似于h 2 6 3 m p e g 4 s p 和h 2 6 3 之间有很多相似的地方 最显著的就是 宏块和块的帧 格式 以块为单位的运动估计模型 d c t 变换 量化 变长熵编码 率控制 视频源的采样方式等等 m p e g 4s p 的一些内容与h 2 6 3 的一些选项类似 如 表1 2 所示 lm p e g 4s p 的一些特性 h 2 6 3 的一些选项 每个宏块4 个运动矢量f 先进的预测模式 无限制的运动矢量d 无限制的运动矢量模式 la c d c 帧内预测i 先进的帧内编码模式 j再同步标志k 片段结构模式 数据分割v 数据分片模式 l可逆变长编码v 数据分片模式 表 2m p e g 4s p 与h 2 6 3 的区别 北京邮电大学博士论文 第一章序论 然而 两个标准之间也有一些显著的不同 这些主要是 码流结构和头信息 熵编码的部分码表 编码技术的一些细节 6 h 2 6 4 视频编码标准 h 2 6 4 2 1 2 2 2 3 标准是由i s 0 i e c 与i t u t 组成的联合视频组 j v t 制定的新 一代的视频压缩编码标准 h 2 6 4 标准是由h 2 6 l 发展而来的 在i s 0 i e c 中该 标准命名为a v c a d v a n c e dv i d e oc o d i n g 作为m p e g 4 标准的第 o 个选项 h 2 6 4 标准可分为3 级 基本级 主级和扩展级 基本级基本包括了h 2 6 4 的技术特征 但没有b 帧 算术编码 帧场切换的编码以及增强帧编码等 主级 则包括了上面所说的这些内容 可用于s d t v h d t v 等 而扩展级可用于各种网 络的视频流传输 h 2 6 4 主要的编码新技术包括 4 x 4 整数变换 空域内的帧内预测 i 4 象素 精度的运动估计 多参考帧与多种大小块的帧间预测技术 统一的熵编码码表 基于内容的自适应变长编码与基于内容的自适应算术编码 去块效应滤波器等 等 h 2 6 4 的主要功能目标如下 在相同的重建图像质量下 h 2 6 4 比h 2 6 3 和m p e g 4 s f 节约5 0 码率 采用简洁的设计方式 简单的语法描述 避免过多的选项和配置 尽量利用 现有的编码模块 对信道时延的适应性较好 既可工作于低时延模式以满足 实时业务 如会议电视等 又可工作于无时延限制的宽松场合 如视频存储 等 加强对误码和丢包的处理 增强解码器的差错恢复能力 在编解码器中采用复杂度可分级设计 在图像质量和编码处理之间可分级 以适应高复杂性和低复杂性的应用 提高网络适应性 采用 网络友好 的结构和语