（信号与信息处理专业论文）h264视频编码算法研究及解码算法的软件实现.pdf

北京邮电大掌硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 h 2 6 4 视频编码算法研究及解码算法的软件实现 摘要 h 2 6 4 是由i s o i e c 和i t u t 两大国际标准化组织共同制定的面 向实际应用的视频编码新标准新一代视频编码标准 同目前人们熟悉 的h 2 6 3 相比 h 2 6 4 的编码效率可以提高5 0 以上 并且具有更好 的容错能力和网络适应性 尽管h 2 6 4 目前还处于f i n a l d r a f t 阶段 并被没有成为正式的国际标准 但它编码性能和新特性使得它在未来 的视频通信领域具有非常广泛的应用前景 本轮文的研究内容来源于国家自然科学基金项目 h 2 6 l 视频编 码算法研究及其d s p 实现 主要完成了h 2 6 4 视频编码算法分析以 及解码算法的软件实现工作 具体而言 本论文完成了一下主要工作 1 较详细地分析了h 2 6 4 采用的新技术 包括 h 2 6 4 的分层 结构 多模式帧内预测编码 整数余弦变换 i c t 运动估值和运动 补偿 通用变长编码 u v l c 和基于上下文变长编码 c a v l c 相 结合的熵编码等 2 对h 2 6 4 形成r t p 数据包的打包过程进行了深入研究 3 开发了完整的h 2 6 4 解码软件 该软件能利用r t p 协议从网 络接收硬件编码设备产生的h 2 6 4 数据流并进行实时解码 目前 本论文所开发的解码软件已经能通过1 0 m b s 以太网口同位 于局域网内的硬件编码设备进行通信 并对接收到的视频流进行解 码 为后期的应用开发奠定了基础 关键字 h 2 6 4 视频编码 视频解码 r t p 北京邮电大掌硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 t h er e s e a r c ho fh 2 6 4v i d e o p r o t o c o l a n dt h er e a l i z a t i o n o fi t sd e c o d i n gt e r m i n a l a b s t r a c t h2 6 4i st h en e w e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r da n di sn o wi ni t sf i n a l s t a g e so fd e v e l o p m e n tb y t h ej o i n ti t u ta n di s o i e cs t a n d a r d so r g a n i z a t i o n s t h i s l l e ws t a n d a r di n c r e a s ec o d i n ge f f i c i e n c yw h i l ep r o v i d i n gt h es a m ep i c t u r eq u a l i t ya t h a l ft h eb i tr a t ec o m p a r e dt ot h eh 2 6 3 一b a s e dt e c h n o l o g i e s w h i c hi sn o ww i d e l yu s e d i nv i d e o c o n f e r e n c i n gs y s t e m s w h a t sm o r eh 2 6 4h a se r r o rr e s i l i e n c et o o l si n c l u d e d t om a i n t a i nv i d e o q u a l i t y i n e r r o r p r o n e t r a n s m i s s i o n sa n dn e t w o r k a d a p t a b i l i t y a l t h o u g ht e c h n i c a lw o r k o nh 2 6 4i sm a t u r ea n dn e a r i n gc o m p l e t i o n w ee m p h a s i z e t h a tt h ec o d i n gp e r f o r m a n c er e s u l t sp r e s e n t e di nt h i sw o r kr e f l e c to n b t h ec u r r e n t d r a f to ft h es t a n d a r da n da r es u b j e c tt o c h a n g ea st h ed r a ns t a n d a r dc o m i n a e st o e v o l v e t h ec o n t e n to ft h ep a p e rc o m ef r o map r o j e c ts p o n s o r e db yn a t i o n a ln a t u r a l s c i e n c ef o u n d a t i o no f c h i n a t h er e s e a r c ho nt h en e wv i d e oc o d i n ga n di t sr e a l i z a t i o n b a s e do nd s p t h em a i nt a s ko ft h ep r o j e c ti st o a n a l y z et h eh 2 6 4a n df i n i s ht h e d e c o d i n gt e r m i n a lb a s e do ni t i nf a c tt h em a i nt a s k sw i l lb ef i n i s h e da sf o l l o w i n g s 1 a n a l y z ei nd e t a i lt h en e w c h a r a c t e r i s t i c so f h 2 6 4 i n c l u d i n g l a y e r e dc o d i n g m u l t i m o d em o t i o ne s t i m a t i o n i c t m o t i o ne s t i m a t i o na n dm o t i o nc o m p e n s a t i o n u v l ca n dc a v l c w h i c hm a k eh 2 6 4m o r ee f f i c i e n tt h a nh 2 6 3i nv i d e oc o d i n g 2 i n t r o d u c e dt h er e a l t i m em u l t i m e d i at r a n s p o r tp r o t o c o l s r t pa n dr t c p a n d d e s c r i b eh o wt op a c k e tt h eh 2 6 4c o d eb a s e do nr t p 3 d e v e l o p e dt h eh 2 6 4d e c o d i n gt e r m i n a lw h i c hc a nr e c e i v et h ec o d ef r o mt h e n e t w o r ka n dt h e nd e c o d et h ec o d er e a i t i m ee f f i c i e n t l yo np c k e y w o r d s h 2 6 4 t h ee n c o d e ro f v i d e o t h ed e c o d e ro f v i d e o r t p 北京邮电大掌硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 w i t hh a r d w a r eb a s e dh 2 6 4e n c o d e rt h r o u g h10 m b se t h e m e ti n t e r f a c et or e c e i v e v i d e os t r e a m i na d d i t i o n i tc a r la l s od e c o d et h er e c e i v e dv i d e os t r e a mc o r r e c t l ya n d s h o v e i to i lt h es c r e e n k e y w o r d s h 2 6 4 t h ee n c o d e ro fv i d e o t h ed e c o d e ro fv i d e o r t p 独创性 或创新性 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果 尽我所知 除了文中特别加以标注和致谢中所罗列的内容以外 论文中不 包含其他人已经发表或撰写过的研究成果 也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意 申请学位论文与资料若有不实之处 本人承担一切相关责任 本人签名 酝 落 日期 避望 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定 即 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学 学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘 允许学位论文被查阅和借 阅 学校可以公布学位论文的全部或部分内容 可以允许采用影印 缩印或其它 复制手段保存 汇编学位论文 保密的学位论文在解密后遵守此规定 保密论文注释 本学位论文属于保密在一年解密后适用本授权书 非保密论 文注释 本学位论文不属于保密范围 适用本授权书 本人签名 匦聱日期 卫竖 j 导师签名 蕉莹利 曰期 逊监玉 f 北京邮电大掌硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 a 课题背景 绪论 本课题的研究内容来源于国家自然科学基金项目 b t 2 6 l 视频编码算法研究 及其d s p 实现 该项目主要研究新一代视频编码标准中的核心技术和相应的d s p 实现技术 满足视频通信 远程实时监控等应用的需要 图1 给出了本项目系统 结构框图 视频捕获设备采集到的视频信号首先将传送给基于t m l 3 0 0d s p 芯片 的硬件视频编码系统 编码后的数据流通过以太网接口传送到局域网内 解码设 各通过网络接收数据 然后进行解码和显示 本论文的工作主要涉及解码部分 同时也对网络传输及编码算法部分进行了较为详细的研究 督卜口 视频捕获视频压缩 视频解码 远程监控端显示 j 墨j l h 2 6 4 视频通信系统框图 谈到与视频通信相关的编码标准 人们自然会想到h 2 6 1 和h 2 6 3 这两个 目前广泛使用的国际比准 目前常见的视频通信终端设备大都基于h2 6 3 h 2 6 1 标准 而本论文所涉及的h 2 6 4 是继h 2 6 3 之后的下一代编码标准 其 编码效率要明显高于现有的编码标准 当然 编码效率的提高是以增加系统的复 杂性为代价的a 软件仿真的结果表明 h 2 6 4 的复杂程度也明显高于现有的视频 编码国际标准 随着对h 2 6 4 算法研究不断深入 芯片运算速度日新月异 h 2 6 4 的一些特 性使其在通信 数字电视及互联网中应用将越来越广泛 本项目的另外 项重要 的研究内容就是研究过h 2 6 4 的d s p 优化算法 使其能在通用的d s p 运行并实现 北京邮电大掌硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 bh 2 6 4 视频编码标准 随着社会的不断发展 视听领域里发生了一系列巨大的变化 会议电视 v c d 数字电视以及高清晰度电视 h d t v 等新技术和新系统正迅速走进我们的生活 与 传统的模拟电视相比 这些新系统的突出特点是采用了全数字的图像 声音处理 技术 随着这些数字电视系统的曰益成熟和不断发展 针对不同的应用领域 一 系列相应的数字视频音频编码标准也迅速地被制定并不断得到完善 其中包括 应用于会议电视及可视电话的i 2 6 1 h 2 6 3 用于静止图像压缩的 p e g 用于 v c d 的m p e g l 和用于广播电视 d v d 以及h d t v 的m p e g 2 这些标准的制定使各 个不同设备制造厂商所生产的各种数字视频设备可以相互配合使用 组成各种不 同的视频应用系统 由i t u t 的视频编码专家组 v i d e oc o d i n ge x p e r t sg r o u p v c e g 和i s o i e c 的m p e g m o t i o np i c t u r ee x p e r t sg r o u p 专家组联合制定 出的视频编码新标准h 2 6 4 将极大地降低发送视频图像所需要的带宽 并对诸 如数字卫星广播 数字视频存储以及互联网传播等一系列技术进行改进 以提高 视频质量 新标准h 2 6 4 有以下五个特性 更高的编码效率 与h 2 6 3 v 2 h 2 6 3 十 或m p e g 一4 相比 在相同的编码 质量条件下 h 2 6 4 最多可以节省5 0 的比特率 更好的图像质量 h 2 6 4 在各种比特率条件下都可以提供满意的图像质量 更强的时延适应性 h 2 6 4 可以在低时延模式下工作以适应实时通信应用 如会议电视等 也可以在高时延模式下工作以取得最佳的压缩效果 例如视 频图像的存储 基于服务器的视频流应用等 更强的容错能力 h2 6 4 提供了相应的工具来处理包交换网络中的丢包和 易于产生误码的无线信道中的误码问题 更好的网络适应能力 在h 2 6 4 中 视频编码层 v i d e oc o d i n g l a v e r v c l 和网络提取层 n e t w o r k a d a p t i n g l a y e r n a l 是彼此分离的 这样压缩后的视频 内容可以在不同类型的网络上传输 也使图像内容的打包和优先级控制更加容 易 上述特点使得h i2 6 4 将成为通信 数字电视及互联网视频应用首选的标准 目前已有某些厂家用硬件来实现h 2 6 4 算法 取得很好的效果 北京邮电大掌硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 c 本论文的研究内容 本论文详细介绍了h 2 6 4 视频编码技术 描述了i t 2 6 4 基于r t p 打包过程 简单介绍了h 2 6 4 编码规范 并开发基于p c 机上的解码终端 本论文安排如下 1 第一章从总体上介绍了视频编码技术 包括视频编码领域 基本的数据 压缩算法和国际上视频编码标准的发展 然后再介绍了多媒体传输协议 2 第二章详细介绍h 2 6 4 视频编码技术 分析h 2 6 4 视频编码技术的特点 3 第三章介绍实时多媒体传输协议r t p 和r t c p 并描述基于h 2 6 4 标准的 r t p 打包 4 第四章介绍对h 2 6 4 编码规范 并介绍了解码端程序实现 j 第五章总结了h 2 6 4 编码技术并展望了未来视频技术的发展 北京邮电大学硕士掌位论文h 2 6 4 见频编码算法研究及码算法的软件实兰 第一章视频编码技术与多媒体传输协议 1 1 基本的数据压缩方法 视频图像在时间上和空间上都包含许多冗余信息 对视频图像压缩的基本方 法和思想主要概括为两点 在空间方向上 图像数据采用静态图像的压缩算法来去掉冗余信息 在时间方向上 图像数据压缩采用运动补偿 m t i o nc o m p e n s a t i o n 算法来 去掉冗余信息 数据压缩可以分为两种类型 无损压缩和有损压缩 无损压缩是指压缩后的 数据在进行解压缩后与压缩前的数据完全一致 没有任何信息损失 无损压缩的 方法是构筑在香农的信息理论基础之上的 根据信号的统计特性进行编码 有损 压缩是指压缩后的数据重构后 与原始数据有所不同 但不会影响人们对原始资 料所要表达的信息的理解 在多媒体压缩技术中 往往先对多媒体数据采用有损 压缩算法进行处理 然后再对处理过的数据进行无损压缩 目前 广泛运用于视频编码技术的压缩算法主要有三种 统计编码 预测编 码和变换编码 这三种编码方法在上个世纪8 0 年代已经非常成熟 现在广泛应 用在各种图像视频编码标准中 下面分别介绍这三种方法的编码思想 统计编码 主要针对无记忆信源 根据信息码字出现概率的分布特征而进行 压缩编码 寻找概率与码字长度间的最优匹配 常用的统计编码有游程编码 哈 夫曼编码和算术编码三种 统计编码不会引入误差 因此也称为无损压缩编码 预测编码 根据数据的统计特性得到预测值 然后传输图像像素与其预测值 的差值信号 使传输的码率降低 达到压缩的目的 预测编码方法简单经济 编 码效率较高 变换编码 利用数字图像像素间存在高度相关性 进行某种变换来消除这种 相关性 以上列举出的一些经典编码技术可以称为 第一代 视频编码技术 这些编 码技术都是非常优秀的纹理编码 它们能够在中等压缩率的情况下 提供非常好 的图像质量 但在非常低的位率情况下 无法为一般的序列提供令人满意的质量 八十年代 第一代 编码技术已经达到了顶峰 这类技术去除客观和视觉冗余 信息的能力已接近极限 究其原因是由于这些技术都没有利用图像的结构特点 北京邮电大掌硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 因此它们也就只能以像素或块作为编码的列象 另外 这些技术在设计编码器时 也没有考虑人类视觉系统的特性 为了克服 第一代 视频编码技术的局限性 发展中的 第二代 编码技术 不局限于信息论的框架 并且充分利用人的视觉生理 心理和图像信源的各种特 征 实现从 波形 编码到 模型 编码的转变 以便获得更高压缩比 第二 代 编码方法主要有 基于分形的编码 基于模型的编码 基于区域分割的编码 和基于神经网络的编码等 分形编码是适于自相似性较强的自然景物图像 例如 海岸线 云彩 大树 等 基于模型 或知识 的编码方法 是指在编码端通过各种分析手段 提取所 建模型的特征与状态参数 而在解码端则依据这些参数 通过模型及相关知识生 成所被建模的信源 这类方法把计算机视觉和计算机图形学中的方法应用到视频 编码中 基于区域分割与合并的视频编码方法 是根据图像的空域特征将图像分 成纹理和轮廓两部分 然后分别对它们进行编码 该方法一般可分为三步来完成 即预处理 编码和滤波 预处理将图像分割成纹理和轮廓两部分 选取分割方法 是关键 它直接影响图像编码的效果 分割之后图像成为一系列相连的小区域 对纹理可采用预测编码和变换编码 对轮廓则采用链码方法进行编码 这种方法 较好地保存了对人眼十分重要的边缘轮廓信息 因此在压缩比很高时解码图像质 量仍然很好 神经网络法是模仿人脑处理问题的方法 通过各种人工神经元网络 模型对数据进行非线性压缩 人工神经网络是一个非线性动态网络 工作过程一 般分训练和工作两个阶段 训练阶段就是使用一些训练图像和训练算法 调整网 络的权重 使重建图像的误差最小 目前直接用于图像压缩编码的神经网络主要 有反向误差传播型和自组织映射型 第二代 编码方法充分利用了计算机图形学 计算机视觉 人工智能与模 式识别等相关学科的研究成果 为视频压缩编码开拓出了广阔的前景 但是由于 第二代 编码方法增加了分析的难度 所以大大增加了实现的复杂性 从当前 发展情况来看 第二代 编码方法仍处于深入研究的阶段 例如 分形法由于 图像分割 迭代函数系统代码的获得是非常困难的 因而实现起来时间长 算法 非常复杂 模型法则仅限于人头肩像等基本的视频上 进一步的发展有赖于新的 数学方法和其它相关学科的发展 神经网络的工作机理至今仍不清楚 所以在视 频编码中的应用研究进展缓慢 目前多与其他方法结合使用 但由于巨大压缩性 能的潜力 人们都在致力于这些新方法的研究之中 近年来 还出现了一类充分利用人类视觉特性的 多分辨率编码 方法 如 子带编码和基于小波变换的编码 这类方法使用不同类型的一维或二维线性数字 滤波器 对视频进行整体的分解 然后根据人类视觉特性对不同频段的数据进行 北京邮电大掌硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 粗细不同的量化处理 以达到更好的压缩效果 这类方法原理上仍属于线性处理 属下 波形 编码 可归入经典编码方法 但它们又充分利用了人类视觉系统的 特性 因此可以被看作是 第一代 编码技术向 第二代 编码技术过渡的桥梁c 1 2 视频编码标准的发展 因为视频业务的数据量大 可压缩的冗余信息多 而且是判别多媒体服务质 量好坏的主要因素 视频编码技术是多媒体应用的核心 视频的编码技术将是今 后多媒体视频通信中的核心技术之一 图像编码理论和数字技术的逐渐成熟促进 了视频通信的发展 学术和应用领域都致力于视频技术的研究 并且制定了一系 列国际标准 在视频应用中 编码方法的选择不但要考虑到压缩比 信噪比 还 要考虑到算法的复杂性 太复杂的编码算法可能会产生较高的压缩比 但也会带 来较大的计算开销 软件实现时会影响通信的实时性 目前 在众多视频编码算 法中 影响最大并被广泛应用的是i s o i e c 的m p e g 系列和i t u t 的h 2 6 x 系 列标准 如 i t u th 2 6 1 h 2 6 3 和i s o i e c 的m p e g 一1 和m p e g 2 等 这些 标准覆盖了很大的视频速率范围和应用领域 支持不同速率 不同的图像质量要 求等条件的视频业务 能够满足包括电视会议 视频电子邮件 可视电话 广播 级视频应用等不同要求的服务 随着视频应用需求的不断发展 视频压缩技术也 有了很大的提高 新出现的压缩标准有了更高的压缩效率 在相同的图像质量下 需要更低的传送码率或在相同的传输速率提供质量更好的图像 同时支持不同 的传输速率以适应不同的传送网络 下面分别介绍相关的图像编码标准 2 2 1j p e g 在1 9 8 6 年 i s o 与c c i t t 联合成立 联合图片专家组f j o i m p h o t o g r a p h i c e x p e r t sg r o u p j p e g 研究制定 静止图像数字压缩编码标准 d i g i t a l c o m p r e s s i o n a n dc o d i n go f c o n t i n u o u s t o n es t i l li m a g e s 19 8 7 年11 月 i e c 也 参加合作 因此 j p e g 是三者联合的结果 经过多次国际会议讨论和修改后 于1 9 9 1 年3 月提交j p e g 建议草案 1 9 9 2 年7 月通过正式标准 j p e g 用于连 续变化的静止图象 包括灰度等级和颜色两方面的连续变化 j p e g 有两种操作 模式 一是以d c t 为基础的有损压缩方法 二是以熵编码为技术的无损压缩方 法 随着通信技术 尤其是移动通信 图像压缩技术和集成电路技术的发展 个人视频通信正成为现实 个人视频通信的显著特点是交互性和极低的通信码 6 北京邮电大掌硕士学位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 率 极低码率通常指编码后的码率低于6 4 k b s 因此 极低码率数字视频压缩 编码是国际上的研究热点 h 2 6 3 和m p e 0 4 是这方面的两个比较成功的标准 但是这两个标准还不能完全满足在有限的带宽中传输高质量的图像序列 目前图 像专家正致力于有更高压缩特性的编码标准一h 2 6 4 2 2 2m p e g 系翻 运动图像专家组 m o v i n g p i c t u r e e x p e r t sg r o u p m p e g 原来是 j s o i e c j t c l s c 2 9 下面的第1 1 工作组w g l l 成立于1 9 8 8 年 任务是研究 开发活动图像及其声音的数字编码国际标准 m p e g 从开始的1 5 家单位发展到 现在的1 0 0 多家单位参加 i s o m p e g 在1 9 9 1 年1 1 月提交了 s o 1 7 2 标准 用于数字存储媒体的码率为15 m b i t s 的活动图像及其声音编码 c o d i n go f m o v i n g p i c t l l r e s a n da s s o c i a t e da u d o f o rd i g i t a ls t o r e m e d i a a t u p l 0 1 5 m b w s 建议 草案 即通常所说的m y e g 1 该标准于1 9 9 2 年1 1 月通过 1 9 9 3 年8 月公布 在影视和多媒体计算机领域中得到了广泛应用 m p e g 1 标准主要是为了视频存贮媒体如v c d 而制定 该标准能够适应变 码流的处理 其主要目的是在l 1 5 m b i t s 的情况下 提供3 0 帧c i f 3 5 2 2 8 8 1 v h s 的质量的图像 m p e g 1 的实时编码通常需要硬件才能完成 解码可以用 软件来完成 m p e g 1 不能提供分级图像编码 也不能在丢包率高的情况下应 用 1 9 9 2 年7 月m p e g 开始制定m p e g 2 而在此之前 i t u t 也成立了一个 a t m 环境下图像编码的专家组 由此开始了j t c l 和i t u t 的合作 m p e g 2 是m p e g 制定的第二个国际标准 m p e g 2 标准扩展了b l p e o 1 标准 能够支 持高分辨率图像和声音 目标码率是在3 1 5 m t i s 传输速率条件下提供广播级 的图像 而且能够提供信嗓比 s n r 时间和空i 刨三种分级编码 该标准应用 于卫星广播时 在当前的一个模拟信道中 不牺牲质量的情况下能提供5 路数字 的编码节目 m p e g 4 是i s o m p e g1 9 9 1 年5 月提出并于1 9 9 3 年7 月得到确认 其目标 是极低码率的音频 视频压缩编码 它支持用于通信 访问和数字视听数据处理 的新方法 特别是基于内容的 考虑到低损耗 高性能技术提供的机会和面临迅 速扩展的多媒体数据库的挑战 m p e g 4 将提供灵活的框架和开放的工具集 这 些工具将支持一些新型的和常规的功能 m p e g 4 支持逐行扫描和隔行扫描 是 基于视频对象的编码标准 通过对象识别提供了空间的可伸缩性 m p e g 4 标准 是今后一段时间压缩标准的主流 m p e g 4 标准既能够支持码率低于6 4 k b i t s 的 视频应用 也能够支持广播级的视频应用 与其他压缩标准相比 m p e g 4 标准 北京邮电大学硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 在d c t 的基础上引入了图像模型的概念从而具有更高的压缩效率 m p e g 4 的 工作集中于发展m s d l m p e g 4s y n t a c t i cd e s c r i p t i o nl m l g u a g e n 言 m s d l 和 j a v a 的思想一样 能够通过下载功能模块部分建立新编解码器 m p e g 一7 1 9 9 6 2 0 0 0 是多媒体内容描述接口 与前述标准集中在音频 视频内容的编码和表示 不同 它集中在对多媒体内容的描述 h 2 6 i 与h 2 6 3 标准主要面向于低码率的视频应用 如可视电话和会议电视 h 2 6 1 足最早出现的视频编码标准 它的输出码率是6 4 k b w s 的倍数 h 2 6 1 视频压缩编码是图像压缩编码领域4 0 年研究成果的结晶 是第一个在 国际上产生广泛影响的视频压缩编码标准 随后的m p e g 系列标准中的视频压 缩编码算法无论从原理和基本框图来看都是以h 2 6 1 为基础的 是对h 2 6 1 的重 要发展和改进 h 2 6 1 主要是为了1 s d n 的会议电视和可视电话的应用 它采用 的算法结合了可减少时间冗余的帧问预测和可减少空间冗余的d c t 变换的混合 编码方法 和i s d n 信道相匹配 其输出码率是p x 6 4 k b w s p 取值较d h q 只 能传清晰度不太高的图像 适合于面对面的电视电话 p 取值较大时 如d 6 可以传输清晰度较好的会议电视图像 其基本算法与m p e g 标准类似但h 2 6 1 所需要的计算量能够显著下降 这种算法通过均衡图像质量和运动来优化带宽 所以对于快速运动的图像 图像重建质量会下降 h 2 6 1 的输出速率是恒定的 而图像质量非恒定 h 2 6 3 是i 丁u 关于码率低于6 4 k b s 的窄带信道视频编码建议 它是在h 2 6 1 建议的基础上发展起来的 其帧频为每秒l o 帧以上 图像分辨率为1 7 6 象素 1 4 4 行 q c i f 格式 或者1 2 8 象素 9 6 行 s q c i f 格式 h 2 6 3 是为 了支持低速率的通信而制定的标准 但同时希望码流能够适应较大的动态范围 而不仅限于低码率 能够取代h 2 6 1 h 2 6 3 的容错能力很强 能适应误码率高 的信道 h 2 6 1 和h 2 6 3 的主要区别在于 h 2 6 3 在运动估计时采用了半像素精 度 h 2 6 1 是整像素精度 同时h 2 6 3 还增加了四个选项 搜索范围不受限的运 动估计 u n r e s t r i c t e d m o t i o n v e c t o r s 算术编码 s y n t a x b a s e da r i t h m e t i cc o d i n g 高级预测 a d v a n c e d p r e d i c t i o n 类似于m p e g 的前向和后向预测帧 p b 帧 h 2 6 3v e r s i o n 2 或称h 2 6 3 是在h 2 6 3 的基础上以增加编码的可选项 的形式改进的 在语法上与h 2 6 3 兼容 但编码效率有很大提高 适用范围也更 大 其主要的应用方向仍是低码流的视频业务 用于p s t n 以及无线接入的高误 码比的通信环境 因此在h 2 6 3 e 既增加了一些改进编码效率的方法 同时也提 高了抗误码性能的能力 由于实现成本较低 h 2 6 3 标准已经越来越多地被采用 北京邮电大掌硕士掌位论文h 2 6 4 视频编码算法研究及码算法的软件实现 h2 6 3 已经由1 t u t 正式制定为标准 并且在h 2 6 3 的基础上增加了三个 选项 主要是为了增强码流在恶劣信道上的抗误码性能 同时也是为了增强编码 效率 这三个选项分别为 选项u a n n e x u 1 一个增强型的参考选择 e r p s 能够提供增强的编 码效率和信道错误再生能力 实现e r p s 模式时需要设计多缓冲区用于存贮多参 考帧图像 选项v a n n e xv 一个数据分片的模式 d p s 能够提供增强型的抗 误码能力 特别是在传输过程中本地数据被破坏 d p s 的思想是通过分离视频 码流中d c t 系数和运动矢量数据 将运动矢量的数据采用可逆编码的方式进行 保护 选项w a n n e x w 在h 2 6 3 的码流中增加的补充信息 保证增强型的 反向兼容性 附加信息包括指示采用的定点i d c t 图像信息和信息类型 任意 的二进制数据 文本 任意的版权 标题 视频描述 统一的资源识别 重复 的图像头 当前的 前帧 可靠参考时问的下一帧 不可靠参考时间的下一帧 交替的场 上或下场 指示 稀疏的参考帧识别 在m p e g 4 规格星 新增了动画压缩率约为以往方式两倍的新方式 m p e g 4 a d v a n c e dv i d e oc o d e c a v c 2 0 0 2 年1 2 月9 日 1 3 日期间在日本香川县淡 路岛举行的m p e g m o v i n g p i c t u r ee x p e r t sg r o u p 聚会上已确定了相关技术规 格 在规范书定稿以后 会在2 0 0 3 年3 月1 7 日被确定为国际标准规范 i s a v c 为过去被称作 m p e g 一4v i s u a lp a r t1 0 规格 采用了近似d c t 离散余弦变换 的整数运算来替代迄今为止在m p e g 1 2 4 中所采用的d c t 因此它与以往的 m p e g 一4 编码播放设备不兼容 标准化将由m p e g 的上级组织i s o i e c 和i t u 共同成立的小组 j v t 负责进行 a v c 也被称作 i t u t h 2 6 4 据称该压缩 标准能够在i n t e m e t 上 通过使用比其他同类标准少得多的网络资源 传播d v d 品质的媒体内容 而且h 2 6 4 使得在卫星或是有限电缆上 每信道能传送4 路高 清节目 其运行费用比基于m p e g 一2 系统低得多 这对于有线电视投资者无疑 具有巨大的吸引力 由于h 2 6 4 编码比现有的编码算法的压缩比高1 倍 这将使 其在移动通信领域也占有一席之地 在下一章我们将详细介绍h 2 6 4 算法标准 1 3 新的视频传输技术 本小节主要介绍与视频实时传输有关的新技术 流媒体技术 多媒体同步技 术 自适应的视频传输技术和无线视频传输技术 流媒体技术 北京邮电大掌硕士掌位论文 h 2 6 4 视频编码算法研究及码算法的软件实现 流媒体技术是指把连续的影像和声音信息经过压缩处理后允许浏览者一边 观看收听 边下载的技术 目前在流媒体领域中竞争的公司主要有三个 m i c l o s o f l r e a ln e t w o r k s 和a p p l e 公司 而相应的代表产品是w i n d o w s m e d i a r e a l s y s t e n l 和q u i c k t i m e 流媒体技术是网络音视频技术发展到一定阶段的产 物 是一种解决多媒体网络带宽问题的 软技术 涉及流媒体数据的采集 压 缩 存储 传输和网络通信等多项技术 多媒体同步技术 多媒体同步技术是多媒体系统中涉及到的多媒体表现质量的关键技术 多媒 体同步分为媒体内同步和媒体间同步 其中媒体间同步技术 尤其实视频和音频 的同步是各个研究机构研究的重点 国内外对多媒体同步的研究主要集中在两方 面 同步时间模型的研究和网络环境下的终端同步处理 时间模型是同步时间关 系的形式化描述 其研究工作大多基于p e t r i 网及其扩展进行 自适应视频传输技术 自适应视频传输技术可以使视频编码器输出的码流根据网络当时传输的情 况自动调节 带宽高时 编码器可以提高输出码率 提高图像质量 带宽低时 可以适当减少输出码率 以避免过度的 丢包 使接收端难以恢复编码图像 使 图像出现马赛克等恶劣效果 自适应视频传输技术的代表是微软亚洲研究院网络 多媒体小组推出的s m a r t s c a l a b l em e d i aa d a p t a t i o na n dr o b u s tt r a n s p o r t 视 频编码技术 s m a r t 视频编码技术提供了一个嵌入式的 可伸缩性的码流 码 流可以在一个非常宽的带宽范围内进行自适应的调整 s m a r t 编码技术主要研 究自扩展的 高效的 鲁棒的音 视频描述 它将作为下 代面向不同种类且动 态变化的有线 无线信道或网络 以及多样化的用户设备的媒体在线播放和视频 会议的基础 该技术不仅追求高效的压缩性能 而且致力于提供普遍适用的可扩 展性能 空域扩展 时域扩展以及码率扩展 错误恢复能力和鲁棒性 其中的 关键技术已经被m p e g 一4 标准所采纳 无线视频传输技术 无线通信近几年的飞速发展使移动视频通信变得越来越现实 移动视频通信 要解决的不仅是传输带宽问题 还要解决在不可靠传输信道下如何提高视频传输 的抗误码性能 微软亚洲研究院已将机构进行了调整 确定了新一代无线网络技 术这一新的研究方向 并将其定义为研究院未来工作中的一个研究重点 北京邮电大掌硕士掌位论文h 2 6 4 视频编码算法研究及码算法的软件实现 第二章h 2 6 4 视频编码标准 随着社会的信息化 人们对图像业务的需求越来越大 同时对视频图像的质 量也提出更高的要求 宽带通信网的急速发展 尤其是移动通信网络的同新月异 大大的促进了视频通信的大面积应用 3 g 发展的主要目的就是让移动网不仅能 支持语音业务 更主要的用途是承载视频业务 同时随着电子技术的飞跃发展 媒体处理器的计算能力也正以成倍的速度增长 为终端设备支持高质量的视频提 供了可能 在这种情况下 发展一种高编码性能和高抗误码性能的视频编码技术 己成为趋势 h 2 6 4 是继h 2 6 3 和m p e g 4 的下一代视频编码标准 在体系上也 是m p e g 4 的第十部分 h 2 6 4 是继h 2 6 3 之后的下一代视频压缩编码新标准 早在 9 9 7 年 i t u t 的视频编码专家组 v i d e oc o d i n ge x p e l sg r o u p v c e g 就己经开始了h 2 6 4 的 前身 l 2 6 4 的研究工作 后来i s o i e c 的活动图像专家组 m o t i o n p i c t u r ee x p e l s g r o u p m p e g 看到h 2 6 4 的良好发展也加入进来 与v c e g 一起成立了联合视 频组 j o i n tv i d e ot e a m 丁v t 共同致力于h 2 6 4 建议也即m p e g 4 第1 0 部分 高 级视频编码算法 的开发工作 进行h 2 6 4 视频压缩算法研究的主要目的是采用目前广泛采用的视频压缩算 法的系统结构开发出一种高效的视频压缩标准 h 2 6 4 采用 返回基本 的思想 去开发高性能的视频编码标准 即采用现有的基本算法和结构 通过精心优化计 算流程和方法来取得更好视频编码性能 与现有的h 2 6 1 h 2 6 3 标准相比 h 2 6 4 保持了编码器的系统结构不变 如图2 1 主要包括四个步骤 1 把一帧图像划分为小块 m a c r ob l o c k 及b l o c k 每个小块包含很多像素 点 把对整幅图像的编码分成对许多小块的处理 2 通过对图像块的变换 量化和熵编码 或变长编码 消除图像中的空间 冗余 3 由于相邻的各帧图像存在很大的相似性 即时间冗余 所以我们只需要 将相邻帧图像间的变化进行编码传送即可 这是通过运动搜索和运动补偿实现 的 对每一个编码块 通过搜索上一编码帧 或之前的几帧 的相应位置来找到 一个运动向量 这一向量将和帧间差值 起传送 用于这 图像块的编解码 4 残余编码 对于原始块和相应的预测块之间的差值进行变换 量化和熵 编码 以去除当前帧剩下的空间冗余 北京邮电大掌硕士掌位论文h 2 6 4 视频编码算法研究及码算法的软件实现 图2 1 镉解码结构图 但是与以前的编码算法h2 6 3 相比 h 2 6 4 加入了一些新的特性以提高编码 效率 这些特征如下 对于进行帧内编码的图像 不是直接对原始图像进行变换 量化和编码 而 是首先采用多种不同的预测方法对图像进行预测 然后对差值进行上述处理 以 取得更佳的编码效率 在运动搜索和运动补偿方面 h 2 6 4 采用了从4 4 到1 6 1 6 共1 3 种搜索块进 行运动搜索以提高匹配程度 采用1 4 像素精度进行搜索以提高搜索精度 另外 根据对编码延时的不同要求 h 2 6 4 还可以对之前的多个已编码帧进行运动搜索 以达到最佳的效果 在变换编码方面 l 2 6 4 采用了4 x 4 的整数变换 i c t 代替d c t 变换 整 数变换的效果接近d c t 但是运算量要少而且在反变换过程中不会由于计算精度 问题丽引入误差 在熵编码过程中 h 2 6 4 使用单一的变长编码 u v l c 和基于内容的上下 文变长编码 c a v l c 进行编码 虽然h 2 6 4 仍然采用了类似于h 2 6 3 的总体结构 但的确增加了一些新的特 性来提高系统的性能 下面我们将详细介绍h 2 6 4 编码标准 2 1 h 2 6 4 编码标准结构 下图2 2 为h 2 6 4 编码器的语法结构图 下文将根据此结构框图对算法进行 详细描述 北京邮电大掌硕士掌位论文h 2 6 4 视频编码算法研究及码算法的软件实现 2 2 图像编码类型 图2 2 编码流程图 o m t r 盲l o o p h 2 6 4 除了支持传统的图像片外 h 2 6 4 还支持新的码流间可转换图片 称 为s w i t c h i n gp s p 和s w i t c h i n g i s 1 码流中包含了s p 和s i 片之后 解码 器能在有类似内容但码率不同致间快速切换 并同时支持随机访问和快速回放模 北京m e 电大学硕士掌位论文 竺竺竺竺兰兰竺兰兰竺兰兰竺兰 竺兰 式 从而最大限度的利用现有资源而不出现因缺少参考帧引起的解码错误 这样 h2 6 4 编码共有以f 八种类型 当前图像采用帧内预测编码 i n t r ap r e d i c t 进行压缩 不进行运动补偿和运 动搜索 当前图像采用帧间编码 i n t e rp r e d i c t 而且参考帧是经过编码的前一帧图 像 当前图像采用帧间编码 i n t e rp r e d i c t 而且参考帧是经过编码的前一帧或 多帧图像 在这种模式下 对每个宏块 m b 除了运动矢量和残余编码后的系 数外 还要传送参考帧的信息 当前图像采用帧内编码 i n t e rp r e d i c t 参考帧是当前图像的前一帧及后一 帧图像 即b 帧 当前图像采用帧内编码 i n t e rp r e d i c t 但参考帧是当前图像之前多帧及之 后的多帧图像 即b 帧 s p s w i t c h i n g p 图像 参考帧是经过编码的前一帧图像 s p 图像 参考帧是经过编码的前一帧或多帧图像 在这种模式下 对每个宏 块 m b 除了运动矢量和残余编码后的系数外 还要传送参考帧的信息 s i s w i t c h i n gi 图像 2 3 宏块编码类型 如前所述 编码器首先将一幅完整图像分为多个宏块 m b 然后对这些