（通信与信息系统专业论文）av+ip中视频编码与模拟客户端的研究和实现.pdf

a vip 中视频编码及模拟客户端的研究与实现 摘要 随着网络技术、视音频压缩技术和计算机存储技术的发展，以及 在各种网络中对流媒体服务需求的增加，流媒体技术也得到快速的发 展，它在流影视点播、流媒体新闻发布、网络广告、在线直播、视频 会议、远程教育等流媒体信息服务领域已展现出广阔的应用前景。 实验室的a v0 v e ri p 项目就是在这种背景下开展的，目标是实 现一套基于i p 网络的流媒体传输系统，视频压缩格式采用最新的 h 2 6 4 标准，流媒体服务器基于a p p l e 公司的d a r w i n 流服务器。本文 基于该项目，对h 2 6 4 帧内预测算法进行了研究，以提高其运算效率； 并研究了系统中的视频源制作上传模块和测试模块，给出了实现方案。 首先，本文根据图像中各子块的纹理相似性，提出了快速纹理逼 近算法，对h 2 6 4 的帧内预测算法进行改进，减少了帧内预测模式选 择的计算次数；并在j m 参考软件中实现，对s a d 门限值进行了分析讨 论，使用标准参考图象序列进行实验，和原算法进行了测试对比；在 图像主客观质量和码率都变化不大的基础上，使编码时间得到了较大 的改善。 其次，对d a r w i n 服务器的源代码进行了详细的分析，着重分析了 其核心模块和主要功能流程。根据对d a r w i n 网络发送模块的功能流 程，设定了测试访问模型，给出了模拟客户端的实现方案，该客户端 可产生多个并发请求对流媒体服务器进行点播测试。 然后，介绍了基于w e b 的日志查询功能的实现方法，利用p e r l 和h t m l 技术，完善了原d a r w i n 系统的管理功能。介绍了可用于d a r w i n 的m p 4 流化文件的制作及f t p 上传模块的实现方法，该模块在微软n e t 平台上开发，利用m p e g 4 i p 的m p 4 c r e a t o r 工具，将本地采集的原始的 2 6 4 码流文件和音频文件合成m p 4 文件，并加入眦n t 信息，然后通过 f t p 协议上传到流媒体服务器。 最后，对工作进行了总结，并提出了下一步的改进意见。 关键词：h 2 6 4 帧内预测流媒体模拟客户端 r e s e a r c ha n di n 口l e n 虹三n t a t i o no n d e o e n c o d i n ga n ds i 【i ，a n tc l i e n ti na 厂vi p a b s t r a c t w i mm e d e v e l o p m e n t o fn e 咖r k t e c h n o l o g y 、 a u d i o v i d e o c o m p r e s s i o nt e c h n 0 1 0 9 ya n dc o m p u t e rs t o r a g et e c l l l l 0 1 0 9 y ，a n dw i m t h e i n c r e a s eo fr e q u i r e m e n to ns t r e 锄i n gm e d i as e r v i c ei nv a r i o u s 玉【i n d so f n e t w o r k ，也es 仃e 锄i n gt e c h n o l o g y i sm 描n gr 印i d p r o g r e s s t h e s 慨锄i n gt e c h n o l o g yw i l l b em o r e 印p l i c a b l ei nf i l e d so fs 眈锄i n g m e d i as e i c e s ，s u c ha ss 舡e a m 协gm o v i eo nd e m a i l d ，曲r e 锄i n gn e w s p u b l i s h ，n e t 、r ka d v e m s e m e n t ，1 i v i i 峪b r o a d c a s to n l i n e ，v i d e om e e t i l l g ， t e l e e ( 1 u c a t i o na n de t c vo v e ri pp r o j e c to fl a bi sc 秭e do u tu 1 1 d e rm i sb a c k g r o u d ，t 1 1 e p 唧o s eo ft h ep r o j e c ti st oi i n p l e m e n t as 仃e 锄i n gm e d i as y s t e mb a s e di p n e 觚o r k ，t h ec o m p r e s s e dv i d e of o 眦a ti sh 2 6 4 ，s t r e a n l i n gs e r v e ri sb a s e d m ed a n i ns 仃e 撇i n gs e v e ro fa p p l e b a s e dm ep r o j e c t ，t h i sp 印e r r e s e a r c h e dm ei n 饥卜p r e d i c t i o na l g o i nh 2 6 4t oi n l p r o v eo p e r a t i o n e 伍c i e n c y ；a i l di m p l e m e n t e dt h et o o lo fm d i 【i n gm es 仃e a m i n gf i l e sa n d u p l o a d 吨恤s ef i l e st ot h e 妣锄i n gs e r v e r ；a n d r e s e a c h e dt h et e s tt 0 0 1 f i r s t l yi n “sp a p e r ，m ef a s t t e x c u r ea p p r o a c h 魄a 1 9 0 r i m m ( f 1 a a ) b a s e do np a m a lc o m p u t a t i o ni sp r o p o s e dt oi m p r o em e i 蛐隰- p r e d i c t i o na l g o r 弛mi nh 2 6 4 ，a n dd e d u c e so p e r a t i o nt i m e so f s e l e c t i o no f 砷胁p r e d i c t i o nm o d e 1 1 1 i sp 印e rt h e nd i s c u s s e d 廿1 es a d t h r e a d ，a n dt e s t e d 仕屺f 1 a ai nm ej mr e 蜀陀n c es 酿a r ew i m 吐l es t a n d a r d v i d e os e q u e n c e f r o mm er e s u l t ，吐l es u q e c t i v ea n do b j e c t i v ev i d e oq u a l i t y a 1 1 dm eb i t r a t ei sd e d u c e dal m l e ，b u tm ee n c o d i n gt i m ei si m p r o v e da1 0 t c o n l p a i e dw i m t h ef u l ls e a l c ha l g o r i t h m s e c o n d l y ，t h i sp 印e ra 1 1 a l y s em e s o u r c e c o d eo fd a r w i ns e r v e r ，w i m e m p h a s i so ni t sc o r ea n d 凡c t i o nn o w b a s e di t ，也ep 印e re n a c 缸n e n tm e v i s i tm o d e l ，as o l u t i o no fs i m u l a n tc l i e n tw h i t c hc a nc r e a tm u l t i r e q u e s t 1 s9 1 v e n t h e n ，m ep 印e rp r o d u c e sm es o l u t i o no f 如c t i o no fl o gq u e 巧o n w e b ，m i es 0 1 u t i o np e r f e c tt h eo r h l a lw e bm a n n a g eo fd 删i n t h i s p a p e ra l s op r o d u c e s 1 es 0 1 u t i o no fm 掇n gm em p 4 f i l e sa n du p l o a d i n g t 1 1 e mt ot h es t r e a m i n gs e r v e r ，m es o l u t i o ni sd e v e l o p e do n n e tp l a t f o m l ， s y n m e s i z e 廿1 er u d ev i d e oa 1 1 da u d i of i l et om em p 4f i l eu s i n gm e m p 4 c r e a t o r ，a d dm eh i n t ，m e nu p o a d i tt os t es e r v e rv i at h ef t p p r o t o c a l i d e a a t 1 a s t ，也ep 印e rs u m su pa 1 1t h e 、o r k ，吼dg i v em e n e x tb 甜e m e n t k e yw o r d s ：h 2 6 4 i 劬静p r e d i c t i o ns t r e a m i n g m e d i as i m u l a n t - c l i e n t 北京邮电大学硕士研究生论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期：迦正业乒一 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密 论文注释：本学 本人签名： 导师签名： 黧一 日期：易田乒耻。 北京邮电人学硕l ：研究生论文第一章绪论 1 1 研究背景 第一章绪论弟一早三百。了匕 随着有线和无线宽带演进的高速发展，i i l t e m e t 的基础架构正日益完善，许 多城市的城域网从接人到核心各个部分都实现了宽带化，架构了以i p 为基础的 无阻塞数据承载平台。同时随着现代网络技术的发展，网络的媒体效应逐渐凸现， 作为第四媒体的网络开始带给人们更多的信息模式。由于人们需求的不断提高， 上网人数的不断增加，加之网络硬件设备的局限性，使得文件的大小成为网络传 输一个不可忽视的参数。一方面，人们越来越欢迎宽带网络带来的更直观更丰富 的新一代的媒体信息表现，另一方面人们又不得不去面对视音频传输所需的大量 时间。这就大大限制了人们在互联网上大量使用音频和视频信息进行交流。 为了解决这种矛盾，一种新的网络媒体技术应运而生，这就是“流媒体技术 ( s t r e 锄i n gm e d i a ) ”。“流媒体”不同于传统的多媒体，它的主要特点就是运用可 变带宽技术，以“视音频流( d e o 。a m d i os t 嗽l i l l ) ”的形式进行数字媒体的传送， 使人们在从很低的带宽( 例如1 4 4 k b p s ) 到较高的带宽( 例如1 0 m b p s ) 环境下 都可以在线欣赏到连续不断的较高品质的音频和视频节目。 流媒体在中国的宽带建设中被列为最主要的应用之一，越来越多提供网络在 线服务的运营商开始采用网络视频媒体服务解决方案，以增强在网络服务上的优 势。随着宽带网络互联时代的到来，新一轮的商业竞争已经开始，电信、广电、 移动、联通、网通等多家宽带业务商家面对更为激烈的竞争，只有充分利用网络 基础设施，大力开展宽带增值业务，才能获得更大的发展。 北京邮f u 人学硕i ：研究生论文第一章绪论 1 1 2 流媒体技术竞争焦点 在最简单的应用场合下，基于对流媒体增值业务最简单的理解，其平台至少 需要包括如下三个核心组件： 片源制作工具：用于压缩原始视音频信号或转换编码格式，生产流媒体系统 支持的片源。 流媒体服务器：管理并传送大量多媒体内容。 播放器：在用户端的p c 、机顶盒或手持设备上解码并呈现流的内容。 当一个流媒体运营者提供流媒体服务时，需要使用片源制作工具，将一般 的多媒体信息进行适合网络流化的压缩，再将转好的片源传送到服务器端放送出 去，客户端接收到媒体流后解码并播放。 目自订流媒体应用市场上竞争的焦点在于流媒体服务软件和媒体编码压缩算 法。 流媒体服务软件是流媒体增值业务平台中最重要的组成部分，要求支持多种 媒体格式，在多种连接速度基础上提供性能最优的客户端媒体效果体验，并且具 有开放的、标准的、跨平台的架构，支持最大量的用户群与多种流媒体商业模式。 编解码算法集中体现了多种矛盾需求的完美折衷。这些需求包括：编码压缩 速度。解码回放质量、可变编码码流速率、易错传输环境下的鲁棒性、解码速度、 信噪比可伸缩性、空间可伸缩性和时间可伸缩性等等。 1 1 3h 2 6 4 的技术优势嘲川j j v t ( 视频联合工作组) 于2 0 0 1 年1 2 月在泰国p a t t a v a 成立。它由i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联合组成。j v t 的工作目标是 制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络 适应性等目标。新的视频压缩编码标准称为h 2 6 4 标准，称为a 、，c ( a d v a l l c c d d e oc o d i n g ) 标准，是m p e g 4 的第1 0 部分。 h 2 6 4 不仅比h 2 6 3 和m p e g 一4 节约了5 0 的码率，而且对网络传输具有 更好的支持功能。它引入了面向i p 包的编码机制，有利于网络中的分组传输， 支持网络中视频的流媒体传输。h 2 6 4 具有较强的抗误码特性，可适应丢包率高、 干扰严熏的无线信道中的视频传输。h 2 6 4 支持不同网络资源下的分级编码传输， 北京邮电大学硕 ：研究生论文 第一章绪论 从而获得平稳的图像质量。h 2 6 4 能适应不同网络中的视频传输，网络亲和性好。 h 2 6 4 标准使运动图像压缩技术上升到了一个更高的阶段，在较低带宽上提 供高质量的图像传输是h 2 6 4 的应用亮点。 但是由于h 2 6 4 编码技术复杂，需要存储和运算的数据量非常大，在存储空 间分配，数据传输和运算速度上要求很高，把原始的视频格式转换为h 2 6 4 格式 需要很长的时间，也给实时直播带来了问题。 1 1 4d a r w i n 流媒体服务器9 3 d 删i n 流媒体服务器是a p p l e 公司向外界提供的一个开放源代码的流媒体 服务系统软件，用户可以对其进行功能上的修改和扩充，它是在q u i c kt i m e s t r e 锄i n gs e r v e r 基础上简化而来的，但具有q u i c kt i m es t r e 锄i n gs e e r 的主要 功能。d 删i n 流媒体服务器的整个传输过程为：当服务器收到r t s p 请求，它 首先产生r t s p 请求对象，然后调用特定的功能模块；对于单播服务，客户端向 服务器请求视频内容是通过瑚r s p 协议，服务器通过r t s p 协议的应答信息将请求 的内容以流会话( s t r e 锄i n g s e s s i o n ) 的形式描述，内容包括数据流包括多少个流、 媒体类型和编解码格式。一个流会话由一个或多个数据流组成，如视频流和音频 流等。实际的数据流通过r t p 协议传递到客户端。 1 2 任务描述与分析及论文结构 1 2 1 任务分析 鉴于流媒体和h 2 6 4 的技术优势，因此开发一套基于h 2 6 4 视频格式的流媒 体系统是具有先进意义的，可以在口网上进行视频的有效传输，实验室在发改委 基金支持下进行了vo 狼i p 项目的实现和研究。该项目系统结构图如下： 3 北京m l jf 也人学坝 j 研究生论文第一章绪论 ll 1w e b 管理l il ih - 2 6 4 编码i- i 加密 厶 th t t 口 成 f t p 上 - 一 d s s 音频编码l 一加密l 传 jljl r t j 。，c 拈稃m 一 拈霜：汰汰11 。w 七“士肯仆i i j s 一门肝函、 i1 工巾”灭氓l p n 网纛收| 音频解码 一。解密 h l 反馈r k t p 厂r t r p 虚拟客户端 图1 1 系统总体框图 我的具体任务是，对h 2 6 4 的标准编码算法进行优化，加快其编码速度。实 现m p 4 文件制作、上传工具，并完善d s s 的w 曲管理功能。实现对d s s 并发流的 测试工具，模拟多用户点播的情况，对d 洲i n 流媒体服务器进行测试。 帧内预测是h 2 6 4 的一个重要组成部分，由于它充分利用了图像的空间相关 性，进一步提高了压缩效率，对编码器的整体性能提高具有重要作用。但是与以 前的标准相比，h 2 6 4 的预测模式增多。如对于亮度预测，支持i n t r a l 6 x 1 6 和 i n t r a 4 x 4 预测模式，且在帧间编码中支持帧内预测模式。因此，提高帧内预测的 速度，是很有必要的。 流媒体服务器的稳定性，支持的并发用户数和消耗的资源都是一台流媒体服 务器的成功与否的重要因素，对其进行大规模的用户点播测试是很有必要的。但 是，受人员不足和网络条件差等客观条件的限制，在开发阶段不可能在真实环境 下进行，所以开发可在一台终端上模拟多个流媒体客户端的模拟终端是很有必有 的，在该客户端上，只需要和服务器之间进行网络的连接而不需要进行音视频的 解码。 1 2 2 方案设计 根据一般自然图像的内容均具有不同程度的相关性这一基本事实，可知除 4 北京邮电大学硕士研究生论文第一章绪论 了极个别变化特别剧烈的图像，各个块的最优模式值具有一定的相关性。即对于 即将预测的块而言，其最优模式值与其上部及左边的两个块的模式值有较强的相 关性。在4 4 块中各像素之间具有一定的纹理相关性，我们可以将每个块再分成 不同的小子块，充分利用小子块与纹理变化趋势的相关性，根据不同的模式值选 择不同的子块组进行预测。 1 2 3 主要工作及创新 针对以上分析，本文主要做了如下工作( 如图卜1 中加黑的模块所示) ： 和苏磊共同提出快速纹理逼近算法，对h 2 6 4 的帧内预测算法进行改进， 并由我在j m 参考软件中实现，对s a d 门限值进行了分析讨论，并使用 参考图象序列进行实验，和原算法进行了测试对比； 对d 删i i l 服务器的源代码进行了详细的分析，并实现了基于w e b 的日 志查询功能和可用于d a n i n 的文件制作及上传工具； 对d 删i n 网络发送模块进行分析，设定了访问模型，实现模拟多用户 测试工具。 本文余下的章节是这样安排的： 第二章将简要介绍视频压缩技术的基础知识以及发展现状；第三章将分析 d a 册i n 流媒体服务器以及和客户端通信所用到的主要协议。第四章将着重讨论基 于h 2 6 4 的帧内预测的快速纹理逼近算法及测试结果分析；第五章将讨论流媒体 模拟客户端及服务器相关工具的实现。第六章对工作进行了总结，并指出了下一 步的研究方向。 1 3 参考资料 【1 】余勇昌宋宜昌流媒体技术的原理、应用及发展现代电信科技2 0 0 3 7 【2 】邱翔鸥流媒体技术应用前景与运营商策略分析邮电设计技术2 0 0 3 4 【3 】t w i e g a i l d ，g j s u l l i v a l l ，g b j o n t e g a a r d ，a i l da l u t l l r a 0 v e r v i e wo ft h e h 2 6 4 a v cv i d e oc o d i n gs t a n d a r d 1 e e et r a n s c i r c u i t ss y s t v i d e o t e c h n o l ，v 0 1 1 3 ，j u l y2 0 0 3 ：l 匕京j i u 人学硕f ：研究生论文第一学绪论 【4 】s w e n g e r h 2 6 4 a v co v e ri p i e e et r a n s c i r c u i t ss y s t v i d e ot e c h n o l ，v 0 1 1 3 ， j u l y2 0 0 3 5 】i t u tr e c o m m e n d a t i o nh 2 6 4 一a d v a n c e dv i d e oc o d i n gf o rg e n e r i c a u d i o v i s u a ls e i c e sc o m m u n i c a t i o ni t u m 2 u r c h 2 0 0 5 6 f a s t1 1 1 t r a p r e d i c t i o nm o d es e l e c t i o nf o r4 x 4b l o c k si nh 2 6 4 ，b o j u nm e n g ， 0 s c a r c a u d e p t o fe l e c t r i c a la n de l e c t r o n i ce n g i n e e r i n g ，h o n gk o n g u n i v e r s i t yo fs c i e n c ea n dt e c h n 0 1 0 9 yc l e a r 、v a t e rb a yr o a d ，h o n gk b n g ， c h i n a 0 7 8 0 3 7 6 6 3 32 0 0 3 正e ei c e s s p 【7 e 伍c i e n ti n t r a p r e d i c t i o na l g o r i t h mi nh 2 6 4 ，b 0 j u nm e n g ，0 s c a rc a u d e p t o fe 1 e c t r i c a la n de l e c t r o n i ce n g i n e e r i n g ，h o n gk d n gu n i v e r s i t yo f s c i e n c ea n dt e c h n o l o g yc i e a r w a t e rb a yr o a d ，h o n gk o n 吕c h i n a 0 7 8 0 3 7 7 5 0 82 0 0 3i e e ei c e s s p 【8 】王嵩薛全张颖陈建乐h 2 6 4 视频编码新标准及性能分析电视技术 2 0 0 3 6 【9 】a p p l e 文档 q u i c k t i i l l es t r e 栅i n gs e r v e rm o d u l e s h t t p ：d e v e l o p e r a p p l e c o i n d a r w i n p r o j e c t s s t r e 锄i n 6 北京邮电人学硕 ：研究生论文第二章视频编码简介 2 1 视频压缩原理 第二章视频编码简介 众所周知，数字视频具有数据量大的特点，因此在存储和传输之前通常需 要进行压缩，以降低所需存储空间和传输带宽。本章将简要介绍视频压缩的基本 原理以及常用的视频压缩编码技术，并介绍了一下现有的各种图像编码标准。 总的来说，视频压缩编码是在充分掌握了图像信息的统计特性的基础上， 利用其中相邻图像间及图像内相关性强额特点，寻求去除或减少这种相关性或改 变图像信源概率分布不均匀的方法和手段，从而实现视频数据量的得压缩。由此 可以看出，去除信源的冗余度是实现视频数据压缩的基本方法。图像中存在如下 冗余n 1 乜1 ：时间冗余，空间冗余，信息熵冗余，结构冗余，知识冗余视觉冗余等， 而对于视频信号而言，空间冗余和时间冗余是最普遍且最重要的两种冗余。 时间冗余性 在视频序列中，前后相邻帧之间的相关性很大，这种相关性直接表现， 就是视频序列中有很大的时间冗余。去除时间冗余的一般方法就是采用预测 编码。 空间冗余性 在一幅图像中，规则物体或规则背景的表面物理特性之间有很强的相关 性，这种相关性的表现就是图像中的空间冗余。目前，视频压缩标准中通常 采用离散余弦变换或其他的准正交变换的方法来去除空间冗余。 信息熵冗余 由信息论的有关原理可知，对于图像中的每一个像素点，只要按其信息 熵的大小分配相应的比特数即可。然而对于实际图像的像素，很难得到它的 信息熵，因此在数字图像中的所有像素均采用相同比特数来表示。显然这会 7 北京i “l j 【u 人学坝 研究生论文第一二章视频编码简介 在数字图像中引入冗余，这种冗余我们称为信息熵冗余。 视觉冗余 人类的视觉系统对于图像的注意是非均匀的和非线性的，对图像中的某 些变化都可以被感知，而某些变化则不能被感知。然而在进行图像处理时， 人们通常是假定视觉系统是线性的和均匀的，这必然会有很多的冗余。 除了这些冗余，还有知识冗余，结构冗余等。 2 2 常规视频编码技术2 瑚 预测编码h 1 预测编码可以在一幅图像内进行( 帧内预测编码) ，也可以在图像之间 进行( 帧间预测) 。预测编码基于图像数据在空间和时间上的冗余特性，用 相邻的已编码像素( 或图像块) 来预测当前像素( 或图像块) 的值，然后再 对预测误差进行量化和编码。 变换编码州6 3 与预测编码技术相比，去除图像数据空间相关性的一种更有效的方法是 进行信号变换，使图像数据在变换域上最大限度的不相关。尽管变换本身并 不能压缩数据，但由于变换后系数之间的相关性有很大程度的降低，图像的 大部分能量只集中到少数几个变换系数上，采用适当的量化和熵编码就可以 有效的压缩图像的数据量。 熵编码 预测编码与变换编码是基于去除样值间的相关性而达到数据压缩的目 的，如果信源已经是无记忆的，即各样值之间已没有相关性，那么根据信息 论的相关理论可知，只要各事件出现的概率各不相等，该信源就有冗余度存 在，所以还有进一步压缩的可能性，这就是熵编码的理论依据。熵编码是纯 粹基于信号统计特性的编码技术，它是一种无损编码，解码后能无失真的恢 复原信号。常用的熵编码方法有游程编码，霍夫曼编码和算术编码等三种。 矢量量化 北京邮电人学硕上研究生论文第二章视频编码简介 香农失真理论指出，即使对于无记忆信源，矢量编码( v q ，v e c t o r q u a n t i z a t i o n ) 总是优于标量编码。基于v q 的图像压缩方法是利用相邻图像数 据之间的高度相关性，将输入的图像数据序列分组。每一组m 个数据被描述 为一个有m 个元素的矢量。实际的矢量量化图像系统中编码器和解码器内置 有相同的码本，码本由所有可能矢量集合的有序子集组成，编码器根据特定 的距离准则在码本中对输入图像进行矢量匹配，然后对匹配码的码本序号进 行编码，从而实现了一个矢量所需要的比特数到一个码字序号所需比特数的 压缩。 3 视频压缩编码标准的发展 视频技术是多媒体应用的核心。学术和应用领域一直都在致力于视频技术 的研究，并且制订了几个标准，如：i t u t 的h 2 6 1 、h 2 6 3 及i s o i e c 的m p e g l 、 m p e g 2 和m p e g 4 等。这些标准包括了各种范围的应用，从静止图象、可视电话 到高清晰度电视；码速率从几十k b i 佻到几十m b i t s ，覆盖了很大的视频速率范围 和应用领域，并能满足不同应用的要求：速率、图象质量、复杂度、容错性和实 时性。 m p e g 组织于1 9 9 3 年8 月发布了m p e g 1i s o i e c1 1 1 7 2 。m p e g 1 的视频主 要面向位率为1 5 m b p s 的视频信号的压缩编码，音频主要面向每通道6 4 k b s 、 1 2 8 k b s 以及1 9 2 k b s 的数字音频信号的压缩。其最终目标是在一个可以接受的声 音及图像质量下将多媒体数据压缩为大约1 5 m b p s 的一个单一的流。其视频方面 的标准为i s o i e c1 1 1 7 2 2 ，所满足的交互式视频应用方面的需求为：视频回放， 即正常播放、倒退播放、快进、快退；单个帧以及随机存取方式；高画质的静止 9 北京邮 u 人学硕 研究生论文 第二章饥频编码简介 图像回放；非常低成本的硬件解码方式的实现和容错性。 m p e g l 主要支持的特性有： ( 1 ) 运动补偿预测和插补双向预测； ( 2 ) 基于宏块以及片( s l i c e ) 编解码； ( 3 ) 支持图组( g o p ) ； ( 4 ) 半像素运动预测； ( 5 ) 视觉加权量化矩阵； ( 6 ) 采用对d c 分量的差值编码； ( 7 ) 运动补偿特性有：可选的半像素预测( 在编码器中选择) ；运动矢量 的范围有7 种可供选择；对运动矢量的差值进行编码： m p e g 一1 的应用：是目前v c d 行业数字视频信号的标准，m p e g 一1 算法也可 用于各种视频格式，但对于更高分辨率和位速率的视频信号而言不是最优的算 法。 2 3 3m p e g 一2 针对m p e g 。1 的不足，m p e g 组织在1 9 9 4 年通过了2 m b s 3 0 m b s 的高质量视 频音频编码标准m p e g 2 ，它解决了m p e g 一1 所不能满足的日益增长的多媒体技 术、数字电视技术对分辨率和传输率等方面技术要求的缺陷。m p e g 一2 的需满足的 要求：在广播、存储以及分组网络传输应用下对隔行视频进行高画质的编解码及 传输；与m p e g 一1 兼容；灵活的输入图像格式；随机访问、快进以及反向播放；可 变比特率传送；具有容错性和低延迟的双方通信。 m p e g 2 所支持的特性有： 1 ) 持各种隔行逐行的图像格式：4 ：4 ：4 ，4 ：2 ：2 ，4 ：2 ：0 ； 2 ) 框架和级别。框架是m p e g 一2 标准中定义的语法的子集。级别是m p e g 一2 标准规范的一个特定框架中的参数所取值得集合。他们共同提供了一种定义 m p e g 一2 规范的语法和语义子集的手段，为不同的应用领域问的数据交换提供了 便利和可行性。 3 ) 预测和补偿：可以采用基于帧和基于场的预测；1 6 8 的运动补偿； 1 0 北京邮电大学硕士研究生论文 第二章视频编码简介 4 ) 二重最优运动补偿； 5 ) 线性量化表； 6 ) 对d c t 系数采用新的v l c 表。 7 ) 基于帧场的d c t 以及两种系数扫描顺序。 8 ) m p e g 。2 视频还提供了可扩展性：数据分割( 一个比特流被分为多个层) ； 空域扩展编码；s n r 扩展编码；时域扩展编码；建议错误保护及多级服务。 m p e g 1 和m p e g 2 只偏重于某( 几) 个应用领域，交互性较差，至多允许视 频序列可变速度的双向播放，可重用性只限于矩形视频区域及其相关音频的线性 片段，无法在同一场景集成自然信息与合成信息，不能提供对各种网络的一致性 访问，容错性、灵活性和可扩展性比较差。m p e g 一4 于1 9 9 8 年成为国际标准，其初 衷是针对视频会议、视频电话的超低比特率编码，现在的标准又有了很大的改进。 m p e g 一4 的系统目标为：实现基于内容的交互式功能；基于内容的可扩展性，在误 码率高的环境下的健壮性：对自然数据及合成数据采用灵活的编码方式；高压缩 比；对特定的低比特率应用具有高的压缩效率： m p e g 一4 的视觉部分包括视频对象、人脸对象、网格对象以及静态材质，这 里仅讨论其视频对象。主要特性包括： 1 ) 视觉对象平面( v 0 p ) 是一个任意形状的图像区域，包括i v o p 、p v o p 、 b - v o p 以及s v o p ( s p r i t ev o p ) ； 2 ) 动态预测时的多边形匹配； 3 ) 运动预测及材质编码时的填充； 4 ) 形状编码：基于二值( b i n a r y ) 及灰度级( 酉a y s c a l e ) ； 5 ) s p r i t e 编码 m p e g 1 和m p e g 2 的压缩率大概在2 0 到3 0 倍之间，用在储存媒体上是足够 了。但是运用在网络传输上还是太低，尤其是无线通讯方面。于是m p e g 4 在订 定标准时，为了达到更好的压缩效果，采用了许多新的技术与观念。m p e g 。4 里 是采用了对象的观念。将各个对象分隔开来就是可以针对不同的物件特性采取不 北京i 啮i 乜人学颐f j 研究生论文第一二章说频编码询介 同的压缩编码技巧，以得到最好的压缩效果。收端依照各自的格式解码，再根据 时间和空间的关系，将各个物件加以组合，就可以得到原来的影片了。 2 3 4h 2 6 1 视频编码标准m 。 h 2 6 1 是i t u t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电 话、视频会议) 而制定的，速率为6 4 k m s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图 像格式进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b i o c k ) 层来处理。 h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包 括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相适 配的速率控制等部分。 2 3 5h 2 6 3 视频压缩标准 h 2 6 3 是最早用于低码率视频编码的i t u t 标准，随后出现的第二版 ( h 2 6 3 + ) 、第三版( h 2 6 3 + + ) 增加了许多选项，使其拥有更广泛的适用性。 h 2 6 3 能够在很低的码率下保证解码图像的质量。 h 2 6 3 是i t u t 为低于6 4 k b i t s 的窄带通信信道制定的极低码率视频编码标 准。该标准是在h 2 6 1 的基础上发展起来的，其标准的输入图像格式可以是 s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c 的彩色4 ：2 ：0 亚取样图像，其视频信源编 码算法所用的基本结构仍然是一种集图像帧间预测( 降低图像的时间冗余度) 和 离散余弦变换( d c t ) 编码( 降低图像的空间冗余度) 于一体的混合编码结构，如 下图所示。 h 2 6 3 与h 2 6 1 相比采用了半像素精度的运动补偿，并增加了4 种有效的压缩 编码模式，分别是： 无限制的运动矢量模式o 。 一般运动矢量的范围都限制在已编码的参考帧内。这种限制，使得对 当前帧图像边界的宏块进行运动估计时，由于参考宏块可能已处于参考帧之 北京邮电人学硕 ：研究生论文第二章视频编码简介 外而无法得到最优的效果。在h 2 6 3 中取消了这种限制，允许运动矢量指向 图像以外的区域。当某一运动矢量所指的参考宏块位于编码图象之外时，就 用其边缘的图像像素值来代替这个不存在的宏块。当存在跨边界的运动时， 这种模式能取得很大的编码增益，特别是对小图像而言。另外，这种模式包 括了运动矢量范围的扩展，允许使用更大的运动矢量，这对摄像机运动特别 有利。 基于句法的算术编码模式 使用算术编码代替哈夫曼编码，由于算术编码在符号的概率分布不为2 的幂的情况下也能逼近压缩的理论极限一符号的熵。因此，可在信噪比和 重建图象质量相同的情况下降低码率。 先进的预测模式 在一般情况下，每一宏块对应一个运动矢量。在先进的预测模式下， 一个宏块中的4 个8 8 亮度块均可以分别对应一个运动矢量，从而提高了预测 精度，两个色度块的运动矢量则取这4 个亮度块运动矢量的平均值。补偿时， 使用重叠的块运动补偿，8 8 亮度块的每个像素的补偿值由三个预测值加权 平均得到。是否使用4 个8 8 块运动矢量代替1 6 1 6 块运动矢量由编码器决定。 通常，该模式的使用可以产生相当显著的编码增益，特别是采用重叠的块运 动补偿减少了块效应，提高了主观质量。 p b 一帧模式 一个p b 一帧包含作为一个单元进行编码的两帧图像，其名称源于h 2 6 2 中使 用的p 帧和b 帧。这种模式下可在码率增加不多的情况下使帧率加倍。 2 4 视频编码技术的最新进展一h 2 6 4 2 4 1h 2 6 4 的优势 h 2 6 4 标准是i t u 。t 的v c e g ( 视频编码专家组) 和i s o 匝c 的m p e g ( 活动 图像专家组) 的联合视频组( j v t ，j o i n tv i d e ot e a m ) 开发的标准，也称为m p e g 4 1 3 北京邮f 乜人学顾f j 研究生论文第二章说频编码简介 p a i t1 0 ，“高级视频编码”。在相同的重建图像质量下，h 2 6 4 比h 2 6 3 节约5 0 左 右的码率。因其更高的压缩比、更好的i p 和无线网络信道的适应性，在数字视频 通信和存储领域得到越来越广泛的应用。同时也要注意，h 2 6 4 获得优越性能的 代价是计算复杂度增加，据估计，编码的计算复杂度大约相当于h 2 6 3 的3 倍，解 码复杂度大约相当于h 2 6 3 的2 倍。 h 2 6 4 的主要优点如下引： 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和m p e g 一4 ( s p ) 减小5 0 码率。 对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如会 议电视等；又可工作于无时延限制的场合，如视频存储等。 提高网络适应性，采用“网络友好”的结构和语法，加强对误码和丢包的 处理，提高解码器的差错恢复能力。 在编解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分 级，以适应不同复杂度的应用。 2 4 2h 2 6 4 中的关键技术 相对于以前的视频压缩标准，h 2 6 4 引入了很多先进的技术，包括4 4 整数 变换、空域内的帧内预测、1 4 象素精度的运动估计、多参考帧与多种大小块的 帧间预测技术口叫等。 4 4 整数变换 以前的标准，如h 2 6 3 或m p e g 一4 ，都是采用8 x 8 的d c t 变换。h 2 6 l 中建议的整数变换实际上接近于4 4 的d c t 变换，整数的引入降低了算法 的复杂度，也避免了反变换的失配问题，4 4 的块可以减小块效应。而h 2 6 4 的4 4 整数变换进一步降低了算法的复杂度，相比h 2 6 l 中建议的整数变 换，对于9 b 输入残差数据，由以前的3 2 b 降为现在的1 6 b 运算，而且整个 变换无乘法，只需加法和一些移位运算。新的变换对编码的性能几乎没有影 响，而且实际编码略好一些。 基于空域的帧内预测技术 视频编码是通过去除图像的空间与时间相关性来达到压缩的目的。空间 1 4 北京邮电人学硕 ：研究生论文第二牵视频编码简介 相关性通过有效的变换来去除，如d c t 变换、h 2 6 4 的整数变换；时间相关 性则通过帧间预测来去除。这里所说的变换去除空间相关性，仅仅局限在所 变换的块内，如8 8 或者4 4 ，并没有块与块之间的处理。h 2 6 3 + 与m p e g 一4 引入了帧内预测技术，在变换域中根据相临块对当前块的某些系数做预测。 h 2 6 4 则是在空域中，利用当前块的相临象素直接对每个系数做预测，更有 效地去除相临块之间的相关性，极大地提高了帧内编码的效率。 运动估计 h 2 6 4 的运动估计具有3 个新的特点：1 4 象素精度的运动估计；7 种大 小不同的块进行匹配；前向与后向多参考帧。 h 2 6 4 在帧间编码中，一个宏块( 1 6 1 6 ) 可以被分为1 6 8 、8 1 6 、8 8 的块，而8 8 的块被称为子宏块，又可以分为8 4 、4 8 、4 4 的块。总 体而言，共有7 种大小不同的块做运动估计，以找出最匹配的类型。与以往 标准的p 帧、b 帧不同，h 2 6 4 采用了前向与后向多个参考帧的预测。半象 素精度的运动估计比整象素运动估计有效地提高了压缩比，而l 4 象素