（通信与信息系统专业论文）宽带ip音视频业务系统技术报告.pdf

摘要 信息技术飞速发展，视频压缩技术和网络传输技术更为成熟，宽带网络 用户快速增长，用户对网络音视频业务需求巨大。基于这种前提下，我们开 展了对基于宽带i p 音视频业务系统的研究，并积极申报国家产业项目，并获 得支持和资助。 本报告涉及了宽带i p 音视频系统中主要的关键技术：1 视频压缩技术： 主要概述了m p e g 系列( 1 ，2 ，4 ，7 ，2 1 ) 的发展和技术特点，重点描述了 具有前景的技术h 2 6 4 和中国自主知识产权的a v s ；2 数字版权管理 ( d r m ) ：d r m 技术是从技术层次上保证数字媒体拥有者的版权和利益重 要技术手段，文中简单介绍了d r m 的技术特点、设计原则和实现方案；3 流 媒体技术：宽带i p 上音视频业务的开展需要解决自己的一套传输、控制和管 理通信协议，它是保证流媒体业务开展的重要网络通信协议支持平台。文中 重点介绍了：媒体传送和控制协议( r r p 和r t c p ) ；媒体控制协议( r t s p ) ； 资源预订协议( r s v p ) ：媒体会话控制协议( s i p 、s d p 和s a p ) 等。与此， 并介绍了i s m a 的流规范基础上的流媒体服务器的设计方案和应用介绍。在 终端用户，也就是i ps t b ，讨论了它的设计涉及的有关关键技术，并提出 了主要三种实现方案：x 8 6 ，a s i c 和d s p 方案，结合现有的有关芯片，讨论 了三种方案的典型技术实现。最后，给出了一种“混合”方案，基于c p u 和 d s p 基础上，具有数字电视机顶盒和i p 机顶盒功能的实现方案。 总之，宽带i p 音视频业务系统是一个从内容提供，网络支持，业务提供， 终端用户的网络交互系统，例如i pt v 和v o d 就是其具体应用的事例。任 何一放的缺损都会影响这个产业链的健康发展，而它们之间的分工协作也是 及其重要的，对技术设备和服务来说，重要的希望能建立相关的标准，以便 这个产业链的各个利益方共同遵守和维护，促进产业的更加健康发展。 关键词：h 2 6 4 数字版权管理流媒体i p 机顶盒 1 1 1 a b s t r a c t w i t hi n f o r m a t i o n t e c h n o l o g yr a p i d l yd e v e l o p i n g ，v i d e oc o m p r e s s i o n t e c h n o l o g ya n di pn e t w o r kt e c h n o l o g yi sm u c hm o r em a t u r et h a ne v e r a n dt h e w i d eb a n dn e t w o r ku s e r sa r eg r o w i n gu pr a p i d l y t h ed e m a n d so na vo v e ri pa r e m u c hh u g e r b a s e do nt h i sk i n do fp r e m i s e ，w eh a v eb e g u nt os t u d yt h es y s t e mo f a vo v e ri p w eh a dp o s i t i v e l yr e p o r t e dt h en a t i o n a li n d u s t r yp r o j e c t ，a n dh a d o b t a i n e ds u p p o r t sa n ds u b s i d i z e s t h i sr e p o r th a si n v o l v e di nk e yt e c h n o l o g ya b o u tt h es y s t e mo f “a vo v e ri p ” i v i d e oc o m p r e s s i o n ：t h em p e gs e r i e s ( 1 ，2 ，4 ，7a n d2 1 ) a r eo u t l i n e d a n d e x p o u n d h 2 6 4w i t h g o o dp r o s p e c t a n da v sw i t hc h i n e s e i n d e p e n d e n t i n t e l l e c t u a lp r o p e r t yr i g h t s 2 d r m ：t h er i g h ta n db e n e f i to f d i g i t a lm e d i ao w n e r c a nb ep r o t e c t e dt h r o u g hd r m t e c h n i q u e t h ed r m sc h a r a c t e r i s t i c ，t h ep r i n c i p l e o fd e s i g na n dt h er e a l i z a t i o na r es i m p l yi n t r o d u c e di nt h er e p o r t 3 s t r e a m i n g m e d i at e c h n i q u e ：t h ec o m m u n i c a t i o np r o t o c o l so f s t r e a m i n gm e d i aa r et h eb a s e o f c o n t r o la n dm a n a g e m e n ta n dt r a n s p o r to f “a vo v e ri p ”s e r v i c e s i nt h er e p o r t ， t h e s ep r o t o c o l ss u c ha s ，r t pa n dr t c p ，r t s p ，r s v p ，s i pa n ds d pa n ds a pa n d s oo n ，a r ei n t r o d u c e dw i t he m p h a s i s a n dt h i s ，t h ed e s i g na n da p p l i c a t i o no f s t r e a ms e r v e ra r ei n t r o d u c e db a s e do nt h ei s m as p e c i f i c a t i o n s ，t h ee s s e n t i a i t e c h n i q u eo f t e r m i n a lw h i c hi sa l s oc a l l e di ps t bi sd i s c u s s e d t h et h r e ek i n d so f r e a l i z a t i o np l a na r ep r o p o s e d ，t h a ti s ，x 8 6 ，a s i ca n dd s p a n dt h et h r e ek i n d so f m a t e r i a ls c h e m ew i t hr e l a t e di c sa r eg i v e n f i n a l l y ，t h e “m i x e d s c h e m ew h i c hi s b a s e do nt h ec p ua n dd s pi sp r o p o s e d i th a sf u n c t i o n sw i t hd t vs t ba n di p s t b i ng e n e r a l ，t h es y s t e mo f “a vo v e ri p ”i si n v o l v e di nc o n t e n tp r o v i d e r ， s e r v i c ep r o v i d e r , n e t w o r k ss u p p o r ta n dt e r m i n a lu s e r s ，s u c ha si pt va n dv o d a n yc a na f f e c tt h ei n d u s t r i a lc h a i nt h eh e a l t h yd e v e l o p m e n ta ss o o na si ti sp u tt o b ed a m a g e d t h ec o o p e r a t i o nb e t w e e nt h e mi sv e r yi m p o r t a n t a n di ti si m p o r t a n t t oe s t a b l i s ht h er e l a t e ds t a n d a r d sb e t w e e nt h e m i tc a nb e n e f i te a c hs i d ei nt h e i n d u s t r i a lc h a i na n dn e e dt ob eo b s e r v e da n dc a r r i e do u tb ye a c hs i d e a n di tc a n p r o m o t et h ei n d u s t r i a lc h a i nh e a l t h yd e v e l o p m e n t k e y w o r d s ：h 2 6 4 d r ms t r e a m i n gm e d i a i ps t b 宽带1 p 数字音视频业务系统技术报告 宽带i p 数字音视频业务系统技术报告 第一章概述 一、宽带i p 网络的发展和规模 目前家庭宽带接入正以前所未有的速度高速发展，据c c i d 统计，电信的a d s l 用户到2 0 0 2 年底为止，在二年内从零发展到超过2 0 0 万用户，预计在2 0 0 5 年将 达到6 0 0 万用户；而以长城宽带、蓝波万维为代表的以太网宽带接入已发展到近 3 0 0 万用户，预计在2 0 0 4 年近6 0 0 万用户。对于新建小区而言，宽带接入己成 为了小区建设的标准配置。而且，随着电信重组为中国网通、中国电信实力相当 的两大网络运营集团，在固定电话业务难以对对方已有市场进行大规模渗透，而 移动业务短期内又不能得到许可的状况下，大力发展新兴的宽带业务，就成了两 大网络运营集团势在必争的焦点。目前双方开始推动无线宽带接入网。 另一方面，基于广播电视的有线电视网络本身就是一个巨大的宽带i p 网络 资源。我国有线电视接近9 千万用户，随着数字电视改造的推进，城市有线电视 网将腾出大量的频率资源，将广电熟悉的视音频业务利用该网络以i p 方式传送 将有巨大的需求。另外，部分城市有线电视网络公司本身拥有i p 网络，如北京 歌华网络拥有1 8 万i p 用户，杭州有线有2 0 万i p 用户等。 二、音视频业务需求强烈 首先，对于网络运营商一方面投资力度在不断加大，宽带用户的接入数量在 飞速地增长，一方面发展宽带业务贫乏，使得网络运营商的投资收同慢，宽带内 容的匮乏是造成宽带用户开通率低的一个重要原因。在宽带网上开通视频节目， 宽带p 数字音视频业务系统技术报告 对提高宽带用户的开通率，将起到重要的促进作用。 其次，广电体制改革的重要组成部分之一是网台分离，因此，形成了内容供 应商与业务运营商和网络分离的格局，将对宽带i p 网上开展视音频业务有积极 作用。广电的网络公司可能同时扮演业务运营商和网络提供商的角色。在i p 上 开展视音频业务是一种固有的需求，也是实现内部业务融合、提高资源效益的重 要手段。 在内容提供商方面，国内宽带i p 网上开展视音频业务的内容供应商将主要 是电视台和广播电台以及节目制作公司。随着广电体制改革和媒体体制改革的深 入，内容制作业将快速发展，这不仅将表现在数量的总量上，更表现在内容产品 的质量上和行业的竞争力上。而这种发展，必然对于新的业务模式和新的传送方 式产生巨大的需求，如v o d 和i p 上的流媒体等。以中央电视台为例，目前每年 2 0 0 0 0 小时的节目量，对于新业务模式有强烈的需求。 另外，随着媒体行业改革的深入和相关政策的支持，其他媒体的宽带内容和 部分境外内容的有条件进入，对宽带i p 网上开展视音频业务提出需求。 视音频娱乐在我国有着重要的地位，数字视音频产品在我国消费者中有着极 高的认同度。目前的广播电视，无论从业务模式上和内容总量上均无法满足用户 更高的要求。宽带i p 视音频业务将在很大程度上对此加以改善。 对于消费电子制造商，我国具有世界上最大的消费电子产品制造业，视频节 目不同于一般的数据业务，其特性更适合于通过电视机等接收终端进行观看，i p 视音频产品代表了消费电子产业对业务融合的需求，也是未来产业发展的重要增 长点。同时有利于产业链的整合，形成内容提供商与网络运营商的上下游关系， 充分利用广电，电信及计算机网资源。 三、主要用户 系统主要包括两个部分：业务播出系统和用户终端。 业务播出系统的主要用户是宽带网络运营商： a 各个城市的电信a d s l v d s l 网络 b 各地基于e p o n 和基于光缆+ 五类线以太网 c 无线宽带网络w l a n d 各地有线电视数据广播网络和c a b l em o d e m 网络 宽带l p 数字音视频业务系统技术报告 用户终端的用户就是以上各个网络的接入个人或家庭用户。 四、用户增长 基于宽带i p 的数字音视频业务目前是一个新业务，有些网络在开展小规模 的试验阶段。在未来的两年内，估计大部分的大的a d s l 网络和有线电视网络将 正式开通商业服务，估计到2 0 0 5 年，具有i p 数字音视频业务的终端将得到飞速 发展。 五、系统结构 宽带i p 网络开展音视频业务，主要涉及流媒体技术，数字压缩技术，网络 通信技术以及数字版权技术等，一个完整的宽带i p 网络音视频业务系统主要包 括三部分：内容，网络传输，用户。 图1 1 宽带i p 数字视音频业务系统图 宽带i p 数字视音频业务系统具体应用主要两个层次：i pt v 和v o d ，即网 络电视和视频点播 六、报告组织和工作背景 本报告主要按照宽带i p 音视频业务系统涉及的关键技术来组织和展开的。 第一章简单对系统作了简单系统技术现状和市场需求分析，并给强i p 音视频业 宽带i p 数字音税颖业务系统技术擐告 用户终端的用户就是以上各个网络的接入个人或家庭用户。 四、用户增长 基于宽带i p 的数字音视频业务目前是一个新业务，有些网络在开展小规模 的试验阶段。在未来的两年内，估计大部分的大的a d s l 网络和有线电视网络将 正式开通商业服务，估计到2 0 0 5 年，具有i p 数字音视频业务的终端将得到飞速 发展。 五、系统结构 宽带i p 网络开展音视频业务，主要涉及流媒体技术，数字压缩技术，网络 通信技术以及数字版权技术等，一个完整的宽带i p 网络音视频业务系统主要包 括三部分：内容，网络传输，用户。 图l - 1 宽带i p 数字视音频业务系统图 宽带i p 数字视音频业务系统具体应用主要两个层次：i pt v 和v o d ，即网 络电视和视频点播 六、报告组织和工作背景 本报告主要按照宽带i p 音视频业务系统涉及的关键技术来组织和展开的。 第一章简单对系统作了简单系统技术现状和市场需求分析，劳给氆i p 音视频业 第一章简单对系统作了简单系统技术现状和市场需求分析，劳给强i p 音视频业 宽带l p 数字音视频业务系统技术报告 用户终端的用户就是以上各个网络的接入个人或家庭用户。 四、用户增长 基于宽带i p 的数字音视频业务目前是一个新业务，有些网络在开展小规模 的试验阶段。在未来的两年内，估计大部分的大的a d s l 网络和有线电视网络将 正式开通商业服务，估计到2 0 0 5 年，具有i p 数字音视频业务的终端将得到飞速 发展。 五、系统结构 宽带i p 网络开展音视频业务，主要涉及流媒体技术，数字压缩技术，网络 通信技术以及数字版权技术等，一个完整的宽带i p 网络音视频业务系统主要包 括三部分：内容，网络传输，用户。 图1 1 宽带i p 数字视音频业务系统图 宽带i p 数字视音频业务系统具体应用主要两个层次：i pt v 和v o d ，即网 络电视和视频点播 六、报告组织和工作背景 本报告主要按照宽带i p 音视频业务系统涉及的关键技术来组织和展开的。 第一章简单对系统作了简单系统技术现状和市场需求分析，并给强i p 音视频业 宽带i p 数字音视频业务系统技术报告 务系统的示意图。第二章主要介绍数字压缩技术，包括m p e g ( 1 ，2 , 4 ，7 ，2 1 ) 的发 展和主要特点，重点介绍了h 2 6 4 和a v s ，也对现有主流压缩工具软件进行了 阐述。第三章，介绍了一般d r m 技术特点，并主要介绍了m i c r o s o f td r m1 0 的 主要特点，最后简单描述了d r m 系统实现的方法。第四章，首先简单介绍了流 媒体的基本原理，而后描述了流媒体传输的主流网络通信协议和传输方式，并对 流媒体的三种文件格式进行了比较。第五章简单介绍了i s m a 的流媒体技术的关 键技术，并给出了一种基于i s m a 标准的流媒体服务器实现的方法和应用考虑。 第六章描述的系统i ps t b 的关键技术和几种解决方案，并提出一种“双模”i p s t b 的实现方案。最后对全报告进行简单总结和展望。 本报告的工作背景是厦华电子企业公司向国家申请的“基于宽带i p 音视频 业务系统”项目基础( 已经立项) 上完成的，笔者是项目技术负责人之一，并撰 写了报告的主要部分。 4 宽带p 数字音视频、监务系统技术报告 第二章数字媒体压缩技术 在宽带i p 网络开展音视频业务核心问题是在有限的带宽传输高质量的音视 频信息，其中由于音频信息数据相对较小，对带宽要求较小，而且用户的也能接 受，目前相对成熟如m p 3 等，而视频数据压缩显得尤为关键，这方面的研究和 开发近期取得了飞速的发展，为产业的实现发展提供了坚实的理论和标准基础。 一、m p e g 的发展及其应用 随着数字化、网络化、全球一体化信息时代的来临，多媒体技术成为信息技 术的重要组成部分。它包括声音、图形、数据以及图像在内的多种媒体信息的传 送和处理，其关键在于压缩技术。m p e g 是活动图像专家组( m o v i n gp i c t u r e e x p o r t sg r o u p ) 英文的缩写，于1 9 8 8 年成立，是为数字视，音频制定压缩标准的专 家组，目前已拥有3 0 0 多名成员，包括i b m 、s u n 、b b c 、n e c 、i n t e l 、a t & & t 等世界知名公司。m p e g 组织最初得到的授权是制定用于“活动图像”编码的各 种标准，随后扩充为“及其伴随的音频”及其组合编码。后来针对不同的应用需 求，解除了“用于数字存储媒体”的限制，成为现在制定“活动图像和音频编码” 标准的组织。目前为止，在视频压缩领域m p e g 成为最热也是应用最多的压缩 技术。随著互联网和宽带的发展，m p e g 技术越来越多的在各个领域得到应用。 m p e g 的任务是开发运动图像及其声音的数字编码标准，目前己提出 p 江p e g l 、m p e g 一2 、m p e g 4 、m p e g 一7 和m p e g 2 1 标准。 1 、m p e g 一1 标准及其应用 m p e g 一1 标准于1 9 9 3 年8 月公布，用于传输i 5 m b p s 数据传输率的数字存 储媒体运动图像及其伴音的编码。该标准包括五个部分：第一部分说明了如何根 据第二部分( 视频) 以及第三部分( 音频) 的规定，对音频和视频进行复合编码。 第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第 五部分是一个用完整的c 语言实现的编码和解码器。 m p e g - 1 取得一连串的成功，如v c d 和m p 3 的大量使用，般i n d o v c s 9 5 以后 5 宽带l p 数字音视频业务系统投术报告 的版本都带有一个m p e g 1 软件解码器，可携式m p e g 一1 摄像机等等。 2 、m p e g 一2 标准及其应用 m p e g 组织于1 9 9 4 年推出m p e g 一2 压缩标准，以实现视音频服务与应用互 操作的可能性。m p e g 。2 标准是针对标准数字电视和高清晰度电视在各种应用下 的压缩方案和系统层的详细规定，编码码率从每秒3 兆比特1 0 0 兆比特，特别 适用于广播级的数字电视的编码和传送，被认定为s d t v 和h d t v 的编码标准。 m p e g 一2 还专门规定了多路节目的复分接方式。m p e g 一2 标准目前分为9 个部分， 统称为i s o f l e c l 3 8 1 8 国际标准。 m p e g 2 图像压缩的原理是利用了图像中的两种特性：空间相关性和时间相 关性。这两种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信 息去除，只保留少量非相关信息进行传输，就可以大大节省传输频带。而接收机 利用这些非相关信息，按照一定的解码算法，可以在保证一定的图像质量的前提 下恢复原始图像。 m p e g 2 的编码图像分为三类，分别称为i 帧，p 帧和b 帧。 i 帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有 利用时间相关性。i 帧使用帧内压缩，不使用运动补偿，由于i 帧不依赖其它帧， 所以是随机存取的入点，同时是解码的基准帧。i 帧主要用于接收机的初始化和 信道的获取，以及节目的切换和插入，i 帧图像的压缩倍数相对较低。i 帧图像 是周期性出现在图像序列中的，出现频率可由编码器选择。 p 帧和b 帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。 p 帧图像只采用前向时间预测，可以提高压缩效率和图像质量。p 帧图像中可以 包含帧内编码的部分，即p 帧中的每一个宏块可以是前向预测，也可以是帧内编 码。b 帧图像采用双向时间预测，可以大大提高压缩倍数。值得注意的是，由于 b 帧图像采用了未来帧作为参考，因此m p e g 一2 编码码流中图像帧的传输顺序和 显示顺序是不同的。 m p e g 2 的编码码流分为六个层次。为更好地表示编码数据，m p e g 一2 用句 法规定了一个层次性结构。它分为六层，自上到下分别是：图像序列层、图像组 ( g o p ) 、图像、宏块条、宏块、块。 m p e g 2 标准的主要应用如下： 6 宽带l p 数字音襁额业务系统技术报告 ( 1 ) 视音频资料的保存； ( 2 ) 非线性编辑系统及非线性编辑网络； ( 3 ) 卫星传输； ( 4 ) 电视节目的播出。 3 、m p e g 一4 标准及其应用 m p e g 4 标准专家组成立于1 9 9 3 年，该标准的目标为：支持多种多媒体应 用( 主要侧重于对多媒体信息内容的访问) ，可根据应用的不同要求现场配置解 码器。m p e g 4 于2 0 0 0 年年初正式成为国际标准。该标准旨在为视音频数据的 通信、存取与管理提供一个灵活的框架与一套开放的编码工具。这些工具将支持 大量的应用功能( 新的和传统的) 。尤为引人注目的是，m p e g 一4 提供的多种视 音频( 自然的与合成的) 的编码模式使图象或视频中对象的存取大为便利。这种 视频、音频对象的存取，常被称作基于内容的存取。基于内容的检索是它的一种 特殊形式。 m p e g 一4 与m p e g 1 和m p e g 一2 有很大的不同。m p e g 一4 不只是具体压缩算 法，它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒体( w w w 、 资料撷取与分散) 等整合及压缩技术的需求而制定的国际标准。m p e g 一4 标准将 众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供 标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普 遍采用的统一数据格式。 m p e g 4 采用基于对象的编码，即在编码时将一幅景物分成若干在时间和空 间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，接收端 对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方便我们对不 同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，也 可以方便的实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放 在真实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便 的实现交互，根据自己的需要有选择的组合各种视频音频以及图形文本对象。 m p e g 4 系统的一般框架是：对自然或合成的视听内容的表示；对视听内容 数据流的管理，如多点、同步、缓冲管理等；对灵活性的支持和对系统不同部分 的配置。与m p e g 1 、m p e g 一2 相比，m p e g 一4 具有如下特点：， 7 宽带l p - t 音视频业务系统技术报告 ( 1 ) 基于内容的交互性 m p e g 4 提供了基于内容的多媒体数据访问工具，如索引、超级链接、上下 载、删除等，利用这些工具，用户可以方便地从多媒体数据库中有选择地获取自 己所需的与对象有关的内容；提供了内容的操作和位流编辑功能，可应用于交互 式家庭购物，淡入淡出的数字化效果等：提供了高效的自然或合成的多媒体数据 编码方法，可以把自然场景或对象组合起来成为合成的多媒体数据。 ( 2 ) 高效的压缩性 同已有的或即将形成的其它标准相比，在相同的比特率下，它具有更高的视 觉听觉质量，这就使得在低带宽的信道上传送视频、音频成为可能。同时m p e g 4 还能对同时发生的数据流进行编码。一个场景的多视角或多声道数据流可以高 效、同步地合成为最终数据流。 ( 3 ) 通用的访问性 m p e g - 4 提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及 存储介质中的应用。还支持基于内容的的可分级性，即把内容、质量、复杂性分 成许多小块来满足不同用户的不同需求。支持具有不同带宽，不同存储容量的传 输信道和接收端。 因此，m p e g 4 主要应用如下： ( 1 ) 应用于因特网视音频广播： ( 2 ) 应用于无线通信： ( 3 ) 应用于静止图像压缩： ( 4 ) 应用于电视电话； ( 5 ) 应用于计算机图形、动画与仿真i ( 6 ) 应用于电子游戏。 4 、m p e g 7 标准及其应用 随着i n t e r n e t 的普及和网络带宽的增加，产生了大量的多媒体数据，如何在 浩如烟海的信息中快速、准确地获得自己所需的内容则成为当前必须解决的问 题。在此需求下，m p e g 一7 应运而生。规定一个用于描述各种不同类型多媒体信 息的描述符的标准集合被称为“多媒体内容描述接口”。该标准于壤2 8 年1 0 月 提出，于2 0 0 1 年最终完成并公布。m p e g - 7 标准可以独立于其色m p e g 标准使 宽带p 数字音视频业务系镜技术报告 用，但m p e g - 4 中所定义的音频、视频对象的描述适用于m p e g 一7 。 m p e g 7 的目标是支持多种音频和视觉的描述，包括自由文本、n 维时空结 构、统计信息、客观属性、主观属性、生产属性和组合信息：是根据信息的抽象 层次，提供- - e e 描述多媒体材料的方法以便表示不同层次上的用户对信息的需 求；是支持数据管理的灵活性、数据资源的全球化和互操作性。最终的目的是把 网上的多媒体内容变成文本内容，具有可搜索性。 m p e g 7 由以下几部分组成： ( 1 ) m p e g 7 系统：它保证m p e g 一7 描述有效传输和存储所必须的工具， 并确保内容与描述之间进行同步，这些工具有管理和保护的智能特性； ( 2 ) m p e g 7 描述定义语言：用来定义新的描述结构( 说明成员之间的结 构和语义) 的语言； ( 3 ) m p e g 7 音频：只涉及音频描述的描述子( 定义特征的语法和语义) 和描述结构； ( 4 ) m p e g 一7 视频：只涉及视频描述的描述子和描述结构； ( 5 ) m p e g ，7 属性实体和多媒体描述结构； ( 6 ) m p e g 7 参考软件：实现m p e g 一7 标准相关成分的软件； ( 7 ) m p e g 7 一致性：测试m p e g 一7 执行一致性的指导方针和程序。 m p e g 一7 标准可以支持非常广泛的应用，具体如下： ( 1 ) 音视数据库的存储和检索： ( 2 ) 广播媒体的选择( 广播、电视节目) ； ( 3 ) 因特网上的个性化新闻服务； ( 4 ) 智能多媒体、多媒体编辑； ( 5 ) 教育领域的应用( 如数字多媒体图书馆等) ； ( 6 ) 远程购物： ( 7 ) 社会和文化服务( 历史博物馆、艺术走廊等) ； ( 8 ) 调查服务( 人的特征的识别、辩论等) ； ( 9 ) 遥感： ( 1 0 ) 监视( 交通控制、地面交通等) ； ( 1 1 ) 生物医学应用： 9 宽带1 pi 站- 7 z 音视颖、监务系统技术报告 ( 1 2 ) 建筑、不动产及内部设计； ( 1 3 ) 多媒体目录服务( 如，黄页、旅游信息、地理信息系统等) ( 1 4 ) 家庭娱乐( 个人的多媒体收集管理系统等) 。 二、j v t 的h 2 6 4 自上个世纪8 0 年代以来，i s o i e c 制定的m p e g x 和i t u t 制定的h 2 6 x 两大系列视频编码国际标准的推出，开创了视频通信和存储应用的新纪元。从 h 2 6 1 视频编码建议，到h 2 6 2 3 、m p e g 一1 2 4 等都有一个共同的不断追求 的目标，即在尽可能低的码率( 或存储容量) 下获得尽可能好的图像质量。而且， 随着市场对图像传输需求的增加，如何适应不同信道传输特性的问题也日益显现 出来。于是i e o i e c 和i t u t 两大国际标准化组织联手制定了视频新标准h 2 6 4 来解决这些问题。 h 2 6 1 是最早出现的视频编码建议，目的是规范i s d n 网上的会议电视和可 视电话应用中的视频编码技术。它采用的算法结合了可减少时间冗余的帧间预测 和可减少空间冗余的d c t 变换的混合编码方法。和i s d n 信道相匹配，其输出 码率是p 6 4 k b i t s 。p 取值较小时，只能传清晰度不太高的图像，适合于面对面 的电视电话：p 取值较大时( 如p 6 ) ，可以传输清晰度较好的会议电视图像。 h 2 6 3 建议的是低码率图像压缩标准，在技术上是 l 2 6 i 的改进和扩充，支 持码率小于6 4 k b i t s 的应用。但实质上h 2 6 3 以及后来的h 2 6 3 + 和h 2 6 3 + + 已发 展成支持全码率应用的建议，从它支持众多的图像格式这一点就可看出，如 s u b q c i f 、q c i f 、c i f 、4 c i f 甚至1 6 c i f 等格式。 推出的m p e g 4 标准引入了基于视听对象( a v o ：a u d i o v i s u a lo b j e c t ) 的 编码，大大提高了视频通信的交互能力和编码效率。m p e g 一4 中还采用了一些新 的技术，如形状编码、自适应d c t 、任意形状视频对象编码等。但是m p e g 一4 的基本视频编码器还是属于和h 2 6 3 相似的一类混合编码器。 总之，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展，并将逐步在实 际上取而代之，主要应用于通信方面，但h 2 6 3 众多的选项往往令使用者无所适 从。m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应用，其核心 视频编码的基本框架是和h 2 6 1 一致的，其中引人注目的m p e g 一4 帐? 基于对象 的编码”部分由于尚有技术障碍，目前还难以普遍应用。因此，在此基础上发展 l o 宽带i p 数字音视额业务系统技术报告 起米的新的视频编码建议h 2 6 4 克服了两者的弱点，在混合编码的框架下引入了 新的编码方式，提高了编码效率，面向实际应用。同时，它是两大国际标准化组 织的共同制定的，其应用前景应是不言而喻的。 h 2 6 4 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图 像编码专家组) 的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的一个新的数字视 频编码标准，它既是i t u - t 的h 2 6 4 ，又是i s o h e c 的m p e g 一4 的第1 0 部分。 1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第一个草案，2 0 0 1 年5 月制定 了其测试模式t m l 一8 ，2 0 0 2 年6 月的j v t 第5 次会议通过了h 2 6 4 的f c d 板。 2 0 0 3 年3 月正式发布。h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混 合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能：加强了对各种信道的适应能力，采用“网络友好”的结构和 语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同 解析度以及不同传输( 存储) 场合的需求；它的基本系统是开放的，使用无需版 权。 在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高精 度、多模式的位移估计，基于4 4 块的整数变换、分层的编码语法等。这些措 施使得h 2 6 4 算法具有很的高编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，增加了差错恢复能力， 能够很好地适应i p 和无线网络的应用。 h 2 6 4 的主要技术特点 1 分层设计 h 2 6 4 的算法在概念上可以分为两层：视频编码层( v c l ：v i d e oc o d i n g l a y e r ) 负责高效的视频内容表示，网络提取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当的方式对数据进行打包和传送。在v c l 和n a l 之间定 义了一个基于分组方式的接口，打包和相应的信令属于n a l 的一部分。这样， 高编码效率和网络友好性的任务分别由v c l 和n a l 来完成。 v c l 层包括基于块的运动补偿混合编码和一些新特性。与前面的视频编码 标准一样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这样可以增加标 准的灵活性。 宽繁p 数字音视频、监务系统技术报告 n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信 令、定时信息的利用或序列结束信号等。例如，n a l 支持视频在电路交换信道 上的传输格式，支持视频在i n t e r n e t 上利用r t p u d p i p 传输的格式。n a l 包括 自己的头部信息、段结构信息和实际载荷信息，即上层的v c l 数据。( 如果采 用数据分割技术，数据可能由几个部分组成) 。 2 高精度、多模式运动估计 h 2 6 4 支持l 4 或l 8 像素精度的运动矢量。在l 4 像素精度时可使用6 抽头 滤波器来减少高频噪声，对于1 8 像素精度的运动矢量，可使用更为复杂的8 抽 头的滤波器。在进行运动估计时，编码器还可选择“增强”内插滤波器来提高预 测的效果。 在h 2 6 4 的运动预测中，一个宏块( m b ) 可以按图2 被分为不同的子块， 形成7 种不同模式的块尺寸。这种多模式的灵活和细致的划分，更切合图像中实 际运动物体的形状，大大提高了运动估计的精确程度。在这种方式下，在每个宏 块中可以包含有1 、2 、4 、8 或1 6 个运动矢量。 在h 2 6 4 中，允许编码器使用多于一帧的先前帧用于运动估计，这就是所谓 的多帧参考技术。例如2 帧或3 帧刚刚编码好的参考帧，编码器将选择对每个目 标宏块能给出更好的预测帧，并为每一宏块指示是哪一帧被用于预测。 3 4 4 块的整数变换 h 2 6 4 与先前的标准相似对残差采用基于块的变换编码，但变换是整数操 作而不是实数运算，其过程和d c t 基本相似。这种方法的优点在于：在编码器 中和解码器中允许精度相同的变换和反变换，便于使用简单的定点运算方式。也 就是说，这里没有“反变换误差”。变换的单位是4 4 块，而不是以往常用的 8 x8 块。由于用于变换块的尺寸缩小，运动物体的划分更精确，这样，不但变 换计算量比较小，而且在运动物体边缘处的衔接误差也大为减小。为了使小尺寸 块的变换方式对图像中较大面积的平滑区域不产生块之间的灰度差异，可对帧内 宏块亮度数据的1 6 个4 4 块的d c 系数( 每个小块一个，共1 6 个) 进行第二 次4 4 块的变换，对色度数据的4 个4 4 块的d c 系数( 每个小块一个，共4 个) 进行2 2 块的变换。 h 2 6 4 为了提高码率控制的能力，量化步长的变化的幅度控唯i 在1 2 5 左右， 宽带p 数字音视频业务系统技术报告 而不是以不变的增幅变化。变换系数幅度的归一化被放在反量化过程中处理以减 少计算的复杂性。为了强调彩色的逼真性，对色度系数采用了较小量化步长。 4 统一的v l c h 2 6 4 中熵编码有两种方法，一种是对所有的待编码的符号采用统一的v l c ( u v l c ：u n i v e r s a lv l c ) ，另一种是采用内容自适应的二进制算术编码 ( c a b a c ：c o n t e x t - a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。c a b a c 是可选项，其 编码性能比u v l c 稍好，但计算复杂度也高。u v l c 使用一个长度无限的码字 集，设计结构非常有规则，用相同的码表可以对不同的对象进行编码。这种方法 很容易产生一个码字，而解码器也很容易地识别码字的前缀，u v l c 在发生比特 错误时能快速获得重同步。 5 帧内预测 在先前的h 2 6 x 系列和m p e g x 系列标准中，都是采用的帧间预测的方式。 在h 2 6 4 中，当编码i n t r a 图像时可用帧内预测。对于每个4 4 块( 除了边缘块 特别处置以外) ，每个像素都可用1 7 个最接近的先前已编码的像素的不同加权 和( 有的权值可为0 ) 来预测，即此像素所在块的左上角的1 7 个像素。显然， 这种帧内预测不是在时间上，而是在空间域上进行的预测编码算法，可以除去相 邻块之间的空间冗余度，取得更为有效的压缩。 6 面向i p 和无线环境 h 2 6 4 草案中包含了用于差错消除的工具，便于压缩视频在误码、丢包多发 环境中传输，如移动信道或i p 信道中传输的健壮性。 为了抵御传输差错，h 2 6 4 视频流中的时间同步可以通过采用帧内图像刷新 来完成，空间同步由条结构编码( s l i c es t r u c t u r e dc o d i n g ) 来支持。同时为了便于 误码以后的再同步，在一幅图像的视频数据中还提供了一定的重同步点。另外， 帧内宏块刷新和多参考宏块允许编码器在决定宏块模式的时候不仅可以考虑编 码效率，还可以考虑传输信道的特性。 除了利用量化步长的改变来适应信道码率外，在h 2 6 4 中，还常利用数据分 割的方法来应对信道码率的变化。从总体上说，数据分割的概念就是在编码器中 生成具有不同优先级的视频数据以支持网络中的服务质量q o s 。例如采用基于语 法的数据分割( s y n t a x - b a s e dd a t ap a r t i t i o n i n g ) 方法，将每帧数据竹按其重要性分 宽带p 数字音视频业务系统技术报告 为几部分，这样允许在缓冲区溢出时丢弃不太重要的信息。还可以采用类似的时 间数据分割( t e m p o r a ld a t ap a r t i t i o n i n g ) 方法，通过在p 帧和b 帧中使用多个参 考帧来完成。 在无线通信的应用中，我们可以通过改变每一帧的量化精度或空间时间分 辨率来支持无线信道的大比特率变化。可是，在多播的情况下，要求编码器对变 化的各种比特率进行响应是不可能的。因此，不同于m p e g 4 中采用的精细分级 编码f g s ( f i n eg r a n u l a rs c a l a b i l i t y ) 的方法( 效率比较低) ，h 2 6 4 采用流切换 的s p 帧来代替分级编码。 总之，h 2 6 4 作为新一代的视频编码标准，采用以往成熟的编码技术，在追 求各高的编码效率和简洁的表达形式同时，也提供了非常好的视频质量，是当前 最高效的视频压缩方法。与现广泛应用的视频编解码技术h 2 6 3 、m p e g 4 相比， h 2 6 4 在图像质量以及波特率上都要好于以上的编码方式，因此具有更广阔的应 用前景。虽然h 2 6 4 因为复杂度等原因，在实际应用中还不可能完全发挥出其全 部的理论优势，但我们相信随着对h 2 6 4 技术的不断优化，它最终必将取代 h 2 6 3 、m p e g 。4 成为视频编码的核心技术。 三、自主知识产权的音视频编码技术标准a v s a v s 是中国自主制定的音视频编码技术标准。a v s 工作组成立于2 0 0 2 年6 月，当年8 月开始了第一次的工作会议