（通信与信息系统专业论文）流媒体客户端与安全传输系统的研究.pdf

北京邮电大学硕1 ：论文 流媒体客户端与安全传输系统的研究 摘要 随着我国流媒体技术的发展与成熟，流媒体相关业务量增长迅 速，造成了对网络带宽的大量需求。尽管宽带技术发展迅猛，但带宽 资源仍非常有限。在这种情况下，优秀的视频数据压缩性能，可以节 省大量带宽，提供更多更好的流媒体服务。目前，最优秀的编码技术 是国际标准h 2 6 4 技术、m p e g - 4 技术和国内拥有自主知识产权的 a v s 技术，对于这三种编码方式，很多的广泛应用的客户端根本不支 持本地文件解码播放，更不支持流媒体文件的网络接收和解码播放。 项目“基于宽带i p 数字音视频业务系统产业化”就是在这种背景下 开展的，其目标是以开放的国际规范i s m a 为基础，结合国内最新音 视频编解码标准，构建开放的、可扩展的a vo v e ri p ( a u d i oa n dv i d e o o v e ri pn e t w o r k ) 实验网络。本项目中我负责流媒体客户端部分。 为了完成流媒体客户端的开发，本文首先论述流媒体系统组成、 相关流媒体编码技术及流媒体相关网络协议；调研了当前主流的三种 流媒体系统。在充分研究了h 2 6 4 和a v s 压缩标准的编解码流程、 客户端解码流程和软件结构基础之上，实现了一个开涯煦逾媒体兰莹户 端。该客户端支持符合规范的标准m p 4 文件、支持符合规范的标准 h 2 6 4 文件、支持符合规范的标准a v s m 和a v s l p 2 文件的本地播 放和网络接收实时播放。同时，针对本项目组其他成员提出的h 2 6 4 和a a c 码流的加密方案，在该流媒体客户端中集成了认证解密功能， 实现了对加密h 2 6 4 视频文件及加密a a c 音频文件的版权保护。本 项目所完成的流媒体系统在国内最早实现了对a v s 标准和h 2 6 4 标 准的全面支持，也为a v s 标准的制定和进一步完善提供了验证平台 和实验环境。同时，根据h 2 6 4 和a a c 码流的特点及其分组传输方 法，提出了能够充分满足应用需求的合理的加密方法，该方法具有创 新性。 另外，应国家天文台项目需求，本文对如何构建一个星图安全信 息传输系统进行了研究。通过对信息安全技术及应用的大量调研，针 对天文台需求，派文提出一套可行方案基于d 蹦服务器的星图 安全传输系统，并实现了方案中与安全相关的主要技术，包括d r m 服务器、星图加密和认证解密。其中，关键算法的实现基于目前成熟 的密码算法开源库o p e n s s l 工程。 最后对工作进行了总结，并提出了下一步的改进意见和研究方 向。 关键词：流媒体客户端h 2 6 4a v s 加密认证o p c n s s l 北京邮电人学硕l ：论文 t h er e s e a r c ho fs t r ea n gc l i e n ta n d s e c u r j t yt r a n s p o r t a t l 0 ns y s t e m a b s t r a c t w i t ht h em a t u r eo ft h es t r e a m i n gm e d i at e c h n o l o g yi nc h i n a , t h e m a r k e td e m a n dr e q u i r e m e n t si n c r e a s er a p i d l y i nt h i ss i t u a t i o n ，e x c e l l e n t c o m p r e s s i b i l i t yp e r f o r m a n c eo ft h ev i d e oe n c o d i n gs t a n d a r d sw i l ls o l v e t h ep r o b l e mo ft h eb a n d w i d t hg r e a t e l y n o w a d a y s ，t h eb e s tv i d e oc o d i n g s t a r d a r d sa r eh 2 6 4 ，m p e g - 4a n da v s b u tm o s to ft h ew i d e l yu s e d c l i e n t sc a n n ts u p p o r tt h e m a no v e ri pp r o j e c to fl a bw a sc a r r i e do u t u n d e rt h i sb a c k g r o u n d ；t h ep u r p o s eo ft h ep r o j e c ti st oi m p l e m e n ta n o p e n - s o u r c e d ，e x p a n s i l es t r e a m i n gm e d i as y s t e mb a s e do ni pn e t w o r k , w h i c hc a ns u p p o r tt h ee x c e l l e n tc o m p r e s s e dv i d e oc o d i n gs t a r d a r d s a tf i r s tt h i s p a p e rh a sr e s e a r c h e dt h es t r u c t u r eo ft h em u l t i m e d i a s y s t e m ，r e l a t e de n c o d i n gt e c h n i ca n dt h es t r e a m i n gn e t w o r kp r o t o c 0 1 t h e p a p e rh a ss t u d i e dh o wa no p e n s o u r c e ds t r e a m i n gm e d i ac l i e n ti sr e a l i z e d i n c l u d i n gt h ec l i e n t s t r u c t u r ea n dt h ed e c o d i n gf l o w a f t e rs e c o n d d e v e l o p m e n t ，t h ec l i e n tc a nd e c o d ea n dd i s p l a yt h eh 2 6 4f i l e s ，t h ea v s f i l e sa n dt h es t r e a m i n gm e d i af i l e sf r o mn e t w o r kn o w a l s o ，w eh a v e a d d e dt h ed e c r y p t i o na n da u t h e n t i c a t i o nc l i e n tm o d u l ei nt h ec l i e n tw h i c h c a np r o t e c tt h ec o p y t i g h to ft h ee n c r y p t e dh 2 6 4d a t ao rt h ee n c r y p t e d a a cd a t a s e c o n d l y , a c c o r o r d i n gt ot h er e q u i r e m e n to ft h ep r o j e c tw i t l lt h e 北京邮电人学硕i ：论文 a s t r o n o m i c a lo b s e r v a t o r yo b s e r v a t o r y , t h i sp a p e rp u tf o r w a r das c h e m e w h i c hc a ns o l v et h es e c u r i t yt r a n s p o r t a t i o np r o b l e mo ft h es t a ri m a g e b a s e do nl o t so fr e s e a r c hw o r ko nt h ec r y p t o l o g y b e s i d e s ，t h ep a p e rh a s d i s c u s s e dt h em a i nr e a l i z a t i o nt e c h n o l o g ya b o u ts t a ri m a g ee n c r y p t i o n ， d r ms e r v e r , a u t h e n t i c a t i o n c l i e n t b e s i d e s ，t h ek e ya l g o r i t h m i c r e a l i z a t i o ni sb a s e do nt h eo p e ns o u r c el i b r a r y - o p e n s s l a tl a s t ，t h ep a p e rs u m su pa l lt h ew o r ka n dg i v e st h en e x tb e t t e r m e n t i d e a k e yw o r d s ： s t r e a m i n g m e d i a c l i e n th 2 6 4a v s e n c r y p t i o n a u t h e n t i c a t i o no p e n s s l 北京邮电大学硕上论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 同期： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期问论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： r 期： 只期： 北京邮电大学硕十论文 第一章绪论 1 1研究背景 第一章绪论 随着经济的发展和科学技术的进步，人类社会已进入了信息的新时代。流 媒体技术作为i n t e r a c t 网应用之一，自诞生以来，就注定要被广泛应用。正如前 几年前的p 网络和w e b 技术，流媒体应用正处于持续高速增长期。随着我国流媒 体技术的发展与成熟，市场需求量急速扩大。目前，中国电信、中国网通、中国 移动、中国联通以及广电等都在不同程度上推出了视频点播、视频直播及在线音 乐等流媒体业纠“。 而基于宽带m 网络的数字音视频业务系统是数字电视产业的重要组成部分， 是国内外数字电视技术研究和产业实施的重要领域，是对广播电视系统在业务模 式和内容总量方面的重要补充，是未来数字电视产业领域重要的经济增长点。 1 1 1 流媒体系统 传统的多媒体网络传输，通常要求用户将音频、视频文件下载到本地的计 算机后，再进行播放。这种方法虽然实现了i n t e m e t 上多媒体信息的传输，但它 也带来了三个突出的问题。首先，必须下载整个视、音频文件，而视频文件的数 据量通常很大，一般需要很长的下载时问。其次，由于必须将节目下载到本地计 算机后才能播放，必然会占据本地计算机的存储资源。第三，就是版权问题。因 为用户将多媒体文件下载到硬盘后，可能会对这些资料再进行传播，那么制作单 位的知识产权有可能受到损害。 为了解决这些问题，“流式传输”，即流媒体技术，应运而生。它的思想正 是借鉴计算机利用缓冲区来提高文件运行速度的方式，在播放端设置缓冲区来解 决服务质量问题。在采用流式传输的方式的系统中，客户只需经过几秒或几十秒 的启动延时即可利用相应的客户端对压缩的动画、音频、视频等流式多媒体文件 解压后进行播放，多媒体文件的剩余部分在播放的同时继续下载，以保证用户流 畅的播放。 在i n t e r n e t 网络上传输多媒体数据存在着两个方面的问题，一方面因为多媒 体数据具有时间敏感性，也就是某一特定的数据对应于某一特定的时间，而在尽 力而为的网络上，带宽动态变化的，数据可能超过指定的时间到达，影响观看或 北京邮电人学硕f ：论文第一章绪论 收听。另一方面，流媒体数据的传输可谓是带宽杀手，因为视音频数据量很大， 特别是随着流媒体业务的广泛推进，使得网络带宽受到i j i 所未有的挑战。流媒体 技术的两大特征就是流式传输和压缩。流媒体在i n t e r a c t 上传输除了需要基本的 网络协议外，还需要针对流式传输的流媒体传输协议的支持。面对有限的带宽资 源，视频数据在不损失视频质量的前提下尽可能的压缩，可以节省大量的带宽。 目前，最优秀的编码技术是国际标准h 2 6 4 技术、m p e g - 4 技术和国内拥有自主知 识产权的a v s 技术，对于这三种编码方式，很多的应用广泛客户端根本不支持本 地文件的解码播放，更不支持流媒体文件的网络接收和解码播放。急需研究一种 开源流媒体客户端，支持以上三种格式本地文件解码播放，支持相应流媒体传输 协议和流媒体码流的解码播放。 1 1 2 网络信息安全 随着信息化进程的深入和网络的快速发展，信息资源得到了最大程度的共 享。但是，网络安全问题去同渐突出，并成为信息时代人类共同面临的挑战。流 媒体通信系统所具有的复杂性、多样性和开放性使得多媒体通信的安全成为其实 用化的关键。信息安全技术是- - f 3 综合学科，它涉及信息论、计算机科学和密 码学等多方面知识，它的主要任务是研究计算机系统和通信网络内信息的保护方 法以实现系统内信息的安全、保密、真实和完整【5 1 。其中的关键就是密码学。 密码学【6 j 包括密码编码学和密码分析学。古典密码体系通常基于算法保密， 可选性有限，不容易改变，保密性不够，不能标准化和安全性控制。现代密码体 系基于密钥算法，安全性依赖密钥，而加密算法可以公开并标准化，易于通过密 钥控制安全性。现代密码体系主要有对称算法和公开密钥算法。对称算法加密和 解密密钥能够互相推算出来，因此密钥管理非常关键。对称算法可分为序列密码 和分组密码，公开密钥算法的加密密钥公开，解密密钥需要保密。由加密密钥在 相当长的时间内难以计算出解密密钥【刀。 利用现代密码学技术实现信息安全采取的技术措施主要有以下几种：( 1 ) 信 息加密技术，信息加密是保障信息安全的最基本、最核心的技术措施和理论基础 它也是现代密码学的主要组成部分。( 2 ) 数字签名技术，数字签名是在数据单元 上附加数据，或对数据单元进行密码变换。同时，数字签名可以为仲裁者提供 发信者对消息签名的证据。( 3 ) 数据完整性技术，数据完整性保护用于防止非法 篡改，利用密码理论的完整性保护能够很好地对付非法篡改。完整性的另一用途 是提供不可否认服务。( 4 ) 身份鉴别技术，鉴别是信息安全的基本机制，通信的 双方之间应互相认证对方的身份，以保证赋予正确的操作权力和数据的存取控 制。 2 北京邮电大学硕上论文 第一章绪论 利用以上技术，可以完成对网上传送的需要保护的媒体信息进行加密、解 密、签名、校验等工作，以保证自己的网络安全【4 1 。 1 2本人课题任务 本实验室正是在这样一个大背景下，在国家发展改革委员会资助下，参与 了“基于宽带口数字音视频业务系统产业化”项目。本项目的目标是：以开放的 国际规范i s m a 为基础，结合国内最新音视频编解码标准，构建开放的、可扩展 的a v o v e r i p ( a u d i o a n d v i d e o o v e r l p n e t w o r k ) 实验网络。在这个项目中我的 工作是实现一个流媒体客户端，该客户端必须能够支持符合规范的标准h 2 6 4 文 件、支持加密后的h 2 6 4 文件、支持a v s m 和a v s i p 2 文件并且具有判断加密文件 并解密和用户认证功能，并对其中的关键技术进行研究。 在成功完成这一工作任务后，实验室与天文台合作的天文望远镜远程控制 与网络传输系统项目三期中，需要实现一个安全传输系统，实现天文台服务器与 客户端之间，保证星图图像所有者的权限功能、保证相关控制信息及其他敏感信 息的安全传输功能和星图安全存储功能。在对上一项目中安全系统的认证模块研 究的基础上，在这一项目中，我的工作是负责整个安全系统的方案及实现，重点 是实现一个基于d r m j 匣务器的星图安全传输系统，并对其中的关键技术进行研 究。 1 3论文安排 本文余下的章节是这样安排的： 第二章简要本文论述流媒体系统组成、相关流媒体编码技术及流媒体相关 网络协议；调研了当前主流的三种流媒体系统。 第三章结合项目“基于宽带口数字音视频业务系统产业化”的要求，首先 设计了流媒体客户端软件结构，讨论了其涉及到的主要技术；以及本客户端支持 h 2 6 4 和a v s 标准的实施方案。同时，根据本项目组其他成员提出的h 2 6 4 和a a c 码流的加密方案，在该流媒体客户端中集成了认证解密功能，实现了对加密h 2 6 4 视频文件及加密a a c 音频文件的版权保护。 第四章根据天文台项目需求，设计并实现了一个基于d r m 服务器的星图安 全传输方案。该方案的三大主要模块分别为：d r m 服务器、星图加密软件和认 证解密软件。 第五章对工作进行了总结，并指出了下一步的研究方向。 北京邮电人学硕i ：论文 第一章绪论 1 4参考资料 1 】邱翔鸥流媒体技术应用前景与运营商策略分析邮电设计技术2 0 0 3 4 2 】余勇昌宋宜昌流媒体技术的原理、应用及发展现代电信科技2 0 0 3 7 3 】王小山计算机网络安全技术的研究发展与应用广西师院学报2 0 0 1 1 8 4 】李红军，缪旭东数据加密在网络安全中的应用微型机与应用2 0 0 2 1 0 【5 】周霞信息安全现状及发展趋势大众科技2 0 0 6 7 【6 】s c l m e i e rb a p p l i e dc r y p t o g r a p h ys e c o n de d i t i o n ：p r o t o c o l s ，a l g o r i t h m s ， a n ds o u r c e c o d ei nc 北京：机械工业出版社，2 0 0 0 【7 】徐正全杨志云李伟陈琳数字视频加密技术发展现状及展望武汉大 学学报2 0 0 5 7 【8 】廉士国孙今生王执铨视频加密算法及其发展现状 信息与控制 2 0 0 4 1 0 4 北京邮电人学硕上论文 第一二章流媒体技术 2 1概述 第二章流媒体技术 流媒体( s t r e a m i n gm e d i a ) 就是指在i n t e r n e t i n t r a n e t 网络中使用流式传输技 术的连续时基媒体。如音频、视频或多媒体文件。所以说流媒体属于多媒体，只 不过是在i n t e r n e t i n t r a n e t 网络环境下使用了特殊的传输方式的多媒体。或者说是 多媒体数据经过一定预处理之后才能适合流式传输。 流媒体技术起源于窄带互联网时期，从一家叫做p r o g r e s s i v e n e t w o r k s 的美国 公司成立之初，流媒体正式在互联网上登场亮相。早期的流媒体主要是在窄带互 联网上应用，受带宽条件的限制。2 0 0 0 年下半年，随着全球范围内的互联网升温， 宽带i p 网不再是梦想，作为流媒体技术的倡导者和发起者的美国r e a ln e t w o r k s 、 微软和苹果等公司几乎同时向世界宣布了他们最近的流媒体技术的宽带解决方 案。而近年来宽带接入的迅速普及及3 g 应用的越走越近，更是促进了流媒体技 术的发展。在看2 0 0 7 的今天，流媒体的发展已经有目共睹。人们完全可以在网络 上进行全方位的的视听接触，实现独坐一室，如走遍天下。 但是，在i p 网络技术基础之上处理流媒体不是一个小任务，主要面i 临三大困 难即带宽问题、实时性问题和猝发问题。流媒体数据通常具有猝发性，仅靠提 高带宽还不足以解决猝发问题。对于大多数应用，接收端的缓存是有限的。当数 据传输速率过快，缓存溢出。将导致数据丢失，影响回放质量；反之，则缓存将 下溢。导致应用饿死。这便是目前流媒体需要解决的三大关键技术。对于带宽问 题，主要的解决方案是通过一系列编解码技术来实现。对于实时性和猝发问题， 主要是在现有的t c p i p 或者u p d i p 协议上添加新的多媒体协议来控制流的定 时、同步和平滑。另外，为了适应流式媒体的数据传输，研究者和厂商还开发 了诸多的流媒体文件格式，如a s f r i l l 、m o v 等。 2 2流式传输的基础 流媒体技术不是单一的技术，它是建立在很多基础技术之上的技术。它的 基础技术包括网络通信、多媒体数据采集、多媒体数据压缩、多媒体数据存储和 多媒体数据传输。 5 北京邮电人学硕i ：论文 第一二章流媒体技术 流媒体的主要技术特征就是采用流式传输，即通过i n t e m e t 将影视节目传送 到p c 机。实现流式传输有两种方法：顺序流式传输( p r o g r e s s i v es 仃e a m i n g ) 和实 时流式传输( r e a l - t i m es 仃e a m i n g ) 。 2 2 1 顺序流式传 顺序流式传输是顺序下载，用户可以观看在线媒体。但是在给定时刻，用 户只能观看已下载的那部分，而不能跳到还未下载的i j i 序部分；它不能根据用户 的连接速度做调整。由于标准的h r r p 服务器可发送这种形式的文件，而不需要 其他特殊协议，它经常被称作h r r p 流式传输：顺序流式传输方式适合高质量的 短片段，如片头、片尾和广告，由于文件在播放前观看的部分是无损下载的， q o s 高；顺序流式文件是放在标准h 丁r p 或f t p 服务器上，易于管理，基本上与 防火墙无关。顺序流式传输不适合长片段和有随机访问要求的视频、讲座、演说 与演示。它也不支持现场广播，严格说来，它是一种点播技术。 2 2 2 实时流式传输 实时流式传输指保证媒体信号带宽与网络连接相匹配，使媒体可被实时观 看到。实时流与h 丌p 流式传输不同，需要专用的流媒体服务器与传输协议。实 时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或 后退以观看前面或后面的内容。理论上，实时流一经播放就可不停地收看，但实 际上，可能会发生周期暂停。 但与顺序流式传输有以下不同： 1 ) 从视频质量上讲，实时流式传输必须匹配连接带宽，由于出错丢失的信 息被忽略掉，网络拥挤或出现问题时，视频质量会很差；如欲保证视频质量，顺 序流式传输更好。 2 ) 实时流式传输需要特定服务器，如q u i c k t i m es t r e a m i n gs e r v e r 、r e a l s e r v e r 与w i n d o w sm e d i as e r v e r ，这些服务器允许对媒体发送进行更多级别的控 制，因而系统设置、管理比标准h t t p 服务器更复杂。 3 ) 实时流式传输还需要特殊网络协议，如：r t s p ( r e a l t i m es t r e a m i n g p r o t o c 0 1 ) ，这些协议在有防火墙时有时会出现问题，导致用户不能看到一些地点 的实时内容；而顺序流与传输与防火墙无关。 2 3流媒体编解码技术及标准 6 北京邮电大学颂l ：论文 第二二章流媒体技术 众所周知，由于涉及声音、图像以及视频影像等多种信息，多媒体数据量 是非常大的，这对现有的网络和存储设备来说都是难以接受的。为节省存储介质 空间和通信网带宽，数据压缩技术就成为多媒体技术必须解决的关键技术之一， 尤其是对视频数据的压缩。数据压缩【1 心方法多样化的一个必然要求就是数据压 缩的标准化。 2 3 1视频编码标准 视频信号的压缩编码主要包括国际标准化组合i s o 和国际电工委员会制定 的静止图像编码标准j p e g 、国际电信联盟l n 尼t 关于电视电话视频会议的 h 2 6 x 系列标准和i s o i e c 关于活动图像的编码标准m p e g - x 系列标准等。 2 3 1 1 h 2 6 x 标准 h 2 6 x 系列视频信号压缩编码标准由丌u t 推出，具有较高的编码效率和低 比特率等优点，广泛应用于视频通信的各个领域。 1 h 2 6 1 该标准适用于在综合业务数字网( i s d n ) 以p x 6 4 k b i t s ( p = l ，3 0 ) 的速率 开展视频会议和可视电话业务，要求图像必须和语音密切配合，即具有强实时性 和同步性。h 2 6 1 标准用于电视电话时，p = l 或2 ，用于会议电视视，p - - 6 。 ； 2 h 2 6 3 h 2 6 3 是为以速率低至2 0 2 4 k b i t s 传送视频流而开发的。基于h 2 6 1 编解码来 实现。i t u - t - r 作组根据不同的需要，对h 2 6 3 标准增加了许多新的高级功能附加 项，对标准制定了新的版本，如：h 2 6 3 + 标准和h 2 6 3 + + 标准。 3 h 2 6 4 为了进一步提高视频图像的压缩效率和增强网络友好性，由运动图像专家 组( m p e g ) 与视频编码专家组( v c e g ) 共同制定了新一代图像压缩标准r r u h 2 6 4 t ”，也称作i s o i e cm p e g _ 4 ，p a r t l o - a 、，c 。 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 节约5 0 左右的码率。因其更高 的压缩比、更好的m 和无线网络信道的适应性，在数字视频通信和存储领域得到 越来越广泛的应用。同时也要注意，h 2 6 4 获得优越性能的代价是计算复杂度增 加，据估计，编码的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当于 h 2 6 3 的2 倍。 h 2 6 4 的主要优点如下嗍： 在相同的重建图像质量下，h 2 6 4 1 j e h 2 6 3 + 和m p e g - 4 ( s p ) 减小5 0 码率。 7 北京邮电人学硕l 二论文第二章流媒体技术 对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如会 议电视等；又可工作于无时延限制的场合，如视频存储等。 提高网络适应性，采用“网络友好”的结构和语法，加强对误码和丢包的处理， 提高解码器的差错恢复能力。 在编解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分级， 以适应不同复杂度的应用。 h 2 6 4 m p e g - 4 的应用范围是非常广阔的，它可以适用于多种网络，其高效 的编码性能，h 2 6 4 瓜伸e g - 4a v c 可满足多种应用的需求，如视频数据在光学或 磁性设备上的存储，基于i s d n 、以太网、d s l 无线及移动网络的公话服务、视 频流服务、彩信服务等。除了以上介绍的应用，基于h 2 6 4 m p e g - 4 的平台，还 会涌现出很多新的应用。 2 3 1 2m p e g - x 视频压缩编码 1 m p e g l i s o 于1 9 8 8 年成立了活动图像专家组( m p e c m o v i n gp i c t u r ee x p e r tg r o u p ) ， 致力于研究和制定活动图像及其伴音编码的国际标准，并于1 9 9 1 年提出了“用于 数字存储媒体的活动图像及其伴音约1 5m b s 的编码”方案，也就是m p e gl 标准， 标准编号为i s o i e c1 1 1 7 2 ，它广泛应用于视频的数字存储领域，标准最常用的 有四个部分： 1 ) 系统，编号i s o i e c1 1 1 7 2 1 ，阐述视频和音频数据的复用和同步 2 ) 视频，编号i s o i e c1 1 1 7 2 2 ，阐述活动图像的压缩编码方法 3 ) 音频，编号i s o i e c1 1 1 7 2 3 ，阐述伴音的压缩编码方法 4 ) 一致性测试，编号i s 0 1 1 1 7 2 - 4 近年来流行的v c d 光盘采用的就是m p e gl 压缩标准。m p e g l 对可以处理 的图像格式没有严格的规定，但是一般认为，对于s i f ( s o u r c ei n p u tf o r m a t ) 格 式的图像，m p e g i 算法的效率最高。此时视频信号压缩后的码率约为1 2m b s 。 再加上压缩以后、具有c d 质量的双声道立体声伴音，总码率约为1 4m b s 。 2 m p e g 2 m p e g2 是由i s o 的活动图像专家组和r r u t 的第1 5 研究组共同制定的，于 1 9 9 3 年提出“活动图像及其伴音的通用编码”标准，标准编号为i s o i e c1 3 8 1 8 ； 在r r u t 的协议系列中，被称为h 2 6 2 。1 9 9 3 年，美国的“大联盟”( g r e a t a u i a a c e ) 和欧洲的d v b 先后决定采用m p e g2 用于h d t v 广播。其后标准不断扩充，到 1 9 9 5 年底，i s o i e c1 3 8 1 8m p e g2 标准共达到9 项，涉及到了系统( i s o i e c 1 3 8 1 8 - 1 ) 、视频( i s o i e c1 3 8 1 8 2 ) 、音频( i s o i e c1 3 8 1 8 3 ) 、一致性测试等方 8 北京邮电人学硬j ：论文第一二章流媒体技术 面的内容。制定m p e g 2 的初衷是得到一个针对广播电视质量的视频信号的压缩 编码标准，但实际上最后得到的是一个通用的标准，它能在很宽范围内对不同分 辨率和不同输出比特率的图像信号有效地进行编码。它支持恒定比特率、可变比 特率、随机操作、信道跳接、可伸缩解码、位流编辑、及快进、快退、常速倒放、 慢放等功能。该标准与m p e g l 兼容，并与h d t v 、s d t v 兼容。 与m p e g l 相比，m p e g 2 主要增加了下述几项功能： 1 ) 增加了场图像的场间预测、帧图像的场问预测、用于p 帧的双基预测和 用于场图像的1 6 8 预测等四种对隔行扫描图像更为有效的预测模式； 2 ) 除m p e g1 支持的4 ：2 ：0 的色信号取样模式外，还支持4 ：2 ：2 ，4 ：4 ：4 模式。 前者色信号的样点数在垂直方向上与亮度信号相同，只在水平方向上是亮度信号 的一半：后者的色信号的样点数与亮度信号则完全相同。 3 ) 增加了可伸缩的视频编码方式。所谓可伸缩的视频编码是指编码所产生 的码流具有下述特征：对码流的一部分解码和对码流的全部进行解码能够分别获 得不同质量的重建图像。m p e g 2 所支持的可伸缩编码方式有空间可伸缩性、时 间可伸缩性、信噪比可伸缩性和数据分割四种。 3 m p e g 4 m p e g - 4 采用了新一代视频编码技术，它在视频编码发展史上第一次把编 码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像 素的传统编码向基于对象和内容的现代编码的转变，因而引领着新一代智能图像 编码的发展潮流。 m p e g - 4 代表了基于模型对象的第二代压缩编码技术，它充分利用了人眼视 觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内 容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索 及操作的发展趋势。 a v 对象( a v o ，a u d i ov i s u a lo b j e a ) 是m p e g - 4 为支持基于内容编码而提 出的重要概念。在m p e g - 4 中所见的视音频已不再是过去m p e g - 1 、m p e g - 2 中图 像帧的概念，而是一个个视听场景( a v 场景) ，这些不同的a v 场景由不同的 a v 对象组成。因此m p e g - 4 标准的基本内容就是对a v 对象进行高效编码、组织、 存储与传输。a v 对象的提出，使多媒体通信具有高度交互及高效编码的能力， a v 对象编码就是m p e g - 4 的核心编码技术。 2 3 1 3a v s 近年来，视频压缩技术发展迅速，国际上出现了多种视频压缩标准和建议， 如m p e g i 、m p e g 2 、m p e g 4 、h 2 6 1 、h 2 6 3 以及最近制定的h 2 6 4 1 a v c 我国在 9 北京邮电大学硕i ：论文 第一二章流媒体技术 参与国际标准制订的基础上，提出了自主的数字音视频编解码技术标准a v s ，达 到了当前的国际先进水平。比如，般认为h 2 6 4 的编码器大概【= l m p e g 2 复杂 9 倍，而a v s 视频标准则由于编码模块中的各项技术复杂度都有所降低，其编码 器复杂度大致为m p e g - 2 的6 倍，但编码高清序列a v s 视频标准具有与h 2 6 4 相近 的编码效掣盯。 a v s 标准的正式名称为信息技术先进音视频编码，是指由国家信息产业 部科学技术司于2 0 0 2 年6 月批准成立的数字音视频编解码技术标准工作组所制定 的标准。a v s 正是在音视频编解码技术的进步和标准的更新换代为我国后来居上 提供了历史性发展机遇的大背景下应运而生的。 a v s 标准包括九个部分。其中，涉及视频压缩编码的有两个独立的部分：第 二部分( a v s i - - p 2 ) 主要针对高清晰度数字电视广播和高密度存储媒体应用；第七 部分( a v s - p 7 ) ，主要针对低码率、低复杂度、较低图像分辨率的移动媒体应用。 比如，一般认为h 2 6 4 的编码器大概比m p e g - 2 复杂9 倍，而a v s 视频标准 则由于编码模块中的各项技术复杂度都有所降低，其编码器复杂度大致为 m p e g - 2 的6 倍，但编码高清序列a v s 视频标准具有与h 2 6 4 相近的编码效率。 a v s 标准的技术特征【5 】主要有： a v s 视频标准的主要特点就是在同一编码框架下，针对不同的应用制定不同 的压缩标准，这相对众多商家妥协的h 2 6 4 要好许多。无论是在高清晰度的h d t v 应用中，还是在低分辨率的移动3 g 应用中，a v s 与h 2 6 4 性能相当，但是其计算 复杂度、存储器和存储带宽资源的占用都明显低于h 2 6 4 1 6 1 ，并且，a v s 低廉的 专利费是h 2 6 4 无法相比的。 另外，为了推动a v s 在网络流媒体中的应用，a v s 与“互联网流媒体联盟” ( i n t e r a c ts t e a m i n gm d e i aa l l i a n c e ，i s m a ) 的合作，i s m a 是国际流媒体管理的权 威机构，其宗旨就是为了促进流媒体开放标准在视频、音频、互联网协议等领域 的采纳和使用，i s m a 在国际音视频领域享有很高的威望，m m 、s u n 、思科以 及苹果等巨头都是其成员单位。a v s 标准组2 0 0 5 年3 月成立了一个特别工作组 a v s - n 进行该项工作，与i s m a 建立了正式的官方关系并进行合作，以共同推 动网络流媒体特别是m t v 标准和应用，并可能会扩展i s m a2 0 制定一套基于 a v s 视音频标准的i s m a 标准川。 2 4流媒体网络相关协议 流媒体在i n t e r n e t 上传输，必然涉及到网络传输协议，尤其是实时流式传输 协议。常见的实时流式传输协议有：r t s p 、s d p 、r t p r t c p 协议等。 1 0 北京邮屯人学顾i ：论文第二章流媒体技术 2 4 1r t s p 协议 r t s p ，实时流协议，是一个客户服务器多媒体节目协议，它可以控制 流式多媒体数据在i p 网络上的发送。它提供用于音频和视频流的“v c r 模式”远 程控制功能例如：停止、快迸、快退和定位。数据源包括实况数据和存储片断。 r t s p 是一个应用层协议，用来与诸如r t p 、r s v p 等更低层的协议起，提 供基于i n t e m e t 的整套流化服务。它可以选择发送通道( 例如：u d p 、组播u d p 和t c p ) 和基于r t p 的发送机制。它可以服务于多客户组播和单一观众点播。 r t s p 在媒体服务器和客户端之间建立和控制连续的音频视频媒体流。当客 户端向媒体服务器请求连续的媒体数据时，媒体服务器负责提供播放和录制服 务。r t s p 像是服务器和客户端之间的”网络远程控制”。它提供如下操作： 1 ) 从媒体服务器获取媒体：客户端可以请求一个节目描述及要求服务器 建立会话来发送请求的数据。 2 ) 邀请媒体服务器参加会议：媒体服务器可以被邀请加入一个会议，来 播放媒体或录制节目。 3 ) 添加媒体到现存节目：服务器或客户端能够互相通报可用的新增媒体。 r t s p 致力于为流式音视频提供相同的服务，如同h t r p 不区分文本和图形 一样。它的设计有意同h t r p 采用相同的语法和操作。这样大多数h t r p 的扩展机 制可以移植到r t s p 上。 在r t s p 中，每个节目和媒体流由r t s pu r l 确定。全部节目和媒体特性 都定义在节目描述文件中。它包括了编码、语言、r t s pu r l 、目的地址、端 口号和其他参数。 r t s p 控制通过单独协议发送的流，与控制通道无关。例如，r t s p 控制可通 过t c p 连接，而数据流通过u d p 。因此，即使媒体服务器没有收到请求，数据也 会继续发送。在连接生命期，单个媒体流可通过不同t c p 连接顺序发出请求来控 制。所以，服务器需要维持能联系流与r t s p 请求的连接状态。r t s p 中很多方法 与状态无关，但下列方法在定义服务器流资源的分配与应用上起着重要的作用： s e n j p ：让服务器给流分配资源，启动r t s p 连接。 p l a y 与r e c o r d ：启动s e l l 分配流的数据传输。 p a u s e ： 临时停止流，而不释放服务器资源。 t e a r d o w n ：释放流的资源，r t s p 连接停止。 标识状态的r t s p 方法使用连接头段识别r t s p 连接，为响应s e t u p 请求，服 务器连接产生连接标识。 北京邮l e 人学硕1 ：论文第- 二章流媒体技术 2 4 2 s d p 协议 s d p 是在i e t fm m u s i c ( m u l t i p a r t ym u l t i m e d i as e s s i o nc o n 臼o f 多方多媒体 会议控制) 工作组的r f c 2 3 2 7 中定义的一个多媒体会话描述协议。 s d p 是一种纯粹的会话格式描述信息，它不是为一个特定的传输协议而规 定的，它可以同会话通知协议( s a p ) 、会话初始化协议( s w ) 、r t s p 协议和h r r p 协议相结合。s d p 是为了更一般目的而规定的，所以它的应用范围很广。不仅仅是 用于多媒体会议路径的描述，也不仅仅是为了协商多媒体会议内容或媒体编码而 规定的。 在流媒体系统中一般用s d p 来描述网络上传输的数据信息，这些信息包括 媒体类型、传输协议、媒体格式、播放的地址及端口、播放时间等信息并通过 r t s p 模块来进行传输。用户可以根据这些信息决定在何时、何处接收何种类型 的信息以及决定如何解码等。 s d p 一般包含以下这些内容：会话的名称和目的；会话开始和结束的时问； 会话的媒体组成；接收这些媒体所需的信息。例如，接收媒体的地址、端口和媒 体的格式；参加会话所需要的带宽限制；会话负责人的联系方式。s d p 是由l r r f 8 编码的i s 0 1 0 6 4 6 字符集所组成的一种纯文本协议。s d p 的域和属性名字只能 包含u t f 8 编码的u s a s c i i 字符集，但域和属性的值可以由整个i s o1 0 6 4 6 字符集组成。s d p 由一系列的 = 的文本行组成。 总是 由一个字符构成并且是大小写敏感的。 是一个依赖于 的结构 化的文本串，它也是大小写敏感的。在“= ”符号的两边不允许有空格。一般 情况下， 是由多个域组成，每个域之间用空格或其它符号分割。 s d p 是由一个会话描述层和几个可选的媒体层所组成，其中，会话描述层 的信息适用于整个会话和所有的媒体流。而每个媒体层的描述信息只适用于单个 媒体流。在s d p 中，会话层的范围从一个“v = ”的文本行开始，直到遇到第一个 媒体层结束。媒体层的范围是从一个“n l = ”的文本行开始，直到下一个媒体层 或整个会话的结束。如果会话层的媒体描述信息没有被相应的媒体层的媒体描述 信息重载，则会话层的媒体描述信息可以适用于所有的媒体。 2 a 3r t p r t c p 协议 r t p 是i n t e r n e t 上针对多媒体数据流的一种传输协议。r t p 被定义