（计算机系统结构专业论文）流媒体播放器中网络子系统的设计与实现.pdf

摘要 摘要 当前政府正在大力推广i n t e r a c t 及宽带网络，加之正在兴起的网络电视计 划，这些因素极大的推动了网络流媒体业务的迅速发展。针对目前流媒体应用最 广泛的视频点播和在线直播服务，8 0 1 0 实验室自主研发了具有高可靠性、高并 发性、高性价比及高伸缩性的数字有机体流媒体播放系统。在流媒体播放系统 中，流媒体播放器作为一个客户端应用软件与流媒体服务器、媒体源采集与存储 转播系统技术并列成为其中最重要的三个组成部分。对流媒体播放器而言，网络 子系统结构设计、流媒体相关协议栈的实现与媒体流同步设计又是其中重中之 重，它决定着流媒体播放器的播放质量与效果，因此文中着重对这些内容详细分 析，总体而言包括以下几部分内容。 研究并介绍了流媒体发展概况、流媒体的基本概念、技术概要、流媒体协议 标准和流媒体通用编码格式m p e g 一4 编解码技术等。 分析了流媒体播放器整体架构设计、网络子系统在播放器中的重要位置及其 设计思路。阐述了网络子系统本身具体的设计实现，及其与流媒体播放器主控制 模块之间的接口定义与实现。 详细分析了流媒体相关协议在播放器网络子系统中的具体实现，包括 r t s p 、s d p 和r t p r t c p 等，分析了每种协议实现时的主要数据结构、主要函 数接口和报文解析过程等细节性描述。 分析了流媒体同步的重要意义及在网络子系统中的具体实现，提出并实现了 。种创新的同步机制。 流媒体播放器网络子系统在设计中不仅实现了其应具有的主要功能，而且还 针对8 0 1 0 实验室数字有机体平台独有特点作了针对性研发，使之能够充分利用 数字有机体系统的相关特点。比如，播放器能利用数字有机体系统的故障重构功 能，当正在提供服务的后台服务器出现故障时，能自动被其他服务器接管，从而 能够从断点处继续播放，即客户端的播放不会受到后台服务器故障的影响。 文中最后一部分分析了网络播放时相关的传输性能及系统测试等。 关键字：流媒体播放器流媒体协议流媒体同步 a b s t r a c t a b s t r a c t w i t ht h ep o p u l a r i z a t i o no ft h ei n t e r n e ta n db r o a d b a n dn e t w o r ks u p p o r t e db yt h e c u r r e n tg o v e r n m e n ta n dt h er a p i dg r o w t ho ft h ei pl v ( t e l e v i s i o no v e ri p ) p l a n ，t h e s t r e a mm e d i as e r v i c eo v e rn e t w o r kd e v e l o p sf a s tt o oi no r d e ri os u p p l yt h em a i nt w o s e r v i c e s - v o d ( v i d e oo nd e m a n d ) a n di p t vw h i c ha r eu s e dp o p u l a r l yi nt h e a p p l i c a t i o n ，8 0 10 r & dd e s i g n e dan e ws t r e a m i n gm e d i as y s t e mb a s e do no u rn e w o p e r a t i n gs y s t e mn a m e dd i g i t a lo r g a n i cs y s t e m ( d o s ) w i t hh i g hd e p e n d a b i l i t y ，h i g h c o n c u r r e n c e ，l o w p r i c e h i g h - e f f i c i e n c ya n dh i g hr e t r a c t i l i t y a si t sc h a r a c t e r s i no u r s t r e a mm e d i as y s t e m ，t h e r ea r et h r e ei m p o r t a n tc o m p o n e n t ss t r e a m i n gm e d i ap l a y e r u s e da sa nc l i e n ts o f t w a r e ，s t r e a mm e d i as e r v e r ，t h es t o r i n ga n dt r a n s m i t t i n gt e c t m o l o g y u s e di nt h es y s t e m a sf o ro u rm e d i ap l a y e r ，t h em o s ti m p o r t a n tp a n sa r et h r e ea s p e c t s ， t h ed e s i g no ft h en e t s u b s y s t e m ，t h ea c c o m p l i s ho ft h ep r o t o c o ls t a c ka n dt h ed e s i g no f s t r e a m i n gm e d i a ss y n c h r o n i z a t i o nm e c h a n i s m f h e s ep a r t sa f e s oi m p o r t a n tt h a tc a n i n f l u e n c et h eq u a l i t yo fo u rm e d i ap l a y e r sw o r k ，s oig oi n t od e t a i l st h e s ep a r t si nt h i s p a p e r t h em a i nc o n t e n ti sb e l o w f i r s t l y ，t h i st h e s i sb r i e f l yi n t r o d u c e st h es t r e a m i n gm e d i ad e v e l o p m e n tt r e n d ，t h e b a s i cc o n c e p t si nt h i sa r e ai n c l u d i n gt h eb a s i ci m p o r t a n tt e c h n o l o g i e sa n dt h es t r e a m m e d i a p r o t o c o l s s t a n d a r d s a f t e r t h a t ，t h i s t h e s i si n t r o d u c e st h ee d c o d e ( e n c o d e & d e c o d e ) t e c h n o l o g i e ss u c ha sm p e g 一4 s e c o n d l y ，a f t e ra n a l y z i n gt h ed e s i g no ft h em a i nf l a m eo ft h ew h o l ep l a y e ra n dt h e i m p o r t a n c eo ft h en e t s u b s y s t e mi nt h ep l a y e r ，t h i st h e s i sp a y sm o r ea t t e n t i o no nt h e a c c o m p l i s h m e n to ft h ei d e a t h e n ，t h i st h e s i s d e s c r i b e st h ed e s i g nd e t a i l so ft h e n e t s u b s y s t e mi nt h ep l a y e r t h o s ed e t a i l si n c l u d et h ei n t e r f a c e sb e t w e e nt h em a i n c o n t r o lm o d u l ea n dt h es u b s y s t e m t h i r d l y ，t h i st h e s i se m p h a s i z e st h ea p p l i c a t i o nd e t a i l sa b o u tt h ei m p l e m e n t a t i o no f t h ep r o t o c o l ss u c ha sr t s p ，s d p ，r t p & r f c p ，i n c l u d i n gt h em a j o rd a t as t r u c t u r e s ， f u n c t i o ni n t e r f a c e sa n dt h ed e t a i l so ft h e p r o c e s s o ft h ea n a l y z i n gd a t a g r a m c o n s i d e r i n gt h ei m p o r t a n c eo ft h es y n c h r o n i z a t i o na n dt h ei m p l e m e n t a t i o ni nt h e n e t s u b s y s t e m ，t h i sp a p e rp r o p o s e sa n di m p l e m e n t san e ws y n c h r o n i z a t i o nm e c h a n i s m f i n a l l y ，a c c o r d i n gt oo u rd o s s ( d i g i t a lo r g a n i cs y s t e m ) c h a r a c t e r s ，t h i st h e s i s i m p l e m e n t san e ws t r e a mm e d i an e t s u b s y s t e mt om a k ef u l lu s eo ft h ea b o v ec h a m c t e r s a n dm a k e saf u l lt e s to ft h en e t s u b s y s t e ma n dt h ew h o l es y s t e m 。se f f i c i e n c y k e yw o r d s ： s t r e a m i n g m e d i a ，s t r e a m i n g m e d i ap l a y e r s t r e a m i n g m e d i ap r o t o c a l s ，s t r e a m i n g m e d i as y n c h r o n i z a t i o 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：垒：l 皇坌三日期：知一，年月f 目 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：垒1 1 墨查三导师签名：i ! ! ! ! 二! 兰 日期：如一g 年月，日 第一章引言 1 1流媒体的发展与前景 第1 章引言 随着信息社会的飞速发展，流媒体技术的应用越来越广泛，其在互联网媒体 传播方面所起的作用越来越明显。其中视频点播、远程教育、视频会议、在线直 播、网上新闻发布和网络广告等流媒体应用空前广泛，方便了人们全球范围内的 信息与情感交流，人们普遍看好流媒体技术未来的发展。几年以前，网站巨头 y a h o o 公司创始人杨致远曾预言，鉴于宽带网络用户数量日益增加，企业高度重 视流媒体技术的时候到了。他说：”从早期发展向大规模应用的过渡己基本完成， 我们相信通过网络传播多媒体信息的条件已经成熟，流媒体技术腾飞的时刻即将 到来”。事实上，当前我们已经身处流媒体技术腾飞的时代。 从国际权威机构的调查结果可以看到，仅2 0 0 3 - - 2 0 0 4 年在网上访问流媒体 的人数即增加6 5 ，西方网络发达国家访问流媒体的人数已达到3 1 亿人，约占 网民的1 3 ，在亚洲也迅速增加到2 亿人，接近网民的1 ，5 。与用户增长相呼应， 互联网上流媒体技术应用也在逐年大幅度增长，如今流媒体市场已经呈现出巨大 的收入潜能。巨大的市场吸引越来越多的企业参与竞争，a p p l e 、c i s c o 、 k a s e n n a 、p h i l i p s 和s u n 在几年前宣布成立互联网流媒体联盟( i s m a ) ，意在共同 推动流媒体市场的发展，并制订相应的开放标准和实施协议，一个全球化的流媒 体市场和竞争格局在那时已初步形成。如何在这个市场领域取得份额，成为当前 诸多企业关注的焦点，国内外厂商的纷纷拥入，将使我国的流媒体市场更加活 跃、更加成熟，当然竞争也将更加激烈。现在看来，流媒体的影响与作用无疑是 积极喜人的，它将成为今后网络媒体的重要形式，牵动着时代的迅速发展。 当前我国政府正大力推广i n t e m e t 及宽带网络，由此带来了网络应用与网络 内容服务的迅速发展与普及，这为流媒体业务的迅速发展提供了强大的市场动 力。加之正在兴起的网络电视计划，使得设计一个高可用、高安全、高性价比和 高伸缩性的流媒体播放系统显得非常需要和适时。在流媒体播放系统中，流媒体 播放器作为一个客户端应用软件与流媒体服务器、流媒体的编解码技术并列成为 其中最重要的三个组成部分。对于流媒体播放器来讲，网络子系统的设计、流媒 体相关协议栈的实现以及媒体流的同步又是其中核心组成部分，决定着到流媒体 播放器的播放质量与效果。 电子科技大学硕士学位论文 目前流媒体应用最直接最广泛的莫过于视频点播和在线直播服务等。视频点 播是指用户按照自己的主观意愿选择自己喜欢观看的媒体内容，是一种交互性很 强的新型媒体娱乐消费方式。而在线直播也就是人们常说的网上现场直播服务， 它是指将音频或视频信号从现场实时编码压缩并上传至流媒体服务器后，再通过 i n t e r a c t 等广域网传输，在客户端咀接近实时的方式同步播放。针对目前两种最为 广泛的流媒体应用，以及8 0 1 0 实验室自主研发的流媒体播放系统，该文描述的 流媒体播放器应运而生。该流媒体播放器具备了点播和以组播技术实现的直播这 两种最基本的应用，但并不局限与此。 1 2 流媒体与流媒体系统 1 2 1 网络媒体传输类型 宽带网络中传输视频、音频媒体时主要有下载( d o w n l o a d ) 和流式传输 ( s t r e a m i n g ) 两种方式。下载方式即用户通过文件链接路径显式下载，在文件下 载未完成之前，用户必须耐心等待无法播放欣赏；为保存该文件用户必颓预留足 够硬盘空间；下载后的媒体文件将保留在用户硬盘，在没有约束的情况下，用户 可以随意复制散发等。流式传输也称实时流式传输这里的“实时”是一个相对 概念，即在用户可以接受的时间范围内，将某些重要媒体信息即时通过网络快速 发放，所以比较适合现场直播。流式传输借助媒体流化技术连续传送视，立频媒体 数据，当接收到的媒体数据在客户端前台被解码播放时其后续内容在后台继续流 入缓冲。该技术的实现需要客户端应用程序设置适当的缓冲，但由于媒体数据播 放后即被抛弃，因此缓冲内容无需太多，缓冲空间无需过大，用户也无需等待太 久。播放后的媒体内容不会保存在客户端，因此无需担心媒体的版权保护而且 流式播放其交互性特别好，用户对播放的控制犹如本地播放一样。但实时流式传 输必须匹配网络带宽，这意味着图像质量会因网络速度降低而变差，以减少对传 输带宽的需求。 1 2 2 “流”与“流媒体 宽带网络中数字视频和音频传输涉及到的一个重要概念即”流媒体”概念。通 常，流包含两层含义，广义上的流是使音频和视频形成稳定和连续的传输流和回 放流的一系列技术、算法和协议的总称，我们习惯上称之为流媒体系统；而狭义 放流的一系列技术、算法和协议的总称，我们习惯上称之为流媒体系统；而狭义 第一章引言 上的流是相对于传统的下载一回放( d o w n l o a d p l a y b a c k ) 方式而言的一种媒体形 式，它指的是客户从宽带网络上连续获取音频和视频等多媒体流，并可实现边接 收边播放，这将使媒体存放空间和播放时延大大减少。在宽带网络中使用流式传 输技术的连续时基媒体就称为流媒体，通常也将其视频与音频称为视频流和音频 流。实现流式传输的媒体播放系统一般都需要专用服务器和播放器。通常来讲是 指视频、音频等媒体数据从源端( 服务器) 同时向目的端( 播放器) 传输，作为 连续实时流在目的端( 播放器) 被接收并播放。 流媒体的一个重要特征是对时间的敏感性，这正是实时性要求高的应用所必 需的，所以这类应用与流媒体密不可分就十分自然的了。流媒体的实现主要取决 于网络带宽和压缩算法及编解码技术的提高。今天，随着网络协议的改善、网络 基础设施和压缩技术的发展，流媒体的实现已经变得越来越容易了。 1 2 3 流媒体播放系统组件 流媒体播放系统由多种不同应用软件构成，这些软件之间通过特定的协议与 标准互相通信，按照特定的格式互相交换数据。通常组成一个基本的流媒体播放 系统必须包含以下3 个组件： 播放器( p l a y e r ) ，用来接收流媒体并解码播放的客户端应用软件。 服务器( s e r v e r ) ，提供流媒体服务，流化并发送媒体的应用软件。 编码器( e n c o d e ) ，将原始的音视频媒体内容压缩编码为流媒体格式。 1 2 4 流媒体技术特点与优点 与传统多媒体相比，流媒体具有以下特点与优点： 实时接收并解码播放音视频等多媒体，用户可自主点播，具有交互性。 启动延迟大幅度地缩短。借助流式技术制作而成的流媒体文件实现网络 播放时，用户仅需少量的数据接收与缓冲，无需等待所有内容下载到本 地便可启动播放，之后可以边下载边播放，大大缩短了启动延迟。 系统缓存容量的需求大大降低。当采用流媒体技术完成媒体数据传送 时，缓存空间容量设置无需太大，因为缓冲区的内容被解码播放后，即 被丢弃，使得后续“流”可以继续源源不断的进入空出的缓存空间。 可以进行直播或多点传输( 一个数据流，许多观众，组播技术实现) 。 不会在观众的硬盘上留下影片的拷贝，适合商用运营的版权保护等。 皇王型垫奎堂堡主堂垡笙塞 1 3 数字有机体流媒体播放系统 将若干计算机通过宽带网络互连，并根据需要采用现有的和最新的理论与技 术，使其互连而成的系统具有生物抗体之特性，则该系统即为数字有机体系统。 通俗的讲，数字有机体系统由许多分布于不同地方的数字有机体站组成。每个数 字有机体站是由多台相互之间具有高速互连网络( 如在一个高速交换机上) 并且 在一个子网内的相互间紧密耦合的服务器构成。每个站本身可以独立运行，也可 以作为整个数字有机体系统的一部分参与协作运行。每个数字有机体站无论大 小，在逻辑上平等，整个系统没有中心节点或中心系统，具有良好的自组织性。 数字有机体流媒体系统采用网状结构，如下图1 - 1 所示。 图1 1 数字有机体流媒体服务系统的系统结构图 该系统由大量服务器站构成，每个服务站覆盖一定的用户群，并主要为所覆 盖的用户提供服务。服务内容( 节目文件和服务数据) 分布式的存储在这些站 中。每个服务站内容可能不完全相同，但它可以获知在那里得到自己想要的内 容。数字有机体流媒体服务系统没有集中存储设备，而是由各个服务器自带的存 储设备构建共享存储系统，因此不存在单一故障点，并能够提供充分的并发访问 特性，提高访问速度，增加并发流数目，以及良好的扩展性。 针对图中所示的客户端( p c 或电视机顶盒s t b ) 应用，该文所分析的流媒 体播放器及其网络子系统正是为此应运而生，并针对该系统各种特点作出了有针 对性的研发。 第二章流媒体技术规范研究 第2 章流媒体技术规范研究 流媒体的应用呼唤技术标准与协议，目前科研机构和应用厂商普遍关注流媒 体技术的基础研究及其国际标准，其中流式传输协议和流媒体的压缩编码算法成 为关注的两大焦点。 2 1流媒体相关协议研究 在流媒体协议研究领域，i e t f ( i m e m e te x p e r lt a s kf o r c e ) 是规划与发展的主 要标准化组织，已经颁布的流媒体相关协议主要包括实时流协议r t s p ( r e a l - t i m e s t r e a m i n gp r o t o c 0 1 ) 、实时传输协议r t p ( r e a l - t i m et r a n s p o r tp r o t o c 0 1 ) 实时传输 控制协议r t c p ( r e a l t i m e t r a n s p o r t c o n t r o l p r o t o c 0 1 ) 以及会话描述协议s d p ( s e s s i o nd e s c r i b ep r o t o c 0 1 ) 等。 2 1 1r t s p 一实时流协议 实时流协议r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 由r e a ln e t w o r k s 和n e t s c a p e 公司共同提出。该协议是实时数据传输的应用层控制协议，它定义了一对一或一 对多应用程序如何有效地通过i p 网络传送多媒体数据。r t s p 在体系结构上位于 r t p ( 实时传输协议) 和r t c p ( 实时传输控制协议) 之上。r t s p 协议自身实现 数据传输的控制，并借助r t p 或t c p 完成数据传输。r t s p 与h t t p 相比， r t s p 利用r t p 传送流媒体数据，而h t t p 传送h t m l ；r t s p 是双向交互的， 即客户端和服务器均可发出r t s p 命令请求，而h t t p 请求只能由客户机发出， 服务器作出响应，是单向协议。r t s p 设计中除了实现流媒体数据传输的控制 外，还提供了可扩展功能以实现特殊环境下流媒体数据传输的功能，即它本身也 可传输音频或视频数据。r t s p 提供了一种选择传输通道的方式，即具体程序实 现时可选择下层连接方式是t c p 或u d p ，但通常为了保证控制命令的可靠，收 选t c p 连接。 2 1 2s d p 一会话描述协议 会话描述协议s d p ( s e s s i o nd e s c r i p t i o np r o t o c a l ) 由i e t f 组织作为 r f c 2 3 2 7 发布。该协议主要用于描述多媒体会话，以便实现会话宣布、会话邀请 电子科技大学硕士学位论文 或其它形式多媒体会议的激活。研发s d p 协议就是为了传达有关多媒体会话中媒 体流的信息以使得某个会话描述的接收方能够参与该会话，但是，s d p 协议不用 于媒体编码方式的协商。虽然s d p 协议十分通用，可以描述其它网络环境中的会 议，但它目前主要用于i n t e m e t 中。在i n t e m e t 环境下，多媒体会话被定义为一组 存在于段时间内的媒体流，这些媒体流可以是多对多的媒体流，但会议活动的 时间不一定连续。 作为对媒体影片和控制命令等进行描述的语言，s d p 描述语言在整个流媒体 播放过程中起着类似语言交流的作用。如果没有一个公用的描述语言，客户端和 服务器端无法进行正常的通信，播放过程无法进行。了解s d p 协议的结构，正确 解析s d p 各个属性字段的含义，对保证播放过程的连续性有着重要的意义。 2 1 3r t p r t c p - 实时流媒体传输控制协议 实时传输协议r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是针对i n t e m e t 上多媒体 数据流的一个传输协议，由i e t f ( n t e m e t 工程任务组) 作为r f c l8 8 9 和r f c 3 5 5 0 发布。r t p 属于应用层传输协议，其下层连接典型地建立在u d p 连接之上，但 也可以选择t c p 连接或a t m 连接等。r t p 本身只保证实时数据的传输，并不能 为按序传送流媒体数据包提供可靠的控制，也不提供流量控制或拥塞控制，这些 服务功能依靠它的伴生协议r t c p 来提供。 r t p 传输协议与h t t p 与f t p 等协议不同的是，它不需要下载完整的媒体内 容到客户端的计算机上，取而代之的是采用细小的“吸取”，一种由许多连续包 组组成的稳定持续的数据流( 在起初的时间内需要建立连接和数据缓冲) 。在媒 体数据被解码播放之后，即被抛弃。观众如果想再次观看，需再次向流媒体服务 器提出连接与播放请求。 实时传输控制协议r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 是负责管 理流媒体服务器与流媒体播放器应用程序之间的媒体数据包传输质量控制的传输 协议。在r t p 会话期间，服务器或播放器等参与者周期性地传送r t c p 包，包中 含有已发送的媒体数据包的数量、丢失的数据包数量等统计资料，服务器刖以利 用客户端反馈的这些信息动态地改变传输速率，甚至改变有效载荷类型以匹配网 络状况等。r t p 和r t c p 配合使用，能以有效的反馈和最小的开销使传输效率最 佳化，故特别适合传送网上的实时流媒体数据。 r t c p 主要有4 个功能 第二章流媒体技术规范研究 a 用反馈信息的方法来统计分析媒体数据传输质量，这种反馈既可用以流量 拥塞控制，也可用以监视网络或诊断网络存在问题。 b 为r t p 媒体源提供一个永久性的c n a m e ( 规范性名字) 的传送层标志， 用以标识一个数据源，因为当冲突发生或程序重启时，出于安全的目的该数据源 的s s r c ( n 步源标识) 可能会改变，但包含其中的c n a m e 可以标识该数据源的运 作痕迹。 c 根据与会者的数量来调整r t c p 包的发送速率以动态适应网络带宽等。 d 传送会话控制信息，如在用户接口显示与会者的标识，此为可选功能。 r t p r t c p 工作过程 具体设计时，服务器端应用程序根据r t p 约定将流媒体数据流( 如m p e g 4 或h 2 6 4 ) 封装成r t p 数据包，并实现r t p 数据包和r t c p 数据包的分流。如在 u d p 连接方式下，r t p 使用一个偶数号端口，则相应的r t c p 使用其后的奇数号 端口。r t p 数据包没有长度限制，它的最大包长只受下层协议的限制。在客户端 的流媒体播放器中，同样使用一对接收端口分别接收r t p 及r t c p 流，完成数据 包的接收并依据r t p r t c p 约定实现校验和解析等。 2 2流媒体压缩技术的研究 传统的多媒体信息编码面向存储，编码目标是将数据压缩成为特定速率的码 流。从流媒体观点来看，这类编码不适合网络传输，因为实际网络带宽是动态变 化的。固定速率编码传输特点是：当网络带宽低于特定值时，系统就无法传输信 息，当带宽达到这个码率时，系统可以较好质量完成信息传输，但当网络带宽进 一步增加时，传输质量不会随网络状况的改善而改善。为了实现流媒体在网络上 的有效传输，应该将多媒体信息压缩成码率在一定范围内的码流，以适应网络带 宽的动态变化，于是面向网络的编码技术诞生了。其基本思想是将流媒体编码成 一个叫以单独解码的基本层码流和一个可以在任何位置截断的增强层码流，基本 层码流适应最低的网络带宽，增强层码流用来覆盖网络带宽变化的动态范围，并 且解码质量随码率的增加而提高，这种以网络为中心的流式编码思想是当前流媒 体技术研究的重点。关于这类算法的研究包括：微软亚洲研究院的学者李世鹏提 出了一种被称为渐进精细可扩展流媒体编码( p r o g r e s s i v ef i n eg r a n u l a r ，s c a l a b l e 电子科技大学硕士学位论文 p f g s ) ，在保持了所具有的网络带宽自适应和错误恢复能力的同时，编码效率提 高了近l d b 。清华大学的钟玉琢教授提出了一种灵活而高效的精细空域可扩展流 媒体编码( f i n eg r a n u l a r i t ys p a t i a l l ys c a l a b l ef g s s ) ，与p f g s 编码相比，具有更低 的基本层码率，它将p f g s 和m p e g 4 中的空域可扩展性编码相结合，提供了多分 辨率和自适应网络带宽的能力，并且具有良好的容错性能。目前，此类编码技术 仍在发展变化过程中。 当前，建立在传统多媒体编码技术基础之上的流媒体的编码技术，以 i s o i e c 颁布的m p e g 系列标准和i t u 颁布的h 系列标准为代表，它们均考虑了 以“流”为特征的网络应用需求。m p e g 系列标准包括m p e g 1 m p e g 2 m p e g 4 m p e g 一7 ，它们对网络传输的重视逐渐得到加强：m p e g 1 用于码率约为 1 5 m b p s 的数字视频及其伴音的编码，m p e g 一2 在此基础之上满足了日益增长的 分辨率和传输率等方面的技术要求，它首次定义了传输流( t r a n s p o r ts t r e a m ) ， 并支持多路m p e g - 2 码流在网络中的传输复用：m p e g 4 标准旨在为流媒体的传 输、存储及其应用环境提供个基于“对象”的编码方案，并在时域和空域具有 灵活的扩展性，以利于动态码率的调整。m p e g 7 被称作是多媒体内容描述接口 ( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r f a c e ) ，它将不同类型的多媒体信息进行标准 化的描述，并将这种描述与媒体的内容联系起来，以实现基于内容的有效检索。 h 系列标准主要用于视频电话和电视会议：h 2 6 1 用于p x 6 4 k b p s 的视听服务， h 2 6 3 适于低码率的视频编码，最新的技术进展是i t u 提出的h 2 6 l ，h 2 6 4 即包 括其中，它在实验室内的性能可以达到的m p e g 一2 两倍。另外，h 3 2 3 、h 3 2 4 等 系统标准则直接地面向网络应用。 流媒体的编码算法标准集中体现了多种需求矛盾的折中，这些需求包括：压 缩编码速度，解码回放质量，可变编码码流速率，动态传输环境下的鲁棒性，解 码速度，信噪比，可伸缩性等。到目前为止，最具代表性的流媒体编解码技术为 m p e g 4 中的精细可扩展性编码( f i n eg r a n u l a rs c a l a b l ef g s ) 和渐进精细可扩展性 编码( p r o g r e s s i v ef i n eg r a n u l a rs c a l a b l ep f g s ) ，均针对网络中码率变动的特性而 制定。 2 3流媒体技术的主要研究方向 近年受应用需求的推动，流媒体技术的研究不断地向纵深发展，目前主要的 研究领域包括流媒体服务器技术、异构网络传输技术及流媒体协同工作环境等。 第二章流媒体技术规范研究 2 3 1 流媒体服务器技术 流媒体服务器技术最初的应用是对传统的文件服务器进行扩展和改造，使之 能够适应流媒体的服务需求。流媒体服务器的首要任务是有效地提供大量实时的 流式数据，其性能的关键指标是流输出能力和能同时支持的并发请求数量。当前 流媒体服务器技术的研究主要集中于文件放置策略、流调度算法和磁盘缓存策略 等，并且已经有一些初步的研究成果，如缓存替换算法( c a c h er e p l a c e m e n t ) 、点 播排队模型和服务器集群等，但这些成果还远远满足不了实际的应用需求，随着 流媒体应用规模的扩大，流媒体服务器的性能将成为制约流媒体服务扩展能力的 重要瓶颈。8 0 1 0 实验室关于流媒体播放系统的研究重点也是针对与此，并己取得 长足的进步，目前8 0 1 0 实验室的数字有机体流媒体播放系统服务器端所具有突出 特点表现为：永不停止服务及优良的安全性；放置位置接近用户使得有效的降低 主干网络带宽开销；智能的负载平衡功能：性价比优良的高性能海量存储系统； 并行i 0 提供大并发流服务能力：良好的可伸缩性等等。 2 3 2 流媒体协同工作环境 流媒体协同工作环境( m e d i as u p p o r t e dc o l l a b o r a t i v e w o r k ，m s c w ) 关注的重 点是如何提高流媒体的系统效率( e f f i c i e n c y ) 。典型的流媒体应用系统在运行过程 中具有群体性、交互性、分布性和协作性，而系统效率是一项综合指标，它涉及 多方面的系统技术，包括流媒体调度技术、代理服务器及缓存技术、流媒体的应 用层组播技术以及流媒体服务模型等，同时还需要解决流媒体信息的时空组台问 题和信息同步问题等，因此该类技术的研究具有强烈的挑战性，是当前流媒体技 术应用研究的重点内容之一。 2 3 3 异构网络传输技术 异构网络传输是流媒体应用面临的重要挑战。i n t e r n e t 是一个典型的异构网 络：一是网络中存在多种类型底层硬件平台的子网；二足网络互联设备的差异。 对于流媒体而言，不论是点播、组播还是广播，数据流要跨越不同子网，其质量 保证、编码与协议转换和时间延迟导致f f q o s 抖动等技术问题都有待进一步研 究。 电子科技大学硕士学位论文 第3 章流媒体播放器及其网络子系统 3 1 流媒体播放系统组成结构 一个采用流媒体相关技术实现的播放系统一般包括： a 信息源：可以来自摄像机摄像头、电视节目、v c d 光盘或卫星信号等。 b 编码器( e n c o d e r ) 及内容制作工具：用于采集、编辑和编码多媒体数据， 形成互动的流媒体数据格式文件。 c 流媒体服务器( s e r v e r s ) ：由流服务器硬件平台和运行其上的流媒体服务 器软件平台配合提供流媒体服务，用于存储、管理、传输和控制流媒体 数据，以及用户的登记和授权等用户管理。 d 海量存储系统；属于流媒体服务器组成部分，保存流媒体文件，提供海 量存储空间。 e 宽带网络：支持多媒体传输协议和实时流媒体传输。 f 流媒体播放器：客户端接收并解码播放流媒体内容以供终端用户欣赏。 以上这些组件之间通过特定的协议与工具互相通信，或按照特定的格式文件 互相交换数据。格式文件中包含了由特定编码器压缩编码的媒体内容，而在播放 时由相应解码器通过特定算法对编码压缩的数据予以还原。总体来讲，一个流媒 体播放系统的组成结构如图3 1 所示： 始 r t s p 会话控制层 鬟 视 r t s p 响应 8 茔 频 辐 翁 视频采集与编码7流 r t p 视频媒体数据流 u d p t c p 淑1 p f r l c p 臼 摸数 媒 卜 据 体 r t p 音频媒体数据流 数据传输层 源服 飞t c p 媒体数据流控制疽凸 务 文流 缓冲与媒体流同步 凸 o ：、，器 ! v 广恕堡苎望! 掣 m i sh 2 6 4z t r u emi s1 1 2 6 4 一f a l s e y 播放方式= = 点播 随机生成两个可用的网络接收端口 根据 参i n tu s en s p 设置传辅类型 勰数s p 藉：，n ；输蝉体数据一 警r 置t p 结a 构v r p t s p c c p m ；u 6 n 域i c 成a s t 员；i n t e 蛐r 1 3 e 9 a 。v “e d 2 = d d 。 d 设置结构r t s p c m d 域j 袁员t r 蛐s p o n = ”r t p a v p ；u n i c a s t ；c l i c n t _ j v o r t = d 一 配置网络连接认证信息发送r t s p 协议的s e t u p 龠令报立，请求建立该媒体数据传输 连接：解析服务暑对谨请求的响应信息根据解析信息设置相关变量， y 解析八参 m e d i ad e s c _ t + s d p _ m e d i a 获得组捂组连接信息 设置媒体数据接收及发送r t c p 报文等 相应的回调函数谓用接口供r t s p t h r e a d 调用 使用r t s p 连接 传输媒体数据 n 创建两个s o c k e t 并使其与两个接收端口绑定；r t p 蝉体数据 包r t c p 媒体传辅控制包建立媒体数据传输的阿络连接或维播 时加八组播组，剖建接收线程cr e c vt h r e a d 结束 图4 5 函数c r t p m e d i a ：c r e a t e m e d i a 流程图 b 接收线程设计及流程( r t p r e c v t h r e a d ) 通常在流媒体的数据传输中，考虑到流媒体数据对实时性要求较高，会首选 u d p 连接完成数据传输，因此当音频媒体或视频媒体对象创建后，相应的媒体数 据接收线程也需创建并启动。在流媒体播放器网络子系统的设计中，接收线程的 具体实现由函数d w o r dr t p m e d i a ：r t p r c c v t h r c a d 0 完成。该函数执行流程为： 判断r t p s e s s i o n 是否初始化，通常在创建媒体对象时r t p s e s s i o n 初始化已 完成，否则调用r t p l n i t o 完成初始化工作。 循环判断当前系统工作状态是否n l s t a t u s = = o n w o r k i n g s t a t u s ，只要系统处 于该工作状态，则依据s o c k e t 端口是否有数据到达从而循环调用r t p 数据包的接收函数r t pr e c v o j l lr t c p 控制数据包接收函数r t c p j e c v o ，并 电子科技大学硕士学位论文 分别由这两个函数实现对接收到的数据做相应的校验及解析处理；对数据 的处理遵照r t p 协议标准。 如果s o c k e t 端口连续2 次( 约为2 秒钟) 无数据到达，设置数据接收超 时标志为真，通知会话主线程启动重连操作。 每完成一次数据包接收操作，调用r t c p 周期发送函数s e n d r t c p o i 扫其完 成与服务器的数据传输质量统计并决定是否应该向服务器发送r t c p 报文 完成控制交互工作；这部分功能的实现遵照r t c p 协议标准。 判断该媒体的缓冲类对象成员mr t ps t r e a m 当前状态，若状态正常，调用 该对象成员成员函数r e c v b u f f 0 进入媒体数据流缓冲。 当工作状态m 发生变化，不再是时，退出接收循_ s t a t u s o n w o r k i a g s t a t u s 环，接收线程终止；或其它意外情况下，由主线程将其强行终止等。 c 接收端口定义 媒体数据的传输既包括真正的媒体数据包r t p 数据包，也包括对媒体数据传 输质量进行统计与控制的r t c p 数据包，这两个数据流的传输是紧密联系的，通 常在建立媒体传输连接时，r t p 与r t c p 的连接使用两个相邻的网络端口，即 r t p 使用一个偶数端口，与其相关的r t c p 连接使用比该端口号大l 的与其相邻 的奇数号端口。对于一个既包括音频也包括视频的播放过程，媒体数据的传输需 要发送两次r t s p 协议的s e t u p 命令建立两个传输连接，因此需要两对共4 个网 络端口，一对服务于音频传输，一对服务于视频传输。这种连接与传输机制是由 r t p 协议与r t c p 协议规定的。 d 创建缓冲流及缓冲时间 每个媒体类对象( 音频、视频) 都有一个缓冲类对象成员和一个队列类对象 成员： c l a s sc r t p m e d i a c r t p s t r e a m + m _ r t p _ s t r e a m ； c r t p q u e u e4 m _ r t p _ q u e u e ；) 在媒体数据接收函数r t p j e e v 0 接收到媒体数据包并遵照r t p 标准协议解析 后就将纯粹的r t p 数据包加入队列，当系统解析数个数据包并确认其该数据流合 法后，调用媒体类的成员函数i mc r t p m e d i a ：b e g i n s t r e m n o 构造缓冲流对象。函 数b e g i n s t r e a m 0 在创建变量m _ r t p _ s t r e a m 时具体调用了缓冲类c r t p s t r e a m 的构 造函数。媒体类c r t p m e d i a 的队列类对象成员早在该媒