（计算机应用技术专业论文）插件式短延时流媒体系统.pdf

【摘要】 由于有线电视网在多媒体方面天然的优越性，以及技术进步和政策支持，各 种数字化多媒体服务在有线电视网上快速发展。本人针对在有线电视网上开展视 频会议服务进行了分析和研究，指出这种基于组播的实时会议系统面临的问题： 在实际应用中，根据不同的需求与采用的编码等技术方案的不同，要求流媒 体服务系统有较高的灵活性与扩展性。 目前已有商用流媒体服务系统不适合实际应用的要求，需要自主开发流媒体 服务系统。 视频会议服务有相当高的实时数据计算要求，又有延时性要求，从而需要一 套严格的延时保证策略，在一定的硬件条件下，保证流媒体的质量的同时，保证 流媒体的延时性。 针对上面这三个问题，本文做了以下几个方面的工作： 在深入分析了各种流媒体服务系统的需要和技术方案，总结它们之间的异同 与关系的基础上，提出了一种基于插件的流媒体服务系统框架设计。在本框架下， 将流媒体服务系统模块化，使其设计具有很高的灵活性和可扩展性。 在插件式框架设计下，编码实现了谢n d o w s 平台的插件式流媒体服务框架 开发包。并解决了其中涉及的一系列性能等关键技术问题。 在插件式流媒体服务框架基础上，根据流媒体服务相关国际技术标准，开发 了一套具有高度灵活性，适用于组播环境的流媒体服务原型系统。并以此验证了 插件式框架的适用性。 之后，根据视频网络会议系统短延时性的要求，分析有线电视网络的特性， 充分利用插件式框架灵活高效的特点，在对流媒体系统延时原因分析的基础上， 提出了一系列短延时保证策略。 最后，针对短延时测试精度要求高的问题，提出了一套短延时系统模拟测试 方案。对上述系统进行了测试分析，完成设计要求，并在c i f 格式下达到v o i p 推荐的短延时性要求。 关键字】组播、视频会议、有线电视网络、流媒体框架、实时流媒体、短 延时、流媒体插件 【a b s t 怕c q f o rt l l en a t i l 】陀a d v a n t a g ei ns t 吲酣nm e d i aa p p l i c a t i o no fc a r vn e t w o r k ，m e t e c l l n o l o g yp r o 笋e s sa n dp o l i c ys u p p o r t ，v a r i o u sd i g i t a lm e d i as e r “c e sh a sb e e n d e p l o yo nd i g i t a lc a t vn e t w o r k b a s eo nt h e m a l y s i so f d e p l o y i n gv i d e oc o r l f e r e n c e s e n r i c e so nt 1 1 ed i g 蹦c a t vn e t w o r k ，i nt h i sp a p e r ，w ep o 缸o u ts o m ec h a l l e n g e so n d e v e l o p i n gs u c ha b r o a d c a s tb a s e dr e a l t i m ev i d e oc o 耐宅r e n c es y s t e m ： w i 廿1t o oi i m n yd i f r e r e n c er e q u i r e m e m si np m c t i c ea 1 1 dm er 印i dd e v e l o p m e n to f m u l t i m e d i at e c h l l o i o g i e s ，t h em e d i as e r v e rs h o u l d b e 向i l yn e x i b l ea i l de x p a i l s i b l e c u r r e n tc o m m e r c i a ls t r e 锄m e d i as y s t e i ni sn o tq u i t ef i tf o rt l l ec u s t o m i z e d b r o a d c a s t 印p l i c a t i o nr e q u i r e l _ n e n to nc a t vn c t w o r k w bn e e da ni r l d 印e n d e n c e s t r e a i l lm e d i as y s t e m u n d e ra1 i m i t e d 删w a r ep e r 如加1 a n c e ，t h e 酬一t i t n ev i d e oc o i l f b r e n c es e r v i c e s r e q i l i r eb o m a na c c e p t a b l em e d i a q u a l i t ya n dl o wd e l a yt i m e w i mt l l e1 a r g er e a l 缸l e m e d i ad a t ap r o c e s s i n 舀w en e e da s l l 铽e g yt l l 默c a n 璎o v i d eas 蛹c t1 0 wd e l a ya l l d s u p p o r tb e t t e rm e d i aq u a l i 填 i nm i sp a p e r ，w e p f o p o s e d 锄i n t 碰乒砒e dd e s i g na n dm e c h 锄i s mt os o l v en l e s e c h a l l e n g e s f i r s t ，w ea 1 1 a l y z es e v e r a l 邯j c a ls t r e a mm e d i as e r v e r s ，p o i n to u t 龇 c o m m o n n e s sf a c t o r so f t h e r cs y s t e m s ，p r o p o s ea i l dc a r r yo u ta m o d u l e ”，t h r e a d ”， s y s t e m ”t l l r e e1 e v e lf h m e w o r km e t h o d0 fs t r e 锄s e r v e r ，s ot 1 1 a t ，u n d e rs u c ha 鼬n e w o r l ( ，t l l er l e wm e d i as e r v e rc a nb em u c hm o r en e x i b l ea n de x d a n s i b l e s e c o n d ，w ei n t r o d u c ea l li n d e p e 芏1 d e n c e ，c sm o d e ，r e a lt i m e1 0 wd e l a y 咖a i i l s e r v e r ，w h i c hi sas 廿e a mm e d i ar e a l - t i m ec a p t i l r ea i l dm u l t i c a s ts o l u t i o nb a s eo nt l l e p l u g i n 行锄e w o r k t h i r d ，b 镐eo nt 1 1 ea 1 1 a l y s i so f 1 ec a u s eo f d e l a ya 1 1 dd i 腩r e n c es 仃e 锄 c h a r a c t e r i s t i c ，w ep m p o s ea ni n t e 掣a t e ds 仃a 把g yf o r l o wd e l a y f i n a i i y w ei n d d u c eab e n c h r n a r ka 1 1 de 1 u a t i o ni n e t t l o df o rt 1 1 i sl o wd e i a y m e d i as e r v e tw ed oaf l l l lt e s to nm i ss e n 7 e ra i l dm e a s u r eu dt ot 1 1 er e c o m m e n dl o w d e l a yr e q u e s to f v o i p 【k e y w o r d s 】b m a d c a s t ，v i d e oc o i l f b r e n c e ，c a ：r vn e t w o r k ，s 訇r e 锄m e d i a f m m e w o r k 、r e a 王t i m em e d i a ，m e d i as e “e r 、s t r e 锄m e d i a p l u g i n 浙江大学硕士学位论文 插件式短延时流媒体服务系统 的综合多媒体服务。 该平台自2 0 0 3 年8 月启动，2 0 0 4 年4 月以广电网络为基础的试验系统开通 运行以来，经过2 年多建设，已经并取得了相当丰硕的成果： 试验系统已能完整接收中央组织部通过卫星发布的教育信息资源，插入浙江 省本地教育信息资源，以直播、轮播、点播、自主下载、交互咨询等形式为教学 点服务，省级服务中心平台已经建设成为一个功能完善，运行较为稳定，网络覆 盖面广的平台系统， 在宁波、湖州、桐庐、丽水和绍兴等试点地市，已经建设完成基本型终端接 收站点6 1 1 9 个，扩展型终端接收站点3 0 个 相同系统已经在四川成都成功开设了一个真正运营的商业平台，并取得了很 好的效果。 在平台技术基础上开发了多层次职业技术教育平台项目，融合有线电视网络 与互联网进行职业技术教育、支持大容量教学媒体数据组播和实时信息互动。 图1 1 浙江省家尝党员培训多媒体平台 可见，采用有线电视作为基础网络的服务平台，一方面，使得农村党员干部 远程教育服务有了稳定、高带宽，最适用的基础网络，另一方面，在目前数字媒 体技术迅猛发展，广电，电信，移动通讯等各个相近行业展开网络与多媒体领域 激烈竞争的环境下，为在广大的有线电视网络上开展数字媒体服务提供了基础， 大大推动了广电数字化和数字化应用的产业化，充分发挥广电网络的优势，提供 了广电行业的竞争力。但是，目前所采用的解决方案还面临一 系： 浙江大学硕士学位论文 插件式短延时流媒体服务系统 解决方案的实施。具体的，能够实现流媒体的信嗡嘞喊；匿捌：型麴氰萨；羽蠹 瓦锄晷劐i 够骂；器i 燮罚矧髫；叁耍鳓鼎到， 叭鼎嚣秽一箍星薹；鬟攀鬟京摧稿鲁赫；酬羽“酬覆弱小衣引削办翔磊燮； 襄雨箬旷f 印订矧蓟灰静例都；卧鹱骚鲢鬟寥霞蠢基蟛譬疆需掣豳鎏冀篓i 囊磊础辫酎别黧良莆驻k 白氛j 淘啧鞠噬囊曩鞘z 蹩嚣h o wf t e r 连接图 如上图，f i i t e rg r a p l lm a i l a g e r 管理器负责载入在系统中注册c o m 组件的 d i r e c t s h o wf i l t e r ，如d e c o d er 和r e n d e r ，它们分别完成解码和回放。流媒体数 据经d e c o d e r 解决后，通过p i n 连接，发送给r e n d e r e r 。 根据数据是否实时获取，d i r e c t s ho w 的源f i l t e r 支持两种数据推送模式，拉 模式与推模式。例如当流媒体数据需要从网络接收时，数据何是到达是由网络接 收决定的，当接收的数据时，源f i l te r 将该数据推送下级f i l t e r 即为“推模式”。 当流媒体数据是保存在本地硬盘上，如本地a v l 文件，此时，流媒体数据随时 都能取得，何时获取，取决于下层f i lt e r 的播放情况，当下层f i l t e r 需要新的数 据时，就通过s p l i tf i l t e r 到源f i l t e r 这里来拉，即为“拉模式”。 d i 砖c t s h o w 优缺点分析 作为一套相当成熟的商业软件框架，d i r e c t s h o w 有一系列相当好的优点： 成熟。已经有相当多的f i l t e r ，支持目前已有的绝大多数的流媒体格式 高性能。因为d i r e c t s h o w 能够充分利用很多w i n d o w s 驱动程序硬件加速， 及w i n d o、s 底层g u i 等，特别是在回放上，在咖d o w s 平台，有无可替 代的性能保证。 所以，在有回放需求时，d i r e c t s h o w 是首先方案。 但是，如果作为流媒体服务器方面的应用需求，d i r e c t s h o w 有其难以克 服的缺点 ： 不开源，我们不能知道其中的实现细节，使得采用d i r e c t s h o w 框架流媒 体服务器 x 浙江大学硕士学位论文 插件式短延时流媒体服务系统 的合理性与优越性。 l - 3 2 既保证短延时又提供高质量实时流媒体支持 对于支持实时视频采集编码的流媒体服务器，本身面临实时编码带来的相当 高计算复杂度。同时还有采集，网络发送等工作，对服务器的性能有相当高的要 求。但是在目前有限的服务器性能下，可支持的实时流媒体质量与可以保证的延 时性是一对矛盾关系。短延时要求整个处理过程，其中，包括实时编码部分，必 须在特定的时间内完成，但是，更高的流媒体质量，意味着需要更多的实时编码 运算，从而需要更多的时间来完成，导致短延时性难以保证。所以，既保证短延 时又提供高质量实时流媒体支持成为本系统需要解决的难点问题。 另一方面，加入延时性考虑的新的编码标准，如m p e g 4 ，h 2 6 4 的出现，也 为软件方法，保证流媒体系统延时性，带来的新的契机。如何充分利用新的编码 标准来保证延时性，也是一个难点问题。 1 3 3 精确的短延时系统的测试 短延时系统完成后，因为对延时的测量需要至少m s 级的精度，但是，目前 并没有一套有效的系统延时测量方案。这是因为，一方面，对于客观测试方法， 系统的延时涉及硬件采集、回放等，测试软件难以对该部分测量。另一方面，对 于主观测试方法，因为人的主观精度太低，无法达到m s 级。所以，如何使用软 件方法，测试系统的延时性，也是本原型系统的一个问题。 1 4 论文结构 本文采用如下方式组织： 第2 章，根据本系统面临的关键技术问题，列举目前国内外已有的研究或开 发成果，提出它们优点与不足之处。 之后，以基础框架专短延时流媒体系统关键技术问题的顺序，分别 介绍本文提出的流媒体框架化方法，流媒体框架的基础上开发短延时流媒体系 统，以及原型系统开发的一系列其他关键技术问题。 在第3 章基础框架部分，首先在3 1 节分析了插件式框架的基本原理，即， 在分析各种不同流媒体系统的基础上，概括它们的共性，抽象出流媒体系统的一 般层次结构与模块化特性，提出一种框架化的流媒体系统开发方法。在3 2 节介 绍了这种流媒体框架开发包的具体设计实现方法，以及在流媒体框架实现过程中 x 浙江大学硕士学位论文插件式短延时流媒体服务系统 发送模块发送到i p t v 网络中去。 有时，为了保证网络接收模块和发送模块的性能，还可能采用多线程的方法， 如下图 图3 - 4 共性分析- 多线程级联实时转码网关 这时，一个线程执行m p e g 2 t s 接收模块的，将接收到的线程放到缓冲区。 一个线程从上面的缓冲区中取数据，进行m p e 9 2 解码与m p e 9 4 编码，将结果放 到下一个缓冲区中，最后，一个线程从缓冲区中读取数据，并通过r t p 发送出 去。这种方式，使得网络接收和发送拥有缓冲，保证接收和发送的稳定性。 从上面这些例子中，可以看出，所有的这些流媒体服务系统都的极大的相似 性： 很多流媒体服务系统需要相同的数 x 浙江大学硕士学位论文 插件式短延时流媒体服务系统 必须通过互斥缓冲区，防止数据竞争。最后，整个系统可能有一个或多个这样的 线程组成。 例如下图所示的播放器 图3 7 框架示例m p e g 4 播放器结构 可以被分解成下面的层次关系 图3 8m p e g 4 播放器框架层次结构 又例如有独立网络接收，发送线程的级联实时转码网关 图3 9 框架示例级联实时转码网关 可以被分解为下面的层次关系 浙江大学硕士学位论文 插件式短延时流媒体服务系统 图3 1 0 级联实时转码网络框架屡次结构 从上图，可以看出，经过层次划分后，流媒体系统被清晰的分成了各个模块 插件，及在插件上构成数据流的结构。这种层次划分，为我们下面具体的框架化 过程，提供了结构基础。 插件 在这里，插件就是个框架中的处理单元，输入进这个插件的一个或多个媒 体流，进过这个插件过，被插件处理，结果放在输出中。输入与输出数量可以灵 活选择。如网络接收插件，就可能只有输出，因为它的输入来自内部的s o c k e t a p i 调用。同样的，网络发送插件，就可能只有输入。 二二刮 插件 二制 。“ ；卜 图3 - 1 1 插件示意图 媒体类型 每一种流媒体都有特定的格式，称为媒体类型。如m p e g 4 视频，m p 3 音频 等，根据插件功能，这些流媒体经插件处理后，可能成为另一种媒体格式。如 m p 3 解码插件，输入是m p 3 流，输出是p c m 流。每个处理模块都应该定义了 它们支持的输入输出类型。一个插件的输出类型与另一个插件的输入类型相同的 话，这个插件就可以作为另一个插件上层插件，形成可以流通的数据流。 线程 且斥缓冲k 可斥缨冲阿 图3 1 2 线程示意图 框架中，负责将相关插件首尾相连，依次循环将上级插件产生的数据传递传 1 7 浙江大学硕士学位论文 插件式短延时流媒体服务系统 递给下级插件，并调用下级插件，产生下级输出数据，从而产生动态数据流的工 作部分，称为线程。 简单说，线程任务就是调用插件与传递数据。前一插件程序块的输出直接作 为后一插件程序块的输入，前后输入输出个数必须对应。对于线程第一个插件程 序块，可以从一个，两个，多个互斥缓冲区输入，或者没有输入。最后一个插件 程序块可以有一个，两个，或多个互斥缓冲区输出，或者没有输出。 传递数据时不用关心所传递数据的语义。也就是说前后2 个程序块必须自行 约定所传递数据的语义和结构。 程序块之前传递的数据可能不止一个。比如，m p e g 4 编码后的数据经过s d p 生成插件后，会产生2 个数据流，一个是原来的m p e g 4 视频流，一个是s d p 信息。所以，程序块之间传递的，不能会是单一的数据流，如图： 一一h 【 | 一” 插件稃序块 卜插件掘序块圈 插 牛程序块割插件程序块 一j 【一 图3 1 3 程序块多数据流 所以，程序块之间可以有一个或多个数据传递通道，用以满足多个数据流同 时传递的需要。 线程内模块的分叉结构 由于插件程序块可以有多个数据流，同时，数据流又可以分叉，流向不同的 插件程序块，从而，在线程内，就可以产生出复杂的分叉结构，如下图： 图3 - 1 4 线程内分叉结构 针对这种可能出现的情况，我们需要考虑模块之间的依赖关系，设计合理的 数据传递和模块的执行顺序。为此我们采用深度优先的执行策略，如上图的标号 所示。其中，当第4 步，执行完插件后，输出到插件6 ，但是插件6 同时还需要 插件5 的输入，这里，数据缓存在插件6 的输入中，等待插件5 产生输入后，才 会执行插件6 。这样，就能够保证插件执行顺序的合理性。 完成度报告 后一个插件程序块或缓冲区可以向前一个程序块报告其工作完成度，以百分 浙江大学硕士学位论文插件式短延时流媒体服务系统 比表示，对于缓冲区则表示空间空闲率。例如某互斥缓冲区最大容量为l m ，当 前已经用了6 0 。这些信息将被传递到线程最后一个程序块。这里的完成度报告 机制，可以使得程序块可以根据下级程序块的处理数据情况及缓冲区容量作算法 调整。如后一插件或缓冲区接近满时，前一插件可以调用相应的选择算法，选择 丢弃部分的数据，保证数据流的通畅的同时，保证流媒体的质量损失最小。 插件程序块的数据需求状态 有时，一个插件程序块拿到上极插件程序块提供的输入数据后，调用一次， 并不能完全“消化”掉全部数据，如，声音采样后数据后，1 锄e 编码一次只消 耗固定数量的p c m 数据。这时，需要重复调用m p 3 编码模块，而不需要声音再 次采样。 也就是说，下图单一的，从左到右，然后返回，再次循环的调用方式不能满 足上面的需要。 厂线程一、 l 一一一一 i f 抽件辟序块l 捕件稃序块fj 插件程序块卜- ； 。“1 3 ； 图3 1 5 线程单循环模式 这里，我们需要一个数据需求状态，来确定下一级程序块是否需要数据。当 下级程序块不需要数据时，上级程序块可以不被调用。也就是说，可以产生下 面的效果 线程、 蚓 插件程序珧 - 插件程序块 一 插件程序块 卜- i。： ： 一。i ! 、：l - 一- 一一一一一一i 弋。t r 一+ 一一_ 一十t 一一夕 图3 - 1 6 线程多循环模式 同样的，由此，插件程序块可以控制本身被调用的频率。 互斥缓冲区 如果有多个线程需要协同工作，那个线程需要定义自己的输入与输出一互斥 浙江大学硕士学位论文插件式短延时流媒体服务系统 缓冲区，线程从头开始，根据需要读取互斥缓冲区，然后按从左到右顺序执行插 件程序块，到最后一个插件程序块，根据需要向互斥缓冲区写入数据，之后，又 回到头，重新读取缓冲区中的数据。 图3 - 1 7 互斥缓冲区示意图 缓冲区的互斥性，可以保证作为线程之间交换数据的缓冲区不会引起数据竞 争。 针对不同的应用需求，互斥缓冲区应该可以有不同的模式： b l o c k 模式：线程从互斥缓冲区读取数据，当缓冲区为空，读线程将被b l o c k ， 直到缓冲区有数据时被唤醒。同样的，在写入数据时，当缓冲区满，写线程将被 b l o c k ，缓冲区有剩余空间时，写线程才被唤醒。这种模式，适用于要求完整处理 所有数据的应用场合。 u n b l o c k 模式：当发现缓冲区为空时，读线程将直接返回空数据，返回处理。 当发现缓冲区满时，写线程将不写入数据，直接返回，继续新数据的产生与写入。 这种情况，适应于要求及时处理数据，可以容忍丢帧的情况。 p u s hu n b l o c k 模式：与u n b l o c k 模式类似，不同的是，当发现缓冲区满时， 互斥缓冲区会丢弃在缓冲区中最旧的一个数据，空中空间，让新的数据写入。相 当于一个队列，新数据在头部被推进来。这种情况，适用于要求及时处理数据， 同时，要求丢弃旧数据的情况。 t 如e 模式：缓冲区中只放置一个数据帧。仅当数据帧的数据类型发生改变 时，才抛弃缓冲区中的旧帧，放入新帧。这种情况，适应于下一个线程只关心数 据类型的情况。 多线程引起的分叉结构 这种互斥性也决定了缓冲区只能有一个输入与一个输出。从而，当线程有多 个数据流输出时，就会有多个互斥缓冲区与之连接。产生分支的结构。 2 0 浙江大学硕士学位论文 插件式短延时流媒体服务系统 图3 1 8 多线程闻平行结构 上图中，线程1 的多个输出数据流，被线程2 全部接收，则不会产生分叉。 线程2、 捕俘 i 卜 ， 图3 1 9 多线程汇合结构 上图中，线程2 同时需要将线程1 1 与线程1 2 的输出作为输入，这样，相 当于将两个分支合为一个。 芦 辟一 卜1 o 劓瓦斥缓冲区 一 图3 - 2 0 多线程分叉结构 同样的，当一个线程的两个输出数据流，被两个不同线程接收时，就产生了 分叉的结构。 习 浙江大学硕士学位论文插件式短延时流媒体赧务系统 和音频捕捉回调函数。当到达采样时间时，视频捕捉模块就能采集视频，并调用 回调函数。在该回调函数里，可以完成视频压缩等等处理过程。 可以把这种运行方式称为“被动方式”。管理程序参与不调用，只负责将下 一个程序块的函数指针注册到上一个程序块的回调函数。由第一个程序块自行创建线程，在间耄霎稚翅舞是鼎醐穗濑葡叫：晶嚣苇一高肄美羁i 誊影自雯鬟强鲤鞠 皤确蜜器稀j 墓匡 羹 罐粥 萋 黍一趱t 麟嚣t 奏奏鬻 薹i 一i 带毒业乐拳翻一捌篓唠而 询“韩积盼一秘蜒滩m 矜睡稣黼臻簪箨稳彳商一滋滴嵌椽捅蚓掏l i ；薷冀在 鼙臻掣型髦； 黼铃j 羁耸墨墨滔i 牛羌某矗警疆臻z 忑群凿警毫笳罐臻灌埯嘴塑冀；雾 潲。蓟鞴引争栽圳鲴州要啪剧吲蚓誊刻堑珥瑚缵蔺了。灞滢 冀渐彰囊 得使用通用c p u 完成更高质量流媒体的实时编码发送成为可能，提高了系统所 支持的最高帧率。 | 最高帧率= 1 编码延时 但是，当c p u 利用率到达1 0 0 时，线程的继续增加反而会降低系统性能。 所以，一般以两线程为宜。 5 _ 2 - 延时原因分析 在流媒体服务器中流媒体的延时是不可避免的，因为各种数据的处理都需要 时间。下面我们通过对流媒体服务器延时原因的分析，提出我们的延时保证策略。 流媒体系统从服务器视频采集、实时编码、网络发送，到客户端网络接收、 同步， 浙江大学硕士学位论文插件式短延时流媒体服务系统 图3 - 2 4 系统示意图 系统负责所有的状态控制，包括线程运行状态，和插件状态。负责所有对象 的生存周期。 框架化示例 图3 - 2 5 框架化示例- 流媒体发送系统 上面的示例中，流媒体发送系统包括四个线程，捕捉线程，视频编码线程， 音频编码线程和r t p 发送线程。 捕捉线程有两个数据流输出，分别是r g b 视频数据和p c m 音频数据，这 两个数据放在两个互斥缓冲区。 浙江大学硕士学位论文 插件式短延时流媒体服务系统 视频编码线程从视频r g b 互斥缓冲区中读取数据，经过r g b 2 y u v 处理插 件，和x v i d 编码插件，生成m p e g 4 e s 流，放在m p e g 4 e s 互斥缓冲区中。 音频编码从p c m 音频缓冲区中读取音频数据，经过f a a c 编码插件，将生 成的a a c 音频流发到f a a c 音频缓冲区中。 最后，上面生成的f a a c 音频和m p e g 4 视频，通过r t p 发送线程，通过 网络发送出去。 上面一个流媒体发送系统就得以框架化。在这个框架下，只需要实现6 个插 件，这些插件可以被大量的重用。在插件上，定义它们的组织结构，就可以在这 个框架的基础上，实现流媒体发送系统。从而，达到最大的扩展性和代码重用性。 3 2 插件式框架系统设计 上面框架化原理分析了框架化的逻辑层次结构及各个层次的功能和关系。框 架化后，用户只要开发相应的插件，并明确插件间的关系，就可以构造出各种系 统。这时，就需要一个框架管理系统，通过统一的接口，在用户已开发插件在基 础上，根据用户定义的插件组织结构，创造用户期望的流媒体系统，为流媒体系 统的界面集成提供接口，并管理整个流媒体系统。 至此，摧个框架系统，至少包含了下列几个部分： 插件式框架管理系统 用户开发的一系列插件 描述用户定义的插件组织结构的配置文件 应用程序主界面，用于集成插件式框架管理系统 即，一个完整的流媒体服务系统 = 主应用程序+ 插件式框架管理系统+ 插件+ 配置文件 浙江大学硕士学位论文 插件式短延时流媒体服务系统 ，一77 7 h ，7 0 一一 ? j、， 产、 f r1 j i j j f x、一j ? 、7 、t 一d i r e c t s h o w 采样延迟= 采样速度= 1 m 服务器编码 编码延迟是将采样所得到的原始的数字信号经过编码器编码的延迟。 影响服务器编码延时的因素有 编码器。采用不同编码格式的编码器要求的计算量也不相同，如h 2 6 4 一般计算复杂度高于m p e g 4 。采用代码优化的编码器，能减少编码延迟。 编码算法0 r o f i l e ) 同一编码格式的不同p r o f i l e 对应于不同算法，对延时有 很大影响。 流媒体输入输出分辨率。更高的输入输出分辨率( 如视频的空间分辨率， 帧率，音频的采样率) 意味着更高的计算复杂度。特别是当输入与输出 分辨率不同时，可能还需要进行分辨率转换等额外工作， 流媒体每次最小输入数据大小。即当前编码格式和p m f i l e 下， x 浙江大学硕士学位论文 插件式短延时流媒体服务系统 宽产b r ( 舻b w ) 服务器t c m p 发送缓冲区 在r t p 发送模块调用、v i n s o c k e t 在发送模块后，实际上，要数据的数据先 放在发送缓冲区，然后由系统发送出去。当网络情况波动，导致