（计算机应用技术专业论文）基于微通信元系统架构的流媒体服务系统的设计与实现.pdf

摘要 摘要 互联网的日益普及和多媒体技术的迅猛发展，网络应用逐渐成为我们日常生 活必不可少的一部分。目前，我们对信息资源的要求已经逐渐由文字和图片过渡 到音频和视频，并越来越强调获取资源的实时性和互动性。流媒体由于具有启动 时延小、不占用客户端本地存储空间等优势，逐渐成为人们的首选。因此基于口 网络的流媒体应用技术在全球范围内得到不断的发展。 传统的基于层次结构的口网络存在层间功能重叠和复杂的分层处理过程所带 来的网络服务效率低下的问题，通过对现有网络中服务类别的分析、归纳，我们 提出了一种基于微通信元m c e ( m i c r oc o m m u n i c a t i o ne l e m e n 0 的网络体系结构。 微通信元只提供服务，不接受服务，所以避免了层间交互和服务传递的开销。微 通信元不仅能为本节点应用提供服务，而且不同节点的微通信元可以合作向某一 节点或整个网络提供服务。微通信元系统架构，易于从t c p , f i p 过渡而来。微通 信元所构建的系统中，相关节点的服务团队将微通信元组织成微通信元系统 m c e s ( m i c r oc o m m u n i c a t i o ne l e m e n ts y s t e m ) ，大量微通信元系统组织成网络系统。 微通信元系统架构具有简洁、可扩展和容易实现的特点。 本文认真研究了实时传输协议和实时传输控制协议的相关文档，结合微通信 元系统下的客户端服务器编程模型，采用套接字编程、多线程、多级缓冲以及i o 复用等多种技术、设计并实现了一种基于微通信元系统架构下的流媒体服务系统， 很好地解决了流媒体传输过程中的数据包失序、媒体同步、时延和抖动等一系列 问题。在现有网络带宽条件下，该系统可以为终端用户提供流畅的、高品质的音， 视频服务。 关键词：流媒体，微通信元系统，多线程，多级缓冲，i o 复用 a b s t r a c t w i 也t h er a p i dd e v e l o p m e n to fm u l t i m e d i at e c h n o l o g ya n dt h ep o p u l a t i o no f i n t e r a c t , n e t w o r ka p p l i c a t i o nh a sb e e ne s s e n t i a lp a r ti no u rd a i l yl i f e n o w d a y s ，t h e r e q u i r e m e n tf o ri n f o r m a t i o nr e s o u r c e sh a sb e e ns w i t c h e df r o mt e x ta n di m a g et oa u d i o a n dv i d e o ，w i t hm u c hm o r er e q u i r e m e n t so nr e a l - t i m ea n d i n t e r a e t i v i t yi nt h ep r o c e s so f r e t r i e v i n gm u l t i m e d i ar e s o u r c e f o rt h er e a s o no fl i t t l es t a r t u pd e l a ya n ds m a l ls t o r a g e o c c u p a t i o no nc l i e n t , s t r e a m i n gm e d i ah a sb e c o m et h ec u s t o m e r s f i r s tp r e f c r e n c e s o s t r e a m i n gm e d i aa p p l i c a t i o n s b a s e d0 1 1mn e t w o r kg a i n e d r a p i dd e v e l o p m e n t t h r o u g h o u tt h ew o r l d d u et ot h er e d u n d a n tf u n c t i o n o v e r l a p sb e t w e e nn e i g h b o u r i n gl a y e r sa n d c o m p e c a t e dh e r a r c h i c a lp r o c e s s e s ，t h et r a d i t i o n a l1 1 n e t w o r kb a s e do nh i e r a r c h i c a l a r c h i t e c t u r eh a sp o o rn e t w o r ks e r v i c ee f f i c i e n c y b ya n a l y z i n ga n dc l a s s i f y i n ge n r r e n t n e t w o r ks e r v i c e s ，an o v e ln e t w o r ka r c h i t e c t u r eb a s e do nm i c r oc o m m u n i c a t i o ne l e m e n t s y s t e m ( m c e s ) w e r ep r e s e n t e d m i c r oc o m m u n i c a t i o ne l e m e n to n l yp r o v i d e ss e r v i c e s ， a n dd o e sn o tr e c e i v ea n ys e r v i c e s ，t h u si ta v o i d si n t e r - l a y e ri n t e r a c t i o n sa n dc o s t so f d e l i v e r i n gs e r v i c e s m i c r oc o m m u n i c a t i o ne l e m e n tn o to n l yp r o v i d e ss e r v i c e sf o rl o c a l n o d ea p p l i c a t i o n sb u ta l s oc o l l a b o r a t et op r o v i d es e r v i c e sf o rt h ee n t i r en e t w o r ko ra c e r t a i l ln o d ew i t ht h eo n eo fd i f f e r e n tn o d e s f u r t h e r m o r e ，t h em i c r oc o m m u n i c a t i o n e l e m e n ts y s t e m ( i c e s ) i se a s yt ob et r a n s i t t e df r o mt c p i p w i t h i ns e r v i c e g r o u p ，m i c r oc o m m u n i c a t i o ne l e m e n t so fr e l a t e dn o d e sh a v eb e e no r g n i z e di n t om c e s a n dp l e n t yo fm c e si n t on e t w o r ks y s t e m m c e si se a s yt od e s i g na n di m p l e m e n ta n d h a sg r e a t e rf l e x i b i l i t y is t u d ys o m ec o r r e l a t i v ed o c u m e n t sa b o u tr e a l t i m et r a n s p o r tp r o t o c o la n d r e a l - t i m et r a n s p o r tc o n t r o lp r o t o c o li n e a r n e s t , c o m b i n i n gw i t ht h ep r o g r a m m i n g m o d e lu n d e rm c e s a r c h i t e c t u r e u s i n gm a n yt e c h n o l o g i e s s u c h a ss o c k e t p r o g r a m i n g , m u l t i - t h r e a d i n g ，m u l t i - l e v e l - b u f f e r i n ga n di om u l t i p l e x i n g , id e s i g na n d i m p l e m e n tan e wt y p eo fs t r e a m i n gm e d i as e r v i c es y s t e mb a s e do nt h em i c r o c o m m u n i c a t i o ne l e m e n ts y s t e ma r c h i t e c t u r e as e r i e so ft r o u b l e s o m ep r o b l e m sh a v e a b s l l t a c t b e e nr e s o l v e dd u r i n gt h et r a n s m i t t i n go fs t r e a m i n gm e d i aj u s ta sl o s s i n go fd a t a p a c k e t ，s y n c h r o n i z a t i o nb e t w e e na u d i oa n dv i d e o ，t i m ed e l a ya n dj i t t e r u n d e rt h e c i r c u m s t a n c e o fc u r r e n tb a n d w i d t h , t h i s s y s t e m i s c a p a b l e o f p r e s e n t i n g f l u e n t ，h i g h q u a l i t ya u d i oa n dv i d e os e r v i c e sf o rt e r m i n a lu s e r k e yw o r d s ：s t r e a m i n gm e d i a ，m c e s ，m u l t it h r e a d i n g ，m u l t i l e v e lb u f f e r i n g ，! o m u l t i p l e x i n g m 修改提纲： 1 第4 页，第1 段，第1 行： 原文为： i n t e r n e t 通过t c p i p 将这些不同技术的网络连接在一个大的互联网上 改为： i n t e r n e t 通过t c p i p 协议将使用这些不同技术的网络连接在互联网上。 2 第1 1 页表2 1 第3 行第6 列 原文为： 按最低预留 改为： 按次低预留 3 第5 4 页魔2 2 行 原文为： 绝对时间的高3 2 位 改为： 绝对时间的低3 2 位 4 第7 8 页码傈1 段第1 行 原文为： 发送和接收都分别涉及两个微通信元的调用，简化了u d p i p 中的很多设计。 改为： 发送和接收数据仅涉及到建立虚电路微通信元，基本微通信元、n i c 三个微通信元 的调用，简化了u d p i p 中的很多设计 指导老师：彳：全l t 答辩主席： 绍 日期：铆7 占f 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：堑：! 塾日期：刎年月j ，日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：丛导师签名：笠全睡 日期：弘司年月，日 第一章引言 1 1 课题背景 第一章引言 从1 9 6 9 年a r p a n e t 的诞生到现在i n t e m c t 在全球的日益普及，现代计算机 网络经过几十年的风风雨雨，从最初的o s i 七层参考模型到t c p f l p 协议栈的广泛 应用，已经发展成为一个比较完善的网络体系。其中，t c p i p 协议是实现网际互 联和各种网络应用的基石，它具有以下特点：( 1 ) 体系结构的适应性好，强调异种 网之间的互联，它可以把采用不同技术的的各种网络进行连接，从而实现资源共 享。( 2 ) 采用层次结构，各层次的功能相互独立，便于设计。 互连网发展初期，人们对网络的应用仅仅限于传输简单的文本信息，随着通 信技术、多媒体技术的飞速发展，i n t e r n e t 提供给人们的服务不再局限于电子邮件、 简单的信息浏览、f t p 、t e l n c t 等，特别是多媒体技术在计算机网络领域的应用， 如视频会议、在线直播、网络电台、远程教育等，在现有的带宽条件下，人们对 网络服务的高效性、可靠性和多样性提出了更高的要求。在传输视频、语音、动 画等多媒体数据的同时，对数据的实时性、网络的o o s 、安全等方面的要求越来越 高，这时t c p f l p 的弊端也逐渐暴露出来，层次结构的特点造成很难把新的技术和 标准引入现有网络，在原有层次结构中进行改进和修补始终受到限制，不能很好 地满足新的服务需求；同时由于几个网络协议层的冗余操作而使网络整体性能下 降。虽然t c p i p 也在不断发展，但是由于其受开放性的固定层次体系结构的限制， 这种需求和限制的矛盾将是长期的。解决这个问题的根本办法是设计更加合理的 网络体系结构，给网络使用者更好的网络功能支持。 从2 0 世纪9 0 年代开始，在国际网络界就进行了许多关于高性能的网络体系 结构的研究。电子科技大学计算机科学与工程学院的曾家智教授等人在对现有网 络中服务类别的分析、归纳的基础上，针对分层网络体系结构存在的层间功能重 叠、相同节点地址重复以及数据传输过程中需要多次分片，向下层传递时头部不 断增长所带来的不必要的开销和复杂的分层处理过程所带来的网络服务效率低下 的问题，提出了一种基于微通信元的新型网络体系结构【1 1 。微通信元只提供服务， 不接受服务，避免了层间交互和服务传递的开销。微通信元不仅能为本节点应用 电子科技大学硕士学位论文 提供服务，而且不同节点的微通信元可以合作向某一节点或整个网络提供服务。 1 2 课题任务简介及本人工作 本课题任务来自电子科技大学计算机科学与工程学院新型网络研究室承担开 发的电子科技大学“十五”学科建设项目新型计算机网络体系结构及关键技 术研究。课题任务主要是基于1 i n u x 系统平台，研究、设计并实现一个基于微通信 元网络体系结构的原型主机，并论证在此基础上，实现电子邮件、f t p 、i p 电话以 及流媒体服务系统等网络应用程序在微通信元系统架构下运行的可行性。 在项目中，本人的主要研究方向，就是参考多媒体实时数据在t c p i p 下的的 通信机制，设计并实现在微通信元系统架构下的流媒体服务系统，为用户提供流 畅的、高品质的音、视频服务。 1 3 论文结构 第一章引言。阐述项目背景、研究意义以及本课题所要完成的任务，最后介 绍论文组织结构。 第二章微通信元系统架构。分析了分层网络体系结构的局限性，然后详细介 绍了微通信元系统架构思想，并阐述了微通信元系统架构原型主机设计模型。 第三章实时流媒体技术概述。介绍了流媒体系统的关键技术，实时传输协议、 流式传输方式、编码格式，最后详细介绍了t c p i 下的流媒体服务器和客户端组 织结构。 第四章微通信元系统架构流媒体服务系统总体设计。从设计原则和设计目标 出发，逐步讲述了本系统实现过程中需要考虑的技术细节，并提出了微通信元系 统架构下的流媒体服务器和客户端端应用程序详细设计方案。 第五章微通信元系统架构流媒体服务系统详细设计与实现。详述了网络通信 模块、缓冲区管理模块、数据调度模块以及解码回放模块的实现算法，并对r t p 失序子模块、消除抖动、音视频同步处理作了较为详细的分析。 第六章系统性能测试及分析。对系统作了功能和性能测试，对比了两种网络 系统下实时数据传输带宽的差别，给出了微通信元系统架构带宽优于传统的 u d p i p 网络带宽的原因。 第七章论文总结。提出了本系统的一些局限性问题和后续要完成的工作。 2 第二章微通信元系统架构 第二章微通信元系统架构 2 1 层次网络体系结构及其优缺点 实用的网络体系结构均采用层次模型，例如o s i 、t c p i p 、s p 口x 和a t m 等。其中，o s i 参考模型被公认是最严格的。现在广泛使用的t ( 驯口网络体系结 构模型是四层结构，即网络接口层，网际网层，传输层和应用层。这是事实上的 国际标准。层由实体( 硬件和戚软件) 构成，能够接受下层提供的服务，并能向 上层提供增值服务。 层次网络体系结构的设计原则是每一层都建立在前一层的基础之上，低层为 高层提供服务，更具体地就是： ( 1 ) n 层中的实体在实现自身定义的功能时，只直接使用( n 1 ) 层提供的服 务，由于( n 一1 ) 层使用了( n 一2 ) 层的服务，故n 层间接利用了( n 一2 ) 层的 服务； ( 2 ) n 层将以下各层的功能“增值”，即加上自己的功能，为( n + 1 ) 层提供更 完善的服务，同时屏蔽具体实现这些功能的细节； ( 3 ) 最低层是只提供服务、不使用其它层所提供的服务的基本层； ( 4 ) 最高层是应用，它只使用相邻下层提供的服务，而不提供新的服务； ( 5 ) 中间层既是下一层的用户，又是上一层的服务提供者。 2 1 1 层次网络体系结构的优点 层次网络体系结构便于抽象，每一层都抽象成黑匣子，内部结构不可见，这 就使人们可以集中考虑总体结构和层间关系，有利于条理、更加深入地思考问题， 层具有封装性、隐蔽性和抽象性，层次网络体系结构的特点是： ( 1 ) 易于交流理解，有助于标准化。 ( 2 ) 便于模块化，有利分工并行协作开发。 ( 3 ) 灵活性好，便于各个层次独立改进，而不影响其它层次。 “) 体系结构的适应性好。i n t e m e t 发展过程中，已经存在各种各样的实用的网 3 电子科技大学硕士学位论文 络技术，i n t e r n e t 通过t c p r p 协议将使用这些不同技术的网络连接在互联网上。 2 ，1 2t c p i p 协议的局限性 层次网络结构中n 层向n + l 提供的服务s 。舢l 是n 1 层向本层提供的服务s n 咖 和本层自身提供的服务s 。的并集，记为公式( 二1 ) ： s 咖+ i = s n u s n m( 2 1 ) 进行叠代后，得出公式( 2 2 ) ： s n 舢1 = s n u s m i us n _ 2 s 2 u s l ( 2 - 2 ) 由公式( 2 2 ) 可知，n 层网络协议所提供的服务是第1 层到第n 层各层自身提供 服务的并集。为了提高效率，各层服务能力不应该具有交集，因为交集表示各层 服务功能重复。交集是不提供增值服务的。 t c p i p 存在的低效率问题在于各层的服务能力具有大量的交集。其局限性不 可避免地暴露出来： ( 1 ) 多层检错和一层检错相比，并不能提高检错能力。 检错能力定义为能检出错误的集合。如果多层检错，则总检错能力为各层检 错能力之并集。例如，最常见的以太网中，m a c 层采用3 2 位c r c 检错；口层和 传输层各自采用1 6 位校验和检错，其总的检错能力仅仅等于m a c 这一层的检错 能力。此外，采用多层检错时，各层的包头检错的次数少于包的内容。显然，包 头的错误比包内容的错误危害更大。 ( 2 ) 地址重复降低效率 口地址和m a c 地址都是一个节点的地址。由于两者不一样才出现了a r p ( a d d r e s sr e s o l u t i o np r o t o c 0 1 ) 和r a r p ( r e v c i s ea d d r e s sr e s o l u t i o np r o t o c 0 1 ) 等 协议及其开销。组播也存在着口地址到m a c 地址的映射问题。 ( 3 ) 分片( s e g m e n t ) 问题 网络接口层、网络层和传输层都要处理，不仅多次开销，而且无法避免各层 之间的交互。 “) 服务质量问题 t c p m 协议栈最初是为了传输窄带文本数据而开发的，后来随着宽带网络和 多媒体技术的发展，为了保证q o s ，在各层( 甚至在层间) 打了一系列的补丁： 资源预留协议r s v p 、实时传输协议r t p 、实时传输控制协议r t c t 、区分服务 d e f f s e w 和多协议标记交换m p l s 等。这些技术相互重复且不一致，例如各层的 4 第二章微通信元系统架构 优先级位数和类型就不一致。如果各层处理不一致，则会造成混乱；如果一致， 则会重复处理，效率降低。如果不分层，只需一次处理端到端的o o s 即可。 ( 5 ) 上述功能重复还造成包头( 首部) 增长，有效传输效率降低。 2 1 3 新型网络体系结构的探索 在互联网发展之初，网络应用的瓶颈主要在于网络带宽，而网络上的交换信 息基本上属于窄带数据，人们对网络的应用需求不是很高，当时的网络体系还不 至于同网络应用需求发生矛盾。随着现代通信技术的飞速发展，带宽已经不再成 为主要问题，而网络协议的性能逐渐变成了制约整体网络性能的瓶颈。因此目前 的基于层次结构的网络体系已经越来越不适应最新的网络应用需求了。 为了适应新的网络应用需求，可以在现有的层次网络体系结构上作一些改进 来满足一时之需。一方面，可以对现有的各种层次的网络协议进行优化，比如改 善m 或者t c p 协议的性能，提供综合服务或者区分服务机制等来满足日益增加的 o o s 要求；另一方面，开发实时控制方面的协议，如r t p ，r s v p 等来提供一些急 需的实时网络服务功能。增加的协议一般运行在u d p 协议之上，最终还是需要口 网络提供基本的保证。目前，每增加一种新的应用需求，就需要增加一种新的协 议，致使t c i i p 协议栈越来越庞大，已经有1 0 0 多个协议。可以看出，层次网络 体系结构已经越来越不适应新的网络需求，难以承担下一代高性能网络体系结构 的重任。 从上世纪九十年代开始，对提高网络性能的研究已经从各个层次的协议的修 补转变到研究新型网络体系结构方面，这是为了更好地适应网络通信的新特点。 为了满足下一代网络通信的要求，我们需要新型网络体系结构做支撑，新型网络 体系结构应该具有如下几个方面的特性： ( 1 ) 能够高效完成网络通信处理控制，基本没有冗余功能。 ( 2 ) 能够支持各种o o s 要求，特别是多媒体方面的支持。 ( 3 ) 能够更好地支持网络安全的需要。 ( 4 ) 具有良好的可扩展性，可以方便地增加新的应用需求。 目前，网络体系结构方面的研究已经成为下一代网络应用研究的一个重要内 容，能不能充分满足上面的要求，将是一个新型网络体系结构能否成功的关键。 5 电子科技大学硕士学位论文 2 2 微通信元系统架构 m c e s 架构的构建原则从t c p i p 过渡而来：( 1 ) 包格式尽可能靠近t i ：p 口( 删 除其冗余重复部分) ，以便同现有的因特网互连；( 2 ) 大量吸收t c p i p 的成功经验， 例如服务功能元素的定义、套接字机制、t c p 可靠传输原理、端到端的拥塞控制 技术等；( 3 ) 沿用t c p i p 的系统调用格式，保持网络应用程序编程习惯；( 4 ) 具有 良好的可扩展性。 根据m a 三s 架构的构建原则，可以借鉴当前t c p i p 的许多成熟经验，快速地 开发一个m c e s 架构的网络系统模型，来检验系统的功能，同时保持非层次体系 结构的优越性。 2 2 1 微通信元模型分类 微通信元系统架构，采用了模块化的组织结构，其模块的基本单位是微通信 元。微通信元是能够提供服务而又隐藏内部细节的最小实体( 硬软件) 。微通信元 只提供服务，不接受服务。 微通信元m c e ( m i c r oc o m m u n i c a t i o ne l e m e n t ) 提供服务是通过服务数据单元 s d u ( s e r v i c ed a t au n i t ) 完成的。s d u 又称为包p a c k e t 。微通信元是s d u 的发送者 ( 源) 、接收者( 目的) 、转发者( 递交) 或变换者。 在微通信元所构建的系统中，相关节点的服务团队将微通信元组织成微通信 元系统，大量m c e 系统组织成网络系统。因此，其第一个网络体系架构称为微通 信元系统m c e s ( m i c r oc o m m u n i c a t i o ne l e m e n ts y s t e m ) 架构 微通信元的分类可以有多种方式，比如根据微通信元作用的位置，可以分为 端系统微通信元( 只作用于端系统上) 、路由微通信元( 只作用于路由设备上) 、 综合微通信元( 在端系统和路由设备上都起作用) 。 目前最常见的是根据微通信元启动服务的方式，将其划分为五类，对应模型 如图2 - i 所示。第一、二、三和四类微通信元是s d u 的源和目的，用矩形表示。 矩形下方的下箭头和上箭头表示微通信元按规定顺序发送或接收的一系列s d u 。 6 第二章微通信元系统架构 系统调用 发现问题或求助解决问曩 第一类微通信元 第二类徽通信元第三类徽通信元第四类徽通信元第五类微通信元 图2 - 1 五类微通信元模型 第一类微通信元由于执行系统调用而启动服务。矩形上方粗箭头表示执行系 统调用。粗箭头的方向表示应用的信息流向：上箭头表示接收；下箭头表示发送。 例如应用程序执行系统调用w r i t e ( ) ，启动有连接发送数据微通信元，它把应用程 序发送的数据分成小块组成一系列的包发送，还要接收一系列的确认包。粗箭头 的方向向下。又例如应用执行系统调用c o n n e c t ( ) ，启动( 主动) 建立连接微通信 元，通过三次握手建立连接。下方的上、下箭头表示先发出的第一次握手的包， 再接收第二次握手的包，后发出的第三次握手的包。如果应用为了接收而执行 c o n n e c t ( ) 则粗箭头的方向向上。第一类微通信元是为本节点( 应用) 提供服务 的。对于没有o s 的节点，系统调用将被a p i 函数取代。 第二类微通信元因网络发生不正常事件或请求帮助而启动服务，并主动向某 节点发警告或求助信息。第三类微通信元由于收到此警告或求助信息而启动服务， 进行内部处理。i 节点的第二类微通信元和j 节点的第三类微通信元协作向i 节点 或j 节点提供服务。例如路由器的第二类微通信元向源主机的第三类微通信元发数 据格式错误的信息。又例如i 节点p i n g 微通信元求助j 节点p i n g 微通信元进行 可通性测量。 第四类微通信元周期性地启动或收到相关包启动。其服务通过按规定顺序发 送和接收的一系列的包完成。并且通常是通过包的组播方式进行收发。例如路由 选择协议微通信元，动态地为网络各自路由器填写路由表。路由递交类型微通信 元接收到的包按路由表递交到相应端口。第四类微通信元用于各相关节点协作为 整个网络系统提供服务。 第五类微通信元由于s d u 的到来而启动服务并对s d u 进行变换后输出。三 角形上方的下箭头表示源于本节点s d u 的到来，输出的s d u 由三角形下方的下 箭头表示；三角形下方的上箭头表示源于其它节点s d u 的到来，产生的s d u 由 7 电子科技大学硕士学位论文 三角形上方的上箭头表示例如压缩解压微通信元、身份验证微通信元、安全净 荷微通信元和n i c 微通信元等。由于第五类微通信元功能是两两互逆的，我们将 互逆的微通信元的两个三角形画在一起。 第五类微通信元中，谁的输出作为谁的输入并不是固定的，只要收、发方匹 配即可。特例是n i c 微通信元，它是本节点的发送包所经过的最后一个微通信元。 它一方面通过介质访问控制把本节点的包转换为b j t 流放在网络介质上，另一方面 从网络介质抓取b i t 流到本节点转换成包。考虑到：l 、网络接口层功能完全由网 卡完成，而服务团队其它微通信元基本由主c p u 完成，二者可以并行；2 、由于 网络接口层只提供服务，并不接受服务，所以网卡既能作为层次结构的最下层， 又能作为新结构中的一个n i c 微通信元。 2 2 2 微通信元网络体系结构节点模型 微通信元系统架构就是规定在网络的端系统和核心系统中存在一系列功能各 异的微通信元( m c e ) ，它们相互作用，完成必要的网络服务功能。 在微通信元网络体系中，节点或者是主机或者是路由器，不同作用的节点具 有不同功能的微通信元集合，节点模型如图2 2 所示。 基于网络服务的各种应用 各种微通信元的集合 图2 - 2 微通信元网络体系结构节点模型 节点模型分为两部分：应用层和服务层。应用层只接受服务，服务层只提供 服务。这里的层并不是层次结构中的层，它是平面的概念，我们分别称之为应用 群和服务团队。应用群包括应用基础( 网络管理和域名解析) 、典型应用( w w w 、 e - m a i l 、f r p 和网络流媒体应用等) 和一般应用。请注意应用群包含了所有的应用， 而不只是共性的应用。应用群是各种应用的松散集合。服务团队是微通信元的有 组织的集合，它除了向本节点应用层提供服务外，还能和其它节点微通信元合作 向整个网络系统提供服务或向某一节点提供服务。 服务层提供的服务s 就是各m c e 所提供的服务s j 的并集。即： 8 第二章微通信元系统架构 s = s n u s n - 1 u s 越s 2 u s l ( 2 3 ) 只要设计的m c e 的s i 没有交集，则功能不会重复，也就不会造成效率降低。 m c e 希望分得尽可能地细，最好每一个服务功能元素的执行实体就是一个 m c e 。为了提高效率，有时某几个服务功能元素也可由一个m c e 完成。可以把网 络接口的所有服务视为一组，由n i c 微通信元完成。公式( 2 3 ) 中u 运算服从结 合律，因此有： s = s n u s + l u s n - 2 s m u ( s m 1 u s i n - 2 u s l ) ( 2 - 4 ) 其中括号内表示网络接口层提供的服务，服务层相当于t c p i p 的网络接口层、 口层和传输层根据要求的服务不同，服务层所提供的m c e 的数目也不同，而且 对于新的应用可增加新的m c e ，具有良好的扩展性。 2 2 3 层的地址和端地址 现有的层次网络体系结构，都认为层间服务访问点s a p 由层的地址来标识。 层的地址只有两种：节点( 主机和路由器) 地址( 网号和网内节点号) 和端口号。 所以如果存在着二层以上的网络模型，则标识s a p 的地址就会重复。例如t c p i p 中，传输层和应用层的地址都是端口号，网络接口层的m a c 地址和网络层的口 地址都是节点地址。 在新的网络体系结构中，将彻底抛弃层的地址的概念，而采用端到端地址。 端到端地址就是由节点地址和端口号构成的序偶。即 端到端地址= ( 节点地址，端口号) 使用地址时，可以使用端到端地址整体，也可以使用其中一个部分( 节点地 址或端口号) 。 2 2 4 服务功能元素 每一个基本网络服务功能称为服务功能元素，而服务功能则定义为服务功能 元素的集合。某些服务功能元素只在路由器中完成，例如0 s p f 、r m 、e g p 、b g p 、 d v m r p 和各种路由递交等功能。某些服务功能元素只能由主机完成，例如分片功 能，对于宽带网络而言，路由器和路由交换机等网络设备是不应参与分片的。应 该采用类似i p v 6 的方法，当源主机所发包的尺寸大于某网络的最大传输单元m t u 时，网络设备向源主机返回允许的包尺寸，源主机重发允许尺寸的包。 9 电子科技大学硕士学位论文 2 2 5 微通信元系统架构端系统模型 端系统通过接入网络连接到网络的核心系统，是网络的端点，也是网络服务 的接入点。同核心系统的路由器相比，端系统没有完整的路由功能和数据转发功 能，但是具有所有其他的网络通信功能。同核心系统中的网络功能模块相比，端 系统具有更加完备的网络功能模块。比如在t c p 口体系中，端系统含有网络核心 系统中所没有的传输层和应用层功能。同时，两个端系统主机也可以构成一个简 单的网络，因此对网络端系统的研究也是研究新型网络体系结构的重要途径。 m a 三s 架构中的端系统被规定不参与网络路由，因此m c e s 架构的端系统参 考模型如图2 - 3 所示。图中矩形和三角形中的s l i 表示它是第i 类微通信元中的第 j 种微通信元。换言之i ，i 是微通信元的标识。 一系列一、二、三、四类 微通信元 图23m c e s 架构下端系统参考模型 端系统微通信元的数量根据端系统的功能不同而不同，一般来讲，一个端系 统主机主要提供如下几种不同作用的微通信元： 用于提供端到端数据传输的，如滑动窗口微通信元，无连接传递微通信元。 用于s d u 处理的，如压缩解压微通信元，n i c 微通信元。 第二章微通信元系统架构 用于和网络核心部分进行信息交互的，如建立和释放连接微通信元，访问控 制微通信元等。 用于网络安全管理的，如各种加解密处理微通信元，数字摘要微通信元等。 用于q o s 控制的，如拥塞控制微通信元，流量整形微通信元等。 2 2 6 端系统提供的服务类型 根据当前网络应用的需要，结合t c p i p 提供的网络服务，我们定义了如下面 向应用程序的网络服务类型，如表2 - - 1 所示。 表2 - 1m c e s 端系统提供的服务类型 类型含义 要求的网络服务服务举例优先级资源要求 0 数据报服务无类u d p1 按最低预留 1数据流服务顺序、可靠类t c p2 按次低预留 3实时音视频 顺序、时间6按次高预留 2 紧急数据流| 匮序、可靠、时间7按最高预留 ( 1 ) 数据报服务，对应于t c p 佃的u d p 服务，这类服务对网络系统的要求最 低，由于它不关心数据是否丢失有序等问题，我们给它最低优先级。 ( 2 ) 数据流服务，对应于t c p i p 的t c p 服务，这类服务对网络系统的要求也 很低，同数据报服务相比，在端系统上提供重传服务就可以达到目的。为了减少 数据在网络上的丢失率，我们给它次低优先级。 ( 3 ) 实时音视频，高优先级的无连接数据，固定速率，是当前要求q o s 的大量 多媒体应用需要的服务。其应用类型如流式存储音视频、交互式音视频等。 ( 4 ) 紧急数据流。在一些特殊的应用中，要求快速传递一些可靠的数据流，不 仅对网络服务的可靠性有要求，还对数据传输的时间特性也有要求，则可以使用 这样的服务。 实时音视频和紧急数据流对网络的时间特性要求较高，我们给其分配较高的 优先级，并按照最高要求分配网络资源。按照合理的调度处理，这些类型的数据 在网络中会优先通过，不会受到拥塞的干扰，从而获得较好的时间特性。 1 1 电子科技大学硕士学位论文 2 3 微通信元系统架构报文格式设计 2 3 1 报文分类 在微通信元系统中，由于通信子网采用虚电路方式，完全不同于t c p i p 的三 次握手建立连接和无连接方式，而且完全掘弃了t c p i p 的分层处理过程，我们根 据微通信元对数据的处理方式、数据传输的方式、可靠性与否以及虚电路的状态， 将报文分为以下五种： l v c n ： 不可靠数据包为：l o w f l a g = 0 ，h i g h f l a g = 1v c l q = s k - y l v c n ； 维护空包格式为：l o w f l a g = 0 ，h i g h f l a g = 1v c r l = s k - i v c n ； 建立连接包格式为：l o w f l a g = 1 。h i g h f l a g = 0v a l l = s k - i v e n ； 撤销虚电路包格式为：l o w f l a g = l 。h i g h f l a g = 0y c n = s k 一 l v c n ； 然后根据数据包的类型，再为数据包添加上其相应的头部，如果是建立连接 的数据包，则要先给数据包加上建立连接的包头，然后在其外层再封装基本包头； 如果是释放连接的数据包，则要先封装撤销虚电路的包头，再封装基本包头。 ( 2 ) 数据报文的解封 当接收网络数据时候，就要进行数据包分解的过程。分解的过程与封装的过 程相反，这个时候需要从一个以太网帧中读出用户数据，首先看其c t h e r _ t y p c 是否 为0 x e e c e ，如果是则表明该包是微通信元的数据包；然后去掉以太头部，紧跟着 1 4 第二章微通信元系统架构 以太网头部的是微通信元的基本头部，根据基本头部的l o w f l a g 和h i g h n a g 来判断 该数据包是哪种类型的数据包，然后再做相应的处理。 2 4 微通信元系统架构原型主机设计 2 4 1 原型主机实现的功能 ( 1 ) 通信子网采用虚电路结构 数据通信采用全双工的虚电路方式，统一使用一种地址结构，不再需要进行 m a c 地址与i p 地址之间的相互解析，为了进行数据的传输，每对相互通信的套接 字都建立唯一的一条虚电路。 虚电路号的分配办法采用面向节点的分配方式，即各个节点( 主机或者路由 器) 各自独立地选取虚电路号，在建立虚电路的同时，每个节点的虚电路表中的 每一项要记录两个虚电路号：输出虚电路号和输入虚电路号。输出虚电路号由本 机分配，并作为下游节点的输入虚电路号；输入虚电路号由上游节点分配。这样 一来，进行数据交换的两个套接字之间存在着一条专门为它们服务的虚电路。 ( 2 ) 兼容传统的s o c k e t 编程 在l i n u x 平台下，基于微通信元系统架构的套接字系统调用的接口设计与传统 的套接字系统调用完全一致，并且，其编程规范也大致相同，用户程序编写者仍 按以往的规范编写网络应用程序。 ( 3 ) 依靠优先级和滑动窗口保证服务 通信按照服务类型划分优先级，优先级高的先发送。根据用户要求的通信模 型，总体上分为面向连接的可靠数据通信和面向无连接的不可靠数据通信，面向 有连接的可靠数据通信，微通信元系统通过改进后的滑动窗口协议和服务优先级 来保证服务的可靠性和服务质量。 “) 具有一定的q o s 控制机制 在微通信元网络体系结构的通信子网中，建立虚电路的包中除了包含节点地 址信息外，还应该包含预留资源信息，而路由器的虚电路表中也应该包含预留资 源信息，以便按请求的资源使用系统资源。如果路径上的路由器或目的主机没有 足够的资源，则虚电路不能建立，数据传送就不会开始。 ( 5 ) 结构上具有一定的可扩展性 微通信元网络体系结构的特性之一就是具有很好的可扩展性，其网络实现也 电子科技大学硕士学位论文 尽量保持这个特性，在主机模型的设计上，把网络通信功能按模块进行划分，各 予模块相对独立并完成一定的功能，模块之间交互尽可能少，今后通过增加微通 信元的方式，扩展其功能。 2 4 2 原型主机的模块及功能划分 目前的微通信元网络体系结构的主机模型中包含套接字系统调用，微通信元 管理器，微通信元，o o s 管理器，硬件接口( n i c ) 等几个主要内核模块。配合 这几个主要内核模块工作的有，套接字操作管理与功能配置界面程序，缓冲队列 管理，初始化过程等。各个模块的关系如图2 4 ： 初始化应用程序 功能配置界面 。 应用接口 0 内核 系芋用弋 l 缓冲队列l 微通信元l i 套接字操1 一作管理及l l管理 微通信元管理器 i 功能配置j l lf i f 微通信元j n 心螂管理壶。厂 ， | n l c 徽通信元( 可能多个) 图z 一4 原型主机设计模型 ( 1 ) 套接字系统调用：套接字系统调用主要给用户提供网络通信的操作接口； 从网络协议的角度来看，套接字系统调用一方面将用户的通信要求传达给网络协 议，另一方面把网络协议的处理结果告诉用户。 ( 2 ) 微通信元管理器：微通信元网络体系结构中，各微通信元之间相互合作、 相互协调共同实现网络应用。微通信元管理器，用来组织调度微通信元实现各种 第二章微通信元系统架构 网络应用，具体实现时它主要通过服务数据单元s d u ，根据服务类别，调度微通 信元完成各种工作。从整个系统来看，微通信元管理器主要起一个承上启下，协 调工作的作用。 ( 3 ) 硬件接口模块( n i c 微通信元) ：主要是和硬件接口相关的部分，目前包 含通用异步串口和以太网卡两种，一方面通过介质访问控制把本节点的包转换为 b i t 流放在网络介质，另一方面从网络介质抓取b i t 流到本节点转换成包，并负责 硬件接口信息数据结构的维护管理。它比较特殊，既属于接口模块又属于第五类 微通信元。 ( 4 ) o o s 管理：在微通信元网络体系结构的通