（通信与信息系统专业论文）gcdn的负载均衡技术研究.pdf

g-c d n的负载均衡技术研究 摘要 内容分发网络的目的是通过现有的i n t e r n e t 中增加一层新的网络架构，专门 用于通过互联网高效传递丰富的的媒体内容， 将网站的内容发布到最接近用户的 网络 “ 边缘” ，使用户可以就近取得所需的内容，提高用户访问网站的响应速度 等用户体验。 网格技术是目 前分布式系统发展的主流， 其主要特点是资源的分布 与共享。 虽然网格技术和内容分发网 络的理论研究比 较成熟， 但是基于网 格架构 的内 容分发 网 格内 容 分发( g r i d c o n t e n t d e l i v e r y ) 是一 个非常新的 研究 领域 本文着重于网格内容分发网络的负载均衡技术的研究， 在研究当中， 引入并行下 载技术和机制设计理论， 并对他们进行数学上的推理与论证， 提出了负载均衡的 算法; 然后用实验对其进行了验证与测试; 最后给出了全文总结、 存在的问题以 及进一步改进的方向。 关键词:网格;内容分发网络;并行下载;机制设计;负载均衡 ab s t r a c t c o n t e n t d is t r i b u ti o n n e t w o r k s ( c d n s ) a r e c o l le c t i o n s o f n o d e l o c a t e d a t d i ff e r e n t p o i n t s i n t h e i n t e rn e t t o p o lo g y , d i s t r i b u t e s t h e c o n t e n t s f r o m t h e o r i g i n s e r v e r t o t h e r e p l i c a s e r v e r s c l o s e t o t h e e n d c l i e n t s a n d u s i n g p r o t o c o l s f o r t h e i r in b e tw e e n c o m m u n i c a t i o n t o i d e n t i f y w h i c h s e r v e r i s b e t t e r t o s e r v e r a c l i e n t r e q u e s t . c d n i s a e ff e c t i v e a p p r o a c h t o i m p r o v e i n t e rn e t s e r v i c e q u a l i t y . g r i d t e c h n o l o g y i s t h e m a i n s t r e a m o f t h e d i s t r i b u t e d s y s t e m w h i c h c h a r a c t e r i z e s t h e r e s o u r c e i s d i s t r i b u t i n g a n d s h a r i n g . g r i d c o n t e n t d i s t r i b u t i o n n e t w o r k i s a n o v e l r e s e a r c h f i e l d . i n t h i s p a p e r , i n c o n t r a s t t o r e t r i e v i n g a f i l e f r o m a s i n g l e s e r v e r , i f i r s t p r o p o s e a p a r a l l e l - a c c e s s s c h e m e w h e r e e n d u s e r s a c c e s s m u l t i p l e s e r v e r s a t t h e s a m e t i m e f e t c h i n g d i ff e r e n t p o r t i o n s o f t h a t f i l e f r o m d i ff e r e n t s e r v e r s a n d r e a s s e m b l in g t h e m l o c a l l y , a n d t h e n i n t r o d u c e m e c h a n i s m d e s i g n th e o r y t o s o l v i n g t h e p r o b l e m o f d e s i g n i n g p r o t o c o l s f o r r e p l i c a t e d s e r v e r s e l e c t i o n . p a r a l l e l d o w n l o a d a n d m e c h a n i s m c a n b e u s e d in g r i d c o n t e n t d i s t r i b u t io n n e t w o r k f o r s o l v i n g t h e s t a t i c l o a d b a l a n c i n g p r o b l e m i n h e t e r o g e n e o u s d i s t r i b u t e d g r i d c o n t e n t d i s t r i b u t io n s y s t e m . a t l a s t , t h e s u m m a r y , e x i s t i n g p r o b l e m s a n d p r o s p e c t i v e r e s e a r c h a r e p r o p o s e d . k e y wo r d s : g r i d ; c o n t e n t d i s t r i b u t i o n n e t w o r k ; p a r a l l e l d o w n l o a d i n g ; me c h a n i s m d e s i g n ; l o a d b a l a n c i n g g -c d n的负载均衡技术研究 第1 章 前言 1 .， 论文背景 在下一代互联网中， 宽带媒体内容分发在广域网范围内的大规模扩展需要新 一代可扩展的、 高效、 灵活的中间件平台的支持， 而服务网格的兴起正是代表了 下一代中间 件平台技术的主流。虽然网格本身的理论和内 容分发网络 ( c d n ) 的理论研究已经比较成熟， 但基于网格架构的内容分发网格内 容分发 ( g r i d c o n t e n t d e l iv e r y ) 是 一 个 非 常 新的 研究 领域， 其 起步 不 到 两 年的 时 间， 理 论 体 系 和模型架构还很不成熟，需要进行深入研究。 本论文目 标是: 动态的、实时的g -c d n 的负载均衡;具体两个方面:在内容分发过程中，如出 现可以 提供更好 的服务带宽的内容服务器， 可以 实时地在合适的时间节点将内容分发服务自 动切 换到该服务器上无缝地完成续传， 使 g -c d n系统中的整体的网络带宽使用得 到有效的均衡; 如内 容分发的 服务器出 现断电、 停机等故障时， 可以为客户复位 向新的服务器来提供后续的服务， 从而使服务得到更有效的保障。 另外， 在实施 负载均衡技术当中，能够充分利用客户的宽带网络接入能力，使客户在访问 g 一c d n中得到最好的服务体验。 1 . 2 内容与结构 本文的结构是这样组织的:第1 章是前言，描述了论文背景、内容与结构、 创新与成果。 第2 章介绍了内容分发网络的发展现状， 指出了内容分发网络的发 展背景、基本概念、关键技术以及现有分发网络存在的一些缺点与不足。第 3 章是g -c d n的介绍，g -c d n是指网格内容分发网络，在本章首先介绍了目 前流行的网格技术， 简要描述了网格技术的基本概念、 发展历程和应用前景; 接 着提出了g -c d n的概念， 描述了g -c d n的体系结构图和各功能模块; 然后， 着重详细介绍了内容分发网格管理服务器的软件架构。第 4章介绍了 g -c d n 中的负债均衡技术，这里先从总体上描述了 g -c d n中采用负载均衡技术的必 要性和重要 性; 接 着提出 并 行下载 ( p a r a l l e l d o w n l o a d i n g ) 技 术， 描述了 并行下 g -c d n的负载均衡技术研究 载的本质和数学模型;接着描述了经济学博弈论中 机制设计理论与其数学模型; 最后，提出了g -c d n中的负载均衡机制的设计，并给出了负载均衡的算法以 及一个并行访问f i p客户端 ( p a -f t p )的设计原理。第 5 章是本论文的设计 的一些实验测试与分析， 通过实验和分析， 来验证了并行下载、 机制设计以及负 载均衡算法的可行性。 第6 章则是给出了全文的总结、 存在的问题以及进一步改 进的方向。 ， .3 创新与成果 本文的创新点主要在于提出了一个全新的、基于全局的g -c d n的负载均 衡技术、 算法:同过对并行下载、 机制设计进行了深入的数学上分析与建模， 在 理论上保证了负载均衡算法的正确性与可行性。当然，对于 g -c d n的研究是 目 前 g i r d技术在内容分发网络中处于比较前沿的研究，由于作者能力和时间的 限制，本文没有对 g -c d n的负载均衡技术进行更深入的分析和更全面的论证 以及做更多的实验， 从而需要进一步加以改进和完善， 因此可能存在很多的漏洞 和不足。但本文对于该领域的进一步深入研究起了一个探索性的作用。 本论文工作属于国家自 然科学基金项目 ( 6 0 3 7 3 0 1 8 ) “ 基于网格架构的丰富 媒体内容分发网络研究” 研究成果的一部分。 g -c d n的负载均衡技术研究 第2 章 内容分发网络发展现状 2 . 1 内容分发网络的发展背景 目 前， 人们对 i n t e r n e t内 容和应用的需要正在飞速增长。 根据 f o r e s t e r 的调查，1 9 9 9 年有 1 亿个w e b用户，而在 1 9 9 8年只有 6 8 0 0 万。1 9 9 9 年，w e b 站点的总量达到了3 6 0 万个， 到2 0 0 6 年这个数字将达到5 1 0 0 万。 虽然网络用户 的数量在急剧增长， 网 络上分布的内容在迅速膨胀， 但是网络用户对内容的访问 率却提升很慢， 网络上应用业务的种类仍旧相当单一。 造成这种局面的根本原因 是: 用户访问网站的响应速度太慢。由 于慢， 许多用户不得不放弃对网络内容的 访问;由于慢， 很多用户迫切需要而技术上已经很成熟的业务只能束之高阁:由 于慢， 用户很可能在短时间内连续几次发起对网站的连接请求， 从而进一步加重 了网络的负担。 这种不良的网络性能对于用户和服务提供商都是不利的。 主要表 现在: 应用的开展过于缓慢， 增加新应用所面临的有限网络容量， 网络升级面临 的种种困难，以及租用线路过于昂贵等等。 仔细分析网络速度缓慢的原因，带宽不是导致互联网连接速度慢的惟一因 素， 如果没有良 好的流量管理策略， 网站不管有多大的带宽， 用户对网站的访问 连接同样会慢如蜗牛。同时，日益扩大的服务器数量、 越来越多的访问流量，都 要求网站对互联网流量进行精心规划和管理。 除此而外， 随着电子商务的迅猛发 展， 使得网络系统的可靠性、 一致性、 安全性和高可用性也显得越来越重要。 因 此， 当前网站的管理除了 必要的内容服务外， 提高网站的扩展能力、 服务能力以 及可用性也成了不可或缺的环节。 而要很好地解决所有这些问题， 必须要有新技 术的支持。 为了能提高用户访问网站的响应速度、优化现有 i n t e r n e t 中信息的流动、 提高网站的安全性和可用性，在现有的i n t e r n e t 网络中建立一个完善全面的中 ffu l 层- 一 一 -c d n ( c o n t e n t d e l i v e r y n e t w o r k ) ，使用户能以 最快的速度，从最接近 用户的地方获得所需的信息， 彻底解决网 络拥塞， 提高响应速度，c d n ( c o n t e n t d e l i v e r y n e t w o r k ) 技术是 近年来在美国首先兴起并迅速发展起来的一种解决互 联网性能不佳问题的有效手段。 它是覆盖在互联网之上、 由分布在不同区域的节 g - c d n的负载均衡技术研究 点服务器群组成的一层新的网络， 可将网站的内容高效、 稳定地发布到最接近用 户的网络 “ 边缘”服务器， 使用户可以就近取得所需内容。 其基本思路就是尽可 能避开互联网上可能影响数据传输速度和稳定性的瓶颈和环节， 提高内容服务的 性能和可靠性以及用户访问网站的响应速度， 同时降低网络运营商的整体拥有成 本。 在短短几年内， on 技术发展迅速，众多的网站纷纷采用on 服务来改善其 服务质量，为用户带来更好的上网体验。根据美国h t r c 公司的调查报告，在美 国， 1 9 9 9 年有8 % 的网站采用了c d n 服务; 而到2 0 0 1 年， 这一比例己上升到3 1 % 0 国际上 众多 知名厂商如 a k a m a i , c i s c o , c o m p a q , i n t e l , m ic r o s o f t , n o r t e l 等纷纷推出自 己的on 解决方案或产品。 a k a m a i 基于e d g e s e r v e r 的c d n 体系 结构不仅能加速内容分发， 而且已经能够加速应用分发， 加速比高达5 倍。 n o r t e l 甚至预言将来的互联网将以on 为基础。 根据调查， 全世界在c d n 产品方面的投 入， 2 0 0 0 年为1 . 2 亿美元左右， 到2 0 0 4 年， 这一数字将剧增至1 4 亿美元左右; 而用于c d n 服务方面的支出， 在2 0 0 0 年仅为9 千7 百万美元， 到2 0 0 3 年已超过 2 0 亿美元， 2 . 2 内容分发网络的概念 一个典型的 始内容 ( 中央) c d n 网络由七个功能部件组成: 用户、 复制 ( 边缘) 服务器、 原 服务器、计费管理、 请求路由系统、 分发系统、 审计系统， 这些 功能部件间的关系如图2 -1 所示。 图 2 - 1 c d n 系统功能部件架构 g - c d n的负载均衡技术研究 1 ，原始内容服务器把用户需求内容的名称 ( 通常是一个u r i 名称空间)发 布给请求路由 系统。 2 .原始内容服务器把用户需求的内容发布给内容分发系统。 3 .内容分发系统将用户需求的内容对象传送给复制服务器 ( 边缘服务器) 。 另外，该分发系统与请求路由系统进行交互反馈，来辅助复制服务器中 的面向用户请求的选择进程。 4 甲用户向原始内容服务器发出所需内容对象的请求。 然而，由于是请求对 象的u r i 名称代理，实际上， 请求是移交给请求路由 系统来处理。 5 .请求路由系统在c d n 系统中进行路由，找出一个合适的复制服务器 ( 边 缘服务器)来为用户提供服务。 6 .路由中所选的复制服务器 ( 边缘服务器)将所请求的内容发送给用户。 此外，复制服务器同时对用户的行为进行审计并将获得的信息发送给审 计系统。 7 .审计系统通过汇集用户的行为信息提取出用户访问内容的详细信息和其 他统计资料并传送给原始内容服务器和计费系统。 8 .计费系统从审计系统传过来的信息为基础，来向各内容提供商进行利益 上的清算。 当用户访问已经加入on 服务的网站时，首先通过路由请求系统 ( 如:d n s 重定向)技术确定最接近用户的最佳c d n 节点，同时将用户的请求指向该节点。 当用户的请求到达指定节点时， c d n 的边缘服务器 ( 节点上的高速缓存) 负责将 用户请求的内容提供给用户。 用户访问的基本流程如下 ( 基于d n s 的路由) : 1 ) 用户在自己的浏览器中输入要访问内容的网站的域名; 2 ) 浏览器向本地d n s 请求对该域名的解析; 3 )本地d n s 将请求发到网站的根d n s ， 根d n s 再将域名解析请求转发到重 位向d n s ; 4 )重定向d n s 根据一系列的策略确定当时最适当的c d n 节点， 并将解析的 结果 ( i p 地址)发给用户; 5 ) 用户向给定的c d n 节点请求相应网站的内容: g - c d n的负载均衡技术研究 6 ) c d n 节点中的服务器负责响应用户的请求，提供所需的内容。 2 . 3 内容分发网络的关键技术 c d n 的实现需要依赖多种网络技术的支持:动态内容路由、高速缓存机制、 动态内容分发与复制、安全服务负、载均衡技术等。 动态内容路由 当用户访问加入c d n 服务的网站时， 域名解析请求将最终由重定向d n s 负责 处理。 它通过一组预先定义好的策略( 如内容类型、 地理区域、 网络负载状况等) ， 将当时最接近用户的节点地址提供给用户，使用户可以得到快速的服务。同时， 它还与分布在世界各地的所有c d n c ( c d n c o n t r o l )节点保持通信， 搜集各节点 的健康状态， 确保不将用户的请求分配到任何一个己经不可用的节点上。 它还具 有在网络拥塞和失效情况下，自 适应调整路由的能力。 高速缓存机制 w e b缓存服务通过几种方式来改善用户的响应时间。 如代理缓存服务、 透明 代理缓存服务、使用重定向服务的透明代理缓存服务等。通过 w e b缓存服务， 用户访问网页时可以将 w a n的流量降至最低。对于公司内连网用户来说，这意 味着将内容在本地缓存，而无须通过专用的 w a n来检索网页。对于万维网用户 来说， 这意味着将内容存储在他们的 i s p的缓存器中， 而无须通过 i n t e r n e t来 检索网页。 在上述任何一种情况下，不但用户可以获得更快的响应， 而且企业或 i s p也会因为通信成本的降低而受益。 动态内容分发与复制 网站访问响应速度取决于许多因素， 如网络的带宽是否有瓶颈、 传输途中的 路由是否有阻塞和延迟、网站服务器的处理能力、访问距离等。 多数情况下， 网站响应速度和访问者与网站服务器之间的距离有密切的关系。 假如中国电信计 划将骨干网络提速8 倍， 并且增加带宽， 但是如果访问者和网站之间的距离太远 的话， 它们之间的通信一样需要经过重重的路由转发和处理， 网络延误不可避免。 一 个有效的方法就是利用内容分发与复制机制，将占网站主体的大部分静态网 页、图像和流媒体数据分发复制到各地的加速节点上。 内容分发网络可以采用智能路由和流量管理技术， 及时发现与访问者最近的 g - c d n的负级均衡技术研究 第3 章 g-c d n介绍 3. 1 3. 1 . 1 网格技术综述 网格的概念 网格是一种集成的计算与资源的环境。网格能够充分吸纳各种计算资源， 包括计算机、网络通信、 数据资料、 仪器设备、 人力资源等等， 并将它们转化为 一种随处可得的、可靠的、标准的、经济的计算能力或服务能力。 网格从根本上突破了对计算资源的种种限制， 使人们可以更自由， 更方便地 使用计算资源、 解决各种复杂问题。 网格把计算资源的计算能力抽取出来， 形成 分布于网上的 抽象的、 通用的计算能力。 不仅使计算能力可以无限扩大， 而且使 人们对计算资源的使用与使用者及资源所在的物理位置无关， 从而充分利用网格 的多面性功能，创造出一种全新的共享和协作的方式方法。 网格存在于人们对真实问题的求解之中。 根据求解问题的特点， 可以狭义地 定义各种网格，如计算网格、数据网格、科学网格、军事网格、 地球系统网格、 气象网格、 地震网格、医学网格等各种行业网格。电信行业也可以 用网格技术来 解决其运营中碰到的各类问题， 例如为使宽带上的各种业务得到更好的运行质量 保证， 可相应实施游戏网格、 视频网格、 教育网格、内容分发网格等具体的解决 方案。 互联网经过十多年的发展已成为继报刊、 电台、 电视以后的第四大媒体， 也 是继信件、 电报、 电话以 后的第四大通信工具，同时还在悄悄地改变着人们的工 作和生活方式， 像会议、 商务、 教育、 娱乐等等活动， 都己 可以在网上实现。随 着人们对在网上进行各类活动的接受和依赖程度越来越高， 对互联网能力的要求 也就越来越高， 原有的互联网技术就显得力不从心了。 最初的互联网技术实现了 计算机的互联，后来的w e b技术实现了内容的互联，而现在的网格则实现了应 用的互联。 如果说互联网改变了人们传统的通信方式和获取信息的途径， 那么网 格将改变人们传统的计算或服务方式和获得计算结果或服务的方法， 为人们提供 更强大、更方便、更高级的问题求解手段， 可以形象地说，目前互联网网页是媒 g - c d n的负载均衡技术研究 体、是通信工具。而在网格技术的支持下，网页的背后则是学校、医院、 银行 购物 、 实验室、 天文台、 影剧院、 博物馆。 只要鼠标轻轻一击，即可求学、 商店 就医 、 工作、 娱乐甚至在虚拟现实中游览名胜、遨游太空， 使人类真正享受信息 社会带来的一切便利，演进到一种新型的生存模式。 3 . 1 . 2网格的发展历程 2 0 世 纪9 0 年 代中 期， 美 国国 家 科 学基 金 会 ( n f s ) 建 立了 一 个试 验 环境 1 - w a y ， 将位于美国1 7 个不同地点的6 0 多个组织的超级计算机和资源通过高性 能 网 络联 系 起 来， 构 筑 成一 个 能 够 进 行 元 计 算 ( m e t a - c o m p u t i n g ) 的 整 体。 元 计 算 的含义是通过网络，将计算资源连接起来，形成对用户透明的超级计算环境。 i - w a y项目实际上是g l o b u s 项目的前身。 g o b u s 项目 是国际上最有影响的 推动网 格技术发展的 项目 之一。 g l o b u s 是以 美国a r g o n n e 国家实验室为主， 全美有1 2 所大学和研究机构参与开发的网格项 目。g l o b u s对资源管理、信息安全、信息服务、数据管理以及应用开发环境等 网格计算的关键理论和技术进行了广泛的研究， 开发出能在各种平台上运行的网 格计算工具包软件 ( g l o b u s t o o l k i t ) ，能够用来帮助规划和组建大型的网格试验 和应用平台，开发适合大型网格系统运行的大型应用程序。 g l o b u s 小组首先提出了以协议为中心的五层沙漏结构的网格体系架构:( 1 ) 构造层: 向上提供网格中可供共享的资源， 它们是物理或逻辑实体; ( 2 ) 连接层: 支持便利安全的通信 对单个资源实施控制 用于网格中网络事务处理、 通信与授权控制: ( 3 ) 资源层: ( 4 ) 汇聚层: 将资 源层提交的受控资源汇集在一起， 供虚 拟组织的应用程序共享、调用;( 5 )应用层:网格上用户的应用程序。 为便于理解，图 3 -1表示的是五层结构的网格体系结构与广为使用的 t c p / i p网络协议体系结构之间进行的粗略对比。 g -c d n的负载均衡技术研究 应用层 1 1., , x c 层 资源层 连接层 网络层 构造层 图 3 - 1五层结构及其与t c p / i p 网络协议的对比 五层沙漏形状的网格体系结构 ( 图 3 -2 )的含义就是因为各层协议的数量 是不同的， 对于其最核心的部分要能够实现上层各种协议向 核心协议的映射， 同 时实现核心协议向下层其它各种协议的映射，这样的核心协议 ( 如i n t e rn e t 中的 t c p / i p ) 数量不应该多， 但形成了协议层次结构中的一个瓶颈， 形象地如沙漏形 状中的瓶颈。 在这里资源层和连接层共同组成这一网格五层体系结构中的核心的 瓶颈部分。 禧 哪彩 黔 器 娥 1联 渭 漾 耀 腿 彭 裹 碧 落 瀚菜 蹦望 落 夔 瞬 篆 具与应月 日录代理 应用1 2 诊断与4 i 柞等l 聚层 资源与服务 的安全访问 资源与 连接层 各 种 资 源 ，准 比如计算机。存储构造层 介质，网络.传感器等 图 3 - 2沙漏形状的五层结构 g - c d n的负载均衡技术研究 随着对 g l o b u s 项目的深入研究， 针对它的目 标也进一步扩展。 目前， 由i b m. s u n 和m ic r o s o f t 倡 导的 全 球g r id 论 坛( g lo b a l g r id f o r u m ) ， 把目 标锁定 在 把网 格 计算技术与we b s e r v i c e 技术结合起来提供商务应用服务，从而使网格技术不仅 仅局限于科学计算领域， 还能够对各种商业应用进行广泛的、 基础性的网格环境 支持，实现更方便的信息共享和互操作， 从而对商业模式、 人员的工作方式和生 活方式产生深远的影响。在全球g r i d 论坛上， g l o b u s 工具包开放源码小组 ( 主 要成员是a r g o n n e 国家实 验室、 芝加哥 大学和南加州 大学) 和i b m公司 共同 倡 导 开 放 式网 格 服务 体系 结 构 ( o p e n g r id s e r v i c e s a r c h i t e c tu r e , o g s a ) ， 并 推出t 基于o g s a体系架构并且融合了we b s e r v i c e 技术的g l o b u s 工具包3 .0 版。 o g s a是继五层沙漏结构后最重要、 也是目 前最新的一种以 服务为中心的网 格体系结构。 它提出网格服务的概念， 即网格的一切对外功能都以网格服务( g r i d s e r v i c e ) 来体现， 并吸纳了许多w e b 服务标准， 如w e b 服务描述语言( ws d l ) . 简单对象访问协议 ( s o a p) 、目录访问协议 ( l d a p ) , we b服务探测 ( ws - i n s p e c t i o n ) 等， 借助这些 现成的、 与 平台 无关的 技 术， 来实 现这些服务的 描述、 查找、 调度计算资源访问 和信息传输等功能，并保证它们的安全。 o g s a 将与服务器版j a v a . w e b 服务以 及商业数据库紧密集成， 实 现网 格计算在商务领 域的广泛应用。 图3 - 3 是对网 格服务的简单描述。网格服务=接口 / 行为+服务数据。 服务数据的访句 显式撤销 软状态俘命l期 -卜 臼i d s m i c e ( 必需的 ) 比 它孩日 : :7 a iy ! )阅种 小定牡悄 一 . o . # f . 一认i 6 服务数 据元素 服务数 据 兀嗽 服务数 探元素 实现 环准按 一卜 一通恤 : 一授权 ，服务创建 一服务fl - 册 一管理 一才 卜 发 + 而向特别1 ,y川的按 r 图 3 - 3 网格服务示意图 g -c d n的负载均衡技术研究 文献g r i d s e r v i c e s p e c i f i c a t i o n 详细描 述了网 格服务的 规范， 表3 - 1 列出了 网格服务的接口。 p o rt t y p e操 作 描述 gr i d s e rvi c e f i n d s e rvi c e d a t a 食询网格服务实例的各种拾总. 包括此从本的内部信息.大鼠 的关于 每个 接曰的 : 思以及与特 定服务有关的1 .= 息 s e t t e r mi n a t io n t i me 设i i 井 得到网格服务实例的终让 t时 t ill d e s t r o y终止网格服务实例 n o t i t i c a t i o n s o u r c e s u b s c r ib e t b n o t if ic a t io n t o p ic 根据感兴趣的消恩 r ? 和内容说 明，向衬 全 关事件的通知发送青进 行登记。 u n s u b s c r ib e t o n o ti f i c a t io n t o p i c 取消登记 n o t ifi c a t i o n s i n kd e l iv e r n o t if i c a t i o n异步发送消息 r e g is t ry r e g is te r s e rv i c e一 网 格 服 务 句 柄 的 软 状 态 注 册 u n r e g is t e r s e rvi c e 取消注册的网格服务句柄 f a c to ry一c r e a te s e rv ic e 创 建 新 的 网 格 服 务 实 例 p r i ma 卿k e y f i n d b y p r i ma ry k e y 返回根据特定键值创 建的网 格服 务句柄 d e s t r o y b y p r i ma ryk e y 撇悄特定键位创建的网格服务实 例 h a n d le m a pf i n d b y h a n d le 返创与网格服务句柄相联系的网 格服务实例 表 3 -1 网格服务的接口 简要说明如下: 必须的服务接口g r i d s e r v i c e :这是o g s a服务接口 中唯一必须的接口， 具有服务的生命周期管理和服务数据管理等功能。o g s a引入了软状态 c s o f t s t a t e ) 进 行生 命周期管理， 定义了d e s t r o y 和s e t t e r m i n a t i o n t i m e 两个标准操作来显式地撤销和终止网格服务实例的生命周期。软状态协 议 通过 不断 收 到“ k e e p a l iv e ” 消 息， 不断 进 行 状 态 刷 新 来维 持 存活。 通知机制n o t i f i c a t i o n s o u r c e / n o t i f i c a t i o n s i n k 接口:动态分布的网格服务 必须能够将它们的状态改变通知对方。 o g s a将消息的发布方服务接口 称 为 n o t i f ic a t i o n s o u r c e ，而将 消 息 的接 受方服 务接 != 1 称 为 n o t if i c a t i o n s i n k ， 通过这两个接口 实现通知机制，以 便于以一种标准的 方式来处理通知。通知机制允许客户端通过注册来获取特定的消息，并 且支持消息的异步单向传输。消息的接收方用自己的网格服务句柄 c g s h)在通知源接口上激活订阅操作，然后通知消息流就从 “ 源”发 g -c d n的负载均衡技术研究 向“ 目” 。 但仅仅这样还不行，为了能够持续获得通知， 就需要“ 目” 周 期性地给 “ 源”发送保持存活消息，让 “ 源”知道它仍然对接收通知感 兴趣。 注 册 服务r e g is te r : 支持 服务 发 现的网 格服务 叫 做 注 册( r e g is tr y ) 一 个 注册服务根据两个东西来定义: 一个注册接口， 它提供g s h的注册操作; 二是相关的服务数据元素， 包括注册的g s h的信息。 r e g i s t r y 接口 主要 用于注册一个g s h ， 而g r i d s e r v i c e 接口的f in d s e r v i c e d a t a 操作用于检 索已注册的g s h的消息。 创建临时服务 f a c t o r y : o g s a更强调的是临时服务，而不是象 ， e b s e r v i c e 那样的永久服务。 o g s a定义了一类网格服务， 专门 用于实现创 建网格服务实例的接口，被称为 f a c t o ry接口。f a c to r y接口的 c r e a t e s e r v i c e操作可以根据请求，创建一个网格服务，并且返回新创建 服务实例的g s h和初始的网格服务引用 ( g s r ) . 句柄映 射 h a n d l e m a p : 网 格服务是有状态的， 并 且可以 动态地 创建和撤 销，这样就需要通过一种方式将一个动态创建的服务与另外一个服务区 别开来。 因此， 每一个网格服务都被赋以一个全局唯一的名字， 即g s h . 而与特定协议和特定实例相关的信息则封装起来， 形成一个称为g s r的 抽象实体。 网格服务实例的g s r可以在该服务的生命周期内改变， 每一 个g s r都有一个显式的存活期限，通过 o g s a定义的映射机制，可以 得到一个更新后的g s r 。 由于g s h和g s r是分开的， 针对不同的g s h o g s a给出了两种不同的方法来的到g s r 。首先，o g s a定义一个引用 句 柄映 射 接口( h a n d l e m a p ) ， 给出 一 个g s h就 返回 一 个 有 效的g s r . 其 次， 获 得本 地h a n d l e m a p 的g s r的 方 法是 要 求 所有的h a n d l e m a p 服 务 都 能 被 一个u r l 识 别， 并 且 支持 一 个自 举 ( b o o t s t r a p p in g ) 操 作， 该 操作支持一个简单的众所周知的协议( 比如h t t p ( h t t p s ) 。 这样只要一 个h t t p g e t操 作作 用于 一 个 指向 本地h a n d l e m a p的u r l ， 相 应的 h a n d l e m a p 的g s r 便以w s d l 的 形式返回。 综上所述， 网格技术从最初希望能够将超级计算机连接成为一个可远程控制 的元计算机系统， 到目 前试图提供一种能够聚集网络上各种高性能计算机、 服务 g -c d n的负载均衡技术研究 器、p c 、信息系统、海量数据存储和处理系统、应用模拟系统、仪器设备和信 息获取设备 ( 如: 传感器) 等广泛分布的各种资源， 进行大规模计算和数据处理 的通用基础支撑结构，为各种应用开发提供底层技术支撑， 将i n t e rn e t 变为一个 功能强大、 无处不在的基础设施。 网格技术的出现和发展在国内外学术界和工业 界都引起了广泛的关注，是继i n t e m e t 之后又一次重大的科技进步和技术实践。 3 . 1 . 3网格的应用前景 网格正处于发展初期，从网格的特点和己经实现的应用，以及社会需求来 看，网格应用具有十分光明的前景。 网格最初的应用主要集中在大型科研领域，而今后网格在社会信息化及商 业方面的应用必将大大超过前者。 科研领域的应用 目前己有许多大规模网格应用系统发挥了重要作用，如美国国家科学基金 会 ( n s f ) 2 0 0 1 年9 月宣布的科研项目t e r a g r i d ，是世界上第一个从设计开始就 面向网格的广域超级计算平台。 t e r a g r i d 把包含3 3 0 0 多个英特尔安腾处理器的 计算机连接在一起，主要应用领域为气象、 地震、发动机模拟、 生物、材料等科 学计算和工程模拟应用。2 0 0 0年 1 1月开始的欧洲网格计算应用验证平台 ( e u r o g r i d ) ， 建立了欧洲网 格计算基础框架， 实现用户对高性能计算资源简 易、无缝的访问。 虽然超级计算机也可以提供强大的计算能力，但随着技术的发展，越来越 多的科研项目 不仅需要巨大的计算能力， 而且大多都是系统工程， 需要天文学家、 物理学家、 数学家和计算机专家的共同参与， 而网格平台既可以提供超级计算能 力， 又能够使分布在各地的、 不同专业背景的研究人员进行紧密协作， 这是大型 超级计算机很难做到的。而网格平台恰好可以满足此项需求。 社会信息化领域的应用 目 前绝大多数的企业都在推行企业信息化， 政府部门都在推行政务电 子化， 但令人遗憾的是，企业之间、各级政府部门之间诸多应用的割裂仍是司空见惯。 比如上下游企业间的信息系统难以无缝互联: 电子政务也是如此 各级政府、 各 部委都在建立自己的应用系统， 但上下级之间， 兄弟部门之间却无法互联， 更不 g - c d n的负 载均衡技术研究 用说数据的共享了; 一个企业要办执照， 仍是要跑遍工商、 税务、 银行、 公安等 多 个部门，同样的内 容不知要重复填写多少遍，人们需要一站式的解决方案， 不论是企业之间还是各级政府之间，信息资源的需求与供给都在时刻变化 着， 而且分布在全国甚至世界各地， 完成用户要求的一项服务可能要调用北京的 超级服务器、上海的数据库系统或安装在西安以及昆明的某些计算机上的软件， 不同的应用软件很可能采用了不同的数据格式， 彼此之间的交互、 系统非常困难。 网格技术的本质就是应用的互联，在社会信息化的发展中离不开网格技术的支 撑。 商业领域的应用 在商业领域， 网格具有非常广泛的应用， 电子商务与网格技术的结合己经成 为必然趋势。 另外， 在网络游戏方面， 网 格的应用也日 益引起人们的关注。 2 0 0 1 年， 全球游戏市场规模为1 6 5 亿美元， 已 经超过全球电影1 6 0 亿美元的市场规模， 而在2 0 0 2 年而在全球电脑游戏产业更是形成了一个1 0 0 0 亿美元的巨大市场。 在 中国， 6 0 0 0 多万互联网用户中超过2 3 0 0 万的用户在玩网络游戏， 2 0 0 3 年网络游 戏的年产值约己突破2 0 亿元人民币， i d c的数据报告， 到2 0 0 6 年中国的网络游 戏市场规模将达到8 3 .4 亿元。预示出中国网络游戏产业的广阔前景。 与 网络游戏蓬勃发展不相适应的是， 网络游戏的服务系统己经不堪众多在线 玩家的重负，当 游戏运营商们手足无措的时候，网格再次成为焦点。2 0 0 2年底 b u t t e r fl y 公司与i b m联手，将网格计算推向 游戏业， 建立了第一个商业上的游 戏网 格b u t t e r f l y g r id ， 目 标是 解 决大 规 模多 人 游戏的 技 术 挑战。 它 在 全 球部 署了 大量计算和存储资源， 能够提供几千到上百万玩家同时在线参与各种游戏， 改善 游戏者的游戏体验。 3 . 2 g一c d n介绍 c d n在广域网范围内的 进一步发展需要新一代可扩展的、高效、灵活的中 间件平台的支持。 而网格的兴起正是代表了下一代中间件平台技术的主流。 c d n 技术致力于内容和资源的分发， 而网格技术的根本特征是资源分布与共享， 两者 之间具有很好的结合点，因此提出g -c d n，即网格内容分发网络的概念。图3 一 4 为g - c d n的体系架构。 g - c d n的负载均衡技术研究 图 3 - 4 g - c d n 的体系结构图 该体系架构描述了g -c d n中的各个主要部件， 包括: h ttp 客户端、 w e b 服务器、内容分发网格客户端、内容分发网格管理服务器、 资源池中的内容分发 网 格服务器 和运行于所有资 源之上的网 格a g e n t s 。 提 供的 关 键服务包括内 容分发 服务、认证服务、调度服务、目 录服务、数据库服务和计费服务等。 h ttp 客户端 g -c d n系统采用b r o w s e r / s e r v e : 结构， h ttp 客户端自 然使用浏览器如d e 作为用户和管理者进入系统的入口。 w e b 服务器和内 容分发网 格客户端 we b服务器提供基本的 we b服务。同时，内容分发网格客户端作为一个 s e r v l e t 运行于w e b 服务器中，用于通过w e b s e r v i c 。特例激活内容分发网格管 理服务器提供认证、 调度、目 录索引、 数据库等服务， 并向内容分发网格服务器 发出请求分发服务的消息。 内容分发网格管理服务器 这里的内容分发网格管理服务器是一定范围内内容分发网格的门户，主要 功能是对内容分发服务的过程进行管理， 它介于请求服务的客户端和最终提供内 g - c d n的负载均衡技术研究 容分发服务的网格内容服务器之间， 提供认证、 调度、目 录、 数据库等一系列服 务。 认证服务是保证内容安全分发的基本功能。 用户对内容的发布和对内容的请 求都需要首先通过认证服务来确立合法的身份。 在认证之后， 用户可以通过目 录 服务来查询资源池中可用的或者满足一定条件的内容资源。 目录服务提供了关于 内容分发服务器所提供内容的比较静态的信息， 如服务器的操作系统， 内容类型， 内容文件格式，内容数量，内容大小等等。 而如果用户需要比较动态的信息则需 要激活管理服务器的数据库服务功能， 例如可以得到内容分发服务器的在过去几 天内的负载， 甚至过去几小时内的负载等更动态的信息。同时， 在网格分发服务 器提供分发服务的过程中， 则需要管理服务器的调度服务在网格拓扑中进行系统 负载均衡、 优化选择和各种容错机制的管理， 网格分发的优势也主要体现在调度 服务中， 其中的关键机制是各个服务器负载的自 适应调节机制。 对于流媒体服务， 内容可以从动态负载情况最优的一个服务器得到; 而对于异步文件下载， 可以由 多个服务器实时同步分片协作传送，每一台服务器负责传送请求文件的一部分， 在用户端整合成完整的文件。 资 源池与智能组 件 ( 网 格a g e n t ) 资源池中容纳了注册的内容分发网格服务器，