（计算机应用技术专业论文）集群服务器的性能分析与研究.pdf

a b s 弭认c t i ti san e t w o r k i n g c e n t e r e di n f o r m a t i o ne r aa n dp e o p l ep u r s u e f a s t e ra c c e s s , m o r e r e l i a b l ea n dm o r ef u n c t i o n a li n f o r m a t i o ns e r v i c e s 弧ei n c r e a s i n gp o p u l a r i t yo f t h e w o r l dw i d ew e bl e a d st oa l le x p o n e n t i a lg r o w t ho f i n t e r a c tu s a g e ( h 氇eo t h e rh a n d ， t h ee x c e s s i v ei n c r e a s eo ft r a f f i co nt h ew o r l dw i d ew e b m a k e si th a r dt op r e d i c tt h e i n c r e a s ei nc l i e n tr e q u e s tt op o p u l a rw b b s i t e s s i t em a n a g e r sh a v et of a c et h ep r o b l e m t oi m p r o v es e r v e rc a p a c i t y t h e r e f o r e ，t h ei n t e m e tr e s e a r c hc o m m u n i t ye n c o u n t e r sa n u m b e ro fc h a l l e n g e so f e v a l u a t i n gs e r v e rp e r f o r m a n c ea n do fp r o v i d i n g as e r i e so f h i g h - p e r f o r m a n c et e c h n o l o g yf o rd e s i g n i n gw 曲s e r v e rt oe n h a n c ew 曲q o s t h e p e r f o r m a n c e e v a l u a t i o no f c l u s t e rw e bs c l l v e ra d d r e s s e di nt h i sp a p e ri sas t e pt o w a r d s a m e l i o r a t i n g w e b q o s t h em a i nt o p i c so ft h i sp a p e ra r ec l u s t e rs e r v e ra r c h i t e c t u r er e s e a r c h ，w e bs e r v e r w o r k l o a dc h a r a e t o r i s t i e a n a l y s i s ，s e r v c q - c a p a c i t ya n a l y s i s a n dr e q u e s t 辩确锣 s c h e d u l i n g f i r s t l y , a f t e rs t u d y i n g c u r r e n tc l u s t e rw e bs e r v e ra r c h i t e c t u r e ，w ep r e s e n ta n o v e lm o d e lo fc l u s t e rs e r v e rp e r f o r m a n c ea n a l y s i s - - c w s s ( c l u s t e rw e bs e r v e r s t r u c t u r e ) m o d e l ，w h i c hi s b a s e do no p e nq u e u i n gn e t w o r km o d e l s o m es e r v e r p e r f o r m a n c e r e l a t e di n f o r m a t i o nc o u l db eo b t a i n e d b ya p p l y i n g t h em o d e lt o s i m u l a t i o na n a l y s i s ，f o re x a m p l et h er e l a t i o n s h i p sa m o n gs e r v e rp e r f o r m a n c e ，s e r v e r a r c h i t e c t u r e ，i m p l e m e n t a t i o np o l i c ya n ds e r v e rw o r l d o a d s e c o n d l y , w ea n a l y s i si na d e e p - g o i n gw a yl o c a l i t ya n dw h o l ec h a r a c t e r i s t i c ，o f s e r v e rl o a d ，w h i c hi sab a s eo f s e r v e rs o f t w a r er e a l i z a b l e t e c h n o l o g y s o t h e r ea l e i m p o r t a n tp r a c t i c a l a n d t h e o r e t i c a ls i g n i f i c a n c et oa c c u r a t e l ye v a l u a t et h ev a r i a t i o no fs e r v e r1 0 a d 。t h i r d l y , t h i sp a p e ri n t r o d u c e dt h ec o n c e p t sc o n c e r n i n gs e r v e rc a p a c i t ya n dd i s c u s s e dc a p a c i t y p l a n n i n g t e s t i n g ap r e d i c t i o nm o d e lo f a d e q u a t ec a p a c i t yw a sp r o p o s e db y1 0 9 i s t i c r u l e ，w h i c hi sac u r s o r yq u a n t i t a t i v ea n a l y s i sm o d e l w eu s et h i sm o d e lt op r e d i c t s e r v e rs i z ea n df o r e c a s tw o r k l o a d f i n a l l y , b ya n a l y z i n gr e l a t i o n s h i pa m o n g r e s p o n s e t i m e ，c l i e n tr e q u e s ta r r i v a lr a t e ，t h r e a dn u m b e ra n ds c h e d u l i n gp o l i c y , d y n a m i c p r i o r i t ys c h e d u l i n gp o l i c yi sp r o p o s e dt oc h a n g et h eo r d e ro f s e r v e rp r o c e s sr e q u e s t c o m p a r e d 弼l l lf i r s tc o m ef i r s ts e r v i c ef i e f s ) ，s h o r tr e q u e s tf i r s t ( s r f ) a n d d y n a m i ce a r l i e s td e a d l i n ef i r s t ( d e d f ) p o l i c y 码er e s u l t ss h o wt h a tt h ed y n a m i c p r i o r i t ys c h e d u l i n gp o l i c yc a ne n h a n c et h ew e bq o sb yi n c r e a s i n gj u s tal i t t l e r e s p o n s e t i m e k e y w o r d s ：c l u s t e r s e r v e r , w o r k l o a dc h a r a c t e r i s t i c ，a d e q u a t ec a p a c i t y , r e q u e s ts c h e d u l i n g n 第一章绪论 在过去的十几年中，i n t e m e t 从几个研究机构相联为信息共享的网络发展成 为拥有大量应用和服务的全球性网络，它正成为人们生活中不可缺少的一部分。 随着网络技术的飞速发展，作为互联网络服务的重要应用，w e b 服务质量问题 同益显现出来。而影响w e b 服务质量的关键因素包括网络通信能力和服务器性 能。早期的w e b 服务受到了网络通信能力的限制，随着网络通信瓶颈效应的日 益减轻，w e b 服务器的性能问题逐步显现出来。 目f i i 对服务器性能的研究分化为对服务器体系结构的研究和服务器软件实现 技术的研究。本课题研究的重点放在软件实现技术的研究上。 1 1 研究背景 随着i n t e m e t 应用的迅速普及，网络本身也在不断地变化，以满足服务提供 者的种种需求。在客户机朋良务器计算模式取代了传统的集中式主机终端模式之 后，新兴的i n t r a n e t w e b 网络计算模式又开始在各级网络环境中立足。大量图文 并茂的信息可以通过网络直接与用户交互，极大地冲击着信息在整个网络罩的流 向方式。呈爆炸性增长的远距离办公室流动作业以及i n t e m e t 连接对广域网连接 产生了巨大的需求，结果导致网络变得越来越复杂网络规模由一个建筑、一个区 域、一个国家向多个建筑、多个区域甚至多个国家延伸。 1 1 1in t e r n e t 发展现状与预测 s t a n d i s h 集团的i d a r t s 市场调查表明：互联网上电子商务交易量将在未 来儿年中出现大幅度增长。图1 1 为2 0 0 1 年私企电子商务应用的每秒交易 ( t p s ) 率统计预测结果，可以看出3 0 以上的被调查企业估计其电子商务应用的 峰值负载将超过1 0 0 t p s ，即网上日交易量将接近1 ，0 0 0 万次。s t a n d i s h 集团预 计截至到2 0 0 2 年，每秒大约有4 ，8 0 0 力次交易是基于互联网的，这表明全球电 子商务总额将达1 3 万亿美元。市场将被这种新型、演进式的购买方式所分享。 目前，大量的服务和应用( 信息查询网上论坛新闻服务电子商务等) 都是围绕 w e b 服务开展的。这使本以不堪重负的各种网站面临着更大的挑战。据y a h o o 新 闻发布，y a h o o 每天发送的w e b 页面数量已经达到6 2 5 亿页面【2 】；而a m e r i c a n o n l i n e 的w e b c a c h e 系统每天处理的客户请求数量更高达5 0 2 亿个，平均的请 求响应长度为5 5 k 字节。 第一章绪论 在过去的十几年中，i n t e m e t 从几个研究机构相联为信息共享的网络发展成 为拥有大量应用和服务的全球性网络，它正成为人们生活中不可缺少的一部分。 随着网络技术的飞速发展，作为互联网络服务的重要应用，w e b 服务质量问题 同益显现出来。而影响w e b 服务质量的关键因素包括网络通信能力和服务器性 能。早期的w e b 服务受到了网络通信能力的限制，随着网络通信瓶颈效应的日 益减轻，w e b 服务器的性能问题逐步显现出来。 目f i i 对服务器性能的研究分化为对服务器体系结构的研究和服务器软件实现 技术的研究。本课题研究的重点放在软件实现技术的研究上。 1 1 研究背景 随着i n t e m e t 应用的迅速普及，网络本身也在不断地变化，以满足服务提供 者的种种需求。在客户机朋良务器计算模式取代了传统的集中式主机终端模式之 后，新兴的i n t r a n e t w e b 网络计算模式又开始在各级网络环境中立足。大量图文 并茂的信息可以通过网络直接与用户交互，极大地冲击着信息在整个网络罩的流 向方式。呈爆炸性增长的远距离办公室流动作业以及i n t e m e t 连接对广域网连接 产生了巨大的需求，结果导致网络变得越来越复杂网络规模由一个建筑、一个区 域、一个国家向多个建筑、多个区域甚至多个国家延伸。 1 1 1in t e r n e t 发展现状与预测 s t a n d i s h 集团的i d a r t s 市场调查表明：互联网上电子商务交易量将在未 来儿年中出现大幅度增长。图1 1 为2 0 0 1 年私企电子商务应用的每秒交易 ( t p s ) 率统计预测结果，可以看出3 0 以上的被调查企业估计其电子商务应用的 峰值负载将超过1 0 0 t p s ，即网上日交易量将接近1 ，0 0 0 万次。s t a n d i s h 集团预 计截至到2 0 0 2 年，每秒大约有4 ，8 0 0 力次交易是基于互联网的，这表明全球电 子商务总额将达1 3 万亿美元。市场将被这种新型、演进式的购买方式所分享。 目前，大量的服务和应用( 信息查询网上论坛新闻服务电子商务等) 都是围绕 w e b 服务开展的。这使本以不堪重负的各种网站面临着更大的挑战。据y a h o o 新 闻发布，y a h o o 每天发送的w e b 页面数量已经达到6 2 5 亿页面【2 】；而a m e r i c a n o n l i n e 的w e b c a c h e 系统每天处理的客户请求数量更高达5 0 2 亿个，平均的请 求响应长度为5 5 k 字节。 第一章绪论 在过去的十几年中，i n t e m e t 从几个研究机构相联为信息共享的网络发展成 为拥有大量应用和服务的全球性网络，它正成为人们生活中不可缺少的一部分。 随着网络技术的飞速发展，作为互联网络服务的重要应用，w e b 服务质量问题 同益显现出来。而影响w e b 服务质量的关键因素包括网络通信能力和服务器性 能。早期的w e b 服务受到了网络通信能力的限制，随着网络通信瓶颈效应的日 益减轻，w e b 服务器的性能问题逐步显现出来。 目f i i 对服务器性能的研究分化为对服务器体系结构的研究和服务器软件实现 技术的研究。本课题研究的重点放在软件实现技术的研究上。 1 1 研究背景 随着i n t e m e t 应用的迅速普及，网络本身也在不断地变化，以满足服务提供 者的种种需求。在客户机朋良务器计算模式取代了传统的集中式主机终端模式之 后，新兴的i n t r a n e t w e b 网络计算模式又开始在各级网络环境中立足。大量图文 并茂的信息可以通过网络直接与用户交互，极大地冲击着信息在整个网络罩的流 向方式。呈爆炸性增长的远距离办公室流动作业以及i n t e m e t 连接对广域网连接 产生了巨大的需求，结果导致网络变得越来越复杂网络规模由一个建筑、一个区 域、一个国家向多个建筑、多个区域甚至多个国家延伸。 1 1 1in t e r n e t 发展现状与预测 s t a n d i s h 集团的i d a r t s 市场调查表明：互联网上电子商务交易量将在未 来儿年中出现大幅度增长。图1 1 为2 0 0 1 年私企电子商务应用的每秒交易 ( t p s ) 率统计预测结果，可以看出3 0 以上的被调查企业估计其电子商务应用的 峰值负载将超过1 0 0 t p s ，即网上日交易量将接近1 ，0 0 0 万次。s t a n d i s h 集团预 计截至到2 0 0 2 年，每秒大约有4 ，8 0 0 力次交易是基于互联网的，这表明全球电 子商务总额将达1 3 万亿美元。市场将被这种新型、演进式的购买方式所分享。 目前，大量的服务和应用( 信息查询网上论坛新闻服务电子商务等) 都是围绕 w e b 服务开展的。这使本以不堪重负的各种网站面临着更大的挑战。据y a h o o 新 闻发布，y a h o o 每天发送的w e b 页面数量已经达到6 2 5 亿页面【2 】；而a m e r i c a n o n l i n e 的w e bc a c h e 系统每天处理的客户请求数量更高达5 0 2 亿个，平均的请 求响应长度为5 5 k 字节。 霜1 0 鼻11 5 0q 5 1 1 0 0 口l o l 5 0 01 1 9 5 0 0 幽1 - 1s t a n d i s h 集团对2 0 0 1 年网上电子商务交易的调查预测 大部分商务网站为提供优质服务，往往是每周7 天每天2 4 小时的不间断服 务。与此同时，很多商务网站因为访问次数的爆炸式增长而不堪重负，不能及时 处理客户请求，导致用户长时间等待，大大降低了服务质量。据美 d e l l 公司的 新闻发柿，d e l l 现在每天的网站交易收入为1 4 0 0 万美元，出现一小时的服务中 断会导致5 8 万美元的损失“1 。如果d e l l 服务器性能不能满足客户请求的要求， 那么造成的损失是显而易见的。 研究表明，决定w e b 服务质量的关键因素包括网络带宽和系统服务器本身 的性能。从网络技术的发展本身看，网络带宽的增长远高于处理器速度和i o 访 问速度的增长，如1 0 0 me t h e r n e t 、a t mg i g a b i te t h e r n e t 的涌现， l o g i g a b i t e t h e r n e t 的即将推出，l u c e n t 推出的w a v e s t a rt mo l s8 0 0 g ”1 在单 光纤上的传输率达至r j 8 0 0 g b p s 。主干网上密集波分服用技术“更保证了网络带 宽在设备和技术上的超前性。所以，研究者普遍认为越来越多的瓶颈会出现在服 务器端。因此。服务器结构和性能问题已经成为国内外学者研究的一个重要领域。 1 1 2 课题研究的重要意义 丌发设计服务器软硬件系统的目的是为了应用，2 0 0 0 年7 月。中国互联网络 信息中巳, ( c n n i c ) 发布的最新一期统计报告显示j 中国互联网络的发展始终保持 快速发展。因此，对服务器系统性能进行研究，设计高性能的集群式服务器系统 更加必要。 中国互联网中w w w 站点数量持续增长。蛩 2 0 0 0 年6 月为2 7 2 8 9 个，比 1 9 9 7 年增长了1 8 倍，上网计算机数量由1 9 9 9 年底的3 5 0 力台增加到6 5 0 万台， 上网用户人数由1 9 9 9 年底的8 9 0 万人上升到1 6 9 0 万，注册域名数由1 9 9 9 年底 的4 8 6 9 5 个增长为9 9 7 3 4 个。由此可以清晰地看到我国互联网的发展脚步，无论 从哪个指标看，互联网的年增长率都在2 0 0 以上，这个速度目前在世界上所有 国家中是最快的。如果按照这个速度增长，预计到今年年底中国的i n t e r n e t 用户将 排在只本和英国之间，位居世界第四位，五年内上网总人数将超过美国。i n t e m e t 用户的激增为其在商业领域的应用奠定了基础，当用户达到一定数量时，i n t e m e t 霜1 0 鼻11 5 0q 5 1 1 0 0 口l o l 5 0 01 1 9 5 0 0 幽1 - 1s t a n d i s h 集团对2 0 0 1 年网上电子商务交易的调查预测 大部分商务网站为提供优质服务，往往是每周7 天每天2 4 小时的不间断服 务。与此同时，很多商务网站因为访问次数的爆炸式增长而不堪重负，不能及时 处理客户请求，导致用户长时间等待，大大降低了服务质量。据美 d e l l 公司的 新闻发柿，d e l l 现在每天的网站交易收入为1 4 0 0 万美元，出现一小时的服务中 断会导致5 8 万美元的损失“1 。如果d e l l 服务器性能不能满足客户请求的要求， 那么造成的损失是显而易见的。 研究表明，决定w e b 服务质量的关键因素包括网络带宽和系统服务器本身 的性能。从网络技术的发展本身看，网络带宽的增长远高于处理器速度和i o 访 问速度的增长，如1 0 0 me t h e r n e t 、a t mg i g a b i te t h e r n e t 的涌现， l o g i g a b i t e t h e r n e t 的即将推出，l u c e n t 推出的w a v e s t a rt mo l s8 0 0 g ”1 在单 光纤上的传输率达至r j 8 0 0 g b p s 。主干网上密集波分服用技术“更保证了网络带 宽在设备和技术上的超前性。所以，研究者普遍认为越来越多的瓶颈会出现在服 务器端。因此。服务器结构和性能问题已经成为国内外学者研究的一个重要领域。 1 1 2 课题研究的重要意义 丌发设计服务器软硬件系统的目的是为了应用，2 0 0 0 年7 月。中国互联网络 信息中巳, ( c n n i c ) 发布的最新一期统计报告显示j 中国互联网络的发展始终保持 快速发展。因此，对服务器系统性能进行研究，设计高性能的集群式服务器系统 更加必要。 中国互联网中w w w 站点数量持续增长。蛩 2 0 0 0 年6 月为2 7 2 8 9 个，比 1 9 9 7 年增长了1 8 倍，上网计算机数量由1 9 9 9 年底的3 5 0 力台增加到6 5 0 万台， 上网用户人数由1 9 9 9 年底的8 9 0 万人上升到1 6 9 0 万，注册域名数由1 9 9 9 年底 的4 8 6 9 5 个增长为9 9 7 3 4 个。由此可以清晰地看到我国互联网的发展脚步，无论 从哪个指标看，互联网的年增长率都在2 0 0 以上，这个速度目前在世界上所有 国家中是最快的。如果按照这个速度增长，预计到今年年底中国的i n t e r n e t 用户将 排在只本和英国之间，位居世界第四位，五年内上网总人数将超过美国。i n t e m e t 用户的激增为其在商业领域的应用奠定了基础，当用户达到一定数量时，i n t e m e t 商业应用将发生质的飞跃。 从1 9 9 3 年i n t e m e t 进入商业应用，短短几年问又产生了电子商务，这代表一 种新经济模式网络经济的出现。互联网可以把双向信息传递成本降低到零， 经济活动中有关空间和时间隔离造成的成本将大幅度下降，从而降低交易费用、 提高效率。电子商务的兴起，为企业、行业的发展带来了一次新的契机。美国的 电子商务发展处于世界领先地位，预计至u 2 0 0 3 年其相关收入高达1 3 万亿美元 1 1 1 。目前，在电子商务收入前九强中还没有中国的身影，看来发展中国的电子 商务依然任重道远。 电子商务的发展为国内外商家提供了一个公平的竞争环境。如果商家提供 的服务是高效优质的，那么他必将占据市场的主动。研究表明，影响服务提供者 服务质量的关键因素包括网络带宽情况和服务器性能。1 9 9 4 年4 月中国第一个 互联网国际出口中国科学技术网( c s t n e t ) 建立随后陆续建立了五个商业性 ( c h i n a n e t ：1 6 3 、c h i n a g b n ：1 6 7 、u n i n e t ：1 6 5 、c n c n e t ：1 7 1 、c m n e t ：1 7 2 ) $ 1 _ 三 个公益性国际链路出入d ( c e r n e t 、c g w n e t 、c i e t n e t ) 。至1 1 2 0 0 0 年6 月链 路带宽达至l j l 2 3 4 m b p s ，很大程度的解决了接入速度过慢的问题。图1 2 为中国国 际链路带宽增长趋势图。 图1 - 2 中国国际链路带宽发展趋势 反观中国的服务器市场，可以看出中国服务器硬件市场的大部分份额被国 际知名网络公司瓜分，而全球集群服务器市场则完全被c i s c o 、i b m 等大公司垄 断。以联想和浪潮集团为代表的国内各计算机集团为抢占服务器市场份额，纷纷 推出各自的不同档次的服务器产品。目前，国内对集群服务器的设计研究还处于 实验室阶段，中国科学院和清华大学等少数单位分别进行这方面的攻关工作，但 产品化的道路还是遥遥无期。因此研究集群服务器性能，设计高性能服务器集群 将是今后段时间里国内各相关单位科研的重点之一。 由于i n t e r n e t 规模不断扩大和用户访问频率的提高，需要w e b 服务器在实时 性和吞吐率方面都具有较高性能。而影响服务器性能的主要因素有体系结构和实 现机制两个方面，其中体系结构研究主要是将传统的单一服务器扩充为集群服务 器，实现机制研究主要包括容量设计、请求调度技术等。本课题主要从用户角度 出发对以上两方面进行研究，重点考虑用户请求的响应时间，以便提高集群服务 器的服务质量，具有重要的实际价值和理论创新。 1 2 集群服务器的关键技术和研究现状 集群服务器作为一个新兴的研究领域，有待研究的问题非常众多。2 0 0 1 年5 月集群式w e b 服务器与电子商务国际工作组会议c i s c 2 0 0 1 在澳大利亚的布罩 斯班召丌，会议将集群服务器研究课题分为1 6 个专项： 集群式w e b 服务器可伸缩性研究( s c a l a b i l i t yo f c l u s t e r sa sw e b s e r v e r ) 集群式w e b 服务器的网络体系结构与协议研究( n e t w o r k a r c h i t e c t u r ea n d p r o t o c o lo f c l u s t e r a sw e bs e r v e r ) w e b 服务器c a c h i n g 算法( c a c h i n ga l g o r i t h m sf o rw e bs e r v e r ) w e b 服务器测试( w e b s e r v e rb e n c h m a r k ) w e b 服务器的网络攻击策略( n e t w o r ka t t a c h e ds t o r a g ef o rw e b s e r v e r ) w e b 服务器的数据库应用研究( d a t a b a s ef o rw e bs e r v e r ) w e b 服务器的安全策略研究( s e c u r i t yf o rw e bs e r v e r ) 服务器传输模型及统计方法研究( t r a f f i cm o d e l s & s t a t i s t i c s ) 集群式w e b 服务器的作业调度与负载平衡技术( j o bs c h e d u l i n ga n dl o a d b a l a n c i n gf o rc l u s t e r e dw e bs e r v e r ) w e b 服务器设计与验 i , i e ( w e bs e r v e rd e s i g na n dc o n s o l i d a t i o n ) w e b 服务器监控与管理( w e bs e r v e rm o n i t o r i n ga n dm a n a g e m e n t ) w e b 服务器的服务质量研究( q u a l i t yo f s e r v i c eo f w e bs e r v e r ) w e b 服务器与电子商务( w e bs e r v e rf o re c o m m e r c e ) 集群式w e b 服务器的高可用性与容错技术研究( f a u l tt o l e r a n c ea n dh i 吐 a v a i l a b i l i t yo fc l u s t e ra sw e bs e r v e r ) 集群式w e b 服务器应用实例研究( w e bs e r v e rc a s es t u d i e sb yu s i n gc l u s t e r t e c h n o l o g y ) 目前，人们对于当前服务器关键技术的研究并没有一个明确的分类方法。本 人根据各研究专题研究的内容不同，将服务器集群研究的关键技术分为：体系结 构研究、服务器系统设计与性能分析、服务器测试与管理和服务器应用技术四项。 下面就各专项的研究内容和研究现状分别介绍如下： 1 2 1 硬件体系结构与网络拓扑技术的研究 服务器体系结构的研究是目前研究的热点之一。随着网络技术的发展，单机 w e b 服务器已经远远不能满足发展的需要，集群式服务器的开发设计是将来发 展的必然趋势。目前，针对集群服务器体系结构研究的主要内容包括： 出发对以上两方面进行研究，重点考虑用户请求的响应时间，以便提高集群服务 器的服务质量，具有重要的实际价值和理论创新。 1 2 集群服务器的关键技术和研究现状 集群服务器作为一个新兴的研究领域，有待研究的问题非常众多。2 0 0 1 年5 月集群式w e b 服务器与电子商务国际工作组会议c i s c 2 0 0 1 在澳大利亚的布罩 斯班召丌，会议将集群服务器研究课题分为1 6 个专项： 集群式w e b 服务器可伸缩性研究( s c a l a b i l i t y o f c l u s t e r sa sw e b s e r v e r ) 集群式w e b 服务器的网络体系结构与协议研究( n e t w o r k a r c h i t e c t u r e a n d p r o t o c o lo f c l u s t e r a sw e b s e r v e r ) w e b 服务器c a c h i n g 算法( c a c h i n ga l g o r i t h m s f o rw e b s e r v e r ) w e b 服务器测试( w e b s e r v e rb e n c h m a r k ) w e b 服务器的网络攻击策略( n e t w o r k a t t a c h e ds t o r a g ef o rw e b s e r v e r ) w e b 服务器的数据库应用研究( d a t a b a s e f o rw e bs e r v e r ) w e b 服务器的安全策略研究( s e c u r i t y f o rw e bs e r v e r ) 服务器传输模型及统计方法研究( t r a f f i cm o d e l s & s t a t i s t i c s ) 集群式w e b 服务器的作业调度与负载平衡技术( j o bs c h e d u l i n g a n dl o a d b a l a n c i n gf o rc l u s t e r e dw e bs e r v e r ) w e b 服务器设计与验 i , i e ( w e bs e r v e rd e s i g na n dc o n s o l i d a t i o n ) w e b 服务器监控与管理( w e b s e r v e rm o n i t o r i n ga n dm a n a g e m e n t ) w e b 服务器的服务质量研究( q u a l i t y o f s e r v i c eo f w e b s e r v e r ) w e b 服务器与电子商务( w e bs e r v e rf o re c o m m e r c e ) 集群式w e b 服务器的高可用性与容错技术研究( f a u l tt o l e r a n c ea n dh i 吐 a v a i l a b i l i t yo f c l u s t e ra sw e b s e r v e r ) 集群式w e b 服务器应用实例研究( w e bs e r v e r c a s es t u d i e s b yu s i n gc l u s t e r t e c h n o l o g y ) 目前，人们对于当前服务器关键技术的研究并没有一个明确的分类方法。本 人根据各研究专题研究的内容不同，将服务器集群研究的关键技术分为：体系结 构研究、服务器系统设计与性能分析、服务器测试与管理和服务器应用技术四项。 下面就各专项的研究内容和研究现状分别介绍如下： 1 2 1 硬件体系结构与网络拓扑技术的研究 服务器体系结构的研究是目前研究的热点之一。随着网络技术的发展，单机 w e b 服务器已经远远不能满足发展的需要，集群式服务器的开发设计是将来发 展的必然趋势。目前，针对集群服务器体系结构研究的主要内容包括： 出发对以上两方面进行研究，重点考虑用户请求的响应时间，以便提高集群服务 器的服务质量，具有重要的实际价值和理论创新。 1 2 集群服务器的关键技术和研究现状 集群服务器作为一个新兴的研究领域，有待研究的问题非常众多。2 0 0 1 年5 月集群式w e b 服务器与电子商务国际工作组会议c i s c 2 0 0 1 在澳大利亚的布罩 斯班召丌，会议将集群服务器研究课题分为1 6 个专项： 集群式w e b 服务器可伸缩性研究( s c a l a b i l i t y o f c l u s t e r sa sw e b s e r v e r ) 集群式w e b 服务器的网络体系结构与协议研究( n e t w o r k a r c h i t e c t u r e a n d p r o t o c o lo f c l u s t e r a sw e b s e r v e r ) w e b 服务器c a c h i n g 算法( c a c h i n ga l g o r i t h m s f o rw e b s e r v e r ) w e b 服务器测试( w e b s e r v e rb e n c h m a r k ) w e b 服务器的网络攻击策略( n e t w o r k a t t a c h e ds t o r a g ef o rw e b s e r v e r ) w e b 服务器的数据库应用研究( d a t a b a s e f o rw e bs e r v e r ) w e b 服务器的安全策略研究( s e c u r i t y f o rw e bs e r v e r ) 服务器传输模型及统计方法研究( t r a f f i cm o d e l s & s t a t i s t i c s ) 集群式w e b 服务器的作业调度与负载平衡技术( j o bs c h e d u l i n g a n dl o a d b a l a n c i n gf o rc l u s t e r e dw e bs e r v e r ) w e b 服务器设计与验 i , i e ( w e bs e r v e rd e s i g na n dc o n s o l i d a t i o n ) w e b 服务器监控与管理( w e b s e r v e rm o n i t o r i n ga n dm a n a g e m e n t ) w e b 服务器的服务质量研究( q u a l i t y o f s e r v i c eo f w e b s e r v e r ) w e b 服务器与电子商务( w e bs e r v e rf o re c o m m e r c e ) 集群式w e b 服务器的高可用性与容错技术研究( f a u l tt o l e r a n c ea n dh i 吐 a v a i l a b i l i t yo f c l u s t e ra sw e b s e r v e r ) 集群式w e b 服务器应用实例研究( w e bs e r v e r c a s es t u d i e s b yu s i n gc l u s t e r t e c h n o l o g y ) 目前，人们对于当前服务器关键技术的研究并没有一个明确的分类方法。本 人根据各研究专题研究的内容不同，将服务器集群研究的关键技术分为：体系结 构研究、服务器系统设计与性能分析、服务器测试与管理和服务器应用技术四项。 下面就各专项的研究内容和研究现状分别介绍如下： 1 2 1 硬件体系结构与网络拓扑技术的研究 服务器体系结构的研究是目前研究的热点之一。随着网络技术的发展，单机 w e b 服务器已经远远不能满足发展的需要，集群式服务器的开发设计是将来发 展的必然趋势。目前，针对集群服务器体系结构研究的主要内容包括： 可伸缩特性：服务器集群的可伸缩性通常是指服务器系统能够根据客户流量 情况动态调整服务器的规模。成功的站点需要具有一定的可伸缩度。对于查询类 站点( 如报道奥运会之类的站点) ，可伸缩性是w e b 服务器最重要的指标。如果一 个站点的日访问次数只有几千次，那不必考虑集群技术。如果一个站点的同访问 次数超过数千万次，其中包括大量动态页面请求和复杂的相关数据查询，又或者 包含大量的音频、视频请求，那么必须提供强大的处理能力，扩充服务器容量， 这种情况下，必须要求服务器具有可伸缩性。 可伸缩性并不是单纯指提供访问的服务器数量。存储器网络容量在w e b 站点 进行错误恢复操作时更加重要。通常，由于大量的进程需要处理，而内存不足以 处理当l ；i 大量的链接，导致服务器调制解调器变得越来越慢，而缺乏伸缩性的系 统就有可能被中止。 一个可伸缩集群w e b 服务器可以由几种类型的计算机构成，提供不同种类的 服务，机器的类型可以从低档微机到高档的u n i x 工作站，这些系统可以具有不 同的容量。 高可用容错特性：从某些方面讲，可用性比可伸缩性更加重要。没有商家希 望失去可以获得的潜在商机，客户的服务质量保证具有重大的现实意义。在线房 地产交易和银行业务等商业活动会因为事务处理延迟和可用性情况发生很大变 化。如果不提出可伸缩性，可用性就是集群式服务器的应用基础。 可用性常常与容错性能发尘混淆，容错性的网络备份需要大量投资，硬件冗 余以及错误恢复软件，容错技术通常在商务认证操作中得到广泛应用。高可用性 通常指系统可维护性。在互联网上全球商务活动以每天2 4 小时进行运作。如果 由于系统不可维护造成宕机，即使发生在晚i 础的数小时都可能导致商务活动的重 大损失。因此，系统可维护性是一个不容忽视的重要指标和研究内容。 集群式w e b 服务器的网络拓扑结构：采用何种网络拓扑方式进行服务器集 群的网络互联是决定服务器性能的重要因素。早期的集群服务器采用简单的网络 互联与调度技术，服务器性能改进并不是随着服务器的数量增加而线性增长。 近年来，服务器隧道技术和基于地理分布的广域网服务器集群技术的成熟使 网络拓扑结构产生很大的变化，服务器性能也显著提高。本文第二章将详细论述 各种服务器体系结构与网络拓扑技术。表1 1 ，1 2 列出了国内外比较成熟的服务 器产品。 表1 - 1 服务器集群的分发器产晶 i 公司产品名称 l ic i s c o l o c a ld i r e c t o r ，d i s t r i b u t e dd i r e c t o r l li b m n e t w o r kd i s p a t c h e r i 表1 2 服务器集群的服务器产品 公司产品名称 i b m n e t f i n i t y 系列服务器、a s 4 0 0 系列服务器、r s 6 0 0 0 系列 服务器和s 3 9 0 系列服务器 h ph pn e ts e r v e r 系列服务器、h p 9 0 0 0 企业级服鳐器、k 系列 企业级服务器、d 系列企业级服务器和v 系列企业级服务器 联想集团万全1 0 5 0 、万全1 3 0 0 、万全2 2 0 0 b 、2 4 0 0 g 、3 2 0 0 和万全3 5 0 0 、 4 5 0 0 浪潮集团t 作组级p r o p o i n t 、部门级n e t l i n e 和企业n e t c e n t e r 1 2 2w e b 服务器软件设计技术与性能分析 w e b 服务器的性能分析是服务器软件设计的基础，采用何种实现机制、各 种策略的最佳组合等问题都需要在性能分析的基础上解决。因而服务器性能分析 技术的研究成为国内外众多学者研究的热点之一。目日口针对服务器性能分析的研 究分支很多，下面分别介绍如下： w e b 服务器的服务质量：w e b 服务器q o s 是讨论w e b 服务器服务性能的 基础，一个系统的规范化的o o s 标准是进行w e b 服务性能研究的前提。由于不同 的服务类型对服务质量的要求并不完全一致，因此针对服务器服务质量保证的研 究并没有一个通用的规范和标准o 川。表l - 3