（计算机科学与技术专业论文）基于bs结构的海量数据库监控和管理系统的研究与实现.pdf

国脏科学技术犬学研究生院学位论文 摘要 随著当今享主会信息技术静迅猛发震，牢会吾帮门静僖意纯遴程不断加快，整个社会倍 爨数据量的不断嬲张，大规蠖数据的震裳镬褥健绞数据黪汪经不蕊满足羧黪辩门秘大型企 鼗爨益增长数监务嚣求。在鬟：瘦越鹜景下，分布式数据露技术、舞雩予数嚣痒技术与海量数 甥赛技术相继涌现，琏之带浓的闽题是大规模数摄黪的软、嫒俘系统豹数控秘警理趣题变 褥尤先突出，如键监控秘管理这魑缝橡菱热、援壤庞大懿海蓬数据摩已袋海当麓一个重要 的研究课题。 本文以大规模攀务处理系统作为研究乎台，钴对海量数握痒簸羧与管理霞在黪主要| 、锺 题，设计并实现了一个海量数据库监控与管理系统，包括系统体系结构、运行模型、模块 设计以及涉及的关键技术等。本文的主要工作有： 1 在系统体系结构方筒，在分析了大规模枣务处理系统的特点和层次式监控管理模 黧的基础上，设计了基于三朦b 擦体系结构瀚海薰数据摩监控与瓣壤系统，提出了系统体 系结构和运行模蟹，并迸步阐述了监控与管理系统各个模块的舆体功能以及相甄关系。 2 在系统关键技术方鬣，研究了基于簸控写管瑗系统渗及静关键性技术，主要包括： 设计并实现了基予c o r b a 对象驻辩服务器的系统信息监控技术；设计并实现了基于信息 存姥数据痒与系缀僖患鼗控裰结合的系绞醚赣功麓和系统统计信惑的收集与分析技术；漩 诗安溪了据露并实瑷了基于艇则糖璞与征苑维瑾酌系统预警枫铡。 3 在系统实现方瑟，程上述荟嚣突的鏊戳土，蒺予j 2 嚣e 与e 0 鹅a 技术实瑗了海童数 撂瘁簸控与警理系统，系统基有对海爨数据露系绞熬配置管璞、数箍瘁运行状态，服务器节 点运行状态与服务对象状态黪监控、统计绩患救动态视图显零鞋及系绞臻警等凌熊。在越 基戳上，对安理豹鉴控与镑联系绞送行了谨绸静测试，溅试绻果表翻，该系绫稷努戆解凌 了海爨数据库的监控与管理过程中的主要闷题，藤且对正常炊务系统鹣性娆影响嚣誉 廷。 关键窄：海羹数拯麾、b s 结构、配置管理、状态监擦、c o r b a 、截获器 国防科学技术人攀研究生院学藏论文 a 转s t r a c t w i 壤也磅豫p l dd e v e 酶p 黻e 拉t 畦黻o 撼i n f o r 爨采i o 建 e g 赣鞋o l o g y ，盎ol n 凫燃鑫i o 鞋p e e 站矗 a 1 1s o c i a ld e p a n m e n t si sb e c o m i n ge v e rf b t e tw 王t ht h ee v * e x p a n d i n gq u a n t i t yo f c i a 呈 i 腧r m a t i o n ，也et r a d i 面n 巅d a b b a s ef 越l e dt os e r v em ei n c r e a s i n gb u s i n e s sn e e do fb o 魄 g o 懈m m e n td e p a r t m e n t sa t l de m e 印r i s e s i nm i sc o n t e x t ，m et e c h n o l o g yo fd i s t r i b u t e dd a t a b a s e ， p 袅r a 糙l 雄曩淤壤s ea n 鑫斧e 撤e a p 鑫c 毋鑫t 豳a 妇sc o 琳ei 哟b e i n go 鼗嚣a 殷rt 如o t h e r i nt 艇 m e 建娃涵e ，搬ep b l e m 文f 酣嫩协攮塔a n dm 赫a g i 秣盎w 硅辑黼dh 8 r d w 棚s y s e mh a sb e c o m e m o ma n dm o r ei m p o r t a n t ，1 融u sh o wt o 翎【o n 娃o ra 1 1 dc o f l t r o l 也eg r e 毡tc a p a e i 垮d a _ 【a b a s eb a s b e c o f n et h ev i t a lt a s kf b ro u re u r r e 嫩r e s e a r e h 。 t h j sp a p e rc h 0 0 s e sac e r t a i nl a 唱e s c a l et r a n s a c t i o np r o c e s s i n gs y s t e l na sr e s e a r c h p l 鑫t 勤黼+ b a s e do n 氇em a np b e m se x i s t i n g 洒t h ep r o c e s s e so f m o n i t o r i n ga 葛1 dc o n t r o i i i n go f 激eg 辑a 耄c 鑫p a c 毋d 鑫两a s e ，w ed e s 澹n 嚣n d 矗n a l l ya c c o h l p i i s ht h e 妇p i e m e n 协t i o no ft h e m o n i t o r i n ga n dm a n a g e m e n ls y 髓e 船o fg r 棼融e a p a c 纛y 出i 穗b a 辩，趣e l 砖i 魏gs y s 艳m 矗撺h i t e e 罐辩， r u nm o d e l ，m 趟u l e $ i 黔粕鑫k e y 耙c 奴o l o 鬈y 强em 蕤t a s 蛤醒援sp 基涔a 豫鑫s 南l l o w s ： c o n c e m i n gs y s t e ma 托h i t e c t u r e ，b 骶e do nt 1 1 ea n a l y s i so ft 1 1 e 您a t u r e so fl a 峭舢s c a l e 淞a n s a c t i o np f o c 。s s i n gs y s t e 黼a n d 讯e1 e v e l 墙a s e dm o 疽t o r i n ga 1 1 dm a n a g e 摊l 。n tm o d u l e ，w e d e s i g nam o n i t o 矗n ga n dn l a l l a g e m e n ts y s t e mo f g r e a tc a p a c t yd a t a b a s ew h i c ha d o p t e d3 - t i e rb s a 瓣h i 宅e c 瓤端撞n d & s i g 拄s y s e 搬拄瓣嫩l e c 抛f e 勰d 瀚m o d 蠢棼露l es p e e i 韪c h n c f i 烈辐a 班d 酗沧辩o l 戤沁n so f e 巍c h 瓣。硅聃l 霉i 轻m 好难扔痘毽嚣箍硅蕊鑫凇g e m o 珏s y s 妻e 融a r e 采s od i s c u s s e di nd e t 越1 l m t h i s p a p e n c o 琳e m i n gk e yt e c l n 0 1 0 9 酪w ed i s c t l s s 氆ek e yt e c h n o l o g i e sb 鑫s e do 琏t 董l em o a i 舱瘫糕a 越d m 锄a g e m e ms y s t e 】融t h i s 协c i u d e sm ep r o v i d i n 嚣锄da c c o m p l i s h m e n to f t h ed e v i c ef o ra d o p t i n g c o r 抟as e “# ra s 氇ew a yf o rs y 髓e mi n f o h n a t i o n n i 娜n g ；也ed e s i g na n d a c m p i i s l l l n 僦o f t 沁d o v i c e 稻rs y 惑e ma i l o c 鑫t i o 棘b a s e do n 臻ec o m b i n a 墩) no fi n 稻锄尊t 沁ns t o r a g ed a t a b a s ea i l d s y s t e mi b 嗍a 垃o nm 僦i t o 懒gw h 至c he 勰s o l v e 也ef 曲l e l 建o f 氆e l l e c t i 熊黼鑫a n y s i s 受f s y s 糖ms t 聪s t 量c 越i n f o 狂豫t 主o n ；躲dt kp f o v 撼i 娃ga 壬| d 鑫c e o 燃p l i s 函e 鞋o fs y s 耋e 瓣p 渺戚n g m e c k m i s mb a s e do nm en l l er e a s o n i n ga n ds i g nr e 8 s o n i n 黟 c o n c e m i n gs y s 咖a c c o m p l i s e n t ，b a s e do nt h er e s e a 她hm e n 士i o n e da b o v e ，w ed e s i g 矬 a n d 最n 甜l ya c c o m p i i s h 重量l em o n i t o r i n g a n dm a n a g e m e n ts y s t e mo f 斟e a tc 印a c i t yd a t a b a s e g 鼬d so nj 2 基e 勰硅e o r b a 1 拓气n e 羲锄si 黼l 翻es y 船ma l l o c a t i 粥a g e m c n t 牺rg r e a e 婶a c 童： y d a 曲8 s es y s t e 越，礅。难幻r i 雄蠡鼬韪s e 是黼t i o 珏i 潞稚i i o n ，m 。n i t o 妇g 镰e o a d c o n d i t i o no fa p p l i c a t i o n r v e ra n ds y s t e m s e r 嘴do 巧e c l m o r e o v o f i te 躐a l s od i 躜l a ys t a t i s l i c 越 i n f o m l 觚o na n dp r o v i d e 也e 矗m c t i o no f s y s t e mp r e w 拄m i 硅g 。弧e 专e s t i n 器黼s 蛙l ti n d i c 矗船sl h 如也 s s y s t e mh a ss u c c e s s 如n ys o l v e dt h em a i np r o b l e m se x i s t i n gi nt h ei n o n i t o “n ga r l dm a n a g e m e n t p c e s so f g 雌8 tc a p a c i 锣蠡t a b a s e k e yw b r d s ：g r e a tc a p a c 盼d a 妇b a s e ，b 熄s t 翔c 蛾雌，a l 赫e 艇 珏g 敝a 挂鑫黟糕e 矬t ，c o 毡媾l l 主聪 m o n l 蜘n 矬罄c o 薹t 释a ，至琏据疆e p 协r | | 国赫科学技术人学研究生烧学傍论文 豳娶景 蹦! 。l 大规模事务处理系统物理结糗示意躅，。1 图l 2 大规模事务处理系统功能模块图。2 强i 3c o r b a 2 。3 规菠中麴截获嚣模篷。，。7 熙t 。4 本文组织结构图。8 溺2 1 海茧数据瘁黢控与管理系统传系缝秘圈。 o 图2 2 海璧数据麾败控与管理系统运行模型，。，l l 辫2 。3 鉴控秘管理系统遮行瓣穿霆一。，。1 2 测2 ，4 照控靼管理系统送撑对序强二。i 3 霪2 。5 盛瘸系统管壤模块痰韶关系鬻1 4 溺2 。6 对象状态转换霆。i s 躅2 7 数据痒系统管理模块内部关系图1 7 辫3 。l 郝溪模块添老耩应麓对象蹿枣黧2 l 溜3 2 系统箔惠箍羧模块结构图2 2 溺3 ，3 蚕着强务器醚霍谨意工律时窿强2 3 胬3 4 统计信息的彼集示意图2 6 图3 。5 颈警模块搴意雷，。2 8 图4 1 配爱管理数攒库表关系图3 l 踅4 2 截获糕获凝对象实铡信息模型。3 售 图4 。3 监控与管理系统部署程序界筒4 l 圈5 。l 监控测试e p u 翻用率对比阕4 6 圈5 2 监控测试内存利用率对比豳4 7 图5 3 配鬣测试e p u 利用率对比鲻，。4 7 图5 4 配霞测试内存利用率对比图4 6 图5 5 统计测试c p u 利用率j ( 圣比圈，4 7 图5 6 统讨测试内存利用率对比豳。4 7 垦防辩学技术火学矫究生黢学侮沦文 表磊录 袭4 ，l 倦意存麓数据瘁毅务器节点铸怠袭络褥3 2 袭4 。2 接息存锉数掇库应用程序龆装售憨袭结稳，。3 2 裘4 3 僖惑存储效掇痒程序库信怠袭结构。，3 3 豪4 。4 馈感存锩数据疼对象性艉统计表终构，3 4 袭4 5 信怠存储数攒库节赢往蘸统诗表缩构3 4 表5 。l 测试环境黎置。，3 v 独创性声明 本人声明所量变的学位论文楚我本人在导师指导下进行的研究工作及取得 爵研究成果。尽我浙知，除了文中特别加淡称注和致谢的地方外，论文中不包含 其毽人已经发表和撰写过妇爨凳成果，也不包含毙获褥灏转辩学技术大学或冀宅 教肖机构纳学位或证书褥使用过的材料。与我一黼工作的同志对奉研究所徽的任 簿赏靛麓已在论文串作了骥确嚣谎臻并表零逡惑。 学位论文题目 学位论文作稽 学位论文版权使用授权书 本人突套了解麓跨零睾学技拳大学考美保罄、使用学位论文戆规定本人授权 国防科学技术大学可以保鳃并肉国家有关部门或帆构送交论文的复印件和电子 文裆，允许论文被查阅和借阕；可以将学位论文的全部或部分内容编入有关数据 库涟行检索，可茨聚爝影帮、缩窜或舞猫等复镧簪彀保存、汇编学位论文。 保密学位论文在鼹擞后适用本授权书) 学位论文题簿：薹重型墨熊熬煎连鬟魏鲞崖篷蕉塑箧垄基筑煎瑟塞兰塞魏 学位论文作者签名： 作者指导教师签名： 毯蝤 避 器期：口口f 年f 旁f f 嚣 日期：2 d 6 堂年f2 月，鞋 潮珐科学技术大学讶究生靛学倪论文 第一章绪论 1 1 研究背景 当今社会信息技术的迅猛发展，社会各部门的信息化进程不断加快，整个社会的倍息 鼗据羹不薮澎涨，建绫数豢瘁静容量释往嫠基经远远不i 满楚致痔郝f j 稻大鍪企整日藏增 长的业务需求，分布式数据库技术、并行数据库技术与海量数据库技术随之诞生并迅速得 裂长跫兹菱震瑟广泛熬瘟矮。2 整纪丸卡年我中麓以激，隧骜弼络鼓拳鲍发袋程毫子黉务 的迅速兴起，数据库技术在i n t e m e t i n n 舶e t 条件下发生了巨大改变，襁数据库的访问以及 管理方式等方露均取褥了较大发震。娄羲，数擐疼憨管理人员墨经不必企选数据库懿签量 太小和性能低下而感到棘手，最令他们束手无策的是以什么样的方式来监控和管理这然结 构复杂、靓模庞大的海曩数据露系统。 本文的研究平台怒大规模事务处理系统。下面对大规模搴务处理系统进行简要的介 绍。 网1 1 大规模豢务处理系统物璞结构示意图 图1 1 描述的是本课题研究基于的大规模事务处理系统的物理结构示意图。图中的c l 是一个幽多个数据库服务器组成的多节点数据艨集群，每一个数据痒集群采用存越局城网 ( s a n ) 存储体系结构，集群内部节点间通过内部以太网络保持相互之间的通讯，每个内 部以太网络对外提供8 个互连端日，这8 个对外互连端融分舅l j 接入到两囊外部互连网络上。 扶集群瀚外部税图看，每个集群对外疆供1 6 个互连端日，分别接入到两套外部互连网络 上。应用服务器通过千兆链路逡接到两套外部互连网络中，实现数据库机与外部的通信。 对乡 部夏连网络交换枫两言，每个交换枫为每个集群提供8 g b p s 的上行带宽，对应用服务 器提供3 2 个互琏端口，互连带宽为3 2 g b p s 。从图中可以看出，大规模事务处理系统的物 溪绪秘麓卡努笺杂靛。 第l 厌 雹然科学技术大学婿究生陵学位论文 由予整个系绞的数据霹集群数豢有近1 0 个，每个蘩群有6 至8 个服务器，数蕹瘁黻 务器节点惑体鼗摄遮羁了咒卡令。如梁献体系结鞫瀚角发采翔分，天瓶模事务处理系统满 予分蠢式并行数摄露系绫；艇果从数据露数翅度划分，出于系统楚壤鼗据蕊模已经遮到了 凡露t 转，该数据瘁系绞应该瘸予海量数攥痒系鲮。函魏，疑整体主讲，大麓模事务整理 系绞是一个具有分枢式与劳霉亍特点的海量数擐瘁系绕。 大娥模溪务处理系绞中采薅了分毒数据疼、并抒数掇疼、分蠢式对象诗舞戳及分奄式 事务处理等技术，它是由一缀事务处理中闻传和多个数搬库组成的服务平台，对多令异橡 自治数撼痒进行餐趣，并为用户提供缝一的馊眉葶曩喾理襁强。其中的分蠢诗舞环境采用了 目前分布对象计算标准c o r b a ( c o m m o no b j e c tr e q u e s tb r o k e ra r c h i t e c t u r e ) ，并使用符合 c o r b a 标礁的s t a r b u s f l 】( 耀防辩技大学自主研制) 乍为系绞开发秘运行乎螽，以儇 正系 统的可扩展性、可维护性、w 配置性和异构性的需求。s t a r b u s 是一个遵循c o r b a 舰范的 分 糍式软件计算平台，基于s t a r b u s 歼发的大援稹事务处理系统s t 甜t p m o l l i t o r 结捻上是旗 块化结构，嶷持斑用开发者渤态配道和改变功能，不需鬟修改应用代码，并且应用之间可 以遴行跨平螽的互操作。其主要特点是：1 ) 提供海麓信惫韵分布存储功能；2 ) 提供海童 蔼意的并行翱载功畿；3 ) 键供对海繁信息的并行查询与分祈功能；4 ) 为用户提供统一的 黠多个异梅爨治数撼痒懿管壤帮傻爝接懿；s ) 掇供离茸靠镌雒务，确揉大勰模事努处理 系统及萁管骥静数爨痒系统茏挚点必效简遂，即在革点失效的情况下可以芷常运行；6 ) 擞供系统在线井级功能，在零点失效情? 兄下霹淡在线数簿後复；7 ) 系统疑模稻楚建麓力 可以在线谲熬，并其鸯动态受载殇鬻秘裁。 h | 。产 协i 义 系统管理界蕊 交赢s q l 命令接翻lli d l 接益 数据 处理 服务 势褥数攥| l 并行妇载l i 访问模块f | 模块l i 数摇字典i l 备份恢复f | 搂块ll 模块| 数据游瓣 龇器鬻瘁 o 蒜攀妒| | 黑嚣 数据瘁私需= = 2 = = 习搿= = x = = 习= = ：皇 蠢漭汉l s 归a s e l o 糟c l e l 0 8 2 羯i 。2 大艇模事务鲶理系绕凌嚣模块圈 图1 2 魑大规模事务处理系统的功能模块图。从上面的介绍可以看出，大规模事务处 瑾系统璃予院较典鍪静分稚式荠 亍海蛰数瓣痒系统，它不仅结构复杂、规模鹰大，而且系 统内部功能模块数蹙较多，褶互之间关系复杂。因此，大规模事务处理系统的海量数据系 统熬黢控与警疆存在以下霓拿突出翔瑟： 系统黪醚甏管理稿题。魏就麓模庞大静海囊数辩瘁系统，让管理员记往每个集群的配 第2 嚣 蓊磊型医匿圈圈 统撑具。务暴盘王带敝 国耢辩攀技术i = i ( 学研究生院学位论文 鼹傧息或鬃爨逡各个服务嚣黪翱关参数几乎楚不哥缝躲，联以瘸盼么榉瓣方式存搂髑警淫 这魑攘息怒海蓬数撰库系统菠控秘赞理灼一个鬟要瓣题。 系绞信息骢贬羧闯鼷。海量数据库嚣构复杂、娥摸瘫大，袋露传么摆蛉方式黠罄个系 统抟数缀瘁鄹鼹务器避行蠢效的监控，濒时又戆将避数努系统懿彩拣减少戮蹬低稷疲跫数 据库监控和管理的羁一个重骚问题。 数攒瘁篱理与威用系统篱理的集成婚躐。一个大型灸数熄海蕊数攮露救控秘警疆遽鬻 分为数掭露餐避和旋躅系统管理两部分，数掇鬻管理是猎俸为数据艨本身的性能监滚( 鳃 表空简，索霉i 空阐等) ；应羽系统管理通常照企业搬掇自势不黼踯f 1 麴不聪、韭务嚣求，为 褥鄹菜些数据或这剿某些强的熬露并运行程数褥律系绞之上煞碰爝稷序( 例如嘲络负戴乎 衡a f l s ) ，这个褥个帮分罄瀚均存程各舀的簸控管疆系统，如筒籍褥套管瓒系统集成在一 麓怒管毽入爱菲常美心熬阍惩。 系统没囊统一游撬躅管理工燕。金蛰翁海鲞数据律系统大多建企避校据蠢身特点设诗 静，不燕鹩企鼗软、疆搏缩褥都不尽穗麓，这魏往褥没寄个管理工其可戳露所霄瀚海量 数攒霹系统提供鹫褫懿魏戆蕊接移罨绞鬻遴，遮藏系统维护入爨瓣系统整体状态簸乏煮 疆、全露熬了瓣，缭护工箨繁杂，z 佟效率低下。 收鬃统计售憨懿王镶鳖巨大，绞计缕票炭瑗不爨鼹。爱照爨予没霄秘感豹应穗黪莲系 鲮，舰之海爨数攥黪节轰多、数摆鬃大，逡藏了众鼗海鬟数糖露痣黪穗关绫计数摇收集王 俸无法进行。如巢慕嗣人工收集，工终量棼豢堕大，收集黔络暴袭瑷也不誊观。 系统缺乏楣关颡警，警数系统灾难秘斑愆错误出鼹瑟恢复工终滋竣野震。嚣# 枣秘上 的数据库管理系统，大多鄹商掇警功鼹，龆忽略了蓉绞预饕姻重要瞧，霹褒大型企照敦实 际或爝当中，国予备静软硬体故障、人为搡 乍失误帮瘸毒侵袭等原黢，经常使褥念她的数 据瘁系统爱剿灾潦攮的季下裔。在大观摸事物处理系统中，颡餐功黢羹是非常必要的，它能 程敝簿发燕翦囱管理员提示，以便管理员裰摄实际情况遘行判颧，及对采取捺麓，避熊故 障发生，躐将叠经发生酾灾菔损必降低到最低程发。 针对海羹数攒撵羽溢控耥管壤系统酱遮存在静确题，结食丈瓶模事物处耀系统的蒸髂 褥点，零文警要对海鬣数据簿系绞静蕊控与管理方瑟滋行了相关的研究，设计并实现丁 个基于彰s 缭稳静海爨数键簿鼗控与鬻莲系统，罄鬟讨论了海萤数攒蓐篮控与管联系统懿 死个荚键谯技寒阉麓，主要巍系统信息靛滥撵方法、统计嵇惠翡牧巢与分析方法潋及系统 的预警方疆。 唾。2 研究瑷炊 当前，数疆岸滥羧与餐骥工具发展迅速，出于许多的大黧企敛黥相关郝f 1 大量采用小 型服务器( 如刀片式暇务器) ，植应躺管理钦锌的嚣墩也羹攒数级上升，数攒瘁鉴控与管 理篱璎工其的竞争瞧弗常激烈。不仅些大公司不断推出新产菇，憋第三方的小公司也 表魏褥萍常活跃。本节将它 j 划分为豁控工具、管理工熟和配蕊工具三大类米介绍。润时， 繁3 蓑 国防科学技术大学残究生陵学位论文 为了更滔旗豹对比这些鏊控秘管理工具，本文还详缀列国了各类工獒掰樊备静替经。 监控工菇软件：益控工瑟要监控的内容穰多，憨体可戳分为三部分：盗控服务器运行 ：运芎亍状态) 、藏控媵务器邂信量( 包捶避粒出) 、数控蹶务器经瘸结巢( 翻恚、统汁、分 壤) 。t 霹l 于潋上各部分蕊控瓣产龋瞧都包含诲多功麓，逶鬻霹蔽按照班下方式遗行分类： 物理硬件监控，即监控谈如硬盘等部件的遗度、电源以及搬拨性能，囊震监控静大郯是糨 当关键数帮 孛，它燃一黑爨瑷故障就意姝饕鼹务器豫亳嚏。矮予鉴控磴孛 鲍款释逡繇避特定 的，一般不具备通用性。服务器性能监控，即监按服务器的c p u 使用率、可月磁蠹空闻以 及存健等豹躲控，黪别是在缀务器很多的惰况下，这溉可以镪助发瑷吴誊，也可以後化系 统资源。服务监控，所有的服务器都运行着很多服务( 如：d n s 、p o p 3 、t c p 等) ，其中 很多对于服努器运行都是至关重要的，如聚它们瞧瑷闽题，那么服务器墩就没有俸蠲了， 所以很多监控软件专门提供类似服务。网络监控，服务器监控的很多领域都会与操作瞬络 有关，所以两络盔控也经常被认为怒监控软 牟的单独一类，很多通爝服务器监控工爨都魏 含有这样的助能。 管理工其软件；在太多情况下，该类工蕻是数攒痒监控与管理的中心，它们对大量酶 被务器进行统一豹管理服务，这也就意睬者它们所提供功能会覆盏服务器管理的主要领 域。逶常，缀务器管理王其分鬼两类：金疆缀套传秘专播产赫。麓静商鼗斑孀领域应用最 广泛是套俸，它稍通常都是大型摄务器管理静一站式选替。方颟，诸如i b m 曩v o 5 锎 p0 p e n v i e w f l 6 l 等企犍级囊传罄楚企图覆盏黢务器警理熬主要矮域存铸、霹络、安全、 黢务器缝熊殴及较佟管理，努一方蘅，对于一些薰簧酶特褴躐功戆这些套律并没有完全包 捶，邋就搜褥其恐产品还蠢一定的生器空闲。这榉矗接导致了鼹务器磐理熬不阏方法；( 一) 大多数套薛怒试鬟建立一耱统一翡方法一致憨翅户界瑟，多平台支持，菠滔的簸蒙羧 制，统一的编码和结构攥浆，当然还真单一的供赞蕊支持。( 二) 专用产晶照然没鸯这么 大丽全，但怒它们经掌会逶避支持一些姆豫戆管理髂系( 魏嚣良藏故漉稷等) ，或援鸯独 特的用户界筒( 通常尾图形化) ，或配置有独特的特性( 通道些非骺规的方法来把功能 特性分组) 。管理产晶还可以分为单平台和多乎台系统，犬家遥常把窀们划分先m i c r o s o 是 系统管理和四大套件：i b mt i v o l i 、c au n i c e n t e r 、b m c 艄正r o l 、h po d e n v i e w 。但这样 的分类方式墩容易令人误解，因为还蠢一黛产品功隧大大增强甚至珂凇代替m i c r 。蠡的产 品。尽管如此，这赠产品从定位上述飚可以分为只能遴行在m i c r o s o r 操作系统服务器上的 软件鞠可潋运行奁多操作平台环境( 包括l i n u x 、u n i x 、m a co sx ) 豹软粹。在实际的使 用中，服务器管理软件可以糟定给特定的硬件( 如i b m 、d e l i 、a p p l e ) ，也可指定给特定 熬攥俸系统( 舞w i n 如w s 、l i n u x 、u n i x 、m a co sx ) 或者特定的服务器类毽。 鼯置工箕较释；配置工瑟软件的任务就怒装载服务器和调整臌务器运行的作业。一般 寒溅，最联毖黥姨叁羧是众鼗环境中瓣每一螽鼹务器餐是淤最佳效率运行，并麓够程必要 承辩溪被萋掰酝置虢逶应迁移、增翔以及变受等需求。这类软件也怒形式多样韵，包括有 性姥检测、魁录控制、交更管理、诲褥管理等任务款 牛。怒嚣管瑾较 牛明嚣鹣优势俸凝在 集巾积远羧餐理方露，它俊褥管毽爨不必觚躲瑾上去游闻簿鸯需要配麓懿鞭务嚣，还苜以 第4 夏 围陆辩学技术人学硪宠生陵学位论文 达到手动聚餐缀难达残靛弼多级别。这类软传产品一般帮肖疆确翦措商髓，有懿针对特定 揉捧系统，有豹针对祷定应帮类型( 最鬻髭豹是数瓣滓) ，还有豹燕针对特定静硬件。诸 如l 转艇弧v o l i 这撵熬数攥瘁监控与蛰理管理套 牛裁爨经镪台蠢鼹务器( 以及基予服务器懿 较件) 配鼹王县。露予醚置管理，旦某变更被帮署帮酝嚣，必缓善先麓绦该变羹麓够 藏镬王作，弗能砖蓉统带来预期的改善，这暹掌会涉及分摄舅志、搴l 牛搬卷搴珏性缝测试。 箕次，嚣要测定一转“成功”瓣置瓣撅难，熬熙蔹摄遮些拣臻寒餐霪熬置静爨粟。溺黠，人 们经常忽略的方藤鼹，配鼹褥理与系统安全措旌之间存在的必然联系，防火壤、端圈搽测 器、阀谍软 孛窝防病毒软l 毕，甚至磺如意豁口令璺改等都会影响到股务器躲露置过程，因 此，配置管理软件能否提供商助于安全的特性也是登关重要的【”。 长期以来，当提到数据库监控与管理工舆时，缀多入默认的选撵就遐服务器硬传供应 商。也就是说，如聚一个企业使用了i b m 、h p 或d e l l 的服务器，企业一般都是倾向于选 择这些服务器厂商各自的服务器管理工其。通常来浇这燕缀方便的，因为这些工爨都是针 对它们的服务器做过优化的。但楚，这些供应商提供的工具所覆益的功能却并不宛羧，而 且购买和服务的价格琼入。踅重要的蹙，个企娃内部稳往会使用柬自不同厂商、逡行不 耐操作系统平台的服务器，不同厂商的专业工具一越运行时的表现可能就远远不如使用第 三方专 j 为髯擒环臻设计豹餐瑾工爨，瑙显第三方较件通常逐能够掇供狠好的价格後势。 餐蔗，鲡采选择第三方静产潞，擞然是这鏊产品疆供一流韵特性，毽并不能缣证它们能够 与任 霉产晶一起蓑容携调王 搴。嚣摇暴金犍选择了擎一供应窿豹聚套产鼓，秘谓麴阉遂载 不存在了，毽蓬之瑟来豹是成本褡遴以获被锁定在一个镶斑鬻懿不爱活瞧。 出予犬缎摸事务处理悉缝鲍海鐾数握痒系统是 豢典型靛瑷 弋大型企业傣感系绞，疑 时，系统叉鸯褰瞧熊、骞可鼹、麓霹靠等矮体熬系绞要求，这裁镬缳现寄黪器类管骥工鬓 都无法完整地覆盏网络、生机、数据库和应用等嬲个影晌业舞运行层次，并嶷无法从业务 款翅度去揭拳这躜个层次瓷滚靛状态变豫怼渡务静影曦。因照，慕瘸嚣么榉黪方式瓣大栽 模事务系统的海量数据库系统进行整体的监控和管理，其监控和繁理系统采照什么样的体 系结构等溉懿都是个非常德得研究鹣 暴题。 1 3 1 监控磐理模式戮突 1 。3 糨关捷零 当前层次式的监控和管理模式主要分为两种：两层的c l i e 删s e r v e r 模式和三层的 b r o w s e 裰蕊v e r 模式。两鼷豹客户祝，服务器( c i i e n 瞒e r v e r ) 模式是鳝前采用鞍多的种体系 结构模式。这种结构比较适合于小舰模的、阕户较少、单一数据库且有安全性和快速性保 豫的弱域溺环境下，它其有专角毪强、交互往强等伉点掰，僵随着i n t e m e 盯i n r a n e t 迅速普 及和应用系统的大型化发矮，c 愿结构客户端负担重、移植豳难、系统维护复杂、嘲户界 瑟溅格鑫簿臀缺黪积不足嚣整凸现。手楚在这种祷蹴下，释薪静蔽臻模鼙溆夔器 瑟务器b w s e s e f v e r ) 结构激运瑟生。 第5 要 国防科学技术人学研究生院学位论文 三甓b ，s 结据楚针对早期静d s 二滋结梅改遴掇出静。三瑟影s 结秘将数据楚灌过程 分为三瑟：第一藩怒表示瑶( 瘸户器蕊) ；第二层是翡麓瑟，精于妊务逻瓣静实瑷，旋甭藏 务稷序均集中在这一层：第三层是数据殿，受责数掇售患鳇存键、游逼及其饯能。 据对二绥a s 绒梅露言，三簇懿塔缓穆在遵从静标灌、系统灵活牲、安全淫戳及系统 界耐风格和使用方法等方蘧蠢极大姻优势，同时，袋甩8 s 体系结梭的系统在系统没诗秘 运行维护难易程度 获及企业的成本终冀燕度瓣方露都谯予c 藤体系练梅鹣系统，麴之b 蕊 结构使用的熙i “t e m e t 的w 如技术，因而更适合当今网络环境下的信息的发布，掇展了传 统的数据库巍用的功能，更遁合现代企、韭_ 琴爨i n 钯m e t 对伐躲甓要。 l 。3 。2c o 黼点及截获器技术 c o r b a 【删( c o m m o no b ；e c tr e q u e s tb r o k e ra r c h i t e c t w e ，公用对象诸求饯理体系) 理已 成爻分匆式较件开发的主溅平台技术。现蠢操传系绞窝矮 譬乎叁的 王一组会足乎都支持 c o r b a 技术。它为阿移植的、面向对象的分布式计算应用摆序提供了不依赖于平螽的编 程接口和模裂，它不依赖予编程谗言、计算平台、熙络协议的特点，使莫非鬻适合予埋青 的分布式系缆应用程序的开发和集成。 c o r b a 蕊范中的截获器技术f l s 】为实现服务对象状态管理提供了便穗的鳃决方法。截 获嚣是c o r b a 2 3 规范掇出的一种黧簧思想，它可以将o r b 服务插入到对象调用路径中。 截获器提供了一种将可移撩静0 r b 鞭务蹭加至8 遵循c o r b a 规范静对象系统的搿度灵活 的方法。采髑截获嚣技术可以使o r b 内部韵服务弱确分离，实现不弼o r b 服务的独立与 共存。准确豹澄，c o r b a 麓范中；l 入静截获器教米是为了熊够程0 r b 雨棱便携鹩加入 o 鹣服务。 一令截获器霹默受费执行一个或者多个o r b 滕务。逻瓣上游，在一个餐户释夺甓 繇对象之溺静潺聪( 帮疫镣，路径孛，胃激插入一个截获器。在c o 硒a 2 ，3 的蕊范中定义 了弧类截获爨( 如图1 3 ) 腰示，篷戆请擞级截获嚣秘消患级截获嚣。谤求级裁获嚣受簧 楚理绘定瓣潺求。瀵求缀裁获器袭请求级瓣o r b 懿执行过穰遴符裁获， | 冀娄兹请求为裱 据进行相皮处理或调用o 鬏b 服务。访闯控镱服务和罄务目受务都可以避过请裳级截获器援 入到o r b 执抒路径孛。消息缀截获器受责发送窝接收溃患。淤惑缀截获器是叛g 妁p 渗惑 为处理对象，目髓只商加密认证服务采用消息级截获器。 海量数攥库监控与管理系统中的对象状态监测劝戆主要通过请求级截获器对请求秘 应答的处理完成的，因此简要介绍一下请求级截获器。普通请求级截获器主要由下面三个 部分构成： 截获器稽架是o r b 内核的组成部分，截获器子系统的主要模块。其功能包括请求级 截获潞和i o r 截获器鹃注翁、截获嚣鞠管理和谪髑、在o r b 内核中设置截获点、在客户 方和服务方之间传递o r b 服务上下文、请求级截获器的多线机制替。 请求缀截获器燕截获器子系统，它为请求缎截获器提供了基本的接口，氆并不实现兵 体瀚请求缀截获器，蕊其体实税是国o r b 服务开发人员完成的。 繁6 _ 嚣 酱簖科学技术大学研究生院学位论文 圄布罐型爿嬲l 雀 箨户靠ll 客户撑 潍患壤 = = = ：爿卜 还趸稷序露壤惠表p 器a m l 渤l 蕊) 都要穰攒驻务器节点 戆 p 邈懿楼一礁怒部署计划戳及应瓣程_ | 挚，溺魏，本文选歆i 弹浦d 糖s s 律为服务器节点信 息袭救关键字。 艨爝程廖瓤瀑售患袭( p g r 8 撵d 镩l o y ) 设毒卡 袭4 2 信息存储数据艨应用褪_ | 葶部署信息表结梅 名称数据类型 备注 注释 p r 0 姆蝴i d n u m b e r ( 2 0 ，o ) n o t n u l l程序编号 i p a d d r e s s r c 昶a r 2 ( 1 6 ) n o t n u l l豁署服务器p 煺皱 c 1 u s t e r n 锄ew 瓜c l u 毪( 2 0 )n o t n u l l部署豢群名称 d b f d n u m b e r ( 4 ，o ) n o t n u l l部署数掘痒搪疵编号 o s i d n u m b e r ( 4 ，o ) n o t n u l l部署操作系统相成编号 d b n a m e 镰波壬 a 致2 ( 2 0 ) n o t n u l l所属数据库名称 s t a r t s t a l u s删b 嚣r ( i ，o ) 开始状态 s 镪n 差怎v e l 豫j m b 嚣r ( 1 ，国搿始级剩 s t a r 【p a f e t e r r e a r 2 ( 2 0 0 )程序参数 s 妇f t n u 黻醅r k u m 8 8 r 霹，妨 盛动数量 r e g i s t e f a f l s n 啪ev a r e 凇r 2 ( i 0 0 ) 注册a f l s 名称 跣p l o y c o 】越琳e 撼 v a r c | a r 2 绉0 e )稷窿注释流明 第3 2 夏 霄蠊科学技术大学硪究生院学位论文 应瑙程穿部番悠怠表受赛存放大巍摸事务楚淫系统应翅程序都餐娆划韵稻关信怠，在 表瓣设跨实撬过程中，豫了霈要设鬣程序i 癸和需要鄢署酌服务器i p 地疑等墨有信息外， 逐要将爨詹鲍开始状态、野始级别、相关参数、菸劫鼗堂蔽及在a f l s 瓣注瓣名称淹对保 存，在关犍字鹊设诗方瑟，蠡l 于一个部署诗黧可黻镶含多个程滓鞫多个滚务器节点，因就 纛要由p r o 搿a l n l d 却i p a d d 端s s 魂个关键字才能瞧一确定一个部鬈蠼划硬。 爨黟疼镶感表( p r o 窭r 8 m l 谗k 受) 设诗 表4 3 信息存罐数攒库穰序摩信息表结构 名称数摄类型备注 注释 p r o g r a m i dn u m b e r ( 2 0 ，o ) n o t n u l l稷序编号 o s i d n u m b e r ( 4 ，o ) n o t n u l l邋用操 乍系统袒应编号 p r o g r a m n a m o讯c h a r 2 ( 4 0 )程序名称 d b l d n u m b e r ( 4 ，o )数据库版本相应编号 p r o 蹦l m v c r s i o nv a r c h a r 2 ( 2 0 )稷序版本 u p d 船氍m e d a ：r e 更新时间 c o n l m i t t i m 0d a t e 提交时间 p 黜c o m 黼髓tv a 跹联a l 毪) 磴净注释 程序疼傣患表受责存放缒用程序，整个大怒攘事务处理系统的瘦用稚痔瀚数鬣脊上千 个，龆释有效翡管瑾这些溉朔酝又有区剐的应雳稷净是嚣常蘩要韵事情，通常情况下维护 人爨不仅同一时阙提交鳇程廖会骞缓多，薅星攘阏稷序名称熬程序瞧会毒锻多不瓣的缀 本，鞭j 毙，零交为簿令程黪都竣定令翠猿的般。辨融l d ，并量将p r 。g r a m d 设鬟为程 序信息苦的关键字。这样徽的结果慰无论薅个程序寿多少耀似鲍缝方，只要蠢一点不同， 系统藏单独分配不慰娓p r o 豁燃国，摄然这襻 睾臻趣了程序露戆容量，增鸯鬟了信爨露撩数 攒库的负衡，但是却使得每个部署计划的程序楣关信息都更加的瀵嘶明礁，减少了应用程 序嘏聂之阗的混淆，提裹了整个数努系绞运簿的霹嚣性。 4 + l 。2 系统统计功熊 海量数据库监控与管理浆统的统计功鼹怒监控与蟹理系统款冀螫功能之一，它能够按 照管理员敕娶求透行糖关统计数撼静收集，势漶收集裂数统诗傣患戳数据瘁裘鲍形式存姥 在信息数据瘁当中，最终按照蹑求的粒度以图形的形式展现绘管理人员。海量数攒库监控 与管遐系统的统计主要分对象性能统诗和节感性黥统计鼹类，本第奎要对其表携络搀设诗 和实现过程做详细介绍。 对象性能统计表( o b i e c 溉f o ) 设计 对象性能统计寝负责收集系统对象的相关信息，由于同一个对象可以部署在不同的服 务器节点上，润一个节点上又可醴在不同的端口上鄢器楣丽的对象，所以，对象谯能统计 库表设计和实现过程中采潮了n a m e 、i p 和p o r t 三个关键字，这样就可以清楚的区分开 第3 3 菱 国防辫学技术文学毳珏究生阮学位论文 所肯的对舔，从蕊可以分别收集全部的对象历史偿息，为管理人员查看对象历史，调整系 统部署以及系统预警提供楣应的袄据。 表4 4 信息存储数据库对象性能统计表结构 名称数裾类黧备注注释 n 锄ev a r c h a r 2 ( 2 0 )n o t n u l l对象名称 ll p w 匮c 壬a r 2 ( 16 )n o t n u l l对象糟遥址 p o r t r c h a r 2 ( 2 0 0 ) n o t n u l l对象端口号 王i s 留g 鬟e q c o 珏撼黼醚8 e 叠秘， 爨变请求数 h i s t o r y a v e n m en u m b e r ( 4 ，o ) 历史平均响成时间 r 麓c o 蝌n u 麓器量r 4 ，国 慧谚求数 m a x r e q t i m en u m b e r ( 4 ，o )最大响应时间 m i n r e 程m en 删8 e 鞋毒妫 最枣桶应霹阙 a v e r e q t i m e n u m b e r ( 4 ，o )平均响应时间 s 妞t e 觚m b e r ( 1 ，o )对象状态 t i m ed a r e 记录时间 节点性能统计表( n o d es u m i n f o ) 设计 节点饿能统计表负责节点的相关信息的收集，出于繁点i p 的唯一瞧，这个表选取 n o d e i p 佟为关键字。节点性能统计表不仅可以为管理人员提供节点信息的历史记录，更 重要的是为预警功能提供枣实支持，预警模块当发现节点历史信息的图形趋势出现异常 辩，根据麓鋈g 控翻的设置淘系统管理员发出系统可熊出现阀题的预警，戳便管理员根据实 际情况检资系统，大大减少了出现系统错误和系绕灾难的可能。 表4 5 信惑存储鼗蠡痒节点链匏统计表结构 名称数据类型备注注释 n o 鑫e l p 、後r c 王a r 2 ( 1 辩0 t n u 毛毛 节点穆缝蛙 c p u u s o r r a t i o f l o a t ( 4 ，2 ) 】 用户c p u 利用率 c p u n i c e 酝i o f l 0 船黪，2 ) j e & j 攀l 震搴 c p u s y g t c l n r 矗t i 0f l o a t 【( 4 ，2 ) 】系统c p u 利用率 c p u l d 毛r 皱i of a t f ( 4 2 强 接墨i c p u 裂弱率 m e m r a t i o f l o a t ( 4 ，2 ) 】 内存利用率 p f o c e s s n u m n u m 8 e r ( 4 ，e ) 进程数量 t i m ed a ：r e 记录时间 4 2w 曲服务器的设计与实现 在海鲞数据痒簸控与管理系统麓三层簿系结稳溺中，讯b 簸务嚣彳乍为中阀一层怒营承 第3 4 页 国掰车毒学技术大学磅究生巯学煎论文 上启下”的作用，它既要负责接收客户机浏览器发送过来的j s p 页面请求，根掘页西的其 体情况调掰相应的s e r v l e t