（计算机科学与技术专业论文）自适应可扩展的unix主机信息采集系统设计与实现.pdf

自适应可扩展的u x 主机信息采集系统设计与实现 摘要 随着i t 网络规模和复杂性不断增加，对网络进行有效管理，保证 网络的运行质量，变得越来越重要。主机管理是i t 网管中不可忽视的 一部分，一般情况下人们都采用s n m p 来获得设备主机的相关信息。但 是对u n i x 主机而言，并非所有的设备信息都能通过s n 3 压p 来取得，因为 s n m p 中的一些变量是不可访问的，而且另有一些需要管理的设备信息 s n m p 不提供支持。 本文设计并实现了一套独立于s n m p 的u n i x 主机信息采集系统，对 自适应高可扩展主机管理信息采集机制进行了研究，并对以下关键技 术问题给出了解决方法： 1 ) 负载自适应插件式的a g e n t ：一套负载自适应插件式的基于命 令结果语义解析的a g e n t 机制。该机制完成主机性能数据采集，具有 良好的可扩展性，并能调节采集周期以适应主机负载情况。 2 ) 通用语义解析框架：定义用于描述管理指标解析的通用解析 原语及运算规则，设计了通用解析引擎，该引擎以主机端部署a g e n t 上报的源文件作为输入，通过分析解析原语并进行运算，得到所需的 管理指标值。 在对上述关键问题研究并给出解决方案的基础上，基于j a v a 、c 、 s h e l l 等技术对本文提出的解决方案进行了实现，并在某金融行业进 行了实际应用，取得了良好的实际效果。 关键词：网络管理主机管理管理信息采集语义解析 t h er e s e a r c ha n d 脚l e n 烈to f s e l f a d a p t e da n de x l 】团n s i b l ein 寸d 盯o r m a t i o n c o l l e c t i o ns y s t e m a bs t r a c t a l o n gw i t ht h ei n c r e a s i n gs c a l ea n dc o m p l i c a c yo ft h en e t w o r k , ，i t s i m p o r t a n tt om a n a g et h en e t w o r ke f f e c t i v e l ya n dk e e pt h er u n n i n gq u a l i t y o ft h en e t w o r k m a i n f r a m em a n a g e m e n ti sa ni m p o r t a n tp a r to fi p n e t w o r km a n a g e m e n t , g e n e r a l l ys p e a k i n g ，s 舢i st h em a i nm e t h o dt o c o l l e c tm a i n f r a m ei n f o r m a t i o n b u tf o ri 肌xm a i n f r a m e ，s n m ：pc o u l d n o tg e tt h ew h o l ei n f o r m a t i o nw en e e d ，b e c a u s es o m eo ft h e ma r en o t s u p p o r t e db ys p t h i s p a p e rp u t sf o r w a r das n m p i n d e p e n d e n tu n i xm a i n f r a m e c o l l e c t i o ns y s t e m ，a n dg i v e so u tt h es t r u c t u r eo ft h i sm e t h o dt om a k ei t a c c o r d 谢t l lt h ed e m a n d so ff l e x i b l ec o l l e c t i n g ，s e l f - a d a p t e dc o l l e c t i o n ， a n da l s od o e ss o m er e s e a r c ho ns o m ek e yp r o b l e m sa n dg i v e su st h e s o l u t i o n st ot h e m 1 ) s e l f - a d a p t e dp l u g i na g e n t ：h i 曲e x t e n s i b l e a n d l o a d i n g s e l f - a d a p t e da g e n t b a s e do ns e m a n t i c a n a l y s i s m e c h a n i s m t h i s m e c h a n i s mi m p l e m e n t e dp e r f o r m a n c ed a t ac o l l e c t i o n 2 ) u n i v e r s a ls e m a n t i ca n a l y s i sf r a m e w o r k ：d e f i n i n go fu n i v e r s a l a n a l y s i sp r i m i t i v es y m b o la n do p e r a t i o nr e g u l a rw h i c hd e s c r i b e dt h e s e m a n t i ca n a l y s i so fm a n a g e m e n ti n d i c a t o r s d e s i g n e du n i v e r s a la n a l y s i s e n g i n ew h i c hb a s e do ns o u r c ed a t as u b m i t t e db ya g e n td e p l o y e do n m a i n f r a m et oa n a l y s ep r i m i t i v es y m b o la n dg e tm a n a g e m e n ti n d i c a t o r s v a l u e o nt h eb a s eo ft h er e s e a r c ha n dt h es o l u t i o ng i v e no ft h ek e y p r o b l e m sl i s t e da b o v e ，t h i sp a p e rg i v e so u tt h ej a v a c s h e l li m p l e m e n to f t h es c e n a r i o t h i sm e c h a n i s mb a s e ds y s t e mh a da l r e a d ya c t e do na f i n a n c i a ls e c t o ra n dg o tg o o dr e s u l t s k e yw o r d s ：n e t w o r km a n a g e m e n t ，m a i n f r a m em a n a g e m e n t ， m a n a g e m e n t i n f o r m a t i o nc o l l e c t i o n ，s e m a n t i ca n a l y s i s 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期：2 乏至：卫 关于论文使用授权的说明 本人完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在 校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校 可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段 保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 本学位论 本人签名 导师签名： 本授权书。 日期： 日期：2 ：翌2 i ：12 北京邮电大学硕士研究生学位论文自适应可扩展的i j n i x 主机信息采集系统设计与实现 1 1 课题背景 第一章引言 随着信息化进程的深入，当前各大企业都在不断的加大对信息设备的投入， 逐步实现生产、经营、管理的信息化。i t 设备的种类日益繁多、规模不断扩大、 网络的复杂性不断增加，异构性越来越高，尤其是随着i t 设施用户数和业务规 模的增长，计算机系统的复杂程度更是呈几何级数增长；同时，为了充分利用组 织内部的i t 资源，众多生产经营模块又纷纷上马，组织内部对于i t 基础设施的 依赖性空前强烈，甚至网络与i t 系统性能的好坏变成了企业能否顺畅运行的晴 雨表。 在这种情况下，如何最大限度地提高组织内部i t 资源的利用率，以最少的 投入获取最大的回报已经成为面临的重要问题，并且形成了i t 基础设施在管理、 运行、维护、服务保证及业务支撑等方面的一系列挑战。 单纯依靠网络管理员的个人经验与能力很难完全解决上述复杂i t 基础设施 管理中面临的众多问题，无论是对于业务管理还是i t 基础设施的管理，都必须 执行更加严格的计划、分析和控制流程，从结构上对i t 管理进行彻底革命，使 它真正成为一种业务控制技术，而不再是一个单纯的技术“黑洞 。为了有效管 理异构i t 基础设施，需要科学的i t 管理理念指导，同时配备全面完善的i t 基 础设施监控管理系统，通过系统自动收集、分析、监测与更新所有被管理资源， 帮助网络管理员及时了解网络中各个节点的运行状态和数据，改善系统运行状 态、预防系统故障发生，保证i t 基础设施稳定高效运行n 。 主机作为信息服务的承载基础，对其进行监控管理显得尤为重要。主机管理 是i t 网管中不可缺少的一部分，一般情况下人们都采用s n m p 来获得设备主机的 相关信息，但是针对u n i x 主机而言，并非所有的设备信息都能通过s n m p 来取得， 因为s n m p 中的一些变量是不可访问的，而且另有一些所需的设备信息s n m p 本身 没有提供支持，所以需要研究独立于s n m p 的u n i x 主机信息采集方法，并开发相 应的系统。 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 1 2 研究任务与内容 本文在总结现有的网络管理数据的采集方式的优缺点基础上，研究提出一种 完善的、具备良好的可扩展性和自适应性、资源占用率低的u n i x 主机数据采集机 制，给出基于j a v a c s h e l l 等语言的实现，并在实际项目中检验以提升该机制的应 用价值。 研究内容包括： 1 ) 设计一套可扩展性好的插件式的基于命令结果语义解析的a g e n t 机制，并 实现可控的时间周期框架，通过获取主机负载情况，调度a g e n t 采集频率 以适应采集目标主机的负载情况； 2 ) 设计了一整套命令语义解析规则，定义了用于描述管理指标解析的通用 解析原语及运算规则，设计通用解析引擎。 本文的创新点： 1 )自适应插件式的a g e n t ：数据采集a g e n t 部署在被管目标主机端，自主负 责数据采集并将采集结果数据文件发送服务器端解析。当出现新增采集 指标时，无需修改采集a g e n t ，只需在指定目录下部署插件式脚本即可实 现动态扩展。当被管目标主机负载过高时，可通过调节a g e n t 采集周期降 低a g e n t 对被管主机负载影响。 2 ) 设计并定义通用语义解析框架：采用服务器端通用语义解析引擎实现对 采集数据文件的通用解析，对指定的采集指标，只需编写对应的由解析 原语和运算符描述的规则文件，以规则文件和数据文件作为参数输入解 析引擎，即可得到性能点指标数据。由于新增指标无需修改代码只需编 写规则文件，所以实现了良好的扩展性。 1 3 研究生期间工作 本人作为北京邮电大学网络与交换技术国家重点实验室的一名研究生，参加 了多个网管系统开发项目，对网管相关理论和技术有了一定的认识，尤其对i t 网管中的主机管理进行了较为深入的研究。攻读学位期间参与的项目主要有以下 三个。 1 作为主要参与者之一参加“辽宁农信i t 资源监控管理系统”项目。该系 统全面管理辽宁农村信用社网络中的i t 资源，并对关键业务运营进行监控。个 人职责：针对金融领域对安全性的要求，设计开发基于动态任务的a g e n t 插件方 式u n i x 主机信息采集系统，由部署在采集目标u n i x 主机上的基于脚本命令的采 2 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 j 襄a g e n t 和部署在网管服务器上的命令结果语义分析处理程序组成，完成对被管 u n i x 主机的管理。并协助完成系统的调试、部署、培训工作。 2 作为主要参与者之一参加“爱立信i s m p 管理系统 项目。该系统作为爱 立信承接中国网通项目的一部分，为各地网通提供综合业务管理平台。个人职 责：研究t e l n e t 协议及其实现方式，以t e l n e t 方式实现对u n i x 主机的性能采集、 配置采集以及进程监控。根据环境需求，研究并完成网管系统后台程序向 s o l a r i s 的移植并协助完成爱立信网管系统在北京网通的部署及初步测试。 3 作为主要参与者之一参加“全国无线电管理信息系统 项目。该系统提 高了全国无线电管理水平，使宝贵的无线电频谱资源等到更加合理、有效地利 用，使无线电技术设施建设能够基本适应无线电管理工作的需要。个人职责： 完成该系统的告警前转功能：通过客户提供的w e b 服务，将符合的告警消息以短 信的方式发送到管理人员的手机上。 1 4 论文结构 本文共分七章，内容安排如下： 第一章引言，介绍本课题的意义、任务等； 第二章网络管理数据采集技术，概述国内外网络数据采集研究现状及发展 趋势，并在此基础上提出自适应可扩展的u n i x 主机信息采集方式； 第三章主机管理信息通用采集机制框架及关键技术研究，阐述主机管理信 息通用采集机制框架的设计思想和整个系统架构，并对遇到的技术 问题进行研究，并初步给出解决方案； 第四章主机管理信息通用采集机制框架的设计，对基于命令语义解析的采 集机制进行了详细设计，并给出了数据采集的控制机制和实现机制 原理； 第五章主机管理信息通用采集机制框架的实现及实验验证，在上一章的基 础上，给出了主机管理信息通用采集机制的具体实现； 第六章结束语，对本文工作进行全面总结，给出本文所取得的成果，指出 存在的不足和改进方向。 3 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 第二章网络管理数据采集技术 2 1 数据采集技术 2 1 1 概述 数据采集是整个网络管理系统的基础。所谓数据采集就是对所关心的设备通 过某种网管协议( s n m p 、t e l n e t 等) 进行网络监控、故障分析和所需信息的收 集工作，例如对路由器c p u 的利用率、内存利用率、交换机端口流量等参数的 采集。 数据采集对采集的方法、形式、数据内容等没有固定的限制与界定，它是一 种灵活的计算机网络获取信息的方法的总称，只要可以有效的、正确的、稳定的 获取为某种目的使用的信息的过程都可以定义为数据采集，它是一种广义的应 用。 在数据采集模型中，一般采用管理者代理的管理模型。该模型也是网络管理 中普遍采用的管理模型。 如图2 - 1 所示，典型的网络管理系统包括网管站、管理代理、管理信息数据 库和网络管理协议。 图2 1 通用网络管理模型图 n m s ( 网管站) 网管站运行网络管理软件，向管理代理发送查询报文，以查询网络设备运转 状态、配置及性能等信息，并接收来自管理代理的响应及陷阱报文。通过构建直 观拓扑图等方式，网管站可协助网络管理员确定一个网络设备、部分或整个网络 的运行状态。 a g e n t ( 管理代理) 管理代理是驻留在网络设备中的软件模块，负责获取本地设备运转状态、设 备特性、系统配置等信息，处理网管站请求报文，并将设备信息形成响应报文发 送给n m s 。紧急情况下，如接口状态改变，可以发送陷阱报文的方式通知。 4 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 m i b ( 管理信息库) 管理信息库定义网络管理系统控制的数据对象，是监控网络设备标准变量定 义的集合。网络管理员可以直接或通过管理代理软件来控制这些数据对象，以实 现对网络设备的配置和监控。 网络管理协议 网络管理协议是网管站和管理代理间传递管理信息的规则集合，用于在网管 站与管理代理间传递和解释操作命令，使管理信息库中的数据与设备的实际状 态、工作参数保持一致。 从管理代理方面来划分，我们可以大概的将数据采集分为以下三类：1 ) 基 于公有代理的数据采集，2 ) 基于私有代理的数据采集，3 ) 其他采集方式。 2 1 2 基于公有代理的数据采集 所谓公有代理，即在业内被普遍认可和使用的代理。这种代理方式已经比较 成熟并被规范定义，已经得到广大设备厂商和使用者的认可。这方面比较具有代 表性的是s n m p 代理和w m i 代理方式。 2 1 2 1 基于s n m p 的数据采集方式 s n m p 即简单网络管理协议，在s n m p 中，管理对象是分级定义的“盯。可 能是由于s n m p 易于实现的缘故，目前s n m p 是最广泛应用的网络管理协议。在 s n m p 管理模型中有三个基本组成部分：管理进程( m a n a g e r ) 、管理代理( a g e n t ) 和管理信息库( m i b ) 。s n m p 管理模型使用了嵌入到网络设备中的管理代理来收 集网络通信的信息和有关网络设备统计的数据，并把这些数据记录到管理信息库 ( m i b ) 之中，管理进程则通过向代理的m i b 发出查询信号来得到这些信息。这一 过程叫轮询( p o l l i n g ) 。另外，在被管理设备中的代理可以在任何时候向管理进程 报告出现错误的情况，例如超越阈值界限的程度等等。这些错误情况就是s n m p 自陷( t r a p ) 。 s n m p 协议的最大优势就是设计简单，既不需要复杂的实现过程，也不会占 用太多的网络资源，非常便于使用。s n m p 协议的另外一个优势就是使用非常广 泛，几乎所有的网络管理人员都喜欢使用简单的s n m p 来完成工作操作。这就促 使各大网络硬件产品商在设计和生产网桥、路由器等网络设备时都加入了对 s n m p 协议的支持。良好的可扩展性是s n m p 协议的另外一个可取之处。因为协 议本身非常简单，所以对协议的任何升级或扩展也非常方便，从而能够满足今后 网络的发展需求。 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 s n m p 协议的最大问题还是由于太过简单而无法处理各种细节信息，无法满 足当今日益膨胀的网络的发展需要。当然，现在对s n m p 协议所做的一些升级版 本暂且不谈。s n m p 协议的另外一个缺点是所取得的数据信息相对于当前的设备 状况来说存在时延( 不能忽略) ，而且这个时延目前没法对他进行操作或者限定。 2 1 2 2 基于w m i 的数据采集方式 w m i ( w i n d o ws 管理规范，m i c r o s o f tw i n d o w sm a n a g e m e n ti n s t r u m e n t a t i o n ) 最初于1 9 9 8 年作为一个附加组件与w i n d o w sn t4 0s e r v i c ep a c k4 一起发行， 是内置在w i n d o w s 2 0 0 0 ，w i n d o w sx p 和w i n d o w ss e r v e r2 0 0 3 系列操作系统中核 心的管理支持技术 1 。 w m i 是w b e m 模型的一种实现。w b e m 即w e b b a s e de n t e r p r i s e m a n a g e m e n t ，或基于w e b 的企业管理，w b e m 由d m t f ( d i s t r i b u t e dm a n a g e m e n t t a s kf o r c e ，分布式管理任务组) 在许多厂商的支持下创立，包括s u n 、m i c r o s o f t 等。w b e m 的目标是为管理企业环境开发一个标准的接口集。w b e m 模型最关 键的部分是它的数据模型( 或描述和定义对象的方式) 、编码规范( e n c o d i n g s p e c i f i c a t i o n ) ，以及在客户端和服务器端之间传输数据的模式。 w b e m 的数据模型是c i m ( c o m m o ni n f o r m a t i o nm o d e l ，公共信息模型) 。 c i m 是一个用来命名计算机的物理和逻辑单元的标准的命名系统( 或称为命名模 式) ，例如硬盘的逻辑分区、正在运行的应用的一个实例，或者一条电缆。c i m 是一个面向对象的模型，使用一组面向对象的术语进行描述。c i m 包含类( c l a s s ) ， 类是被管理单元的模板。类的实例称为对象( o b j e c t ) ，对象代表着底层系统的 一个具体单元。名称空间( n a m e s p a c e ) 是一个类的集合，每个名称空间面向一 个特定的管理领域。类包含属性( p r o p e r t y ) 和方法( m e t h o d ) 。 c i m 分为三层。第一层是核心模型( c o r em o d e l ) ，这一层包含的类定义对 于所有管理领域来说都是共同的。第二层是公共模型( c o m m o nm o d e l ) ，这一 层包含的类定义对于特定的管理领域来说是公共的，但与具体的操作系统和系统 设计无关。第三层是扩展模型( e x t e n s i o nm o d e l ) ，这一层包含的类定义与特定 的操作系统或技术有关。 在m i c r o s o f t 数据模型的实现中包含了存储元数据( 模型中的类及关系) 和 存储管理数据( 类或关系的实例) 的知识库。数据、类和事件提供者向知识库提 供数据，管理应用程序或脚本则通过w m i 存取该数据。通过w m i 可以访问、 配置、管理和监视几乎所有的w i n d o w s 资源，它提供了一种发现和获取数据的 标准方式，设备驱动程序可以使用该服务向用户模式应用程序提供所有种类的数 据。但是w m i 技术也不是十全十美的，它是一个新标准，受到操作系统的限制， 6 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 而且c i m 得到的支持并不完善。 2 1 3 基于私有代理的数据采集 私有代理是相对公有代理来说的，一般是指网络管理系统开发商或网络设备 商自己开发的代理。这类代理并没有得到业内的普遍认可和使用，它们只是基于 某种特定的需求而被开发出来的代理。私有代理技术中，根据代理是否可以自主 移动，分为普通a g e n t 方式和移动a g e n t 方式。 普通a g e n t 方式其表现形式与上面讲到的s n m p 代理方式相似，它们都是 驻留在目标设备上进行数据获取的。不同的是，普通a g e n t 方式的内部实现和外 部与网络管理服务器的连接形式。由于这些普通a g e n t 都是网络管理系统开发商 或设备商自主研发的，其实现形式也各不相同。 文献n 1 中提出的传统a g e n t 采集监控方式，由部署在被监控主机上的a g e n t 软件实现对关心指标数据的采集和管理，采集数据经过压缩处理后，传输给监控 服务器，完成监控数据的呈现和存储等后期操作。其优点是管理力度比较深入。 缺点是不易扩展，当出现新增管理指标或变更管理指标的计算方法的情况，就需 要重新修改软件以适应新的需求。 2 1 4 其他采集方式 除了上面两节所介绍的几种数据采集方式外，还有很多其他的数据采集方式 如被动采集、串口采集等。 t e l n e t 采集 文献聃1 提出了一种基于t e l n e t 协议的数据采集方式，采用t d n e t 协议对远程 主机进行登陆，使用命令的方式对远程主机的性能配置等信息进行采集。该方式 的优点是管理深度比较深入。该方式的主要缺点是由于t e l n e t 协议传输的数据都 是用明文方式传送的，很容易被第三方嗅探工具捕获到主机登陆口令，在安全性 方面存在很大隐患。同时也无法解决网络中断期间主机的管理。 r m i 采集 文献n 0 1 提出了一种基于r m i 技术的主机管理方案，该方案通过客户机程序 定位到远程对象，然后调用远程方法，再对远程调用方法的返回结果进行处理， 完成主机信息的采集。其主要缺点是由于客户端驱动型的采集方式，造成了在网 络中断情况下，客户机程序无法调用远端方法，造成采集数据的丢失。 被动采集 网络设备的部分告警信息，如环境、s n m p 访问失效等信息是由s n m pt r a p 7 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 进行报告，通过对s n m p 数据报文中t r a p 字段值的解释就可以获得一条网络设备 的重要信息。 对于告警信息的被动接收，管理进程单独开启一个线程用来专门监听陷阱端 口，接收并处理所有来自网管代理的告警( t r a p ) 消息。在网络管理过程中，无论 在性能管理、故障管理、还是安全管理等功能域，告警功能都是很重要的。这里 主要利用s n m pt r a p 机制实现实时告警功能。 串口采集 部分低级和早期的网络设备有可能不能通过s n m p 或者其它的标准网络协 议来采集数据，它们是通过串口输出设备数据的，这样就必须开发基于串口的应 用才能采集设备数据。这些数据通常是具有规范格式的文本信息或者二进制信 息，信息量可能会很大，通常需要根据厂商提供的设备说明和数据格式说明对数 据进行解析，才能理解数据的含义。 2 1 5 基于通用解析原语的自适应高可扩展性主机管理信息采集机制的提出 在对前面提到的几种数据采集方式研究过程中，我们了解到各种数据采集方 式有各自的局限性，而且他们有一个公共的缺点就是采集方式不够灵活，采集内 容范围过窄，采集策略过于单一等问题，这样就大大限制了数据采集的实时和有 效性，不利于对网络的有效管理和维护。为此，我们提出了基于通用解析原语的 自适应高可扩展性主机管理信息采集机制，与前面几种数据采集方式相比，该数 据采集方式的优点表现在以下几个方面： 1 ) 采集灵活性：用户可以根据自己的需求，动态设定采集策略，这种方式给 网络管理人员很大的采集灵活性； 2 ) 采集信息更加广泛：用户除了可以动态设定采集策略之外，还能对已有 的采集策略进行增加，修改，删除等，这就很大程度上提高了采集信息的广泛性， 可以说，只要设备上可以查看到的信息，我们都可以通过设定采集策略的方式进 行获取； 3 ) 高可扩展的采集机制：插件式的a g e n t 和通用语义解析框架相互配合完成 采集任务，在采集指标发生改变时无须修改软件即可完成新的采集任务； 4 ) 自适应代理采集：代理采集a g e n t 会自主根据被管主机负载情况调节采集 周期，以确保关键业务的正常运行； 5 ) 安全性：由于t e l n e t 采集方式采用明文传输，运行业务主机的登陆口令就 可能在网络嗅探工具的监测下泄露，而在目标主机部署a g e n t 贝l j 不需主机登陆口 令，只有数据从主机端发往服务器端，克服了安全性障碍。 6 ) 网络中断情况下的数据无丢失：网络中断情况下，采集数据可以暂时贮 北京邮电大学硕士研究生学位论文 自适应可扩展的u n i x 主机信息采集系统设计与实现 存在目标主机端，待网络恢复后再将所存数据发回服务器端，保证了网络中断情 况下的数据无丢失。 基于通用解析原语的自适应高可扩展性主机管理信息采集机制，不仅可以为 网络管理系统提供采集灵活、采集内容更加广泛并提供多样化的采集策略的要 求，而且可以将这种采集方式和其他采集方式联合使用，弥补其他采集方式的不 足，更好的满足目前网络管理数据采集的需求。 2 2 本章小结 本章概述了网络管理技术及其发展方向，并对目前国内外所采用的数据采集 技术进行了详细阐述，给出了他们各自的优缺点，并在此基础上提出了自适应可 扩展的主机信息采集系统的优点和意义。 9 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 第三章主机管理信息通用采集机制框架及关键技术 数据采集是网络性能监视和分析的基础。通过对网元进行及时、短时、小粒 度的性能数据采集，并对采集结果进行处理后产生各种性能报告，为维护部门和 管理部门提供信息，从而满足日常网络监控分析、网络优化、网络规划以及决策 分析等工作的需要。 3 1 主机管理信息通用采集机制框架 3 1 1 设计思想 数据采集系统是网管系统的数据访问层，是网管系统的基础，它是网管系统 和各个厂家的接口。数据采集系统通过各种接口方式收集厂家数据并进行归一化 处理，它是上层应用的依据。而基于通用语义解析框架的数据采集方式正是这诸 多采集方式之一，它由部署在被管主机端的自主采集a g e n t 和部署在服务器端通 用解析原语框架组成。 3 1 2 系统框架 基于上面所描述的主机管理信息通用采集机制设计思想，我们给出了下面的 框架图，如图3 - 1 所示。 澎? i 磊。 ：鼍嚣j j 等叫 二心 “鼍i ? 1 。 咒。：t | ，j j 、：“i 。廿 慨”“i 。i 矗 巾，f 庸絮”j 。j t 节争，。硝i 4 磷 图3 - 1 主机管理信息通用采集框架图 l o 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 从整体上，该主机管理信息采集机制可以分为以下几个部分： 1 ) 主机a g e n t 主机a g e n t 负责数据采集并通过配置实现脚本的自主周期执行，该a g e n t 会 搜索特定目录，执行相应脚本，当需要新增指标时只需将新增采集脚本放置在该 特定路径下即可实现第三方扩展。数据上报由主机端的守护进程以s o c k e t 传输机 制完成。由于a g e n t 脚本的自主周期运行特性，网络中断情况并不影响部署在目 标主机端的采集a g e n t 持续运行，当数据传输无法顺利完成时，所有采集数据会 暂时保存在目标主机端，待网络恢复后再将数据交付服务器端。 2 ) 服务器端 服务器端由通用解析引擎，规则库和采集策略适配三部分组成。 2 ) 通用解析引擎 通用解析引擎是服务器端解析程序的核心部件，该引擎解析上报网管数据。 对于关心的性能采集点指标，只需编写对应的规则文件，以数据文件和其对应的 规则文件作为通用解析引擎的输入，即可完成对关心采集指标的数据提取。 3 ) 规则库 存储了匹配上报数据文件的对应规则文件，规则文件应事先对应采集指标进 行编写，并可随用户需求的改变动态扩展，为解析引擎提供了所需提取的指标数 据关键字以及提取的方法。 4 ) 采集策略适配 负责数据采集控制，处理生成的采集任务，同时处理多台主机的采集数据， 从数据库中读取用户设定的任务，决定所需采集的目标主机及采集周期等，获取 解析引擎提取的有效数据并根据采集周期进行统计，将最终结果存储数据库。 3 1 3 采集流程 本文研究的数据采集方式采用主动采集模式，在用户设定数据采集任务参数 的情况下，采集策略适配模块通过周期性的调度采集任务主动到服务器端的采集 结果目录集提取数据文件。 北京邮电大学硕士研究生学位论文白适应可扩展的u n i x 主机信息采集系统设计与实现 数据采集流程如图3 - 2 所示。 臣叵 匿堇 发采集策略中的命 ，获取采集数据 图3 - 2 数据采集流程 下面简单描述性能数据获取流程图中各步骤需要完成的功能。 1 ) 采集参数设定：在需要进行监控的目标主机上部署采集a g e n t ，在配置文 件中设置告警、数据库等信息； 2 ) 采集任务生成：根据用户设定的采集参数，在对管理范围内的网络设备 进行筛选后，根据不同设备的不同采集需求，生成不同的采集任务； 3 ) 采集策略适配：对于生成的采集任务，它只是定义了需要做什么，但是 没有明确制定怎么去做，采集策略适配就是给采集任务对应一个采集策略，告诉 它怎么去获得采集数据； 4 ) 采集策略执行：部署在被管主机端的采集a g e n t 会实时主动上报被管主 机信息，采集数据文件被传输到服务器端指定的采集结果目录集，服务器端软件 根据采集策略对上报数据进行筛选处理； 5 ) 采集结果解析：通用解析引擎根据采集数据选择对应规则文件，对数据 文件进行匹配解析； 6 ) 采集结果暂存：对于解析的结果先暂存在内存数据库中以便以后的统计 分析等； 7 ) 数据适配汇总：对于内存数据库中的数据，按照特定的时间段或其他设 1 2 一一：一一 北京邮电大学硕士研究生学位论文 自适应可扩展的u n i x 主机信息采集系统设计与实现 定要求进行统计分析，得到汇总结果； 8 ) 上载数据库：将汇总的数据上载到网络管理数据库中，以便网管其他应 用使用。 3 2 自适应可扩展u nix 主机信息采集系统关键技术 为了便于阐述自适应可扩展u n i x 主机信息采集系统的设计和实现，下面几 节着重研究了在该主机信息采集系统中涉及到的各种关键技术，并给出了关键技 术的实现方式。 3 2 1 u i n x 操作系统和s h e i i 脚本语言 3 2 1 1u ln x 操作系统 标准u n i x 操作系统是一个交互式的分时系统，是一个强大的多用户、多 任务操作系统，支持多种处理器架构，提供了一个支持程序开发全过程的基础和 环境。 u n i x 的主要特点是：短小精悍、简易有效、并具有易理解、易扩充、易移 植性。可满足各行各业的实际需要，特别能满足企业重要业务的需要，已经成为 主要的工作站平台和重要的企业操作平台。h p 服务器是u n i x 服务器的一种， 下表以h p 服务器为例，介绍其性能指标及采集命令。 表3 - 1l i p 服务器性能指标及采集命令 指标名称描述实现方法备注 t o p 命令。用1 0 0 减去 该命令输出结果中的 c p u c p u u t i l 主机平均c p u 使用率 c p u 平均空闲率( a v g 行，i d l e 列) t o p 命令。取该命令输出 系统模式下使用的 结果中的系统使用c p u c p u s y s t i m e c p u 的时间 利用率( a v g 行，s y s 列) t o p 命令。取该命令输出 用户模式下使用的结果中的用户使用c p u c p u u s e r t i m e c p u 的时间 利用率( a v g 行，u s e r 列) g l a n c e - d 命令。取该命 m e m u t i l 内存利用率令输出结果中当前内存 利用率( m e m u t i l 行， 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 c u r r e n t 列) 交换区中交换到内存 v m s t a t 命令。取该命令 m e m p a g e i n 当中的页面数 结果输出中的p i 字段 从内存中交换到硬盘v m s t a t 命令。取该命令 m e m p a g e o u t 的页面数 结果输出中的p o 字段。 g l a n c e - d 命令。为该结 果输出中的本地物理磁 显示磁盘中每秒读取 盘读取字节( l o c a lp h y s d s k r e a d r d s 行，b y t e s 列) + 远 的字节数 程物理磁盘读取字节 ( r e m o t ep h y sr d s 行， b y t e s 列) g l a n c e - d 命令。为该结 果输出中的本地物理磁 显示每秒写入磁盘的 盘读取字节( l o c a lp h y s d s k w h t e r d s 行，b y t e s 列) + 远 字节数 程物理磁盘读取字节 ( r e m o t ep h y sr d s 行， b y t e s 列) 显示最占用系统资源 t o p 命令。取该命令输出 p r o c t o p p r o c s 的前1 0 个进程结果 s w a p i n f o 命令。取该结 需要确认是 反映的是系统中所有果输出的空间利用率否准确。和 s w p t o t s w a p u s e d p e r c e n t的交换区使用的空间( m e m o r y 行，p c tg l a n c e 中输 百分比u s e d 列)出的值不一 致。 b d f 将输出结果中每个需要改进， f s c a p a c i t y ( v a r ，t m p ， 文件系统空间利用率 文件系统的u s e d 列之和 改成每个文 r o o t )除以每个文件系统件系统的利 k b y t e s 字段之和。 用率 发现双机系统运行的 c m 访e w c l 命令。输出结 目前只能用 双击热备切换情况果能否返回双机系统的r o o t 用户执 状态 状态。行该命令。 3 2 1 2s h ei l 脚本语言 在计算机科学中，s h e l l 俗称壳( 用来区别于核) ，是指“提供使用者使用界 面”的软件( 命令解析器) 。它类似于d o s 下的c o m m a n d t o m 。它接收用户命令， 然后调用相应的应用程序。同时它又是一种程序设计语言。作为命令语言，它交 互式解释和执行用户输入的命令或者自动地解释和执行预先设定好的一连串的 命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言 1 4 北京邮电大学硕士研究生学位论文自适应可扩展的u n i x 主机信息采集系统设计与实现 中才具有的控制结构，包括循环和分支。 基本上s h e l l 分两大类： ( 1 ) 图形界面s h e l l ( g r a p h i c a lu s e ri n t e r f a c es h e l l 即g u is h e l l ) ，例如：应 用最为广泛的w i n d o w se x p l o r e r ( 微软的w i n d o w s 系列制作系统) ，还有也包 括广为人知的l i n u xs h e l l ，其中l i n u xs h e l l 包括xw i n d o w sm a n g e r ( b l a c k b o x 和f l u x b o x ) ，以及功能更强大的c d e 、g n o m e 、k d 、x f c e 。 ( 2 ) 命令行式s h e l l ( c o m m a n dl i n ei n t e r f a c es h e l l ，即c l is h e l l ) ，例如： b a s h s h k s h c s h ( 咖x l i n u x 系统) c o m m a n d c o m ( m s d o s 系统) c m d e x e 命令提示字符( w i n d o w sn t 系统) w i n d o w sp o w e r s h d l ( 支援n e tf r a m e w o r k 技术的w i n d o w sn t 系 统) 传统意义上的s h e l l 指的是命令行式的s h e l l ，以后如果不特别注明，s h e l l 是 指命令行式的s h e l l 。 操作系统与外部最主要的接口就叫做s h e l l 。s h e l l 是操作系统最外面的一层。 s h e l l 管理与操作系统之间的交互：等待你输入，向操作系统解释你的输入，并 且处理各种各样的操作系统的输出结果。 s h e l l 提供了与操作系统之间通讯的方式。这种通讯可以以交互方式( 从键 盘输入，并且可以立即得到响应) ，或者以s h e l ls c r i p t ( t e 交互) 方式执行。s h e l ls c r i p t 是放在文件中的一串s h e l l 和操作系统命令，它们可以被重复使用。本质上，s h e l l s c r i p t 是命令行命令简单的组合到一个文件里面。 s h e l l 基本上是一个命令解释器，类似于d o s 下的c o m m a n d c o m 。它接收用 户命令( 如l s 等) ，然后调用相应的应用程序。较为通用的s h e l l 有标准的b o u r n e s h e l l ( s h ) 和cs h e l l ( e s h ) 。 s h c l l 有两种运行方式：交互式s h e l l 和非交互式s h e l l ： 交互式模式就是s h e l l 等待你的输入，并且执行你提交的命令。这种模式被 称作交互式是因为s h e l l 与用户进行交互。这种模式也是大多数用户非常熟悉的： 登录、执行一些命令、签退。当你签退后，s h e l l 也终止了。 s h e l l 也可以运行在另外一种模式：非交互式模式。在这种模式下，s h e l l 不 与你进行交互，而是读取存放在文件中