（通信与信息系统专业论文）edge网络性能分析系统的研究与实现.pdf

大连理工大学硕士学位论文 摘要 g s m e d g e 网络是目前中国用户量最大的移动通信网络，为了保证该网络高效稳 定地运行，需要不断地对移动网络进行性能优化。如何提高移动网络的运行性能、服务 质量和运营性价比，已成为移动运营商最关注的问题。 移动运营商网络优化的工作主要依赖第三方软件和设备供应商提供的o m c ，运营 商网络优化人员通过这些工具收集相应的网络数据，根据移动网络运营标准对这些数据 进行人工分析，完成日常网络优化工作。 论文就是在o m c 数据的基础上进行系统开发，为运营商网络优化人员提供了具有 实时性的网络数据和灵活智能的性能分析，使他们从繁重的数据统计工作中解脱出来， 提高他们的工作效率。 系统采用了微软的s q ls e r v e r2 0 0 5 数据库平台，基于v c + + 软件开发平台，实现 了数据智能采集和网络数据的分析。首先在系统的设计过程中，论文分析了网络数据结 构，实现网络数据的智能采集，满足网络数据的实时性；其次，为了实现网络优化数据 的综合分析，本系统将数据分析分为数据查询服务和性能分析服务，实现网络数据的综 合查询与分析；最后在个性化操作方面，本系统提供了用户自定义模板的功能，实现用 户不管在数据查询还是性能分析都能够根据自己的需要去操作数据。 g s m e d g e 网络性能分析系统为运营商网络优化人员提供了实时的网络数据，实 现了移动公司的实时性能分析和网络预警分析，满足同常网络优化工作的要求，并能够 制作相应报表，提高了网络优化分析工作的效率。 关键词：6 s m e d g e 网络；网络优化；性能分析；热点区域分析 g s m e d g e 网络性能分析系统 t h er e s e a r c ha n di m p l e m e n t a t i o no fp e r f o r m a n c ea n a l y s i ss y s t e mf o r e d g en e t w o r k a b s t r a c t p r e s e n t l y , g s m e d g ei sad i g i t a lm o b i l ec o m m u n i c a t i o nn e t w o r k ，w h i c hc o v e r st h e l a r g e s tn u m b e ro fc u s t o m e r s n e t w o r kp e r f o r m a n c eo p t i m i z a t i o ne n s u r e st h mt h i sn e t w o r k r u n ss t e a d i l ya n de f f i c i e n t l y h o wt oi m p r o v et h eo p e r a t i o np e r f o r m a n c e ，s e r v i c eq u a l i t ya n d o p e r a t i o n a lc o s t - e f f e c t i v eo f t h i sn e t w o r kh a sb e c o m et h em o s tc o n c e r no fm o b i l eo p e r a t o r s m o b i l en e t w o r ko p t i m i z a t i o ni s p r i m a r i l yd e p e n d e n to nt h i r d - p a r t y s o f t w a r ea n d e q u i p m e n ts u p p l i e r s o m c n e t w o r ko p t i m i z a t i o ns t a f fc o l l e c t st h ea p p r o p r i a t en e t w o r kd a t a t h r o u g ht h e s et o o l s ，a n da c c o r d i n gt ot h eo p e r a t i o ns t a n d a r do fm o b i l en e t w o r k ，m a n u a l l y a n a l y z et h e s ed a t at oc o m p l e t et h ed a i l yn e t w o r ko p t i m i z a t i o n t h i sp a p e rs t u d i e st h eo m cd a t a , t op r o v i d en e t w o r ko p t i m i z a t i o ns t a f fw i t hr e a l t i m e d a t aa n df l e x i b l ep e r f o r m a n c ea n a l y s i s ，i no r d e rt om a k et h e mf r e ef i o mh e a v ys t a t i s t i c st o i m p r o v et h e i rw o r ke f f i c i e n c y t h es y s t e mu s e sm i c r o s o f ts q ls e r v e r2 0 0 5 ，a n dc h o o s e sv c + + a ss o f t w a r e d e v e l o p m e n tp l a t f o r m ，t of i n i s hi n t e l l i g e n td a t ac o l l e c t i o na n dn e t w o r kd a t aa n a l y s i s d u r i n g t h ep r o c e s so ft h es y s t e md e s i g n ，t h i sp a p e ra n a l y z e st h en e t w o r kd a t a , f u l f i l l st h ei n t e l l i g e n t c o l l e c t i o no ft h en e t w o r kd a t aa n dm e e t sr e a l - t i m eo fn e t w o r kd a t a i no r d e rt oa c h i e v ea c o m p r e h e n s i v ea n a l y s i so ft h en e t w o r kd a t a , t h ed a t aa n a l y s i so ft h i ss y s t e mi sd i v i d e di n t o d a t ai n q u i r ys e r v i c e sa n dp e r f o r m a n c ea n a l y s i ss e r v i c e s ，t op r o v i d eq u e r ya n da n a l y s i so f n e t w o r kd a t a m e a n w h i l e ，t h es y s t e mp r o v i d e sau s e r - d e f i n e dt e m p l a t ef u n c t i o n , t oa c h i e v e t h a tt h eu s e rc a no p e r a t ep e r f o r m a n c ea n a l y s i sa c c o r d i n gh i s h e rd e m a n da sw e l ld a t aq u e r y g s m e d g en e t w o r kp e r f o r m a n c ea n a l y s i ss y s t e mp r o v i d e sn e t w o r ko p t i m i z a t i o ns t a f f 、析t hr e a l t i m en e t w o r kd a t a , f u l f i l l sr e a l t i m ep e r f o r m a n c ea n a l y s i sa n dn e t w o r ka l a r m a n a l y s i s ，a c h i e v e st h ed a i l yn e t w o r ko p t i m i z a t i o nw o r k , p r o d u c e sc o r r e s p o n d i n gr e p o r t sa n d i m p r o v e st h en e t w o r ko p t i m i z a t i o nw o r ke f f i c i e n c y k e yw o r d s ：g s m e d g en e t w o r k ；n e t w o r ko p t i m i z a t i o n ；p e r f o r m a n c ea n a l y s i s ；h o tr e g i o n a n a l y s i s i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：垦旦鱼垦圆络性能金盘丕统鲍盟究生塞趣 作者签名： 关垒丝 日期：之互年= 一月三二日 大连理工人学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：里旦鱼里圆络性能佥堑歪统鲍受窥生塞理 作者签名：丝丝堕日期：型生年j 三_ 月三三一日 导师签名：亘 五羔孥一 日期：生年二三- 月三二日 大连理工大学硕士学位论文 1 绪论 1 1 课题研究的背景 近几年来，随着移动业务的不断发展和移动网络规模的不断扩大，移动网络提供的 服务质量越来越被关注。对于移动公司来说，客户的满意度是移动市场竞争的晴雨表。 随着e d g e 网络技术的成熟，移动网络引进了e d g e 技术，为用户带来了高速率的数 据业务服务，然而高速率的业务服务必定会对语音业务带来很大的影响。目前的移动网 络不仅仅是话务网络，而且也是数据业务的支撑网，特别是与i n t e r n e t 网的连接，促使 了数据业务的爆炸式发展。由于网络的质量却远远没有跟上网络规模的发展，因此后期 的网络优化至关重要。所有运营商都在不断地对网络进行优化，合理地调整网络的参数， 使网络达到最佳的运行状态。 网络优化【1 , 2 , 3 j 包括分析网络性能数据和改善网络参数配置与性能。网络性能数据包 括接通率、可靠性、掉话率、业务性能和业务分布统计等信息，可以从网管系统、路测 数据、协议分析以及客户投诉中得到。优化工作可以根据这些数据对网络性能进行分析 并对现有的网络进行优化和调整。网络优化是指对正式投入运行的网络进行参数采集、 数据分析，找出影响网络运行质量的原因，并通过参数调整和采取某些技术手段，使网 络达到最佳运行状态，使现有网络资源获得最佳利用，同时也对网络今后的维护及规划 建设提出合理建议。 网络优化的过程u 引，首先是数据采集，通过消耗大量人力，并使用各种测试仪器 对采样数据进行收集和整理；接下来是数据分析，由优化工程师对整理好的数据反映出 来的问题进行综合分析和判断，形成一个涉及不同地点、不同网络层次的调整优化方案； 其次是实施调整优化方案中确定的网络调整操作；最后是评估，通过采集最新的数据， 观察调整方案是否达到了预期效果，如果没有达到预期的效果，则重复上述整个过程； 如果达到了效果，则继续设定新的、更高的优化目标，整个过程将在更高的层次重复。 在整个优化工作的生命周期中，工作量最大的是采集、实施和评估阶段，而难度最大的 是数据分析阶段。 移动通信网络的优化是一项技术难度大、涉及范围广、人员素质要求较高的工作。 网络优化涉及的技术领域有交换技术、无线技术、频率配置、切换和信令、话务统计分 析等。同时，网络容量的不断发展，网络用户数量的不断增加，网络设备的多样化，对 网络优化工程师的技术也提出了更高的要求。 g s m e d g e 网络性能分析系统 1 2g s m e d g e 网络的发展现状 本小节主要论述g s m e d g e ( e n h a n c e dd a t ar a t ef o rg s me v o l u t i o n ) 网络及其网络 优化的发展状况，和网络优化所面临的问题。 ( 1 ) e d g e 网络的发展 e d g e 4 , 5 , 6 , 7 1 是一种基于无线的高速移动数据标准。它可以被引入到g s m g p r s 和 i s 13 6 ( 数字高级移动电话系统( d a m p s ，d i g i t a la d v a n c e dm o b i l ep h o n es y s t e m ) 的分组 模式) 中。在分组模式下，e d g e 可以支持高达3 8 4 k b p s 的多媒体业务。 e d g e 的发展【4 】可以划分成三个阶段：第一阶段是标准成熟阶段。e r i c s s o n 在1 9 9 7 年正式提出e d g e 理论，并于2 0 0 7 年7 月被3 g p p 组织认可；第二阶段是e d g e 标准 的推广阶段。从2 0 0 0 年8 月到2 0 0 3 年5 月美国的c i n g u l a r w i r e l e s s 首次将e d g e 投入 商用；第三阶段是实际的市场运营阶段。从2 0 0 3 年6 月开始，c i n g u l a rw i r e l e s s 在印第 安纳州首府印第安纳波利斯开通了e d g e 服务，主要是采用e r i c s s o n 提供的设备，接着 我国香港特别行政区的c s l 也正式开通e d g e 服务，然后泰国的a i s 、美国的a t & t w i r e l e s s 、智利的t e l e f o n i c am o v i l e s 相继运营e d g e 服务。截至到2 0 0 8 年3 月，全球 e d g e 网络数量已经达到2 8 3 个。 ( 2 ) 网络优化的发展现状 随着g s m e d g e 网络业务的发展，特别是在中国，g s m e d g e 网络的优化任务非 常巨大和艰辛。为了给用户提供满意的服务质量，移动网络运营商投入了大量的人力和 物力到网络优化工作中。 我国的g s m e d g e 网络发展 1 , 4 1 比较晚，原先的网络优化主要依靠设备提供厂商， 而这些厂商一般都是外国的，因此这样的网络优化缺乏客观性，无法对网络的实际性能 进行评估。由于国外很多技术对我国都是的出口是有限制的，很难有适合客观情况的移 动通信网络优化系统。随着通信设备的国产化，一些高校、研究所和通信公司先后投入 人力物力，研究和发展一系列的网络优化软件。它们正逐渐走上实用化，部分替代外国 产品，使网络运营商真正了解网络、调试网络和优化网络。 现有的网络优化工具【8 】主要有三种类型： 通信设备供应商提供的o m c 系统； 无线通信网络测试分析的仪器或软件，如路测软件、信令分析软件等； 无线频率规划软件。 由于g s m e d g e 网络建设维护是一项复杂庞大的系统工程，网络优化工作涉及的 通信系统种类繁多，在通信系统中存在各种设备，而且通信系统之间有着复杂的联系， 大连理工大学硕士学位论文 这对网络优化工作人员提出了很高的要求。同时，随着网络用户数爆炸式增长，网络规 模迅速扩大，网络优化的工作和难度不断加大。运营商面临着几个方面的问题： 网络优化工作需要经验丰富、知识面广的人来完成，而这也就需要大量人力物 力的投入。因此，人才的缺乏和工作效率低不适应目前网络的发展。 缺乏一个系统的完善的工具来支持优化人员的工作，在实际工作中往往使用不 同设备来完成数据的采集，而数据的分散给最后的数据分析带来困难，增加了问题的处 理时间。 d t 和c q t 等测试的数据回放和分析缺少更直观的图形化显示，并且也缺乏有 针对性的专题分析。 网络优化工作一般是由多人或者多部门共同完成的，各部分数据存在相互调用， 所以需要一个测试数据统一的管理系统来为网络优化人员提供详尽和方便的数据。 这一系列问题的存在给网络优化软件提供了一个广阔的发展空间。 1 3 课题研究的内容和目标 移动通信网络的数据量是非常庞大的，通过通信设备提供的测试软件获取的参数单 一，因此对网络优化工作人员来说收集数据是一件比较繁琐的事情，而进一步的数据分 析更是一个巨大的工程。目前网络优化依然是靠网络优化工作人员的经验来对数据进行 分析，进而得出影响网络质量的结论，而靠人来对繁杂的网络数据进行及时的统计分析 和对比并得出正确的网络优化方案是不现实的。另外，优化工程师往往借助于单一类型 的网络数据来进行分析和对比，而不是根据所有与网络相关的数据( 如接口参数，基站 天线参数) 得出网络优化方案，这显然存在一定的缺陷性。 为了解决上面提到的问题，必须研发一套网络性能分析系统，本文将着重探讨网络 性能分析系统( 以下简称系统) 的工作原理、系统结构、关键技术以及网络性能分析的细 节。主要包括以下几方面内容： ( 1 ) 研究一种便于拓展的网络性能分析系统架构 在本项目中，b s c 所提供的数据文件格式不统一，而且移动网优中心所提供的性 能指标不断地更新和增加，因此提供一个具有扩展功能的网络性能分析系统是很有必要 的，可以满足未来发展的需求和系统升级的简便。 ( 2 ) 智能化的数据采集系统 由于移动网络的数据庞大，每小时具有6 0 m 的原始数据，并且所有网络数据主要 以网络设备自身所设置的格式产生。因此，网络数据的采集将是一个艰巨的工作。智能 化的数据采集系统将可以为网络数据的获取与处理带来便捷，大大减少移动网络优化入 g s m e d g e 网络性能分析系统 员的工作。 ( 3 ) 提供灵活的数据查询和数据统计方式 由于网络的繁忙度高，移动网优中心的工作人员工作繁重，因此他们需要一个灵活、 方便、友好的数据查询方式( 包括历史查询、实时查询和各种数据统计方案查询) ，还需 要对所需要分析的数据进行报表及相应格式导出。 ( 4 ) 提供查询和统计等相关的模版设计 由于移动网络优化的工作需求，需要工作人员时刻对自己管辖的小区( 基站、b s c 等) 的运行性能作出及时反馈，因此他们根据自己的需求自定义一些查询和统计等相关 的模版。 ( 5 ) 提供简便的系统维护和管理机制 系统本身存在很多基本信息，对于一个工作人员是无法顾全的，而且不同身份的工 作人员对于操作是具有权限问题，因此必须提供友好的系统信息维护和完善的用户信息 管理机制。 1 4 本文的工作 本人作为本项目系统的主要设计人之一，主要完成的工作有： ( 1 ) 负责整个项目的企划； ( 2 ) 负责整个项目的进度安排； ( 3 ) 数据采集模块的设计和实现； ( 4 ) 数据库结构的设计和实现； ( 5 ) 客户端软件支持的设计和实现； ( 6 ) 主持整个项目的测试。 本项目的系统涉及到计算机网络技术，因此在项目实现的过程中，调谐本系统所涉 及的网络运行是一个很有耐心的工作。 本文的主要内容安排如下： 第一章引言。主要论述了课题研究的背景、课题研究的内容和目标，简单地介绍 e d g e 网络的发展现状和目前网络优化的发展现状及其相关问题，并介绍了本文的主要 工作和组织结构。 第二章相关工作。主要介绍本项目在研发过程使用的一些技术和内容，简要地分析 了基于e r i c s s o n 设备的移动网络数据，介绍了s q ls e r v e r2 0 0 5 数据库开发平台和基于 v c 的a d o 组件，并论述了一些相关数据分析和挖掘的算法。 第三章系统设计。主要介绍本项目的系统总体设计方案、运行流程、系统拓扑结构 人连理工大学硕士学位论文 和数据库结构的设计和实现等。 第四章系统功能模块实现。主要论述系统中各个模块的功能实现，并分析数据库容 量和模块运行性能。 第五章网络性能分析。该章主要是针对网络优化的一些问题进行分析，并提供相应 的网络优化建议。 g s m e d g e 网络性能分析系统 2e d g e 网络性能分析系统所需的技术 2 1s o ls e r v e r2 0 0 5 介绍 s q ls e r v e r2 0 0 5 9 , 1 0 , 1 1 , 1 2 】是微软最新推出的综合、集成数据平台，是一种进行数据 管理和数据分析的数据解决方案。与s q ls e r v e r2 0 0 0 最大的区别是，s q ls e r v e r2 0 0 5 超越传统意义上的数据管理系统，已经发展成为“用于大规模联机事务处t 里( o l t p ) 、数 据仓库和电子商务应用的数据库和数据分析平台 。作为微软下一代的数据管理与商业 智能平台，与以往的数据解决方案相比，s q ls e r v e r2 0 0 5 将给您带来更丰富的功能和 更完善的数据管理方式。 s q ls e r v e r2 0 0 5 中包含了非常丰富的新特性：通过提供一个更安全、更可靠和更高 效的数据管理平台，增强企业组织中用户的管理能力，大幅提升i t 管理效率并降低运 维风险和成本；通过提供先进的商业智能平台满足众多客户对业务的实时统计分析、监 控预测等多种复杂管理需求，推动企业管理信息化建设和业务发展；同时，s q ls e r v e r 2 0 0 5 将提供一个极具扩展性和灵活性的开发平台，不断拓展应用空间，实现i n t e m e t 数 据业务互联，带来新的商业应用机遇。 由于大大减少了应用程序宕机时间，提高了系统的可伸缩性，并加以更严格的安全 控制，s q ls e r v e r2 0 0 5 在支持现实中最苛刻的企业级系统要求的道路上，迈出了极大 的一步。s q ls e r v e r 是微软服务器家族中重要的一部分，通过微软服务器系列产品共 有的e n g i n e e r i n gs t r a t e g y 所实现的增强的管理性和集成性，客户可以有效降低总体拥有 成本并从更快的开发部署时间中受益。 s q ls e r v e r2 0 0 5 具有下面几方面的特剧1 0 】： ( 1 ) 安全、可靠、高效的企业级数据管理平台 s q ls e r v e r2 0 0 5 将在安全性、高可靠性、性能、扩展性、可管理性方面有极大的 提高，不仅能够确保企业级数据业务的实时稳定运行、还能够大大提高管理效率、降低 操作复杂度和运维成本。例如，s q ls e r v e r2 0 0 5 将提供全新的安全认证、数据加密技 术来加强您数据系统的安全性；数据库镜像、快照、时点恢复、实时在线管理等诸多功 能大大提高了企业级系统的可靠性、扩展性：而数据集成，各种自动化管理、调试和优 化工具则为用户i t 管理工作带来全新的体验。在硬件方面，s q ls e r v e r2 0 0 5 支持6 4 位运算和海量数据存储。 ( 2 ) 先进、一体化的商业智能平台 s q ls e r v e r2 0 0 5 使用户可以快速构建部署各类商业智能解决方案，为用户提供深 大连理工大学硕士学位论文 入的业务分析统计和监控预测平台，进一步推动企业的信息化管理和业务发展。s q l s e r v e r2 0 0 5 将提供非常完整的商业智能套件，包括相关的数据仓库、数据分析、 e t l ( e x t r a c t i o nt r a n s f o r m a t i o nl o a d i n g ) 、报表、数据挖掘的一系列设计、开发、管理工 具。为了满足客户日渐增强的实时b i 和企业级应用规模的需求，s q ls e r v e r2 0 0 5 在构 建商业智能平台的实时性、扩展性方面也有了质的飞跃。全新的数据分析工具和丰富的 数据挖掘算法将帮助客户有效进行深入的业务监控分析、决策支持；企业级的e t l 工具 将支持各种异类数据和复杂数据业务的整合；面向终端用户的报表设计及管理工具与 o f f i c e 的前端集成能够提供非常灵活的数据展示和自由定制功能。 ( 3 ) 极具扩展性和灵活性的开发平台 s q ls e r v e r2 0 0 5 将提供更加强大的开发工具和各类新的开发特性，在大大提高开 发效率的同时，将进一步拓展您的应用空间，带来新的商业应用机遇。例如，x m l 数 据库与w e bs e r v i c e 的支持将使您的应用实现i n t e m e t 数据互联，n e t 集成极大地扩展 了开发空间，异构数据集成、s e r v i c eb r o k e r 使您的数据和其它应用无缝集成，各种新 数据类型和t - s q l 扩展带来了诸多灵活性。s q ls e r v e r2 0 0 5 数据平台还提供了单一集 成的管理控制台( s s m s ，s q ls e r v e rm a n a g e m e n ts t u d i o ) 、s q l 管理对象( s m o ) 和支持 a d o n e t2 0 的机制等开发数据平台的有力的相关应用工具。 2 2 基于v c 的a d o 接口 v c 1 3 】是一种面向对象的可视化编程工具，它提供了多种访问数据库的工具和方法， 因此被越来越多地用作大型公司数据库和c s 应用程序的前端开发工具。在v c 中，可 以通过以下方式访问数据库： ( 1 ) a c t i v ex 数据对象( a d o ) ( 2 ) 远程数据对象( p d 3 0 ) ( 3 ) 数据访问对象( d a o ) ( 4 ) o d b c 直接连接到数据库 其中a d o 是最新的数据库访问技术，而且是使用了更加简单、更加灵活的对象模 型。对于新工程，应用a d o 作为数据访问接口会使数据交流更加快速。 a d o 1 0 , 1 3 1 就是a c t i v ex 数据对象( a c t i v ed a t ao b j e c t ) ，它是建立在o l ee b 之上的 一套高级数据访问接口。对于数据访问而言，o l ed b 相当于汇编语言，可以实现在数 据访问时的底层控制，管理有关内存资源等；而a d o 则相当于高级语言，它对o l ed b 提供的接口进行了完美的包装，避免了开发人员直接使用o l ed b 底层接口所带来的麻 烦。实际上，它们是一种技术的两种不同的表现形式，都是应用程序和数据库之间的接 g s m e d g e 网络性能分析系统 口。应用程序通过a d o 访问数据的过程【1 0 】如图2 1 所示。 i 应用程序 一卜 数据提供者 o l e d b 仁据源) 图2 1a d o 访问数据过程 f i g 2 3 t h ep r o c e s so f a d oa c c e s s i n gd a t a a d o 对象模型定义了一组可编程对象 1 0 , 1 3 ，如图2 2 所示。在a d o 模型中， c o n n e c t i o n 、c o m m a n d 和r e c o r d s e t 是三个主体对象，而e r r o r s 、p r o p e r t i e s 、p a r a m e t e r s 和f i e l d s 则分别表示e r r o r 、p r o p e r t y 、p a r a m e t e r 和f i e l d 对象的集合。所有这些对象就 构成了整个a d o 对象模型。另外，每个c o n n e c t i o n 、c o m m a n d 、r e c o r d s e t 和f i e l d 对 象都有自己相应的属性对象集p r o p e r t i e s 。 图2 2a d o 对象模型 f i g 2 2 a d o o b j e c tm o d e l 表2 1 和表2 2 分别是a d o 对象和a d o 对象集的简单描述【10 1 。 在默认情况下，v c 不支持a d o 对象。要在应用程序中使用a d o 对象，需要使用 # i m p o r t 命令将a d o 库文件导入到工程中，代码如下： 大连理工大学硕士学位论文 # i m p o r t c ：p r o g r a m f i l e c o m m o n f i l e s s y s t e m a d o l r n s a d 0 1 5 d l l n o _ n a m e s p a c e r e n a m e ( “e o f ”，”a d o e o f ”) r e n a m e ( “b o f ”，”a d o b o f ”) 其中，参数n o _ n a m e s p a c e 表示不使用a d o 的名字空间。为了避免出现常量冲突，将 e o f 改名a d o e o f ，将b o f 改成a d o b o f 。 表2 1a d o 对象 t a b 2 1a d o o b j e c t a d o 对象集对象集说明 e r r o r s p a r a r n e t e r s f i e l d s p r o p e r t i e s 为响应单个链接错误而创建的所有e r r o r 对象的集合 与c o m m a n d 对象关联的所有p a r a m e t e r 对象的集合 与r e c o r d s e t 对象关联的所有f i e l d 对象集合 与c o n n e c t i o n 、c o m m a n d 、r e c o r d s e t 和f i e l d 对象关联的所有p r o p e r t y 对象的集合 2 3 基于聚类分析的数据挖掘 2 3 1聚类分析的概念 将一组( s e t ) 物理的或抽象的对象，根据它们之间的相似程度，分为若干组( g r o u p ) ； 一9 一 g s m e d g e 网络性能分析系统 其中相似的对象构成一组，这一过程就称为聚类过程( c l u s t e r i n g ) 1 4 ，1 5 ，l6 】。一个聚类( c l u s t e r ) 就是由彼此相似的一组对象所构成的集合；不同聚类中对象是不相似的。就是从给定的 数据中搜索数据项( i t e m s ) 之间所存在的有价值联系。在许多应用，一个聚类中所有对象 常常被当作一个对象来进行处理或分析等操作。 数据聚类分析是一个正在蓬勃发展的领域。聚类分析所涉及的领域包括：数据挖掘、 统计学、机器学习、空间数据库技术、生物学和市场学等。由于各应用数据库所包含的 数据量越来越大，聚类分析已成为数据挖掘研究中一个非常活跃的研究课题。在数据挖 掘中，大多数工作都集中在发现能够有效、高效地对大数据库进行聚类分析的方法上。 相关的研究课题包括：聚类方法的可扩展性、复杂形状和复杂数据类型的聚类分析的有 效高效性、高维聚类技术以及混合数值属性与符号属性数据库中的聚类分析方法等。 聚类分析是一个富有挑战的研究领域，有关每一个应用都提出了一个自己独特的要 求。在数据挖掘中聚类分析具有以下典型的要求1 1 4 j ： ( 1 ) 可扩展性。目前许多聚类算法非常适合小数量级的数据，但是很多大型数据库 可能会包含数以百万的数据。利用采样方法进行聚类分析可能得到一个有偏差的结果， 这就需要一个可扩展的聚类分析算法。 ( 2 ) 处理不同属性的能力。许多算法是针对基于区间的数值属性而设计的。但是有 很多的应用数据是具有不同类型的，如：二值类型、符号类型、组合类型等。 ( 3 ) 发现任意形状的聚类。大部分聚类算法都是根据欧氏距离和m a n h a t t a n 距离来 进行聚类的。这类算法一般只能发现具有类似大小和密度的圆形或球状聚类，而事实上， 存在很多数据的聚类是可以具有任意形状的。 ( 4 ) 处理噪声数据的能力。大多现实世界的数据库包含有很多不符合的数据，如异 常数据、不明数据、数据丢失和噪声数据等。这些类型数据会对聚类分析算法带来很大 影响，导致获得数据质量差。 ( 5 ) 高维问题。目前许多聚类算法处理的数据维数不是很高( 一般二到三维) ，但是 一个数据库或者一个数据仓库包含若干维或属性，因此对高维空间中的数据对象能进行 较好聚类分析已成为聚类研究的一项挑战。 ( 6 ) 可解释性和可用。用户往往希望聚类结果是可理解的、可解释的，以及可用的。 这就需要聚类分析要与特定的解释和应用联系起来，满足特定用户对特定数据的聚类需 求。 2 3 2 聚类分析方法 目前有许多聚类算法，合适的聚类算法选择需要根据应用所涉及的数据类型、聚类 大连理工大学硕士学位论文 的目的以及具体应用要求来决定。如果利用聚类分析作为描述性或探索性的工具，那么 就可以使用若干聚类算法对同一个数据集进行处理以观察可能获得的有关( 数据特征) 描述。 通常聚类分析算法可以划分为以下几大类【1 4 】： ( 1 ) 划分方法( p a r t i t i o n i n gm e t h o d s ) 给定一个包含n 个对象或数据的数据库，划分方法将数据集划分为k 个子集张 为零均值白噪声序列。 估计模型可以简化为：y ( 七) = a o + qx k + a 2x k 2 + + 后”。 利用最小二乘法原理，对多项式回归模型的参数进行估计。其定义为 q = 口夕( 尼) 一y ( 研= y ( k ) - a o - - a i xk - a 2xk 2i i i i - - a nxk ”】2 ( 2 5 ) 当q 取最小值时可以求出对应的一系列a o ，q ，a 2 ，值， 此时 夕( 后) - - - - a 0 + qx k + a 2x k 2 + + x k ”将是实际数据时间序列的最佳多项式拟合曲线。为 了求得使q 值达到最小的一系列 q ，i = 1 ，2 ，n 值，可以对q 的目标函数进行 q ( i = 1 ，2 ，刀) 求偏导，即求解下列方程组： 利用矩阵表达方式为 望：0 o a o 望：0 o a l 望：o o a n ( 2 6 ) g s m e d g e 网络性能分析系统 其中，x = kk 2 kk 2 kk 2 kk 2 x7 肠= x 7 歹 引n j ( 疗+ 1 ) x ( 刀+ 1 ) 经整理可以得出下列方程组： 此方程组的解为 其中， l 后 d ：i y k 2 i z j ，历= 【口0 ，q ，a 2 ，吼】。 刀 七七2 七” 七七2后3七”1 七2 七3k 4 七棚 ；i； 七“七州七“2 七” a i = 口+ l d ，i = 1 ，2 ，n | j yk 2 j j yk 3 j 一 yk 州 j ，一 i + 1 列后所得的行列式值。 y k 2 j 一 y k 3 j ，一 k 4 七棚 k ” yk 州 j - yk 肿2 j _ _ j yk 棚 j 一 口1 吒 ： a n y ( 后) 砂( 七) k 2 少( j i ) k ”y ( 七) ，p h 就是将 y ( 七) k y ( k ) 尼2 y ( 七) 七”y ( 七) ( 2 7 ) ( 2 8 ) ( 2 9 ) 置换d 中的第 2 4 3 卡尔曼滤波算法 卡尔曼滤波算法【2 1 2 2 1 是利用由一组观测值组成的观测数据 y ( 七) ，k = 1 ，2 ，) ，对 所有的，? 1 寻找状态五的最小均方估计。其基本思想是：采用信号与噪声的状态间模型， 利用前一时刻的估计值和现时刻的观测值来更新对状态变量的估计，求出现时刻的估计 值。因此，它适合于实时处理和计算机运算。自从k a l m a n 在二十世纪六十年代将状态空 间模型引入滤波理论，提出卡尔曼滤波理论到现在，卡尔曼滤波算法应用范围广泛，实 现方法比较简便，有以下几个显著的特点： ( 1 ) 用状态空间来描述数学公式。 大连理工大学硕士学位论文 ( 2 ) 它是具有递归结构的有限维线性离散时间系统，很适合用数字计算机实现，而 且可以不加修改地应用到平稳和非平稳环境。 ( 3 ) 它是从随机状态空间导出的线性动态系统状态的最小均方估计。状态的每次更 新估计都是由前一次估计和新的输入数据计算得到，所以只需要存储前一次的估计。因 此卡尔曼算法在计算上比直接根据滤波过程中每一步所有过去数据进行估值的方法更 有效。 卡尔曼滤波算法可分为两个部分【捌：时间更新( 预测) 方程和测量更新( 估计) 方程。 时间更新方程负责及时向前推算当前状态变量和误差协方差估计的值，以便为下一个时 间状态构造先验估计。测量更新方程负责反馈也就是说，它将先验估计和新的测量 变量结合以构造改进的后验估计。两部分的关系如图2 5 所示。 图2 ，5 卡尔曼滤波算法循环更新过程 f i g 2 5 t h ec i r c u l a ru p d a t ep r o c e s so fk a l m a nf i l t e r 时i 司更新方程表达式： = 以- l + b u t _ l ( 2 1 0 ) 巧= 4 最一i 彳r + q ( 2 1 1 ) 在式2 1 0 和2 1 1 中，a 为状态转移矩阵，b 为系统控制矩阵，鲰为k 时刻动态噪声， q = u k u ；。事实上，时间更新方程将状态估计和协方差估计露从k - 1 时刻向前推算到 k 时刻。 测量更新方程表达式： g s m e d g e 网络性能分析系统 q = e h7 ( 月砭r + 尺) 1 ( 2 1 2 ) x k = + k ( z k 一哦) ( 2 1 3 ) 最= ( ，一k h ) 巧 ( 2 1 4 ) 在式2 1 2 、2 1 3 和2 1 4 中，h 为k 时刻观测矩阵，r = 吒，为k 时刻观测噪声。测 量更新方程首先做的是计算卡尔曼增益k ，其次通过测量输出获得，然后产生状态 的后验估计，最后根据第三个式子估计状态的后验协方差。 计算完时间更新方程和测量更新方程，整个过程再次重复。上一次计算得到的后验 估计被作为下一次计算的先验估计，利用下一次的观测数据继续校正。 2 5 本章小结 本章主要介绍了本文工作所涉及到的一些关键技术和运用到的数学知识。第一、二 节主要是介绍了网络性能分析系统的开发环境。最后两节主要论述了在网络性能分析中 所需要的数学模型，特别是运用在大量数据的挖掘分析和部分业务的预测等领域。 通过本章的介绍，读者可以了解s q ls e r v e r2 0 0 5 和基于v c 的a d o 组件的技术特 点，以及一些有关数据处理的数学模型和技术特点。在本系统的开发和实现中基本上都 是在这些相关技术和数学模型的基础上完成的。通过对这些介绍，读者将对系统开发的 环境有一个全面的认识。 大连理工大学硕士学位论文 3e d g e 网络性能分析系统设计 在开始设计系统前，必须对整个系统的需求、采用的实现手段及预期要达到的目标 有一个明确的定义，以保证整个项目的成功。 3 1 系统需求目标 目前移动省公司将各地区的移动网络数据统一采集到省公司的特定服务器上，通过 b s 方式向各地区的移动分公司提供该分公司所属的移动网络数据，如图31 所示。 手， ，jf t p 肥 n 莽m 磐# 移动省。目 一7 一一 某地级市公司 z m e # 动公目用户 图3 1 网络数据获取模型 f i g 31 m o d e lo f n e t w o r k d a t a a c q u i s i t i o n 漶 一一j ：竺竺 儿某地级市公司 捌”* 目一0 业务服务器 移动公司用户 剧3 2 网络数据获取改进模型 f i g32i m p r o v e d m o d e lo f n e t w o r kd a ma c q u l s l i o n 为数据的实时性和数据的灵活查询，本文对图31 的数据采集过程进行稍微的改进 g s m e d g e 网络性能分析系统 就是把业务服务器本地化，如图3 2 所示。移动地区分公司通过软件从省公司的f t p 服 务器下载数据文件，然后将本地数据转化到数据库中。本地化的好处在于不仅保证数据 获取的实时性，而且可以转换自己所关注的数据，大大提高了地区分公司的工作效率。 通过对移动公司的业务情况和公司员工工作的需求进行深入的调查和研究，并与移 动公司相关的负责人进行交流和探讨，对本系统的设计提出了一些开发需求： ( 1 ) 本系统必须具备远程下载的功能，通过固定的电脑实时下载更新的数据文件， 并保存在本地服务器的共享硬盘中。这些下载的数据文件必须有过期删除机制，实现实 时更新和实时删除。 ( 2 ) 由于网络数据的更新具有某种程度上的实时性，因此数据录入和数据处理( 主要 是性能指标的生成) 必须到达一定的速度要求。这些采集到数据库的数据和数据处理后 的性能指标及其他信息都具有保存