（管理科学与工程专业论文）经营分析系统理论探讨及其在移动通信公司的应用研究.pdf

昆明理工大学学位论文原创性声明 ( 6 6 9 0 5 1 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 经过详细的调查研究工作所取得的成果。除文中已经注明引用的 内容外，本论文不含任何其他个人或集体已经发表或撰写过的研 究成果。对本文的研究作出重要贡献的个人和集体，均已在论文 中作了明确的说明并表示了谢意。本声明的法律结果由本人承 担。 学位论文作者签名：互确刚 日期：2 0 0 4 年4 月6 日 关于论文使用授权的说明 本人完全了解昆明理工大学有关保留、使用学位论文的规 定，即：学校有权保留、送交论文的复印件，允许论文被查阅， 学校可以公布论文的全部或部分内容，可以采用影印或其他复制 手段保存论文。 导师签名：? 多l论文作者签名：互自习 日期：2 0 0 4 年4 月6 日 昆明理工大学硕士论文经营分析系统理论探讨及其在移动通信公司的应用研究 摘要 随着通信行业垄断格局的打破，国蠹电信运营商闯的竞争越来越激烈，单纯 的“价格战”已经无法体现企业竞争优势，越来越多的企业开始考虑如何从大量 数据中挖掘出对企业发展有用的信息，了解客户需求和偏好，提高公司的经营决 策水平。本文正是基于数据仓库技术来研究经营分析系统在企业的建设和应用。 经营分析系统是充分利用业务支撑系统产生的大量宝贵的数据资源，通过数 据仓库技术构建数据中心，并利用统计分析技术对信息进行智能化加工、处理， 并最终为市场决策管理者提供辅助决策依据的计算机应用系统。经营分析系统包 括两方面的内容，一是数据的整理过程，主要是数据仓库的建设问题；另一方面 是数据分析技术，包括联机分析处理、数据挖掘等方面的内容。本文首先在概述 中介绍了经营分析系统的基本概念和内涵、基本功能和特点、经营分析系统与业 务系统的关系以及对于企业的重要意义等方面的内容。随后分析了经营分析系统 的设计思路、系统总体框架和数据仓库技术体系结构，其中包括”两级系统、三 层结构”，即集团公司级经营分析系统和省级经营分析系统两级：数据获取层、 数据存储层和数据访问层三层。 经营分析系统的设计思路和基本构架是本文研究的重点，本文在系统软硬件 构成及数据处理过程中论述了系统的硬件平台、软件构成和系统的数据保护和容 错机制。而数据仓库技术是经营分析系统研究的核心部分，它决定了该系统与其 他业务系统本质上的区别。经营分析系统的建设过程离不开数据仓库技术和数据 仓库基础上的数据分析技术，本文着重论述了0 l a p 分析和数据挖掘这两种主要的 分析技术，分析了两者的特点、区别和联系。 经营分析系统的实际应用是本文研究的最终目的，本文针对移动通信公司以 客户为中心发展新业务的需要，通过对数据仓库的数据探索过程，了解不同用户 对价格的敏感程度，从而为公司制定正确的营销方案提供理论基础。在案例中将 经营分析系统整套理论应用其中，从数据分析到模型的建立和评估均做了详细的 探讨。 关键词：经营分析系统数据仓库联机分析处理数据挖掘 2 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 a b s t r a c t a st h e m o n o p o l i z a t i o n i nc o m m u n i c a t i o n i n d u s t r y d i s a p p e a r e d ，t h e c o m p e t i t i o n i sm o r ef u r ya n dt h e e n t e r p r i s e c o u l d n t g e t t h e c o m p e t i t i o n p r e d o m i n a n c eo n l yb yt h ep r i c ew a r m o r ea n dm o r ee n t e r p r i s e sb e g i nt of i n d o u tc f i e n t s d e m a n db ym i n i n gt h ed a t a t h ea r t i c l ea n a l y z et h ea p p l i c a t i o no f b a s si ne n t e r p r i s eo nt h eb a s eo ft h ed a t aw a r e h o u s e b a s si sa c o m p u t e ra p p f i c a t i o ns y s t e mw h i c hm a k e u s eo ft h ed a t af r o mt h e o p e r a t i o no f o l t p i te s t a b l i s h e dt h ed a t ac e n t e r b yt h et e c h n o l o g yo ft h ed a t a w a r e h o u s ea n dm a c h i n i n gt h ei n f o r m a t i o nt h r o u g ht h es t a ta n a l y s i st e c h n o l o g y a l lo ft h a ti st oa f f o r d d e c i s i t i o n - m a k i n gp u r s u a n t f o r s u p e r v i s o r s b a s s i n c l u d e t w os i d e s o n ei sd a t ac o o r d i n a t i o n p r o c e s sa n dt h e o t h e ri sd a t a a n a l y s i s t e c h n o l o g y a tt h eb e g i no ft h ea r t i c l e , t h e r ea r et h ei n t r o d u c eo ft h ec o n c e p t ， c o n n o t a t i o n 。f u n c t i o na n dc h a r a c t e r i s t i e so ft h eb a s s a f t e rt h a t , t h ea r t i c l e a f f o r dt h ed e s i g ni d e a sa n dt r u s so ft h eb a s s t w os y s t e ma n dt h r e el a y e ro f f r a m e c o m p r i s e t h es t r u c t u r eo fb a s s a i m e da tt h ef o c u sq u e s t i o no fh o wt os e tu pb a s s ，t h ea r t i c l ea f f o r dt h e s t r u c t u r eo fh a r d w a r ea n ds o f t w a r ea n dt h ed a t as a f e g u a r dm e c h a n i s m d a t a w a r e h o u s et e c h n o l o g yi st h eh a r d - c o r ep a r to fd a s sw h i c hd e t e r m i n et h e d i s t i n g u i s h i nn a t u r ef r o mo l t p t h ep r o c e s so fb u i l d i n gb a s sc o u l d n t s e p a r a t ef r o mo l a p w h i c hb a s e do nd a t eh a r d w a r et e c h n o l o g y , s ot h ea r t i c l e e m p h a s i z eo l a p a n dd ma n da n a l y z et h ed i f f e r e n c ea n da f f i l i a t i o no ft h et w o o n ea tt h es a m et i m e t h ea p p f i c a t i o no fb a s si ne n t e r p r i s ei st h eu l t i m a t e l yo b j e e t i v eo ft h i s a r t i c l e a i m e da tt h ed e m a n do fm o b i l ec o r p o r a t i o nt oe x p a n dn e w o p e r a t i o n ， t h ea r t i c l ea n a l y z et h ec l i e n t ss e n s i t i v i t yt ot h ep r i c et h r o u g hd m o nt h eb a s i so f t h ed a t ah a r d w a r ea n dp u tf o r w a r dt h et h e o r yf o u n d a t i o n i nt h i s c a s e , t h e a r t i c l ed i s c u s st h eu p b u i l da n de v a l u a t i o no f t h em a t r i x p a r t i c u l a r l y k e y w o r d s ：b a s sd a t aw a r e h o u s eo l a pd m 垦竖王大学硕士论文经营分析系统理论探讨及其在移动通信公司的应用研究 第一章引言 1 1 论文研究背景 2 0 世纪8 0 年代到9 0 年代初，在通信行业，联机事务处理一直是数据库应 用的主流，该系统一方面在数年的应用中收集了海量数据，且数据还正以指数级 增加，但另一方面它只能针对特定业务需求来建立相应的应用系统，而对收集起 来的数据分析功能比较弱，如此不足以获得市场竞争的优势。在当今竞争不断加 剧的情况下，企业迫切地需要高效、精确、科学地分析大量业务数据，对自身业 务的运作以及整个市场相关行业的情况进行分析，以找出其背后的寓意，进而了 解企业的经营状况和外部环境，做出科学的决策，在现代激烈的竞争中胜出。因 此，如何建立一个有效的数据中心并将这些数据点石成金，更是摆在企业面前很 现实也很诱人的一个问题。于是数据仓库的概念在9 0 年代中后期在国外被提出 来，相应地，为满足企业分析、获取和利用有用信息的经营分析系统在数据仓库 的基础上也就产生了。 在国外，经营分析系统也属于较新的课题研究，技术理论还不成熟，但已被 一些大型企业广泛运用并已取得很好的经济效益。美国的沃尔玛超市已经拥有全 球第二大的数据仓库，在此基础上它建立了自己的经营分析系统。著名的“啤酒 与尿布”便是经营分析系统在沃尔玛运用得最为成功的案例之一。沃尔玛超市有 成千上万种商品，每天发生的交易数量也十分庞大，为研究顾客购物偏好，最大 限度地提高销量，沃尔玛采用数据仓库技术，将超市中每天的交易情况都记录下 来，并通过对每个用户购买商品的选购单进行分析，发现很多顾客在购买尿布的 同时，也会购买啤酒，这证实尿布与啤酒两种商品间具有一种比较强的关联关系。 分析后发现，购买尿布的顾客常常是年轻的父亲，这些年轻的父亲在给孩子购买 尿布的同时，也常常会给自己购买一些啤酒。于是，沃尔玛超市就将啤酒放在尿 布不远的地方，大大增加了两种产品的销量，为企业带来了更多的效益。 如果没有对海量数据进行科学分析的能力，沃尔玛的老板再精明，也绝对想 不到“啤酒与尿布“这两个风马牛不相及的东西之间还有着千丝万缕的联系。 而将它们放在一起，竟然增加了啤酒销量，可见数据分析的巨大威力。 国内对经营分析系统的建设是从2 0 0 1 年才开始的，正处于起步阶段。目前 国内通信、金融、保险业等正相继在建立自己的经营分析系统。中国移动作为国 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 际上最大的移动通信运营商，从2 0 0 1 年开始。就着手进行在数据仓库基础上的 经营分析系统的建设，今年将在全国范围内开展数据仓库建设和应用工作。这种 大规模的建设及应用模式，在国际上也是少见的，它将为国内电信企业如何利用 数据仓库技术积累重要的经验。 本文正是基于以上背景，针对中国移动公司具体情况对经营分析系统的建设 和应用进行了较为深入的研究。 1 2 论文研究目的、范围及方法 本文研究经营分析系统的主要目的是将其应用于移动通信公司的新业务发 展之中，为公司创造效益。其研究范围涉及到基础理论和实际应用，包括经营分 析系统的概念和内涵介绍、与原有业务系统的联系和区别、经营分析系统的设计 思路和基本构架、技术支撑以及系统在实际应用中的实旌难点与解决方法。在理 论研究的基础上，本文结合移动通信公司的新业务发展情况，应用经营分析系统， 对与业务相关的各类数据进行分析，建立数学模型，对基本方案进行测算、评估， 从而用科学的方法推算出能最大限度为公司创造效益的新业务。 1 3 论文研究的现实意义 1 。3 1 帮助实现企业“以客户为中心”的经营理念 为了适应市场环境的变化，把握机遇，迎接挑战，各移动运营商及时转变经 营思想，树立“以客户为中心”的新的经营理念阳1 ，提出了统一规范、普遍服务、 快速部署新业务的要求，以便能够向客户主动推荐介绍新服务，实现多渠道、多 层次、全方位的客户服务，使客户“随时、随地、随意”地享受到移动运营商提 供的服务。本文研究经营分析系统的目的就是帮助企业准确的把握市场，实现这 一经营理念。它帮助移动运营商及时收集本企业的基础经营数据以及市场竞争素 材数据，并进行认真分析，为经营分析和决策提供有力支持；同时还对移动产品 的运营数据进行收集、分析和展现，跟踪新产品和新业务的市场发展情况，及时 调整经营策略，帮助企业提高在市场中的核心竞争力。 1 3 2 帮助企业充分利用信息资源 目前各业务支撑系统分散、数据不一致，没有综合的分析报表和数据展示系 统，无法为移动运营提供决策支持依据，已经不能满足当前和将来移动发展的需 昆硝理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 要。本文通过研究数据仓库技术，构建企业级的数据仓库，在移动企业中建设一 套集数据展现、专题分析为一体的经营分析系统，构建统一的数据展示平台，大 大提高了报表传递的迅捷性和准确性，可以及时找出所需的运行和市场信息，有 效地分析和挖掘客户，提高公司的经营决策水平。这样能够极大地提高国内电信 企业的业务支撑能力，丰富企业的业务应用内容，缩短与国际电信企业在运营管 理能力方面的差距，为迎接进入w t o 后更开放的、竞争更激烈的电信市场做好技 术准备。 1 3 3 为企业管理者提供辅助决策信息 过去电信企业的经营分析工作是手工收集整理各种数据，进行简单叠加、同 比运算，工作量大且重复繁琐。对企业管理者来说，靠这些手工运算得到的原始 数据来进行企业的经营决策是远远不够并且不科学的，必须要有能够提供辅助决 策信息的基本经济数学模型、业务模型和用户模型，帮助管理者发现问题，寻找 最优解。本文对此专门迸行了探讨。 1 3 4 保障现有业务生产系统运行安全 目前，有关经营分析需要的各类数据分布在不同的生产运行管理系统中，这 些系统都是运行在实时环境中，而经营分析的侧面多、产生的中间和结果数据多、 各种进程交易也繁多，仅从处理负荷角度考虑，就会对现有各生产运营系统的处 理能力提出很高的要求，并且会大大消耗现有系统的存储能力“1 ，影响各系统的 运行速度和响应时间，甚至会导致一些系统出现数据混乱，影响整个生产的正常 运行。本文所研究的经营分析系统则有效地避免了这一安全隐患问题，可以保障 现有业务生产系统运行安全。 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 第二章经营分析系统概述 2 1 经营分析系统概念和内涵 经营分析系统是为适应日趋激烈的市场竞争环境，提升企业核心竞争力，充 分利用业务支撑系统产生的大量宝贵的数据资源，结合相关支撑系统提供的信 息，构建经营分析中心和分析、挖掘、使用平台，从丽对信息进行智能化加工、 处理，并最终为市场决策管理者和市场经营工作提供及时、准确、科学的辅助决 策依据的计算机应用系统“1 。经营分析系统包括两方面的内容，一是数据的整理 过程，主要是数据仓库的建设问题：另方面是数据分析技术，包括联机分析处 理、数据挖掘等方面的内容。 从技术理论上讲，经营分析系统涉及到数据库、数据仓库、联机分析处理 ( o l a p ) 、数据挖掘、人工智能和统计学等多种学科与技术的交叉。从技术实现上 讲，涉及到多种系统平台与工具的集成。从功能上讲，经营分析系统涵盖了客户 情况分析、业务发展分析、收益情况分析、市场竞争分析、服务质量分析、营销 管理分析、大客户分析、薪业务与数据业务分析等主题。它目前主要通过对b o s s 系统( 业务运营支撑系统) 现有数据资源的多维分析，为企业运营提供相应的支 持信息。在完成以上多维分析的基础上，基于数据仓库中的数据，设定某些更深 层次的数据挖掘专题，例如可实现客户流失分析、客户发展分析、客户信用度评 估分析咨询、竞争对手分析等，同时还可以实现某些事件的预测，如营销计划 预演等。 2 2 经营分析系统的基本功能 企业经营分析系统是一个基于运营商各业务支撑系统上的数据展现和分析 系统。作为一个面向企业管理的数据分析系统，将提供覆盖整个公司业务的数据 分析模型，为企业的决策支持奠定基础。系统的基本功能包括以下几个方面“1 ： ( 1 ) 业务情况分析。对各种业务信息进行历史比较分析和横向比较分析，探 索业务的潜在规律，预测业务未来的发展情况，为经营部门决策工作提供服务。 ( 2 ) 经营质量分析。对业务经营信息进行多角度分析，准确提供经营质量分 析报告。 ( 3 ) 用户分析。建立统一的客户资料库。分析各类业务的用户构成，了解用 9 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 户的倾向和动态，为决策部门和市场部门提供准确的依据，真正实现以“客户为 中心”的经营思想。 ( 4 ) 其他功能。如收益情况分析、大客户分析、营销分析竞争分析、网络分析、 客户发展分析、数据业务分析、客户服务分析、客户离网率分析等。 2 3 经营分析系统的特点 ( 1 ) 作为一个综合数据分析系统，该系统并不针对移动公司的具体业务，而 是面向全公司各部门的数据统计分析。系统的数据来源于公司的多个基本业务管 理系统数据库，例如计费、营业、客户服务等。建立这样一个系统首先要对数据 按照一定的管理体系进行转换和汇总，在此基础上，提供给管理人员符合业务逻 辑的数据统计分析界面以便其能够对公司的管理决策提供支持； ( 2 ) 是针对全公司的数据分析系统，用户是公司各部门各阶层的管理人员， 这需要统计分析数据既要有深度又要有广度。广度是指统计数据类型的多样化 以及分析需求的多样化；深度则指管理人员不仅需要看到概括性的统计数据也 需要看到相对详细的统计信息，不仅要知道当前的业务状况还要了解历史数据 并能看到其中的发展趋势。满足上述需求，统计分析模型的设计和数据采集是 本系统的一个重点“： ( 3 ) 采用多维数据存储结构( 立方体) 来存储统计分析数据，这是日前建立数 据仓库系统的主要解决技术，其优点是即能保证数据分析的效率，又能在一定程 度上控制数据的增长； ( 4 ) 基于i n t r a n e t 环境的三级体系结构应用系统，这样的应用框架有利于系 统的扩展，是分布式应用系统的趋势。同时系统应采用统一流行的交互式浏览器 界面，便于用户掌握。列表、直方图、饼图、曲线和三维图形等多种图形方式为 用户提供分析结果，易于为客户所理解： ( 5 ) 经营分析系统应加强对历史数据汇总、统计、分析的响应速度及方便、 准确性。弗且可以为预测、分析提供丰富的数据源； ( 6 ) 按照决策人员的自然思维模式设计多种分析手段和查询方式，各种分析 手段和查询方式之间建立紧密联系，实现模糊查询，支持数据挖掘，容易掌握， 使用方便； ( 7 ) 具有学习功能，系统在运行过程中不断总结相关经验，修正据抽取规则 1 0 昆明理工大学硕士论文经营分析系统理论探讨及其在移动通信公司的应用研究 以及某些预设阀值，提高决策的准确性； ( 8 ) 以解决企业实际需求为目标，深入了鳃用户的业务流程，有针对性地处 理各种实际问题，与您的业务完美结合： ( 9 ) 较高的独立性和灵活性，支持未来的功能扩展，可以方便的覆盖新的业 务需求。虽然建设移动企业经营分析系统的技术方案已经相对比较成熟，然而， 实施一个有效的决策分析系统的最大障碍常常不是技术方面的，而是企业业务系 统及其之间关系的复杂性和企业内部各部门组织协调的复杂性等方面的障碍。因 此一个好的系统实施策略可以有助于消除障碍，减少实施过程中的矛盾，克服非 技术因素影响，业务人员往往不清楚如何建立系统，发挥其决策支持的作用，而 技术开发人员又不清楚业务，不知道建立哪些决策主题，从数据源中抽取哪些数 据。这需要双方互相沟通，共同协商，因此是一个不断往复前进的过程。 2 4 经营分析系统与业务系统的关系 目前，中国移动集团公司已经建立起自己的业务系统，对自身的计费系统和 客户服务系统等数据进行了整合，改变了原有系统中数据分散、管理困难的情况。 业务系统是利用计算机网络系统实现中国移动支撑服务的整体技术平台，其功能 范围含盖了计费处理、结算处理、财务管理、客户服务、业务管理和数据挖掘等 方面。 业务系统的规划和建设遵循了：“一体化、两极中心和三层结构”的原则。 “一体化”是指将计费处理、结算处理、财务管理、客户服务及业务管理等数据 资源进行统筹的规划和考虑，把他们作为一个有机整体以数据中心的形式集中管 理，使中国移动的业务系统形成集中的、综合的、模块化的、信息资源共享的支 撑系统。“两极中心”是指业务系统采用集团公司数据中心和省级数据中心两级 体系。“三层结构”是指业务系统的两级数据中心在逻辑上均应按“数据核心层、 业务逻辑层和接八层”三层结构考虑”1 。 业务系统划分为七个子系统：联机采集、计费、网间结算、业务、综合帐 务、客服和系统管理，明确了两级、三层的体系结构，突出了业务系统的三个特 征、两个能力和一个综合分析( 三个特征：个性化、社会化、信息化：两个能力、 系统实时性和对新业务的支撑能力) 。 经营分析系统建立在业务系统基础之上，并从业务系统中获取基本的数据。 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 业务系统对实时性要求比较高；经营分析系统则是个分析系统，是脱机的系统， 对实时性要求不高； 经营分析系统首先从业务系统中抽取数据，构建数据仓库，然后在数据仓库 的基础上进行o l a p 分析和数据挖掘，从而进行业务的具体分析。 在经营分析系统一期建设过程中，业务系统是经营分析系统的主要数据源， 随着经营分析逐渐扩展为企业级数据仓库，经营分析数据源还将包括网络管理数 据、财务数据等，并引申出不同的分析主题，覆盖更加广泛的范围。 2 5 经营分析系统对于企业的重要意义 移动企业已经积累了大量电子化的业务数据，如计费数据、客户数据等，如 果将这些数据装入数据仓库，利用先进的数据分析技术，可以综合了解客户的信 息，进行客户关系管理分析，发现利润贡献度高的客户，从而做到量体裁衣地为 客户提供个性化的服务。另一方面，还可以对公司基础数据进行汇集分析，有效 地预防欺诈，对计费系统进行统计分析，改进服务理念，提高服务水平和管理水 平”。 2 5 1 客户关系管理 客户关系管理( c b m 即是以客户需求为中心来组织推动整个企业的经营，记 录客户与企业的交往和交易，并将有可能改变客户购买行为的信息加以整理和分 析，同时进行商业情报分析，了解竞争对手、市场和行业动态。客户关系管理使 企业能够对与客户( 现有的或潜在的) 有关的各种要素( 客户需求、市场背景、市 场机会、交易成本及风险) 做出分析与评估，从而最大限度地使企业获得客户， 进而扩大市场。无论公司的客户通过何种方式与企业取得联系，都可以通过c b m 来实现企业与客户的交流与互动。 深入了解客户和市场并牢牢抓住客户是企业在竞争中获胜的关键。利用客户 关系管理，企业可以随时了解客户并分析其需求，而且可以使客户的联系不会因 为人员的流动而中断。企业还可以按照客户的爱好和需求，提供个性化的服务， 提高客户满意度。另外，企业还能使用商业情报分析，发现竞争对手的行动对客 户的影响，以及客户潜在的购买行为。 移动行业多年的运营过程中，积累了大量的客户数据，这些分散在各个系统 的数据对移动运营商而言，利用价值非常有限。因特网技术的发展，为移动的企 1 2 昆明理工大学硕士论文经营分析系统理论探讨及其在移动通信公司的应用研究 业信息、客户信息、服务信息在企业内部、企业和客户间畅通传递奠定了技术基 础。客户关系管理系统利用数据仓库技术，通过客户信息库的建立，整合分散的、 不完整的客户数据，集成多种新旧业务的信息，建立完备的客户信息库，并对其 进行深度统计分析挖掘，发现不同的客户群、客户信用度等，并针对不同的客户 群，进行精确市场营销、销售，改进服务、创造新的业务模式，最大程度地满足 客户个性化需求，并把客户的满意度转化为企业的核心价值“1 。 2 5 2 欺诈行为的分析与防范 客户数量巨大的运营商应实施数据仓库解决方案，通过数据挖掘、客户行为 分析与预测，进行欺诈行为的侦测与防范，事先侦测到欺诈行为，在欺诈发生前 即予以防范。欺诈发现和分析主要应用数据挖掘的技术，识别出欺诈行为的模式， 在此欺诈模式的基础上，能够及时地发现最近数据中的欺诈模式，提交相应的部 门。欺诈行为在所有行为的数据中表现为一种异常值，之所以把它们称为异常值， 是因为它们与众不同，远离大部分数据。异常值有可能是一些错误数据，将会破 坏您的分析结果；但是它们有可能是一些真实存在的现象，正在等待我们的发现 和理解，以便进行一些精彩的应用。无论是哪一种情况，我们都应该重视它们。 对于一维数据，它们只是一些极端值，很容易被发现。对于二维数据，异常值在 一些偏僻的方向延伸出来，可以通过测量该点与正态分布图的偏离距离来量化它 的偏移 1 e l 欺诈行为的分析与防范主要包括孤立点分析、欺诈行为模式识别、欺诈行为 及时检测与防范。 2 5 3 计费系统分析 移动业务的计费分析系统是在现有业务数据系统的基础上，结合一些外部数 据和文档资料，对数据进行抽取、转换、集成，并装载到数据仓库中。数据仓库 中的数据要针对分析需求建立存储和索引机制，从而提高系统分析、统计的效率。 在数据仓库的基础上，可使用联机分析处理工具创建多维数据集，多角度、多层 次地对长话业务的各个指标进行分析。分析角度包括：通话日期、主叫地区、被 叫地区、通话时段、话单类型、话单范围、优惠额度、客户细分。业务量分析指 标有：通话费用、通话时长、通话次数。通过联机统计分析和系统管理，对计费 处理、结算处理、账务管理、营业管理等系统进行集中、统一的规划和整合，可 昆明理工大学硕士论文经营分析系统理论探讨及其在移动通信公司的应用研究 以帮助移动运营企业建立企业的全局视图，站在全局的高度为企业的经营活动提 供各个方面、各个角度的行为分析，同时对企业的历史经营行为进行效益评估， 提供企业日常决策支持最常用和最关心的各种固定报表、灵活报表、多维分析处 理等内容。针对联机分析处理服务器中的汇总数据和数据仓库中的明细数据，使 用查询、报表、分析、挖掘等前端工具和应用系统，可完成移动业务分析系统的 功能，最终进行决策支持。综上所述，利用先进的数据仓库技术，对企业已有信 息资源进行全面整合与分析，从而帮助决策管理人员做出及时准确的决策，是解 决国内电信运营企业目前面临的问题和提高自身市场竞争力的有效途径，也是信 息化发展的重要目标之一。 1 4 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 第三章经营分析系统的设计思路和基本构架 3 1 系统建设思路 经营分析系统建设于各业务支撑系统之上，例如计费帐务系统、业务管理系 统、客户服务系统、办工自动化系统、网管系统等，各业务支撑系统是运营生产 系统，负责生成和管理用户类、资源类、工单类、费用类等各种基础数据，为经 营分析系统提供原始数据。经营分析系统从各业务支撑系统中抽取、清洗、转换 各种基础数据，对数据进行多角度展示，为各级领导的经营决策分析提供数据依 据 z l | o 随着企业对所有基础运营数据进行综合处理、展示、分析的需求日趋高涨， 以及并行数据库技术及其他相关技术的发展和完善，目前已经能够提供比较成熟 的技术解决方案，其中比较典型的是支持决策的数据存储即数据仓库。数据仓库 是一种管理技术，它将分布在企业网络中不同站点的商业数据集成到起，为决 策者提供各种类型的、有效的数据分析，起到决策支持的作用。随着数据仓库的 广泛应用，基于数据仓库的经营分析系统应运而生。移动经营分析系统的体系结 构是以数据仓库框架结构作为基础，并结合现有系统的体系结构而开发出来的。 3 2 经营分析系统总体框架 3 2 1 经营分析系统建立的总体目标 经营分析系统是以数据为基础，以客户为中心，同时兼顾资源、服务使用、 帐务、结算、营销和客户服务等各个方面，实现对外营销与对内管理的双重目的。 该系统通过引入领先的技术和产品，整合移动现有的各种业务数据，实现统一的 信息资源管理、一致的信息和服务传递，建立一个集成的、标准化的分析型应用 平台。 3 2 2 应用框架体系结构 经营分析系统从业务管理系统、客户、网管中提取数据，进行分析。分析 主要涉及客户发展分析，业务发展分析，市场竞争分析，收益情况分析，客户服 务分析，大客户分析，营销分析，数据业务分析，网络分析九大主题。 3 3 数据仓库技术体系结构 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 移动经营分析系统分为集团公司、省公司两级，地市公司不单独设立经营分 析系统。集团公司系统与各省公司系统通过广域网网络实现数据交互。系统将按 照“两级系统、三层结构”的原则进行整体规划和建设，以便使其成为先进的、 高效的决策分析系统。“两级系统”是指经营分析系统分为集团公司级经营分析 系统和省级经营分析系统两级；“三层结构”指经营分析系统在结构上分为数 据获取层、数据存储层和数据访问层三层。如下图所示： 图3 - i 经营分析系统网络组织结构圈 图3 - 2 经营分析系统体系结构图 注：图3 - 2 和图3 - 2 资料均来源于百h i r 啪n 著数据仓库，机械工业出版社，2 0 0 3 第一舨 1 6 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 移动经营分析系统分为数据获取层、数据存储层和数据访问层三层，其中数 据获取层又分为数据来源、抽取、清洗转换加载三个子层；数据访问层又分为 展示方式和分析人员两个子层“”。 ( 1 ) 数据获取层：将b o s s 、m i s 、网管、客户系统和其它外部数据源中的数 据进行抽取、清洗、转换，并加载到数据仓库。 ( 2 ) 数据存储层：实现对移动企业数据仓库中数据和元数据的集中存储与管 理，并可根据需求建立面向部门和主题的数据集市。 ( 3 ) 数据访问层：通过多样化的前端分析展示工具，实现对数据仓库中数据 的分析和处理，形成市场经营和决策工作所需要的科学、准确、及时的业务信息 和知识。 省公司可以根据自身管理、业务的需要在数据仓库上建立适合自身应用的数 据集市。数据仓库、数据集市中蕴含的信息可以通过报表、o l a p 分析、即席查 询、数据挖掘形式向经营分析系统使用人员展现。e i s 是主管信息系统。 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 第四章经营分析系统的技术支撑 4 1 系统软硬件构成及数据处理过程 图4 - 1 移动经营分析系统硬件平台构成 4 1 1 硬件平台 数据仓库服务器主机是由7 个节点组成的海量并行服务器主机。每一节点包 括2 个x e o n2 8 g h zc p u 和4 g b 内存”1 存储系统由1 1 个光纤磁盘阵列模块组成，分别安装于5 个工业标准机柜内。 每个磁盘阵列含5 6 块3 6 g b 磁盘驱动器，合计磁盘原始容量是2 1 t b 。 数据仓库服务器主杌同对连接一台磁带库备份系统。该备份系统配备1 4 个 u l t r i u m 光纤通道磁带机，共6 7 8 个槽位的磁带库。每个磁带机的备份速度为 5 4 g b d , 时。备份系统的容量是5 0 t b 。 数据仓库系统管理工作站含有2 个i n t e lx e o ni 8 g h zc p u ，带有5 1 2 m b 内 存，2 个1 8g b 磁盘驱动器，合计磁盘原始容量是3 6g b 。该服务器运行w i n d o w s 注：圈4 _ l 资料来源于段云峰，吴唯宁等著数据仓库及其在电信领域中的应甩电子工业出版杜第一皈 1 8 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 2 0 0 0s e r v e r 操作系统和管理工作站软件，执行对中央数据仓库系统的管理 功能1 。 数据加载服务器由d e l l p o w e r e d g e t m 6 6 5 0 集群组成，每台4 个至强( t m ) 1 5 g m h z 处理器、8 g b 内存、2 个千兆g b 网口。该服务器上运行m i c r o s o f tw i n d o w s2 0 0 0 a d v a n c e ds e r v e r 操作系统和数据加载管理软件。负责数据加载工作。 o l a p 服务器由d e l l p o w e r e d g e t m 6 6 5 0 集群组成，每台4 个至强( t m1 5 gm h z 处 理器、8 g b 内存，、2 个千兆g b 网口。o l a p j 艮务器安装m i c r o s o f tw i n d o w s2 0 0 0 a d v a n c e ds e r v e r 操作系统和c o g n o s 多维分析服务器软件，还安装了数据加载管 理软件。主要是负责c o g n o so l a p 应用的c u b e 的每日更新工作，管理从数据仓库 中的数据生成的多维分析立方体文件。同时由e t l 服务器上的e t la u t o m a t i o n 自 动调度运行c o g n o s 的更新作业。 w e b 服务器由d e l l p o w e r e d g e t m 6 6 5 0 集群组成，每台2 个至强( t m ) 处理器m p 1 5 g h z 、4 g b 内存、2 个千兆g b 网口。服务器安装m i c r o s o f t w i n d o w s2 0 0 0s e r v e r 操作系统和c o g n o s 的u p f r o n tg a t e w a y 和p o w e r p l a y g a t e w a y 软件和m i c r o s o f t 的i i sw e bs e r v e r ，服务器主要是负责分发c o g n o so l a p 应用的前台展现请求 和业务人员的w e b 浏览。 e t l 指的是e x t r a c t i o n ，t r a n s f o r m a t i o n 与l o a d i n g e x t r a c t i o n 指的 是如何将数据从来源端( s o u r c es y s t e m ) 中截取出来t r a n s f o r m a t i o n 指的是 在截取出来的数据格式与数据仓库所需要的资料做转换l o a d i n g 指的是将数 据加载至数据仓库中 e t l 前置机由d e l l p o w e r e d g e t m 6 6 5 0 集群组成，2 个至强( t m ) 处理器m p 1 5 g h z 、4 g b 内存、2 个千兆g b 网口。 e t l 前置机安装m i c r o s o f tw i n d o w s2 0 0 0s e r v e r 操作系统，e t l 前置机一 边连接业务系统，一边连接经营分析系统，主要是存放业务系统传过来的数据文 件。 另外还有两台一级经营分析服务器和磁盘阵列，磁盘阵列可以插1 0 块1 4 5 g 的硬盘，目前系统只插了4 块1 4 5 g 的硬盘。两台一级经营分析服务器主要是和 集团公司的经营分析系统连接，把数据上传到集团公司。在图3 1 中没有画出来。 4 1 2 软件组成 1 9 幽墼盔堂堡堡塞经营分析系统理论探讨及其在移动通信公司的应用研究 ( 1 ) 数据仓库服务器 操作系统：n c ru n i xs v r 4m p - r a s 数据库系统：海量并行处理数据库管理系统e t l 加载服务器 操作系统：m i c r o s o f tw i n d o w s2 0 0 0a d v a n c e ds e r v e r 工具：n c rt e r a d a t a 公用程序、m u l t i l o a d ，f a s t l o a d ，b t e q ，e t la u t o m a t i o n 数据加载软件 ( 2 ) 数据仓库系统管理工作站 操作系统：m i c r o s o f tw i n d o w s2 0 0 0s e r v e r 、工作站管理软件、系统备份 软件 ( 3 ) o l a p 服务器 操作系统：m i c r o s o f tw i n d o w sn t w i n d o w s2 0 0 0s e r v e r 工具：c o g n o s 多维分析服务器t r a n s f o r ms e r v e r ，e t la u t o m a t i o n j o b s e r v e r ( 4 ) 1 】| e b 服务器 操作系统：m i c r o s o f tw i n d o w sn t w i n d o w s2 0 0 0s e r v e r 工具：c o g n o s 的u p f r o n tg a t e w a y 和p o w e r p l a yg a t e w a y 与m i c r o s o f t1 i s ( w e bs e r v e r 、：i ( 5 ) e t l 前置机 操作系统：m i c r o s o f tw i n d o w sn t w i n d o w s2 0 0 0s e r v e r ( 6 ) 一级经营分析的服务器 操作系统：t u b e rl i u x ( 7 ) 其它客户端软件 - n c rt e r a d a t as o la s s i s t a n t 即席查询工具 n c rt e r a d a t am a n a g e r 数据库管理工具 - c o g n o s 报表和多维分析工具 一c ae r w i n 建模工具 4 1 3 数据处理过程 业务系统( b o s s 系统) 、客户系统、网管系统和其它外部数据通过f t p 方式 传到e t l 前置机的指定目录。e t l 前置机的数据再传到e t l 服务器，在e t l 服务 昆明理工大学硕士论文 经营分析系统理论探讨及其在移动通信公司的应用研究 器上对e t l 前置机上传过来的数据进行校验( 包括有那些文件，每个文件有几条 记录) a 如果数据校验失败则要求重发该文件。把e t l 服务器上的数据加载到数 据仓库的p t e m p 空间，数据再经过转换才保存到数据仓库里。当进行前台数据展 示时，数据仓库把需要的数据，放到o l a p 服务器上，通过o l a p 服务器上的c o g n o s 软件形成多维立方体( 即c u b e ) ，数据展示通过w e b 服务器进行展示。数据通过 。乙a p 服务器进行处理是为提高速度，也就是我们常说的以空间换时间的做法。 如果需要进行一些特殊的查询，需要编写语句，通过w e b 服务器来对数据仓库进 行查询。d a t am i n i n g 是数据挖掘服务器，主要是进行一些专题研究( 如：客户 流失分析) “”。 4 1 4 系统的数据保护和容错机制 ( 1 ) 系统的根盘傲了磁盘镜像保护。磁盘镜像保护要求磁盘控制器把数据 写到两个不同的地方，就是说数据可以从两个地方被读取，在其中一个磁盘失效 时，镜像磁盘变成矩阵控制器的主磁盘，性能不变。磁盘镜像保护将有百分之 1 0 0 的磁盘空间损失。 ( 2 ) 系统每四块硬盘，做了r a i d 5 保护。r a i d 5 是一种奇偶校验技术。四 块磁盘中的任意一块中的信息可以使用其他三块磁盘的信息来重新建立。r a i d 5 机制将有百分之2 5 的磁盘空间损失。 ( 3 ) 系统有7 个节点，有3 个节点组成了一个c 1 i q u e ，另外的4 个节点组 成了一个c l i q u e 。c 1 i q u e 是一组共享磁盘矩阵的节点。在一个节点失效时，这 个节点上所有的控制能够移动到这个c l i q u e 里其它可用的节点中。c l i q u e 里所 有的节点必须存储相同的磁盘矩阵。当四个节点中有三个失效情况下，剩下的节 点仍可以将失效节点的控制接管过来。 ( 4 ) 在数据库里的关键表，用户可以做f a l lb a c k 保护。f a l lb a c k 保护 是在数据库的其它地方保存一份相同的记录。如果关键表数据丢失，系统就会访 问f a l lb a c k 的记录。f a l lb a c k 机制在表的级别上提供了容错功能。如果定义 了表的f a l l b a c k 保护，它的保护是自动和透明的。这样的好处就是保护了用户 的数据，但也带来了额外的开销。包括两倍的磁盘空间，两倍的i n s e r t