（计算机应用技术专业论文）电信行业经营分析系统的设计.pdf

摘要 随着国内几家电信企业的重组和3 g 牌照的发放，我国通信行业 的竞争也日趋激烈。与其他行业相比，电信运营商拥有更多关于用户 的数据。谁能正确地挖掘出隐含于这些数据中的知识，谁就能更好地 向用户提供产品与服务。这促使电信运营商建设和不断改进以数据仓 库为基础的经营分析系统。 本文在深入分析了数据仓库技术在国内外电信行业中的应用情 况下，指出了现有系统的不足，阐明了现阶段系统的建设原则、目标 以及建设步骤等，在研究了数据仓库和经营分析系统相关技术的基础 上，详细设计了经营分析系统的架构和逻辑模型，结合电信行业业务 流程特点，划分了主题域，并对其中最重要的客户主题进行了详细的 模型设计，结合数据特点和系统分析要求，进行了粒度的划分，按时 间和地域位置进行了数据分割，应用了一个优化的e t l 框架 e c t l ( e x t r a c t i n g c l e a n i n g t r a n s l a t i o n l o a d i n g ) ，在e t l 过程中加入数 据清洗，以提高数据质量，采用和论述了数据抽取、清洗、转换、加 载等关键技术。本文提出了一种基于正态分布的极端数据处理方法， 利用数据正态分布的特性来标出极端数据，并用存储过程实现了该方 法，应用证明该方法能有效地标示出极端数据。最后用p o w e r c e n t e r 实现了客户付费表的抽取过程。 最后，论文对本系统工作进行了总结，进一步指出经营分析系统 建设中还需要解决的问题。 关键词数据仓库，e t l ，电信经营分析系统，数据清洗 a b s t r a c t w i t ht h er e o r g a n i z a t i o no fo u rt e l e c o m m u n i c a t i o n sc o m p a n i e sa n d t h ei s s u a n c eo f3 gl i c e n s e s ，t h ec o m p e t i t i o no ft e l e c o mi n d u s t r yi s b e c o m i n gf i e r c e r c o m p a r e dw i t ho t h e ri n d u s t r i e s ，t e l e c o mo p e r a t o r sh a v e m o r ed a t ao ft h ec u s t o m e r s t h o s ew h oc a nm i n et h e k n o w l e d g e c o n t a i n e di nt h ed a t ac o r r e c t l yc a no f f e rb e t t e rp r o d u c ta n ds e r v i c e i t p r o m p t s t e l e c o m o p e r a t o r s c o n s t r u c to r i m p r o v e t h ed a t a w a r e h o u s e b a s e db u s i n e s sa n a l y s i ss y s t e m o nt h ed e p t ha n a l y s i so ft h ec i r c u m s t a n c e so fd a t aw a r e h o u s e t e c h n o l o g yi nt h ed o m e s t i ca n di n t e r n a t i o n a lt e l e c o m m u n i c a t i o n si n d u s t r y , t h i st h e s i sp o i n t so u tt h es h o r t c o m i n g so ft h ee x i s t i n gs y s t e m s ，t h e np o i n t s o u tt h ep r i n c i p l e s ，o b j e c t i v e sa n ds t e p so ft h ec o n s t r u c t i o no ft h es y s t e m o nt h eb a s i so fs t u d y i n gt h er e l a t e dt e c h n o l o g i e so fd a t aw a r e h o u s ea n d b u s i n e s sa n a l y s i ss y s t e m ，t h i st h e s i sg i v e st h ed e t a i l e dd e s i g no ft h e s t r u c t u r ea n dl o g i cm o d e lo ft h eb u s i n e s sa n a l y s i ss y s t e m ，c o m b i n e dw i t h t h ec h a r a c t e r i s t i c so ft h eb u s i n e s sp r o c e s s e so ft h et e l e c o mi n d u s t r y , t h i s t h e s i sd i v i d e st h es u b j e c td o m a i nf o rt h ed a t aw a r e h o u s e ，a n dg i v e st h e d e t a i l e dm o d e ld e s i g no ft h ec u s t o m e rs u b j e c tw h i c hi st h em o s t i m p o r t a n t t h e m eo ft h i sd a t aw a r e h o u s e c o m b i n e dw i t ht h e c h a r a c t e r i s t i c so ft h ed a t aa n dt h ea n a l y s i sr e q u i r e m e n t so ft h i ss y s t e m ， t h eg r a n u l a r i t yo ft h ed a t ai sa l s od e s i g n e dt o o t h i st h e s i sd e s i g n st h e i i p a r t i t i o nf o rt h ed a t aa c c o r d i n gt o t h et i m ea n dg e o g r a p h i c a lp o s i t i o n t h i ss y s t e ma p p l i e sae c t l ( e x t r a c t i n g c l e a n i n g t r a n s l a t i o n l o a d i n g ) f r a m e w o r kw h i c hi sa no p t i m i z e de t lf r a m e w o r k d a t ac l e a n i n gi s j o i n e di nt h ee t lp r o c e s st oi m p r o v ed a t aq u a l i t y t h i st h e s i sd i s c u s s e s d a t ae x t r a c t i o n ，c l e a n s i n g ，t r a n s f o r m a t i o n ，l o a d i n ga n do t h e rr e l a t e d t e c h n o l o g i e s i na d d i t i o n ，t h i st h e s i sr a i s e sam e t h o df o rt h ep r o c e s s i n go f t h ee x t r e m ed a t ao nt h eb a s i so fd i s t r i b u t i v ec h a r a c t e r so ft h en o r m a l d i s t r i b u t i o na n dr e a l i z e st h i sm e t h o db yu s i n gs t o r a g ep r o c e s s e s t h e a p p l i c a t i o no ft h i sm e t h o dh a sp r o v e dt h a tt h i sm e t h o dc o u l de f f e c t i v e l y m a r ko u tt h ee x t r e m ed a t a t h e nt h i st h e s i sr e a l i z e st h ee x t r a c t i o np r o c e s s o fc u s t o m e r sp a yt a b l eb yu s i n gp o w e r c e n t e r f i n a l l y , t h i st h e s i si ss u m m a r i z e da n dp o i n t so u tw h a tn e e dt od o n e x tf o rt h i ss y s t e mi nt h ef u t u r e k e yw o r d sd a t aw a r e h o u s e ，e t l ，t e l e c o mb u s i n e s sa n a l y s i s s y s t e m ，d a t ac l e a n i n g ! i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他入已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：笪 塞塑塑 日期：母上月么日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名： 翩签碑篮眺卫年上月丝日 硕士学位论文第一章前言 1 1 研究背景 第一章前言 最近几年来中国的电信产业取得了突飞猛进的发展，电信新技术层出不穷， 从语音固话到移动通信、宽带、3 g 。电信业也开始从行业垄断走向行业竞争。 随着2 0 0 8 年中国电信收购中国联通c d m a 网，中国联通与中国网通合并，中国 铁通并入中国移动，中国卫通的基础电信业务也并入中国电信，使得中国的电信 格局发生巨大的变化，大于市场份额5 0 的主导电信运营商已不复存在，电信的 重组引起了三家运营商为争夺市场话语权展开更激烈的竞争i l j 。 中国移动、中国联通和中国电信对市场的争夺战愈演愈烈，三家之间争夺加 剧了客户流失行为。2 0 0 8 年中国电信公布的1 1 月份运营数据显示，本月c d m a 用户继续流失4 3 万，固话用户净减1 5 1 万，而宽带用户增长6 9 万。中国移动公 布的1 1 月份运营数据显示，本月净增用户6 8 7 万，较1 0 月的7 1 9 4 万有所放缓。 截至1 1 月底，中国移动今年累计用户增长为8 0 8 4 万，用户总数升至4 5 亿。根 据中国联通公布的1 0 月份的营运数据，g s m 新增用户数为1 2 1 9 万户，用户累 计总数1 3 2 亿户。期内本地电话用户净流失7 9 2 万户，1 0 月底电话用户累计达 1 0 7 亿户；宽带用户则净增3 4 5 万户，用户累计达2 5 2 0 4 万户【2 j 。 上述数据表明除中国移动外，两大运营商的用户数量都在减少，这说明中国 的电信市场现在正步入成熟期，注册客户数动态增长，即在大量客户入网的同时， 又有大批客户流失。这对运营商而言，如果不能及时发现用户的流失倾向，将给 运营商带来非常大的损失。当发现用户大量减少时再去寻找原因，用户已丌始给 竞争对手交服务费了u j 。 于是在这种背景下国内外的电信运营商纷纷丌始改造或者重新建设相应的 业务信息管理系统，建设经营分析系统，通过数据仓库的不断聚集，挖掘出有用 的知识，有效地为市场营销和资费定位决策提供依据，同时对用户的离网倾向做 出预测，以便采取有效的手段来进行用户的挽留工作【4 】。 1 2 国内外现状 1 2 1 国外电信实施数据仓库的现状 从国外的情况来看，一些著名的电信企业如英国b t 、美国a t & t 等从9 0 年代末已经开始构建自己的数据仓库系统，将数据挖掘技术应用于客户行为的分 析、研究与预测5 1 ，并以此作为提升客户关系管理水平的重要手段。例如a t t 硕士学位论文第一章前言 构建了3 1t b y t e 容量的数据仓库系统；西南贝尔通信公司构建了1 2 8t b y t e 容量 的数据仓库等。这些数据仓库系统都已经成为其市场运营管理过程中的有力支撑 手段，并且从中获得了巨大的收益。数据仓库技术在世界电信行业中有很多成功 的案例，表1 1 中的这些运营商使用数据仓库技术解决了很多商业问题【6 】： 表卜l 成功案例 运营商效果 b r i t i s ht e l e c o m m u n i c a t i o n s ( 英 国) t e l e c o mi t a li am o b il e ( 意人利) h u t c h i s o nt e l e c o m ( 香港) 向销售人员和营销活动提供了“最佳客户”清单，直邮 活动同应率提高了1 0 0 。 预防了客户的流失； 加强了客户交义销售的机会； 对客户的行为有更深的理解。 建立客户忠诚度评估体系，降低了客户的流失。 全球各大电信运营商对数据仓库的应用主要集中在以下几个方面【7 】： ( 1 ) 消费行为分析 通过对用户话单记录的分析，从消费能力、消费习惯、消费周期等多方面对 用户的行为进行分析和预测，对用户进行分类，为有针对性的服务提供依据。 ( 2 ) 客户流失和优惠仿真预测模型 通过对用户缴费记录，通话记录等信息进行分析，建立用户流失观测模型， 分析预报客户流失的概率，以便及早采取相应的挽救措施，防止现有客户的流失。 还可以利用数据仓库技术实现优惠策略的预演，分析预测结果，并对资费进行调 整优化，便电信企业获得最大的利益。 ( 3 ) 防范欺诈行为分析 利用数据仓库建立的顾客资料信息系统，设立欺骗检测模型，能够发现用户 反常电话以及欺骗性的打电话方式，在造成重大经济损失之前终止这种欺骗行 为，保护电信企业和用户的利益。 ( 4 ) 网络管理和网络优化分析 针对目前网络管理中大量的数据进行分析、聚类，从而为优化网络结构、提 高全网质量、进行网络规划提供可靠的保证。通过数据仓库的应用，电信运营商 可以了解和分析网络资源的使用情况，以便进行更好的容量规划和更合理的资源 配置。 ( 5 ) 动态报表生成 动态报表就是利用数据仓库技术中元数据的思想，将报表元素分解成基本构 件，实现对数据按用户轴、时间轴、地域轴、通话类型轴等，对用户的呼叫量、 2 硕士学位论文第一章前言 消费量进行分析统计，形成各种各样的报表。 1 2 2 国内电信业的现状和不足 近两年来，国内各运营商都已经不同程度、不同规模地启动了经营分析系统 的规划和实施工作，期望这些系统为企业提供高效的数据分析手段，提高企业的 决策能力、效率和准确性，获得更多的投资回报。但是目前来说，基本上还没有 形成“全企业、全业务 范围的经营分析活动，应用也多以报表和指标为主。中 国移动从2 0 0 1 年到2 0 0 3 年问初步完成各省经营分析系统的初期建设工作，主要 是面向账务数据，但距离“全业务”还有很大的一段距离【8 】o 中国电信前几年也 正在进行各省公司经营分析系统建设的试点，开始制定具体的数据仓库建设指导 规范。中国联通也在部分省公司推行经营分析系统的建设。大势所趋，国内电信 企业都期望建立起了整套“全企业、全业务范围的经营分析系统，以利于企业 不断完善经营活动，从而提高企业的核心竞争力。 目前国内经营分析系统的系统建设存在以下几个误斟9 】： 误区一：只是报表系统 目前各部门业务建设和分析人员还是习惯于报表形式的分析模式，对经营分 析系统所要承担的使命认识不够清晰，对经营分析系统总体功能缺乏合理的规划 构架，大量的临时统计报表贯穿于经营分析系统日常的丌发工作中，经营分析系 统成为了报表系统。 误区二：系统功能越界 数据仓库是企业经营分析系统的数据中心，是按照企业完整的数据信息主题 来组织和沉淀数据的，为企业提供一个完整的经营分析信息服务。而在建设过程 中，往往将一些生产系统所应提供但欠缺的功能，附加在经营分析系统中，造成 经营分析系统为半生产系统，将大量的时间和人力花在了数据接口的整合和数据 一致性的核对上，偏离了分析主题。 误区三：使用对象定位单一 在经营分析系统建设过程中，很容易将分析和决策划等号，认为系统是为公 司的管理决策层服务的，忽视了对市场一线营业人员的服务，造成系统使用范围 太窄，发挥不了应有的作用。 误区四：现实和未来的不和谐 经营分析系统是一个需要长期建设的系统工程，在当前各公司所面临的经营 压力的情况下，系统建设出现了两种极端状况：( 1 ) 注重长时间的数据完整收集 和信息沉淀，在一定时期后才推出实际的有效功能应用，对现有市场活动支持力 度太差；( 2 ) 快速满足日常琐碎的经营分析任务，缺乏对系统的长远的基础规划， 3 硕十学位论文第一章前言 数据粒度和层次划分不科学，基础工作做得不好，造成系统出现功能扩展受限的 瓶颈。 误区五：分析与操作的不和谐 在日常经营分析过程中，能从系统中获取许多有价值的信息和知识，但往往 应用不力，信息和知识发挥不了应有的价值。这里除了有对经营信息认识不足的 因素外，最主要的原因是缺乏一套有效、闭环经营流程管理机制。 误区六：重引导需求，轻需求驱动 由于经营分析系统的需求不确定性，系统建设初期，往往注重凭借开发商的 经验，主动向最终用户提供系统可能实现的应用和功能，而忽视不定期采集和紧 密捆绑市场及业务部门的具体需求，造成系统的实际应用功效太差。 1 3 课题来源及研究内容 经导师安排，本人以实习生的身份在长沙赫普信息网络科技有限公司进行实 习，参与了该公司的铁通项目的开发工作，在此期间主要参与了岳阳、株洲、邵 阳等湖南各地市的铁通经营报表项目、河南郑州的铁通经营报表项目、湖南铁通 固网银联支付平台项目，参与了湖南省铁通经营分析系统的前期数据仓库部分设 计工作。本论文中的系统是在以上项目的基础上结合其它电信运营商的情况而设 计的。 本文的主要工作有以下几点： ( 1 ) 完成电信行业经营分析系统的数据仓库架构和模型的设计，主要包括经 营分析系统各主题的设计，完成各主题的详细逻辑模型的设计。 ( 2 ) 对数据仓库建设过程中的数据抽取、数据清洗、数据转换和数据加载进 行研究和设计。给出适合该系统的e t l 方案，对常用的e t l 工具进行比较，选 择适合该系统的e t l 工具 ( 3 ) 比较现有数据仓库的软件平台的优缺点，选择适合该系统的软件平台及 相关的其它支撑工具。 1 4 本文内容组织安排 本文共分5 章，文章各章节内容安排如下： 第一章分析了目前电信行业的一些背景，阐述了此研究课题的选题背景。 第二章探讨了经营分析系统的概念、实施中面临的困难以及数据仓库和一 些相关的技术。 第三章阐述了经营分析系统的设计目标和原则，结合实际情况进行了经营 分析系统的架构设计、模型设计，在比较一些软件平台后，选出本系统的软件平 4 硕士学位论文 第一章前言 台。 第四章在划分经营分析系统的主题域之后，针对比较重要的客户主题和服 务主题进行了详细的设计。结合数据特点进行粒度设计，应用时间和地理区域对 数据进行分割。 第五章应用了一个优化的e t l 框架一一e c t l ( e x t r a c t i n g c l e a n i n g t r a n s l a t i o n l o a d i n g ) ，采用和论述了相关的数据抽取、清洗、转换、加载等 关键技术。针对数据正态分布的特点，给出了一个基于正态分布的处理极端数据 算法，并用存储过程实现了该算法。 第六章最后结本文所做的工作进行了总结，并指出了不足之处，以及下一 步需要做的工作。 5 硕士学位论文 第二章电信经营分析系统中的相关技术 第二章电信经营分析系统中的相关技术 从技术理论上讲，经营分析系统涉及到数据库、数据仓库、联机分析处理 ( o l a p ) 、数据挖掘、人工智能和统计学等多种学科与技术的交叉【1 0 】。 2 1 经营分析系统介绍 2 1 1 经营分析系统 经营分析系统是一个数据分析与决策支持系统，它充分利用电信业务支撑系 统产生的大量宝贵数据资源，对市场及用户的各类消费情况、各类业务的开展情 况、各种销售渠道的经营情况等一系列的问题进行快速、有效、可靠的分析，从 而了解用户需求，把握市场动态，寻找投资与回报的最佳结合点，提高电信运营 商的管理水平和竞争优势。经营分析系统包括两方面的内容，一是数据的整理过 程，主要是数据的抽取、清洗、转换、加载和数据仓库管理方面的内容；另一方 面是数据分析技术，包括联机分析处理、数据挖掘以及结果展示等方面的内容。 经营分析系统实现操作数据与经营分析数据的分离，形成统一的经营分析信 息数据源，使业务支撑系统不必为统计分析等经营信息服务而建设专门的处理子 系统，生产子系统视自身情况，周期地备份并清理历史数据；而经营分析系统所 需的大量历史数据不能直接依赖于生产系统，必须周期性地从生产系统中抽取， 独立积累、独立存储、独立管理。另外，系统存储了大量操作型历史数据，可以 为生产系统分担一些查询任务。 2 1 2 系统实施中面临的困难 由于电信运营商的业务支撑系统的建设时间不一，设计者也不同，所以在经 营分析系统建设时首先面对的问题有以下几个方面【1 1 】。 ( 1 ) “数据孤岛”现象：每天业务系统中产生的大量积累数据却无法互通， 彼此不能充分共享，形成“数据孤岛”现象。 ( 2 ) 数据不一致：业务系统和数据间的孤立性以及它们之间的“蜘蛛网”现 象使运营商各管理部门最终获得的数据可能是经过多次抽取后得到的，这个复杂 的抽取过程难以保证数据的完整和准确，从而导致数据的不一致性。 ( 3 ) 历史数据问题：由于没有统一的格式和地点来存放业务系统的历史数据， 这给很多分析、决策支持系统的趋势分析和预测带来不便，使宝贵的历史数据不 能得到充分利用。 6 硕士学位论文 第二章电信经营分析系统中的相关技术 ( 4 ) 数据缺乏总体性：各业务支撑系统往往只关心本身需要的数据，没有保 存对整个公司非常重要但本系统却不需考察的数据和结果。当电信运营商决策层 需要一个反映总公司及各个分公司安的综合评价报告时，需要从各个不同的业务 系统中查询不同的数据，而这时，由于各个业务支撑系统数据缺乏全局考虑，造 成现有的系统没有提供这些服务的能力。 通过数据仓库技术，可以将各个业务支撑系统的数据进行整合，成为一个面 向主题的、集成的、非易失的且随时间变化的数据集合。通过动态、有选择性地 采集和更新数据源的有效信息及企业外部相关信息，进行智能化地分析、处理、 预测、模拟等，最终向各级运营商决策管理者或专业人员提供及时、科学、有效 的分析报告，集中地反映运营商运转的情况【1 2 】。为运营商的正确决策提供科学 依据，能有效地避免决策的盲目性。 2 2 数据仓库的基本概念 2 2 1 数据仓库的定义 数据仓库的概念提出于2 0 世纪8 0 年代中期，到2 0 世纪9 0 年代，数据仓库 已从早期的探索阶段走向实用阶段。但是目前，数据仓库一词尚没有一个统一的 定义。著名的数据仓库专家w h i n m o n 在其著作( ( b u i l d i n gt h ed a t aw a r e h o u s e 一书中给予如下描述：数据仓库( d a t aw a r e h o u s e ) 是一个面向主题的( s u b j e c t o r i e n t e d ) 、集成的( i n t e g r a t e ) 、相对稳定的( n o n v o l a t i l e ) ，反映时间变化( t i m e v a r i a n t ) l 拘数据集合【1 3 l 【1 4 1 。 根据数据仓库概念的含义，数据仓库拥有以下四个特点： ( 1 ) 面向主题 操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离， 而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是 指用户使用数据仓库进行决策时所关心的重点方面，它是在高层次上面对企业数 据进行综合、分类概括。 ( 2 ) 集成性 面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互 独立，并且往往是异构的。而数据仓库是将多个异构的数据源，包括关系型数据 库、文件等集成在一起，但这并不是原有数据的简单拷贝，而是在抽取、清理的 基础上经过系统整理得到的。 ( 3 ) 相对稳定性 操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓 7 硕一j ：学位论文第二章电信经营分析系统中的相关技术 库的数据主要供企业决策分析之用，平时所涉及的数据操作主要是数据查询，修 改和删除操作很少，通常只需要定期的加载、刷新，因此它是相对稳定的。 ( 4 ) 反映时间变化 操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据并 不只是关于企业某一时刻的信息，而是系统地记录了企业从过去某一时刻到目前 的数据。在所有的数据中都应该隐式或显式地包含有时间元素。通过这些信息， 可以对企业的发展历程和未来趋势做出定量分析和预测。 数据仓库系统不同于操作型数据库系统，操作型数据库系统或者叫做联机事 务系统( o l t p ) ，主要是满足一个企业同常的操作，比如银行的p o s 系统，电信 的营业受理系统、服务开通系统等，面对的是企业的用户以及日常生产操作人员。 操作型数据库系统主要管理着企业的最细粒度的、当前有效的操作记录。系统设 计主要满足事务的并发控制、事务的完整型以及系统的快速恢复。系统的响应速 度、系统的事务吞吐量是一个重要的衡量指标。而数据仓库系统则面向的一个企 业的经营分析人员和高层管理人员，系统存储的数据由面向主题的方式进行组 织，保存着分析所需要的各种粒度级别的数据，数据一般采用星型或者雪花模型， 为了保证系统的性能，经常违反第三范式，数据不仅保留当前有效的数据，也保 留企业较长时间的历史数据。平时用户访问系统主要是读取数据，很少数据对进 行修改操作。此外，数据仓库的数据量比较大，一般都在t b 纠”】。 数据仓库系统一般采用三层结构【1 6 】，如图2 1 所示，各部分的说明如下： ( 1 ) 数据获取部分 数据获取部分主要指数据从外部数据源经过抽取( e x t r a c t ) 、转换( t r a n s f o r m ) 、 加载( l o a d ) 进入数据仓库的过程。数据仓库支持的数据源是多种多样的，包括操 作型系统的数据库表、文件、外部的数据录入等。 ( 2 ) 数据存储部分 数据存储部分是数据仓库系统的主体。在该部分中让所存储的数据包括两个 部分。其一是从外部数据源抽取的数据，经过清洗、转换处理，并按主题进行组 织和存放在数据仓库或数据集市中的业务数据：其二是数据仓库的元数据【1 7 】， 元数据作为数据仓库的核心之一，作为数据的数据，元数据管理着系统所涉及到 的所有数据项的说明、数据转换的规则等重要信息，没有元数据的管理，系统的 数据就难于形成一个统一的视图。对于不同规模和应用目的的数据仓库而言，数 据存储层的构造方式不尽相同。 ( 3 ) 数据分析应用层 数据仓库系统的数据分析应用层面向系统的一般用户，主要为用户提供常 规的查询与检索、简单统计和报表等数据仓库最基本的功能，通过o l a p 的上 8 硕上学位论文 第二章电信经营分析系统中的相关技术 卷、下钻、切片和旋转等操作对数据库进行深入的分析。也可以通过数据挖掘从 大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含其中的、不为人 知的、但又是十分有用的信息和知识。最后以适当的方式向用户展示和分析结果。 2 2 2 数据集市 区固 图2 - 1 数据仓库体系结构 数据集市是一种特殊形式的数据仓库。一般而言，数据集市是由数据仓库派 生而出，针对特定应用的规模更小的，结构更集中的决策数据集合体。数据仓库 与数据集市的有效结合可以使数据仓库更能适应多种应用的不同需求。数据集市 具有以下的特性f 1 8 】： ( 1 ) 面向部门、规模小、可以紧密集成针对特定应用的分析工具。 ( 2 ) 提供更详细、预先计算的综合数据，更利于快速分析。 ( 3 ) 由企业部门定义、设计与开发，也由企业部门维护与管理。 ( 4 ) 开发费用低，能快速实现并能快速收回投资。 数据集市与数据仓库都是决策数据的集合体，而且数据集市往往是以数据仓 库为基础而设立的，但是两者有着明显的区别，且不能相互取代。其主要区别是： ( 1 ) 主题不同：数据仓库具有为企业全局服务的主题，而数据集市的主题则 是数据仓库中的局部性主题。 ( 2 ) 服务对象不同：数据仓库的服务对象是整个企业，是面向整个企业决策 的数据集合，而数据集市的服务对象则是某个部门或某个特定应用，是面向企业 中部门决策的数据集合。 ( 3 ) 综合度不同：数据仓库中往往只有当前细节及少量综合数据，而数据集 9 硕士学位论文第二章电信经营分析系统中的相关技术 市则针对特定应用需要多粒度的综合数据。 ( 4 ) 应用环境不同：数据仓库面向应用的大环境而数据集市则面向具体的应 用环境，两者的细节要求有着明显的不同。数据集市更适合应用的具体的数据需 求。 虽然一般而言，数据仓库是建立数据集市的基础，但是在实际应用中往往也 有特殊的情况，即有的时候数据集市直接由数据源中数据抽取而成，这种数据集 市称为独立型数据集市，而建立在数据仓库之上的数据集市则称为依赖型数据集 市。 2 2 3o d s o d s ( o p e r a t i o n a ld a t as t o r e ) 是数据仓库体系结构中的一个可选部分，o d s 具备数据仓库的部分特征和o l t p 系统的部分特征，它是“面向主题的、集成的、 当前或接近当前的、不断变化的”数据。一般而言，o d s 有以下几个作用【l 引。 ( 1 ) 在业务系统和数据仓库之间形成一个隔离层：一般的数据仓库应用系统 都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、 不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。因此， o d s 用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之 间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据 转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问 题。 ( 2 ) 转移一部分业务系统细节查询的功能：在数据仓库建立之前，大量的报 表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务 系统的运行产生相当大的压力。o d s 的数据从粒度、组织方式等各个方面都保 持了与业务系统的一致，那么原来由业务系统产生的报表、细节数据的查询自然 能够从o d s 中进行，从而降低业务系统的查询压力。 ( 3 ) 完成数据仓库中不能完成的一些功能：一般来说，带有o d s 的数据仓库 体系结构中，d w 层所存储的数据都是进行汇总过的数据，并不存储每笔交易产 生的细节数据，但是在某些特殊的应用中，可能需要对交易细节数据进行查询， 这时就需要把细节数据查询的功能转移到o d s 来完成，而且o d s 的数据模型按 照面向主题的方式进行存储，可以方便地支持多维分析等查询功能。 在一个没有o d s 层的数据仓库应用系统体系结构中，数据仓库中存储的数 据粒度是根据需要而确定的，但一般来说，最为细节的业务数据也是需要保留的， 实际上也就相当于o d s ，但与o d s 所不同的是，这时的细节数据不是“当前、 不断变化的 数据，而是“历史的，不再变化的一数据。 l o 硕 学位论文第二章电信经营分析系统中的相关技术 2 3o l a p 技术 联机分析处理( o l i n ) 的概念最早是由关系数据库之父e ec o d d 于1 9 9 3 年 提出的。当时，c o d d 认为联机事务处理( o l t p ) 已不能满足终端用户对数据库查 询分析的需要，s q l 对大数据库进行的简单查询也不能满足用户分析的需求。 用户的决策分析需要对关系数据库进行大量复杂查询操作才能得到结果。因此 c o d d 提出了联机分析处理( o l t p ) 的概念，专门设计用于支持复杂的数据分析操 作。o l a p 的目标是满足决策支持或多维环境下特定的查询和报表需求，其技术 核心是“维”的概念，因此o l t p 也可以说是一种多维数据分析的工具集合【2 0 1 。 ( 1 ) o l a p 分析的基本操作 o l a p 分析主要采用切片、切块、聚合、旋转、钻取等基本操作，对以多维 形式组织的数据进行剖析，从而使用户达到从多个维度、多个侧面、多种数据综 合度查看数据，从而深入地了解包含在数据中的信息、内涵。 ( 2 ) o l a p 的分类 o l a p 系统按照其数据存储组织形式的不同，可以分为关系o l a p ( r e l a t i o n a l o l a p ，简称r o l a p ) 、多维o l a p ( m u l t i d i m e n s i o n a lo l a p ，简称m o l a p ) 和混 合型o l a p ( h y b r i do l a p ，简称h o l a p ) = 种类型。 r o l a p ：是基于关系数据库的o a l p 实现，其数据及聚合结果均直接由关 系数据库获得，并且以关系表的形式进行多维数据的表示和存储。它将多维结构 划分为两类表：一类是维表，用来记录维度信息；另一类是事实表，用来存储度 量信息和各个维度的码值。r o l a p 预处理程度较低，不存储数据副本，占用的 存储空间最少，灵活性较好，但是对用户的分析请求处理时间比较长。 m o l a p ：m o l a p 利用一个专有的多维数据库来存储o l a p 分析所需的数 据，数据以多维数组的方式存储，并以多维视图方式显示。每一个数据单元( c e l l ) 都可以通过维度的定位直接访问。而且，它将多维数集的聚合、维度、汇总数据 以及其源数据的副本等信息都以多维结构存储在立方体中。因此，其存取速度快， 查询性能最好，支持高性能的决策支持计算。缺点是由于需要存储副本，因此需 要额外占用一些存储空间，需要花费时间对数据进行预处理，不能很好的支持维 的动态变化。 h o l a p ：是基于混合数据组织的o u 心实现，其原始基本数据存放于 r d b m s 中，聚合数据存放于多维数据库中，用户可以根据自己的业务需求，选 择哪些模型采用r o l a p ，哪些采用m o l a p 。它既能与关系数据库建立连接， 同时又利用了多维数据库的优势，这种方式的缺点就是在r o l a p 和m o l a p 系 统之间的切换会影响它的效率。一般来说，将非常用或需要灵活定义的分析使用 r o l a p 方式，而常用、常规的采用m o l a p 实现。 硕士学位论文第二章电信经营分析系统中的相关技术 目前由于多维数据库的技术还没有完全成熟，因此在大量的企业级数据仓库 的项目中9 0 以上的用户和厂商使用r o l a p 建立自己的数据仓库系统【3 7 1 。 2 4 数据挖掘 数据库系统虽然可以高效的实现数据的录入、查询和统计等功能，但是并不 能发现数据中隐藏的知识，也无法根据现有的数据有效地预测未来，这些收集于 数据库中的数据终将成为“数据坟墓 ，人们陷入了“人类被数据淹没，却饥饿 于知识的尴尬处境中。因此人们急需一种新技术和自动工具可以帮助我们科学 地进行决策，数据挖掘技术就是这样一类技术。数据挖掘( d a t am i n i n g ，简称d m ) 就是从大量的、不完全的、有噪声的、模糊的、随机的应用数据中，提取隐含在 其中的潜在有用的信息和知识的过程【2 l 】【2 2 】【2 3 1 。 广义的数据挖掘定义是把数据挖掘等同于数据库中的知识发现( k n o w l e d g c d i s c o v c r yf r o md a t i v e ，简称k d d ) ，这是一个从大量数据中抽取挖掘出未知的、 有价值的模式或规律等知识的复杂过程。数据挖掘的概念与k d d 十分相似，很 多学者将它们视作同义词，但严格来说两者还是有一定的区别的1 2 4 】。k d d 强调 的是从大规模数据库中挖掘有趣的知识，即从低层数据抽象到高层知识的整个过 程；而数据挖掘只是k d d 中的一个重要步骤，侧重于通过算法的设计和实现达 到发现知识的目的。所以狭义的数据挖掘定义是把数据挖掘视为数据库中知识发 现过程的一个基本步骤。 随着数据挖掘技术的深入应用，产生了大量经典的数据挖掘算法，数据挖掘 方法通常可以分为两类：统计模型和机器学习技术，其中机器学习与数据挖掘关 系最密切，而统计模型应用于数据挖掘主要是进行评估。常用的统计技术有概率 分布、相关分析、回归、聚类分析和判别分析等：机器学习是人工智能的一个分 支，也称为归纳推理，通过学习训练数据集，发现模型的参数，并找出隐含的规 则【3 3 1 。常用的数据挖掘方法包括了聚类、分类、关联分析、复杂类型的数据挖 掘等【2 4 1 。 目前电信行业中数据挖掘主要应用在以下几个方面：客户消费模式分析，业 务预测分析，客户欠费分析和动态防欺诈、客户流失分析、大客户特征识别、网 络资源管理等方面【2 5 】【2 6 】【2 7 1 。 2 5 本章小结 本章主要探讨了经营分析系统的概念和实施中面临的困难，介绍了数据仓 库、数据集市、o d s 、数据挖掘等相关技术，为下一步进行经营分析系统设计做 好铺垫。 1 2 硕士学位论文第三章电信经营分析系统总体设计 第三章电信经营分析系统总体设计 经营分析系统是为适应日趋激烈的市场竞争环境，充分利用业务支撑系统产 生的大量宝贵的数据资源，为市场决策管理者和市场经营工作提供及时、准确、 科学的辅助决策依据的计算机应用系统。从技术实现上讲，涉及到多种系统平台 与工具的集成。从功能上讲，经营分析系统涵盖了客户情况分析、业务发展分析、 收益情况分析、市场竞争分析、服务质量分析、营销管理分析、新业务与数据业 务分析等主题。 3 1 系统的设计目标与原则 基于前期建设和使用的一些经验教训，本文认为不应把经营分析系统做成报 表和考核系统。应该把重点放在进行数据挖掘，发现知识，找出深层次的原因， 建立各种模型，从而规范市场，指导市场的工作，更进一步就是建立k p i ( k e y p e r f o r m a n c ei n d i c a t o r 关键绩效指标) 指标监控体系，逐步形成决策支撑系统，将 经营分析系统与电信的各业务系统形成一个闭环的服务流程，将分析结果投入到 实际业务使用过程中，同时接收业务系统的反馈，以调整分析模型，提高模型的 准确性，使系统真正在市场经营活动中发挥作用。 经营分析软件在技术实现上涉及到多种系统平台与工具的集成。因此，在系 统的技术实现上应充分考虑多种技术和平台的无缝集成。因此，系统建设必须遵 循以下要求【z 驯： ( 1 ) 开放性：为保证系统的开放性，系统构建中要使用世界主流的硬件平台( 主 机、网络设备等) 和软件平台，基于业界开放式标准，支持系统建设中涉及的各 种网络协议、硬件接口、数据接口等，为未来的系统扩展奠定基础。 ( 2 ) 灵活性与可扩展性：在建设中使用了能够支撑灵活、扩展的软硬件平台， 能够根据应用需求，方便扩展设备容量和提升设备性能。同时具备支持多种组件 模块、多种物理接口的能力；而且具备技术升级、设备更新的灵活性。经营分析 数据库数据存储模型的设计采用面向企业整体信息的主题域方式，保证信息的完 整性和信息主题的稳定性。将来新业务数据和分析需求出现，新( 业务) 数据的加 入可以按照域归属的方式进行增加，在无主题域可依的情况下，采用建立新域的 方式进行数据扩展。分析模型可以通过数据集市对主题域进行多次重构，系统能 保证重构后的分析模型符合数据要求，这样也保证了对未来相关系统的数据支 撑。 ( 3 ) 安全可靠性：分析系统的结果和分析过程需要各类人员参与，才能得到， 1 3 硕士学位论文第三章电信经营分析系统总体设计 因此要求使用方便的操作界面和安全可靠的权限管理。经营分析系统使用集中的 管理模块和集中的数据处理，有利于对系统的整体管理和控制。例如：使用统一 元数据管理整个系统的全过程，使用统一的进程调度中心控制系统的各个阶段 ( 数据获取、数据存储、数据访问等) 。结合具体的数据情况，充分考虑建设维护 成本，提供系统备份、数据恢复的策略和措施。提供统一监控系统，对主机、网 络、数据库、各设备进程等进行监控和预警。使用访问验证、权限分级管理、数 据发布管理，防火墙，有效的m 地址分段，安全监控等技术手段，保证系统的 网络安全和数据安全。 ( 4 ) 实用性：结合不同部门、不同的业务需求，合理的构建模型和组织数据， 保证查询效率与响应时间，系统提供通过浏览器访问方式，并且提供多种图表展 现方式( 如柱状图、饼图、多维透视表等) ，通过门户与o a 融