（计算机软件与理论专业论文）电信领域专题分析支撑系统研究和设计.pdf

电信领域专题分析支撑系统的研究和设计 电信领域专题分析支撑系统的研究与设计 摘要 电信专题分析( 又称决策分析) 为解决特定的问题而提出，是一 个为特定问题组织数据，挖掘信息的过程。在电信专题分析系统领域， 一方面由于起步比较晚，一方面由于决策分析发展迅速而导致分析人 员疲于应付工程建设，使得现有的系统实际构建与研究现状，均处于 简单实用的初级阶段。现有的专题分析方法和系统存在效率低、重用 性差、知识经验无法积累等缺点。为解决这些问题，作者提出将专题 分析系统分成专题应用系统和专题支撑系统，专题分析支撑系统管理 专题分析的流程和规则，通过配置流程和规则完成专题分析流。 本文深入研究了软件体系结构和中间件理论中相关的知识，提出 专题分析支撑系统应位于专题应用系统和异构数据源之间，作用类似 于中间件。然后提出了支撑系统的体系结构，分析了系统的用例，细 化和设计了系统的功能模块，重点设计了规则管理模块，设计系统的 接口并描述了系统的业务流程。其次结合知识和知识表示的理论，定 义了规则的概念，对规则进行分类并设计规则的表示，设计了规则库 的信息模型。最后作者结合套餐预演专题分析，给出在此支撑系统上 的一个应用。 关键字：电信专题分析支撑系统知识表示规则数据挖掘 北京邮电大学论文第1 页 电信领域专题分析支撑系统的研究和设计 r e s e a r c ha n dd e s i g no f s p e c i a la n a i y s i ss u p p o r ts y s t e m i nt e l e c o m a b s t r a c t s p e c i a la n a l y s i s ( d e c i s i o na n a l y s i s ) i sap r o c e s st h a to r g a n i z i n gd a t a a n dm i n i n gi n f o r m a t i o nf o rg i v e nq u e s t i o n s b e c a u s ea n a l y z e r sj u s tc o p e w i t hp r o j e c t sa st h er a p i dd e v e l o p m e n to fd e c i s i o na n a l y s i sa n dt h e b e g i n n i n gi sl a t e ，s oc u r r e n ts y s t e ma r c h i t e c t u r ea n d r e s e a r c ha c t u a l i t yl i e i nt h ej u n i o rs i m p l ep h r a s ei nt e l e c o ms p e c i a la n a l y s i ss y s t e m t h e r ea r e s om a n ys h o r t c o m i n g ss u c ha sl o we f f i c i e n c y , l o wu s a g ea n df a i l i n gt o a c c u m u l a t ek n o w l e d g ea n de x p e r i e n c ei nc u r r e n tt e l e c o ms p e c i a ls y s t e m i no r d e rt os o l v et h e s ep r o b l e m s ，a u t h o rp a r t i t i o nt e l e c o ms p e c i a la n a l y s i s s y s t e mi n t oa p p l i c a t i o ns y s t e ma n ds u p p o r ts y s t e mw t i i c hm a n a g e s f l o w s a n dr u l e si nt e l e c o ms p e c i a la n a l y s i ss y s t e m t e l e c o ms p e c i a la n a l y s i sc a r t b ea c c o m p l i s h e db yc o n f i g u r i n gf l o w sa n dr u l e s t h ea u t h o rd e e p l yr e s e a r c h e ss o m er e l a t e dk n o w l e d g eo fs o f t w - a r e a r c h i t e c t u r ea n dm i d d l e w a r e ，p u t sf o r w a r dt h a ts u p p o r ts y s t e ms h o u l db e b e t w e e n a p p l i c a t i o ns y s t e m a n di s o m e r o u sd a t ar e s o u r c e s a sa m i d d l e w a r e t h e na u t h o rb r i n g sf o r w a r dt h ea r c h i t e c t u r eo fs u p p o r t s y s t e m ，a n a l y s e ss y s t e mu s ec a s e s ，s p e c i a l i z e s a n dd e s i g n sf u n c t i o n 北京邮电大学论文第1 i 页 电信领域专题分析支撑系统的研究和设计 m o d u l e se s p e c i a l l yt h er u l e sm a n a g e m e n tm o d u l e ，d e s i g n ss y s t e m i n t e r f a c e sa n dd e s c r i b e ss y s t e mb u s i n e s sf l o w s n e x t ，b a s e do nt h e o r yo f k n o w l e d g ea n dk n o w l e d g ee x p r e s s i o n ，a u t h o rd e f i n e sa n dc l a r i f i e st h e r u l e ，d e s i g n sr u l ee x p r e s s i o na n di m p l e m e n tt h ei n f o r m a t i o nm o d e lo f r u l e b a s e a tl a s t ，b a s e do nf e e s e tp r e v i e ws p e c i a la n a l y s i s ，a u t h o rd e s i g n s t h ea p p l i c a t i o no nt h i ss u p p o r ts y s t e m k e yw o r d s ：t e l e c o ms p e c i a la n a l y s i ss u p p o r ts y s t e m k n o w l e d g ee x p r e s s i o n r u l e d a t am i n i n g 北京邮电大学论文 第i 页 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：厶z ! 包日期：! 竺! 鱼埤 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：，2 么z ：一 导师签名：殛盔 日期： 迎：i ：2 1 日期：型：! ：1 1 电信领域专题分析支撑系统的研究和设计 1 1 研究背景 1 1 1 现有电信领域经营分析系统 第一章绪论 目前，各电信运营商的总部和大部分省分公司己实施了经营分析服务系统 建设，为市场经营和决策人员了解市场和收入情况，制定业务发展和市场竞争等 策略提供了部分统计数据和初步分析依据。 各电信运营商为了保证自己在日益激烈的市场竞争处于有利地位，保证市场 部门能根据客户不断变化的需求，及时制定正确的营销战略、客户挽留策略，并 采用有效的营销手段和高质量的客户服务，赢得和保持客户，己建的经营分析服 务系统很难完全满足此方面需求，无法为市场经营和决策人员制定客户服务、业 务发展和市场竞争等策略提供充分、准确的决策依据，现在迫切需要在对系统进 行优化、完善和功能提升。 随着市场竞争的加剧和信息社会需求的发展，电信运营商的经营理念已经逐 步由原有的网络建设和提高市场占有率转变为以客户为中心，业务经营为重点。 这就使得电信运营商越来越多的关注于客户价值的提高，客户的挽留，产品的灵 活定制，收益率提高，竞争对手情况研究等方面。解决这些问题的关键在于利用 好电信运营支撑系统及客服、代理商、财务等各种系统长期以来产生的客户数据 及业务，财务数据。需要将这些数据按照一定的组织结构和目标集成起来，对其 进行分析和研究，挖掘出有价值的信息，可以帮助电信运营商解决特定的问题。 电信行业中普遍的数据分析系统一一统一经营服务分析系统是按照主题组， 织系统，主要是将数据集成在一起，将生产系统及其他系统的操作型数据转化成 分析型数据。由于此系统不是按照特定的分析目标来组织数据，而是大量的分析 数据，信息的整合。所以，为了完成专门的目标，需要将统经营服务分析系统 和客服、代理商、财务等系统的数据组织起来，针对于电信运营过程中出现的如 客户挽留，客户欠费，产品评估，竞争对手分析等特定的业务问题进行专门的分 析。而以上的过程，称作电信系统的专题分析。 1 1 2 现有电信专题分析存在的主要问题 目前专题分析采用的方式是专有的分析人员通过手工完成一个个专题分析， 然后将各个专题分析的结果以文档的方式提交给用户。首先，采用这种方式进行 北京邮电大学论文 第1 页 电信领域专题分析支撑系统的研究和设计 专题分析是非自动化的，分析过程也不规范；其次，各个专题分析分散的组织， 专业的分析人员分别对这些专题进行分析，没有形成公共的系统；再则分析人员 在碰到问题时，可能觉得无从下手，而分析人员的分析经验没能存储起来，这些 经验不能得到共享；专题分析的过程也没有保存起来，不能得到重用，分析人员 进行一个专题分析时需要重新开始，效率不高。 在对现有专题分析结果使用的过程中，电信运营商的中层分析人员和高层决 策人员也发现了一些问题。首先，对于分析人员而言，单纯的从专题分析报告中 汲取知识是不够的，缺乏专题间灵活的分析能力；其次，专题分析报告形式僵硬， 无法灵活的定制信息和知识；再则对于中层分析人员和高层决策人员来说，拥有 的分析经验无法利用，只能结合分析报告自行归纳推导知识。 从目前各运营商开展的专题分析来看，在专题分析的开发和使用方面都存在 一些问题，主要可以归纳成以下几点： 数据组织比较混乱，专题分析之间没有相应的规范来约束。 专题分析公共的分析模块没有或者提炼的很少。 人工参与的东西太多，专题分析基本是人工控制流程。 专题分析人员的分析经验无法保留。 分析和决策人员缺乏灵活有效的系统支撑决策分析。 针对以上的情况，形成一个统一的，适用于一般专题的分析支撑系统是比较 迫切的需求，可自动化和规范化专题分析系统，减少分析人员和工作量，使得专 题分析可以更灵活，方便有效的开展。 1 2 实践、研究内容及成果 在研究生就读期间，作者通过学习数据仓库、数据挖掘等相关技术理论以及 软件工程等理论，为参加专题分析系统建设打下了坚实的理论基础。 通过参加福建、湖南等联通分公司统一经营信息服务系统一期的建设，将理 论与实践相结合，更加深入地掌握了数据仓库的原理、结构以及联机分析处理 ( o n l i n e a n a l y t i c a l p r o c e s s i n g ，o l a p ) 、数据挖掘等技术的应用。 在拥有电信企业经营分析系统的业务和技术背景之后，作者参与了福建、天 津等联通分公司专题分析报告的编写，在这一过程中，作者切实理解到目前专题 分析无论是从功能还是系统建设方面都与用户要求间相差甚远。由于联通经营分 析二期工程已经全面展开，作者作为开发者加入了福建联通专题分析系统的开发 建设工作，全面参与方案编写、需求收集、架构设计等工作，与电信企业用户深 入交流。在这个过程中，作者总结了实践过程中用户提出的各种问题，参阅大量 北京邮电大学论文 第2 页 电信领域专题分析支撑系统的研究和设计 资料，研究了专题分析主要实现的功能和面对的使用者，和本实验室同级同学共 同研究设计出了基于流程和规则的专题分析支撑系统，希望能够解决经营分析系 统二期中专题分析建设遇到的问题，并能够给其后其它专题分析建设起到个抛 砖引玉的作用。 作者还参与了中国网通企业级分析数据模型项目的开发工作，在这个过程中 也对专题分析支撑系统的研究设计起到了非常大的指引作用。 作者在进行电信领域专题分析支撑系统研究设计的过程中，完成的工作主要 有以下几点： 研究了软件体系结构风格、知识表示的相关理论和规则的表示、数据仓 库及数据挖掘等方面有关的理论。 分析电信领域专题分析的现有状况，调研具体电信领域内专题分析的主 要工作和完成功能，总结现有专题分析主要存在的问题。 结合作者完成的专题分析工作，研究电信领域专题分析的主要组成模 块、规则，流程，总结出公共的分析模块，抽象出通用的规则。 设计电信领域专题分析支撑系统通用体系结构，接口和信息模型，模块 功能和内部流程。并对各功能模块和业务流程给出描述，针对其中的规 则管理模块给予详细的设计和描述，并设计规则管理模块和其它模块的 接口， 在完成了以上工作的情况下，本文所取得的主要成果有： 将专题分析系统分为专题应用系统和专题分析支撑系统，为专题分析人 员提供了专题分析的支撑平台。可以适用于各种专题，解决了每个专题 都要建设专题分析系统的问题。 研究和设计了规则的表示以及规则库的存储结构。使得专题分析人员的 可以将分析经验结果存储起来。 -+ 将此专题支撑系统应用与套餐预演专题分析中，使得套餐预演分析实现 方便灵活。 1 3 论文结构 本文一共分为七个部分： 第二章介绍了软件体系结构，规则和规则库，商业智能，数据仓库与数据挖 掘中与论文相关的理论。首先介绍了软件体系结构的定义及体系结构的风格分 类；接着介绍了知识的定义，规则及规则库包含的内容；其次介绍了商业智能的 概念以及应用现状；最后介绍了数据仓库和数据挖掘技术及应用。 北京邮电大学论文第3 页 电信领域专题分析支撑系统的研究和设计 第三章介绍了专题分析。分析首先研究了电信专题分析的现状与现存问题： 接着讨论了电信专题分析的背景，总结了电信专题分析的方法和分类；随后分析 了电信专题分析的演进，并提出了电信领域专题分析支撑系统；最后研究了支撑 系统的定位。 第四章提出了系统的总体架构设计。首先提出了软件的层次体系结构，然后 细化提出系统的体系结构；随后分析了系统各模块的功能，细化了规则管理模块 的功能模块并设计了系统的结构；最后从系统的外部角色分析了系统的用例图。 第五章对系统进行了详细设计。首先研究了系统中规则的分类与表示，规则 库的信息模型；接着对系统的规则管理模块进行了详细设计，并描述了模块的处 理流程。 第六章给出系统的在套餐预演专题分析中的应用。描述了套餐预演的流程， 并设计了套餐预演涉及到的规则。随后设计了规则需要的表结构，最后详细设计 了对应的规则解释器。 第七章对全文做了总结，并提出下一步要进行的工作。 北京邮电大学论文第4 页 电信领域专题分析支撑系统的研究和设计 第二章相关理论 本章主要介绍了电信领域内专题分析支撑系统研究设计中所用到的理论，应 用技术和研究内容的简要介绍，在介绍的过程中总结了这些理论和技术对专题分 析支撑系统的适用性以及为什么它们使用在专题分析支撑系统中会带来明显的 优势。 2 1 软件体系结构概述 2 3 3软件体系结构的定义 软件体系结构在软件工程中已经有很深的根基，但是总体来说在业界还没有 形成一个统一的认识和定义。许多研究人员基于自己的经验从不同角度，不同侧 面对体系结构进行了刻画，下面给出一些重要文献中有关软件工程的定义，也是 常见的一些定义一j ： 1 9 9 2 年p e n t & w o l f 在他们早期关于软件体系结构研究的重要论文中指出， 软件体系结构由一组具有特定形式的体系结构元素或设计元素构成，包括处理元 素，数据元素和连按元素3 类【1 j 。 1 9 9 3 年g a r l a n & s h a w 在关于软件体系结构研究的重要论文中认为：软件体 系结构是设计过程的一个层次，它由元素和连接以及对它们的约束组成，包括在 处理算法和数据结构之上的关于整体系统结构和描述等方面的闯题。在9 5 年他 们修正原来的体系结构定义为：软件体系结构包括一个系统的构件的结构、构件 的相互关系、以及控制构件设计演化的原则和规范三个方面。2 一 1 9 9 5 年，西门子科研人员s o n i ，n o r d ，h o f i r m i s t e r 提出至少可从4 个不同的角 度对软件系统体系结构进行研究：概念上的体系结构，描述系统的主要成分及他 们之间的关系；模块体系结构，包括功能分解和层次结构两个正交的结构；运行 体系结构，描述系统的动态结构：代码体系结构，描述在开发环境中的原代码、 二进制代码和各种库是如何组织的。 k r u c h t e n 定义的软件体系结构模型包含五个主要的视图1 1 3 1 ，该模型也由此被称 为“4 + l ”模型： 逻辑视图( l o g i c a lv i e w ) ，或设计视图。该视图面向最终用户，主要支 持功能性需求，当使用面向对象的设计方法时，就是设计的对象模型。 进程视图( p r o c e s s v i e w ) ，捕获设计的并发和同步特性。进程视图面向 北京邮电大学论文 第5 页 电信领域专题分析支撑系统的研究和设计 系统集成人员，考虑非功能性的需求，比如性能和有效性，解决并发性、 分布性、系统完整性和容错性等问题。 物理视图( p h y s i c a lv i e w ) ，或部署视图，描述了软件到硬件的映射，反 映了分布式的特性。物理视图面向系统工程人员，主要关注于系统非功 能性的需求，比如有效性、可靠性( 容错性) 、性能和扩展性。 开发视图( d e v e l o p m e n t v i e w ) ，或构件视图，描述了开发环境中的静态 组织结构。开发视图面向开发人员，关注于开发环境下的软件管理。 用例或场景( u s ec a s e so rs c e n a r i o s ) ：上述四种视图通过一组重要的场 景( s c e n a r i o s ) 一更具普遍性的用例( u s ec a s e s ) 实例一来无缝地协 同工作。场景视图面向系统的分析n 试人员，关注于软件行为的分析。 该视图是其他视图的冗余( 因而是“+ 1 ”) 。 综上，软件体系结构是系统的抽象描述，包含构件和元素，各自完成不同的 功能，构件和元素有自己的接口，通过接口可以相互作用，可进一步复合且有复 合过程的模式。体系结构是设计的高层设计；是有关系统整体组织的一些决策。 对于由多个视图构成体系结构的定义，都认为不同的视图是针对系统的不同参与 人员的。 2 3 4 软件体系结构的基本风格 软件体系结构的研究于9 0 年代开始从软件工程理论中独立开来成为一门独 立的研究领域，发展到现在，已经提出了很多软件体系结构风格，并且新的风格 还在不断的涌现。下面简单的介绍几种基本的软件体系结构风格 6 1 ，并对它们的 优缺点进行分析。 管道和过滤器风格由一组称为过滤器的构件和连接这些构件的管道组成。其 中，过滤器对输入的数据进行局部的变换，并采用渐进式计算方法，在未处理完 所有输入数据以前，就可以产生部分计算结果，并将其送到输出端口。而管道将 一个过滤器的输出传到下一个过滤器的输入端。 数据抽象和面向对象( d a t aa b s t r a c t i o na n do b j e c t o r i e n t e do r g a n i z a t i o n ) 。这 种风格建立在数据抽象和面向对象的基础上，数据的表示方法和它们的相应操作 封装在一个抽象数据类型或对象中。这种风格的构件是对象。对象间通过函数和 过程的调用来连接。 分层系统( l a y e r e ds y s t e m s ) 。分层系统组织成一个层次结构，每层为上层提 供服务，并利用下层的服务。这种系统由软部件和连接件组成( 如图2 3 所示) ， 其中，软部件实现层次结构中的虚拟机，连接件实现层次与层次之间交互的协议。 分层系统最广泛的应用是分层通信协议。在这一应用领域中，每一层提供一个抽 北京邮电大学论文第6 页 电信领域专题分析支捧系统的研究和设计 象的功能，作为上层通信的基础。 分布式处理中的多层结构。分布式处理中的多层结构来源于分布式系统的 “客户机服务器”模型，为了解决“胖客户端”、“胖服务器”、客户端应用程序 对服务器数据组织方式的严重依赖、应用接口的异构等问题，引入了中间件的概 念，从而形成了三层的“客户机朋艮务器”结构。中间件不是一个孤立软件，而 是一个独立软件层。它提供平台( 硬件和操作系统) 和应用之间的通用服务，具有 标准的程序接口和协议【1 4 】。从而避免了应用系统与具体平台之间的紧耦合【1 4 】。 客户端应用服务器数据服务器 第一层 第二层第三层 图2 - 1 分布式多层结构图 中间件有很多种类，其中基于t p m o n i t o r ( t r a n s a c t i o n p r o c e s s i n gm o n i t o r ) 的中间件用于事务处理应用的一个完整的环境，特别是调用关系型数据库。它为 应用处理提供了一种通信机制，允许开发者在t pm o n i t o r 环境中定义事务服务 ( 应用服务器) 。t pm o n i t o r 位于客户机和数据库服务器之间，采用三层或多层 模型。客户在t p m o n i t o r 中调用事务，t p m o n i t o r 运行事务来连接数据库，并将 处理结果返回给客户端【1 5 1 【1 6 1 。 仓库系统( r e p o s i t o r i e s ) 。仓库系统结构中有两种部件：一种是表示当前状态 的中心数据结构，另一种是组相互独立的中心数据处理部件，它们可以以不同 方式与数据仓库进行交互。根据控制方法不同，这种风格的体系结构主要有两大 分支：( 1 ) 如果执行哪个过程由输入数据流的事务处理类型决定，则该仓库系统就 是传统的数据库系统：( 2 ) 如果根据中心数据结构的当前状态触发进行执行，则该 仓库系统就是黑板系统，其中黑板体系结构风格主要应用于需要进行复杂解释的 信号处理领域中，如语音与模式识别等。此风格比较适用于数据仓库应用系统的 应用开发。 北京邮电大学论文第7 页 电信领域专题分析支撑系统的研究和设计 2 _ 2 规则与规则库 2 2 1 知识与知识表示 知识是经过削减、塑造、解释、选择和转换的信息。是由特定领域的描述、 关系和过程组成的。表示为描述世界所作的一组约定，知识需进行符号化表示提 炼出来吼 目前，对于知识的表示尚无一个公认的定义，不同的知识表示系统分别适用 于求解不同的问题。对于知识表示的本质也没有统一的认识，当然也不可能存在 一种统一的、完美的知识表示方法去适应所有的问题。但无论对知识表示采用哪 一种定义，任何一种知识表示方法应满足如下要求【s 】： 表示能力，即能否将问题求解所需要的各类知识完全表现出来。 推理效率，即能否有效地利用知识库中的知识完成推理。 正确性，即表示方法是否有良好定义的语义并保证推理的正确性。 结构性，即表示方法是否有良好的模块化结构，便于知识库的维护。 目前用的较多的知识表示方法1 1 7 主要有：一阶谓词逻辑表示法，产生式表示 法，框架表示法，语义网络表示法，过程表示法，p e t d 网表示法，面向对象表示 法。在本文中，规则表示也主要采用知识表示的一般方法。具体应用中会详细讨 论相应的表示方法。 规则是一种简单的知识表示方法。每条规则都是一个精炼的知识模块，可以 对它进行修改或替换而不影响其它规则，多条规则组成的规则库可以储存大量人 类专家的经验知识【5 】。规则库中的规则通常可分为三类：说明性规则，即描述特 殊问题以及问题求解当前状况的规则；与领域相关的问题求解规则：描述控制策 略的过程性规则。在专题分析系统中，需要对各个专题进行延伸拓展分析，所以 对于规则的提炼和存储是非常必要的。而以上的三种规则也是专题分析中所经常 需要用到的。 2 2 3 规则库 北京邮电大学论文第8 页 电信领域专题分析支撑系统的研究和设计 图2 - 2 规则库可能存储的各种规则信息 从上图可以看出，规则库中存储的规则其信息表现是丰富多样的，但其实每 种信息都可以归结为以上三种规则之，如行为描述属于说明性规则；决策规则 一般表现为与领域相关的问题求解规则：过程则属于过程性规则等。在本文中， 主要涉及到的规则一般有行为描述，决策规则，典型情况，约束和过程控制等。 2 3 商业智能概述 2 3 1 商业智能定义 商务智能也称作b i ，是英文单词b u s i n e s si n t e l l i g e n c e 的缩写，商务智能概 念起源于上世纪九十年代中期的西方发达国家。b i 可以说是提高企业市场竞争 力的一种技术手段或方法论。简而言之，商业智能它是能够帮助用户对自身业务 经营做出正确明智决定的工具。一般现代化的业务操作，通常都会产生大量的数 据，如订单、库存、交易帐目、通话记录、及客户资料等。如何利用这些数据增 进对业务情况的了解，帮助我们在业务管理及发展上做出及时、正确的判断，也就 是说，怎样从业务数据中提取有用的信息，然后根据这些信息来采用明智的行 动一一这就是商业智能的课题。 2 3 2 商业智能技术和应用现状 商业智能技术是包括数据仓库( d a t aw a r e h o u s i n g ) 、联机分析处理( o n 一1 i n e a n a l y t i c a lp r o c e s s i n g ，简称o l a p ) 、数据挖掘( d a t am i n i n g ) 在内的用于统计和分 析商务数据的先进的信息技术f 3 】。 数据仓库是一个面向主题的、集成的、随时间变化的、非易失的、主要用于 北京邮电大学论文 第9 页 电信领域专题分析支撑系统的研究和设计 决策支持的数据的集合。利用数据仓库技术可以动态将异构系统中的数据抽取集 成到一起，进行清洗、转换等处理之后加载到数据仓库中，通过周期性的刷新， 为用户提供一个统一的干净的数据视图，为数据分析提供一个高质量的数据源。 对于数据仓库中的数据，可以使用一些增强的查询和报表工具进行复杂的查 询和即时的报表制作，例如可以利用o l a p 技术从多种角度对业务数据进行多方 面的汇总统计计算，还可以利用数据挖掘技术发现其中的有用信息。 数据挖掘又称知识发现( k n o w l e d g ed i s c o v e r y i nd a b b l e ，简称k d d ) ，是从 大量数据中抽取有意义的、隐含的、以前未知的并有潜在使用价值的知识的过程。 数据挖掘是一个多学科交叉性学科，它涉及统计学、机器学习、数据库、模式识 别、可视化以及高性能计算等多个学科。利用数据挖掘技术可以分析各种类型的 数据，例如结构化数据、半结构化数据以及非结构化数据、静态的历史数据和动 态数据流数据等。无论要分析的数据对象的类型如何，常用的数据挖掘技术包括 关联分析、序列分析、分类、预测、聚类分析以及时间序列分析等。 2 3 3 数据仓库与数据挖掘 2 3 31 数据仓库概述 数据仓库创始人w h i n m o n 在其经典著作( ( b u i l d i n gt h ed a t aw a r e h o u s e ) ) 中 明确阐述了数据仓库的定义：数据仓库是一个面向主题的( s u b j e c to r i e n t e d ) 、集 成的( i n t e g r a t e ) 、相对稳定的( n o n 。v o l a t i l e ) 、随时间不断变化( t i m ev a r i a n t ) 的数据 集合，用于支持管理决策制定过程【l o l 。对此概念的理解可以从三个层面看，首先， 从面向的应用来说，数据仓库用于支持管理决策，面向分析型数据处理，它不同 于企业现有的操作型数据库；其次从数据的组织来说，数据仓库是对多个异构的 数据源有效集成，集成后按照主题进行了重组，并包含历史数据：最后从数据的 处理来说，进入数据仓库中的数据一般不再修改，所作的操作大部分是查询操作。 在当今激烈竞争的世界中，正确及时的决策是企业生存和发展的重要环节。 利用数据仓库的强大功能，各行业可以建立企业客户群和个人客户群的数据仓 库，并对企业的结构、经营、财务以及市场竞争等多个数据源进行统一组织，形 成一个一体化的存储结构，为决策分析奠定基础。深层次的挖掘和分析当前及历 史的生产业务数据信息，以及相关环境的相关信息，自动快速获取其中有用的决 策信息，为快速、准确和方便决策提供支持。所以，数据仓库技术在客户服务方 面、营销领域、证券领域、银行领域、控制金融风险方面等得到了越来越广泛的 应用。 北京邮电大学论文第1 0 页 电信领域专题分析支撑系统的研究和设计 2 3 3 2 数据挖掘 2 33 2 1 什么是数据挖掘 数据挖掘( d a t am i n i n g ，d m ) v l 是近年来随着人工智能和数据库技术的发展 而出现的一门新兴技术。数据挖掘也可以称为数据库中的知识发现( k d d ) ，是 从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含其中的、人 们事先不知道的、但又是潜在有用的信息和知识的过程【2 】。数据挖掘是一门面向 应用的广义的交叉学科，其涉及的领域包括数据库、人工智能、数理统计、可视 化和并行计算等。 2 3 3 2 2 数据挖掘方法 数据挖掘一般分为描述型挖掘和预测型挖掘。描述型挖掘刻画数据库中数据 的一般特征。预测型挖掘在当前数据上进行推断，以进行预测。其中描述型数据 挖掘包括聚类及关联分析等。预测型数据挖掘包括分类、回归及时间序列分析等。 下面针对于每一种挖掘技术举出一个例子加以说明数据挖掘方法的应用。 聚类是把整个数据库分成不同的群组。它的目的是使群与群之间差别很明 显，而同一个群之间的数据尽量相似。这种方法通常用于客户细分。在开始细分 之前不知道要把用户分成几类，因此通过聚类分析可以找出客户特性相似的群 体，如客户消费特性相似或年龄特性相似等。在此基础上可以制定一些针对不同 客户群体的营销方案。关联分析是寻找数据库中值的相关性。两种常用的技术是 关联规则和序列模式。关联规则是寻找在同一个事件中出现的不同项的相关性； 。序列模式与此类似，寻找的是事件之间时间上的相关性，如对股票涨跌的分析等。 分类的目的是构造一个分类函数或分类模型( 也常常称作分类器) ，该模型能 把数据库中的数据项映射到给定类别中的某一个。要构造分类器，需要有一个训 练样本数据集作为输入。训练集由一组数据库的记录或元组构成，每个元组是一 个由有关字段( 又称属性或特征值) 组成的特征向量。回归是通过具有已知值的变 量来预测其它变量的值。一般情况下，回归采用的是线性回归、非线性回归这样 的标准统计技术。一般同一个模型既可用于回归也可用于分类，常见的算法有逻 辑回归、决策树、神经网络等。时间序列是用变量过去的值来预测未来的值。 2 3 3 2 3 数据挖掘应用 数据挖掘在各个行业都有着非常有前景的应用，比如生物医学、电信、银行、 北京邮电大学论文第1 1 页 电信领域专题分析支撑系统的研究和设计 保险等等。由于作者一直从事于电信领域内数据仓库和数据挖掘的应用，所以这 里介绍一下数据挖掘在电信行业的应用。 裱客户流失分析 根据己有的客户流失数据，建立客户属性、服务属性、客户消费情况等数据 与客户流失概率相关联的分类数学模型，找出这些数据之间的关系，并给出明确 的数学公式。然后根据此模型来监控客户流失的可能性，如果客户流失的可能性 过高，则通过促销等手段来提高客户忠诚度，防止客户流失的发生。这就彻底改 变了以往电信运营商在成功获得客户以后无法监控客户流失、无法有效实现客户 关怀的状况。 碡产品预演分析 根据已有的客户基本信息，帐务情况，服务属性等对客户进行分群分析。对 于每一群的客户制定不同资费的产品，然后针对于某特定用户群，用配置好的资 费根据用户群消费情况进行资费预演，将得到的结果与期望结果进行分析比较， 从而调整资费，达到有效合理的制定针对不同客户群资费的目的。 北京邮电大学论文第1 2 页 电信领域专题分析支撑系统的研究和设计 第三章专题分析 3 1 电信专题分析系统现状 电信的专题分析( 又称决策分析) 为解决特定的问题而提出，是一个为特定 问题组织数据，挖掘信息的过程。电信专题分析包括统计分析和数据挖掘及建模 分析多方面的内容，并且可以确保统计分析的结果的正确性，为决策人员提供可 靠的决策依据。 在电信专题分析系统领域，一方面由于起步比较晚，一方面由于决策分析发 展迅速而导致分析人员疲于应付工程建设，使得现有的系统实际构建与研究现 状，均处于简单实用的初级阶段；另外，大部分分析人员对系统的功能划分，定 位等缺乏明确的认识。 本节对电信专题分析系统的这种初级现状作一个简要的介绍。介绍分成两个 部分：国内主要运营商的专题分析( 决策分析) 建设现状；现有专题分析所存在 的问题。 3 1 1 国内现状 现在业界具有一定代表性和规模的电信运营商有：中国电信，中国网通，中 国移动以及中国联通。下面主要介绍各运营商的专题分析建设情况。 3 1 1 1 中国电信 为满足快速准确的上市公司信息披露、市场针对性营销、精确的资源配置等 需求，对市场做出准确及时的反应并采取有效的应对措施，以获取最终的竞争优 势。为了满足这些需求，中国电信集团启动经营分析与决策支持系统的建设，以 实现信息共享、有效支撑、创造价值口9 1 。 中国电信集团打造企业数据仓库平台和经营分析决策支撑平台，实现数据层 和分析应用层分离，同时互相促进，提升数据质量，推动分析应用层次，建立从 分析、执行到评估的闭环管理流程。经营分析决策支持系统体系结构包括e t l 、 数据仓库、o l a p 、数据挖掘、分析展现、元数据管理、系统管理等多个部件。 中国电信的决策支持系统中包含了竞争分析、流失分析、大客户分析等专题分析。 中国电信专题分析的策略是：在分析发现问题的基础上，通过数据挖掘，找 出其中隐含的规律，进一步进行分析，形成分析报告。 北京邮电大学论文第1 3 页 电信领域专题分析支撑系统的研究和设计 以中国电信厦门分公司建立的决策支持系统为例，决策支持系统的业务主题 域相关的建设已经完成，而其系统下一步计划主要有以下几个方面：在o l a p 现 有的基础上，根据新加的操作层应用，追加新o l a p 主题。收集整个电信客户资 料，对整个电信客户进行客户分析。探索性地进行数据挖掘和c r m 开发。由此 可见，电信的决策分析刚刚处于起步阶段，还没有形成系统。 3 ，1 1 2 中国网通 中国网通集团公司全面上市，要求及时、准确的信息披露。激烈的电信市场 竞争，要求企业管理者提升企业核心竞争力，对市场变化迅速反应，做出及时、 高效的决策，要求一致、高质量的分析数据支持。中国集团公司提出“积极推进 企业信息化，实施共享服务”的战略，要求良好的企业数据基础【l “。 中国网通构建具有中国网通特色的，面向网通集团公司财务职能类，人力资 源职能类大客户职能类，面向网通省公司市场职能类，覆盖业务运作过程中全 关系、全方位、全地域，支持上述职能类中高层管理者核心战略经营决策的企 业级分析数据模型，用于规范、指导集团公司恪省公司数据仓库系统核心模型 工作。 所以中国网通现在主要在构建企业级分析数据模型，为建设其数据仓库系统 做准备，所以，其决策分析系统还没有准备建设。 3 11 3 中国移动 中国移动的支撑系统由b o s s ( b l l s i n e s so p e r a t i o n ss 印p o r ts y s t e m ) 系统、 客户管理系统、经营分析系统组成，其中客户管理系统是从原b o s s 系统中分离 形成【2 0 1 。g p b o s s 系统是支撑系统的主体与基础。 中国移动的b o s s 系统包括客户服务与营销，业务管理与运营，资源管理， 合作伙伴管理四大部分。从各部分的功能来看，系统主要提供业务支持功能以及 运营支撑的功能。经营分析系统包括一些数据的集成展示功能。 中国移动关于决策分析也作了一些分析。中国移动四川分公司进行了离网挽 留应用，大客户个体分析，资费预演分析，客户群细分分析应用等专题分析，但 没有形成独立的专题分析系统。 3 1 1 4 中国联通 中国联通经营分析无论是系统的架构，还是系统建设的进展都位于国内前 北京邮电大学论文 第1 4 页 电信领域专题分析支撑系统的研究和设计 列。在省分公司完成经营分析一期的建设后，中国联通提出建设经营分析二期系 统的战略，以完善系统中存在数据源不足，数据质量存在缺陷，缺乏数据分析等 问题【2 ”。 中国联通的经营分析二期除了对于一期主题部分建设的扩展，还提出了建设 专题分析系统的思路。并在广东，福建等省分公司进行了专题分析系统建设的试 点。如广东联通的客户维系挽留，福建联通的客户流失系统，套餐成本分析系统， 竞争对手分析系统等。 中国联通的专题分析思路是针对于每一个专题建设一个系统。专题分析系统 彼此独立。 3 1 2 现存问题 通过上面的介绍，可以发现国内两大固话运营商的专题分析相关建设比较缓 慢，而两大移动运营商相关的建设则比较迅速，先进。但国内的专题分析的形式 都体现为专题分析报告，专题分析应用或为每个专题分析建设系统的现状。这说 明国内的专题分析建设刚刚处于探索或者初级阶段。 由于国内的专题分析建设起步晚，形式简单粗糙，所以就会存在一些问题。 第一个突出的问题就是效率太低，无论是撰写专题分析报告还是进行专题分 析的应用，都需要单独的数据源，独立进行数据处理，以及进行分析，每一个专 题分析都需要耗费大量的人力和物力。 第二个问题就是由于专题分析人员在专题分析应用中处于及其重要的位置， 专题分析人员在分析的过程中会产生大量的知识经验，以上的专题分析形式中， 这些知识经验都存在与分析人员的脑海中，无法沉淀积累。 第三个问题就是不同的专题在分析时可能会有公共的数据源，计算规则，流 程等，在上述的分析形式下，这些公共部分无法抽象重用。 3 - 2 电信专题分析背景与分类 电信专题分析系统，又可称之为决策分析系统。它利用成熟的数据仓库和数 据挖掘技术，以综合计费帐务、客户关系管理( 渠道支撑、营业受理、综合客户 服务) 、综合结算、网络资源以及财务管理等电信运营支撑系统数据为基础，以 外部数据为补充，通过数据整合，提供统一的企业经营分析和决策信息视图。它 可支撑对经营分析状况的预测，进行多层次、多角度、多种方式的分析和挖掘， 揭示市场、客户、业务发展规律，提供极具管理决策价值的战略信息。使决策者 能始终把握大局，从容应对纷繁复杂、快速多变的电信竞争市场。 北京邮电大学论文第1 5 页 电信领域专题分析支撑系统的研究和设计 3 2 i 电信专题分析背景及目的 增加收入、降低成本一直是企业提高利润的两个手段，电信运营商也是如此。 在从网络设备硬件建设为中心到以产品、客户为中心的运营模式转变过程中，电 信运营商以精益运营来降低成本、以精益营销来增加收入，特别是精益营销的概 念提出之后，如何以增量销售和交叉销售为手段不断挖掘客户的消费潜力，成为 电信企业保障利润的重要话题，这也是国内电信运营商纷纷建设数据仓库以更好 地提供经营信息的重要原因 4 1 。 目前，现已在全国运营商中推广的经营信息服务系统，基本上完成了操作型 数据的集成和历史数据的积累，并实现了向分析型数据转化和利用的过程，但系 统应用效果众说纷纭，大致存在以下两种截然不同的反应： 各地市的经营分析人员以及省公司计费部门的经营分析人员都认为系 统给他们提供了很大的帮助，从系统的访问日志中也能清晰看到这种现 象。 市场部门的经营分析人员以及企业的中高层管理人员都认为系统帮助 他们解决问题的能力很弱，从系统的访问日志中能够看出他们的访问次 数较少，对系统应用的兴趣比较低。 。 为什么会出现这种情形呢? 从这些人员在企业组织结构中扮演的市场分析 角色可以找到原因。一般来讲，前者主要是为后者提供分析问题所需要的数据， 也就是说，后者是分析问题的主体，前者按照后者的要求，从生产系统中整理出 分析问题所需要的数据。因此，前者更关心能否方便地获得需要的数据，即关心 数据的完备性、完整性和一致性，目前的数据仓库系统基本上满足了他们的现实 需求；然而，后者更关心分析问题的过程，强调在问题分析过程中方便地获取相 关数据