（计算机软件与理论专业论文）电信领域套餐分析系统的研究与设计.pdf

电信领域套餐分析系统的研究与设计 电信领域套餐分析系统的研究与设计 摘要 电信企业在发展，电信运营支撑系统也在发展，目前国内的运营 商已经基本完成了以数据仓库技术为基础的经营分析系统的建设，实 现了企业级的数据整合和集中。于是，市场向电信运营商提出了更高 的要求，要求企业做到以客户为中心，对企业经营的热点问题进行深 度分析，做到理性决策。套餐是企业的重要产品，是企业为客户提供 服务的载体，对套餐进行的专题分析一直受到电信企业的重视。然而， 目前的套餐专题分析主要停留在手工分析计算机辅助的半自动化状 态，如何建立一套系统，整合各种分析手段对套餐生命周期各个阶段 分析工作加以支撑，仍然没有一个成熟的方案。因此，本文从企业实 际需求出发，以产品生命周期为切入点，以专题分析技术为依托，提 出并设计了套餐分析系统。 本文研究了数据仓库和数据挖掘的相关知识，研究了产品生命周 期理论，同时结合对套餐相关因素的分析，对套餐分析系统进行了定 位。之后，参照企业业务流程再造的思想，设计了支撑套餐整个生命 周期分析工作的业务流程。在设计部分，提出了系统的三层结构，划 分了功能模块，详细介绍了系统各个功能模块的功能并定义了模块间 的接口。最后，还对套餐分析进行了数据的验证。 本系统的建设可以实现对现有套餐分析成果的积累和固化，提高 企业进行套餐分析的效率，有效的控制人力资源成本，同时为套餐分 析的深入开展奠定了有利的基础。 关键词套餐专题分析产品生命周期业务流程再造系统化 第1 i 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 r e s e a r c h0 ft e l e c o mc o a 皿! a 全r y p r i c ep l a na n a iy s i ss y s t e m a b s t r a c t t h et e l e c o mc o m p a n yi sg r o w i n gf a s t ，s oi st h et e l e c o ms e r v i c e s u p p o r ts y s t e m i nc h i n a ，t h et e l e c o m m u n i c a t i o no p e r a t o r sh a v ea l r e a d y f i n i s h e dt h eb u s i n e s sa n a l y s i ss y s t e mb a s e do nt h et e c h n i q u eo fd a t e w a r e h o u s e ，w h i c hi m p l e m e n t st h ed a t ac o l l e c t i o na n dd a t ai n t e g r a t i o n t h e r e f o r e ，t h e m a r k e t g i v e sh i g h e rr e q u i r e m e n t s t ot h e t e l e c o m m u n i c a t i o no p e r a t o r s ，i n c l u d i n gc u s t o m e rf o c u s e d , d e e pa n a l y z e f o rt h eh o t s p o t so ft h eb u s i n e s s m a dm a k i n gd e c i s i o nl o g i c a l l y p r i c ep l a n i sa ni m p o r t a n tp r o d u c to ft h ec o m p a n y , a n di sac a r r i e rf o rc o m p a n y g i v i n gs e r v i c et oc u s t o m e r , s od o i n gp r i c ep l a ns p e c i a la n a l y s i si sa l w a y s a t t a c h e di m p o n a n tb yt e l e c o m m u n i c a t i o no p e r a t o r s ；h o w e v e r , i nc u r r e n t t i m e ，t h ep r i c ep l a ns p e c i a la n a l y s i si sah a n d w o r kb a s e do nh h es y s t e m ， w h i c hi ss e m i a u t o m a t i c h o wt od e s i g naa u t o m a t i cs y s t e m ；w h i c hc a n i n t e g r a t ev a r i o u sp r i c ep l a na n a l y s i sm e t h o d st os u p p o r ta n a l y s i sw o r ki n a l lp r i c ep l a nl i f ec i r c l e ，i ss t i l la nu n s o l v e d p r o b l e m t h i st h e s i sd e s i g n sa p r i c ep l a na n a l y s i s s y s t e m ，b a s e do nt h er e q u i r e m e n t so ft h ec o m p a n y , p r o d u c tl i f ec i r c l et h e o r y , a n dt h et e c h n o l o g yo fs p e c i a la n a l y s i s t h i st h e s i sr e s e a r c h e st h ed a t aw a r e h o u s ea n dd a t a m i n i n g ，a n d s t u d i e sp r o d u c tl i f ec i r c l et h e o r y , a n da n a l y z e st h ea t t r i b u t e so ft h ep r i c e p l a n t h e n ，b a s e do l qt h eb u s i n e s sp r o c e s sr e e n g i n e e r i n gm e t h o d ，d e s i g n s t h ew h o l eb u s i n e s sp r o c e s st os u p p o r tt h es p e c i a la n a l y s i sd u r i n gp r i c e p l a nl i f ec i r c l e i nt h el a s tp a r t ，i td e s c r i b e st h et h r e e 1 e v e lo ft h es y s t e m ， a n dd e s i g n st h es y s t e mm o d u l e s ，t h e ni n t r o d u c e st h ef u n c t i o n sa n d i n t e r f a c e so f t h em o d u l e s p a r t i c u l a r l y 第1 n 页 北京邮电大学硕士论文 电信领鉴堡坌堑墨丝塑婴塑兰堡盐一 一。 t h i ss y s t e mc a ni m p l e m e r i tt h ea c c u m u l a t i o na n ds y s t e m a t i z e 。f t h 。 p r i c ep 1 a ns p e c i a la n a l y s i sr e s u l t ，a n dm a k et h ep r i c cp l a na 1 1 a l y s i s m 。r e e f t i c i e m l y ，锄de a s i l yc 。n t r 。1t h eh u m a n r e s o u r c ec 。s t s ，a n dg i v eag o o d p l a t f o mf o rf a r t h e rd e v e l 。p m e n t 。f p r i c ep l a n a 1 1 a l y 8 i s k e yw o r d sp r i c ep l a n ，s p e c i a l a n a l y s l s ，p r o d u c t l i f ec i r c l e , b u s i n e s sp r o c e s sr e e n g i n e e r i n g ，s y s t e m a t i z e 第1 v 页 北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：币礼豫睹 日期：帅占，- 占 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 币。雄情 日期：z 卯，z 导师签名：力缸留 日期： 一2 卯占歹t 6 第1 页 北京邮电大学硕士论文 电信领域套锯分析系统的研究与设计 第一章绪论 1 1 论文背景 随着我国加入w t o ，电信行业进一步开放，国际化的市场环境要求国内的 电信运营商在经营管理上能够迅速赶上国外的先进水平，以迎接电信运营业的国 际化竞争；同时随着国内电信行业改革和重组的不断深化，国内电信业务的市场 环境将渐趋合理，竞争将日益加剧。国内、国际电信业的竞争态势，要求国内的 电信运营企业在经营理念、管理模式上能有一个较高层次的飞跃，以求在电信运 营业日益残酷的国际化竞争中立于不败之地；同时，也要求国内电信运营企业传 统的以生产为中心，以营业窗口为基础的运营模式，逐步向以客户为中心、以数 据为中心、以信息为基础的模式转变。电信运营商需要及时准确地了解自己的客 户需要怎样的服务，自己的业务开展得怎样，以后需要推广怎样的业务等等。而 之前的b o s s 系统仅仅是建立在运营支撑的基础上，它已经不能满足运营商的这 些分析需求。 为了实现企业的上述转变，满足日益增加的分析型需求，国内各大运营商， 特别是移动运营商，已经从若干年前开始了经营分析系统的建设。目前已经基本 实现了企业级数据仓库中数据的集中、整合及沉淀，并通过固定报表、o l a p 、 数据挖掘等多种方式为决策层提供决策支持。在此基础上，为了满足电信企业个 性化的分析需求，实现对热点问题的深度分析，近年来业界广泛的开展了“专题 分析”的研究与实践工作，并取得了相当丰富的成果。 笔者于两年前开始从事有关专题分析的研究，并深入的参与了广东联通和福 建联通专题分析的相关项目。对常见的专题分析方法及流程有较深刻的认识，并 且通过实地考察，对目前移动运营商的需求也有了实际的了解。在工作中笔者发 现，由于现阶段的专题分析主要采用手工为主计算机辅助的半自动化方式进行， 随着专题分析工作的不断深入，各种知识和经验的积累也不断增加，应用的频度 和范围也不断的加大，这种半自动化的手工分析势必带来了高成本和低效率，这 是不能适应电信运营商发展的需要的。 面对这样的问题，建立一套自动化的分析系统来支撑相关的业务过程，已经 成为一种不可避免的趋势。中国联通建设的“客户维系挽留系统”，作为一个客 户专题分析系统化的成功案例，充分的证明了这一思路的可行性。套锓专题分析 第1 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 是与客户专题分析处于同等重要地位的又一大类分析，同样也取得了较为丰富的 研究成果，然而对于套餐分析的产品化研究目前还是一个空白，因此笔者从技术 和市场需求两方面综合考虑，选择“套餐分析系统”作为研究的对象。 12 论文目标 客户分析：技术比较成熟，有 系统建设的成功案例。 市场分析：技术不成熟，需求 不明显。 产品( 套餐) 分析：有一些成 果，有潜在需求，系统化问题 待解决。 图1 1 专题分析现状 在原有套餐专题分析经验和成果的基础上，提出一套在电信企业中建设“套 餐分析系统”的完整可行的方案，规范套餐分析的方法及业务流程，为实际工程 实旌提供指导。 1 3 论文所做的工作 有关电信领域套餐的研究已经开展了一段时间，相关的成果也比较丰富，比 如：套餐评估、套餐预演、套餐劝转、套餐模型研究、电信产品生命周期等。在 此基础上，本文主要解决了将现有的手工套餐专题分析加以系统化的问题。具体 的工作成果有如下几个方面： 对影响套餐的因素进行了分类分析，阐述了不同因素之间的关系，进而 论证了套餐分析系统的可行性。 以业务流程再造理论为指导，结合对套餐生命周期的理解，设计了贯穿 套餐生命周期各阶段的套餐分析业务流程。 以需求工程方法论为指导，对套餐分析系统的需求进行了逐级细化，并 依此思路对系统进行了设计。 进行了套餐分析的数据验证工作，为系统建设提供支持。 第2 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 1 4 论文组织结构 本论文按以下章节组织： 第一章是绪论部分，主要介绍论文的背景、目的以及所要解决的问题。 第二章介绍了研究课题的相关知识，其中数据仓库是套餐分析系统的数据来 源，是系统建设的前提；数据挖掘是系统一部分分析功能的核心技术；e t o m 则 是系统定位的依据，同时也为系统的设计提供了方法论上的指导。 第三章是要明确系统的定位，明确本系统在电信企业现有的支撑系统环境中 所处的位置。同时通过对套餐关联因素的分析，阐明系统的可行性。 第四章介绍了套餐分析系统研究和设计的思路。从套餐生命周期出发，结合 现有的套餐专题分析成果，提出了建设套餐分析系统的目标。进而比较了建设系 统与人工分析的优势和劣势，阐明了二者的关系。并按照业务流程再造的思想， 设计了套餐分析系统的业务流程。 第五章对套餐分析系统的设计过程给予了全面的阐述。从系统的层次结构、 用例模型、功能模块、接口等多个视点，对系统进行描述，给出了实现的具体方 案。 第六章介绍了笔者在某运营商进行的套餐分析工作，这些数据验证工作为系 统的设计和实现提供了有力的支持。 第七章总结了本论文的工作成果与不足，并对避一步的研究工作提出一些建 议。 文章的最后是致谢和参考文献列表。 第3 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 第二章相关知识 2 1 数据仓库 2 1 1 数据仓库定义 数据仓库概念创始人wh i n m o n 在其著作( ( b u i l d i n gt h ed a t aw a r e h o u s e ) ) 一书中给予如下描述：数据仓库( d a t aw a r e h o u s e ) 是一个面向主题的( s u b j e c t o r i e n t e d ) 、集成的( i n t e g r a t e ) 、相对稳定的( n o n - v o l a t i l e ) 、反映历史变化( t i m e v a r i a n t ) 的数据集合，用于支持管理决策制定过程。对于数据仓库的概念我们可 以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理， 它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效 集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的 数据一般不再修改。 2 , 1 2数据仓库特点 根据数据仓库定义的含义，数据仓库拥有以下四个特点，它们也是数据仓库 与传统操作型信息系统的主要区别： 1 、面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统 之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个 抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通 常与多个操作型信息系统相关。例如电信业务支撑系统中的操作型信息系统有营 业系统、帐务系统、结算系统、客服等系统，而数据仓库中包含的主题会是业务 收入、业务发展、业务使用等内容，业务收入主题涉及营业系统中的客户信息、 帐务系统和结算系统中业务收入信息。 2 、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数 据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的 数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源 数据中的不致性，以保证数据仓库内的信息是关于整个企业的一致的全局信 息。 3 、相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时 第4 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是 数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是 数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的 加载、刷新。 4 、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据，而 数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点( 如开始 应用数据仓库的时点) 到目前的各个阶段的信息，通过这些信息，可以对企业的 发展历程和未来趋势做出定量分析和预测。 2 1 3 数据仓库体系结构 企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基 础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供 他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息 加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任 务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。 整个数据仓库系统是一个包含四个层次的体系结构，具体由下图表示。 囝 臼 固 戥嚣弹 韵t 鞋王取 图2 1 ：数据仓库体系结构 数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内 部信息和外部信息。内部信息包括存放于r d b m s 中的各种业务处理数据和各类 文档数据。外部信息包括各类市场信息、竞争对手信息和各种手工收集的信息等 等； 数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真正关键是数 据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也 第5 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的 核心，则需要从数据仓库的技术特点具体需求着手分析。针对现有各业务系统的 数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的 覆盖范围可以分为企业级数据仓库和部门级数据仓库( 通常称为数据集市) 。 o l a p 服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以 便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：r o l a p 、 m o l a p 和h o l a p 。r o l a j p 基本数据和聚合数据均存放在r d b m s 之中； m o l a p 基本数据和聚合数据均存放于多维数据库中；h o l a p 基本数据存放于 r d b m s 之中，聚合数据存放于多维数据库中。 前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工 具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针 对o l a p 服务器，报表工具、数据挖掘工具主要针对数据仓库。 2 1 4 数据仓库和数据集市 在企业数据仓库体系结构中，数据集市是面向部门决策支持的数据仓库，所 谓面向部门是相对于数据仓库的面向整个企业而言，也就是说，它存储的数据都 是面向部门个性化的需求。实际上，数据集市是一种更小、更集中的数据仓库， 它为公司提供了一条部门级商业数据分析的廉价途径。数据集市和数据仓库的关 系可以用下图表示： 第6 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 图2 2 数据集市和数据仓库的关系 由上图可以看出，数据仓库中存储的是最细粒度的数据，而各个数据集市则 按照自己的需要选取不同的数据组合并进行不同程度的汇总。另外，各部门还可 以从企业外部获取数据，只是这些数据必须在中央元数据库和本地元数据库中保 存相应的元数据，以保持整个企业数据定义的一致性和完备性。数据集市一般不 直接从事务系统中取数据，因为这样做不仅使各个数据集市和数据仓库的数据不 能达到完全意义上的整合，还造成大量的冗余，并且整个系统需要编写、维护和 执行大量的接口。由于所有数据集市的数据都来源于企业数据仓库，所以它们对 数据的理解和定义自然是一致的。 数据集市主要具有以下一些特点： 面向部门应用：数据集市一般由各个部门按照自己特定的需求从数据仓 库中抽取相关的数据搭建而成，这个部门只需从自己的角度出发，而不 必考虑整个企业的需要。比如，销售部门的数据集市只包含销售方面的 数据，而不会导入诸如人力资源、财务方面的数据； 规模小，投资少：数据集市的数据量相对于数据仓库要少的多，各个部 门可以按照自己的需求选择合适的软硬件平台，以节省投资； 使用方便且成本低：各部门可以在任何时候执行自己需要的d s s 处理? 而无需考虑对资源的占用和对其它部门的影响。 数据集市的建设和数据仓库密切相关，一般有两种途径：自顶向下和自底向 上。自顶向下的建设方法是先在原有分散的操作型环境基础上建立一个企业全局 数据仓库，再构建各部门自己的数据集市。这种方法有利于控制和保持整个企业 数据的一致性，但它实施周期长，见效慢，费用昂贵，一般企业都不愿意承担。 另外一种自底向上的方法是从最关心的部分开始，先以最少的投资，完成企业当 前的需求，获得最快的回报，然后再不断扩充，不断完善，最终建立起企业全局 的数据仓库。由于这种方法投资少，见效快，所以为大多数企业采用。 产品专题分析中的数据源就是基于数据仓库d w 和o d s 库之上的一个数据 集市。 2 2 数据挖掘 2 2 1数据挖掘定义 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取 第7 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 隐含其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。该定义 主要有三方面的内涵，一是数据的定义，数据挖掘是从应用中产生的学科，因此 对数据的要求必须满足实际的需要。从数据源的角度来看，可进行挖掘的数据可 存在于文件、数据库、数据仓库等多种形式的存储数据中。其二，对其挖掘结果， 即知识也确定了一个范围，即挖掘结果是人们事先不知道的、但又是潜在有用的， 可以这样理解，从定性的角度看，人们事先就不知道，或者，从定性的角度看有 基本的认识，但从定量的角度，人们是不能确定的。最后，数据挖掘是一个过程， 不是某个算法模型、某个软件或者是某种知识。数据挖掘需要在一个体系结构下， 不停地根据商业需求，收集数据，建立模型，从而挖掘出有价值的知识。 数据挖掘是- i 1 面向应用的很广义的交叉学科，其涉及的领域包括数据库、 人工智能、数理统计、可视化和并行计算等。很多科研人员从不同的角度对数据 挖掘进行研究，但可能会有所侧重。 数据挖掘的外延可定义为广义的数据挖掘和狭义的数据挖掘，广义的数据挖 掘用计算机作为工具，实现在大数据量下的数据分析。狭义的数据挖掘是用自动 化或启发式的方法，从数据中挖掘知识。一般我们对数据挖掘的定义都集中在狭 义的范畴。 2 2 2 数据挖掘方法 数据挖掘方法通常分为直接型数据挖掘和间接型数据挖掘两种。直接数据挖 掘，目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定 的变量( 可以理解成数据库中表的属性，即列) 进行描述，间接数据挖掘，目标 中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种 关系。 数据挖掘的能完成的工作有分类、估值、预言、关联分析、聚集、描述和可 视化。其中分类、估值和预言属于直接数据挖掘；相关性分组或关联规则、聚集、 描述和可视化属于间接数据挖掘。 具体描述如下： 分类( c l a s s i f i c a t i o n ) ：首先从数据中选出已经分好类的训练集，在该 训练集上运用数据挖掘分类的技术，建立分类模型，对没有分类的数据 进行分类。 第8 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 估值( e s t i m a t i o n ) ：估值与分类类似，不同之处在于，分类描述的是离 散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的， 估值的量是不确定的。 预测( p r e d i c t i o n ) ：通常，预测是通过分类或估值起作用的，也就是说， 通过分类或估值得出模型，用于对未知变量的预测。从这种意义上说， 预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的 预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道 预言准确性是多少。 相关性分组或关联规则( a f f i n i t yg r o u p i n go ra s s o c i a t i o nm l e s ) i 决定哪 些事情将一起发生。 聚集( c l u s t e r i n g ) ：聚集是对记录分组，把相似的记录放在一个聚集 里。聚集和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。 描述和可视化( d e s c r i p t i o na n dv i s u a l i z a t i o n ) ：是对数据挖掘结果的表示 方式。 不同的数据挖掘方法，有着不同的算法，比如聚类算法和分类算法；即使相 同的数据挖掘方法，也可以有不同的算法来实现，比如说在分类中，可以采用的 算法一般有：c 5 0 算法、逻辑回归算法、神经网络算法等。 在产品分析中，作者主要利用了数据挖掘中的关联分析和分类预测方法，下 面详细介绍一下这两种方法及其算法。 2 2 2 1关联分析方法 关联规则分析主要用于发现不同事件之间的关联性，即一事物发生时，另一 事物也经常发生。关联分析的重点在于快速发现那些有实用价值的关联发生的事 件。其主要依据是：事件发生的概率和条件概率应该符合一定的统计意义。空间 关联规则的形式是x 一 y s ，c ，其中x 、y 是空间或非空间谓词的集合， s 表示规则的支持度，c 表示规则的置信度。空间谓词的形式有3 种：表示拓 扑结构的谓词、表示空间方向的谓词和表示距离的谓词。各种各样的空间谓词可 以构成空间关联规则。如，距离信息( 如c l o s e _ t o ( 1 l i 近) 、f a r _ a w a y ( 远离) ) 、拓 扑关系( i n t e r s e c t ( 交) 、o v e r l a p ( 重叠) 、d i s j o i n ( 分离) ) 和空间方位( 如r i g h t _ o f ( 右 i 边) 、w e s to 西边) ) 。实际上大多数算法都是利用空间数据的关联特性改进其分 类算法，使得它适合于挖掘空间数据中的相关性，从而可以根据一个空间实体而 第9 页 北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 确定另一个空间实体的地理位置，有利于进行空间位置查询和重建空间实体等。 大致算法可描述如下：( 1 ) 根据查询要求查找相关的空间数据；( 2 ) 利用临近等原 则描述空间属性和特定属性；( 3 ) 根据最小支持度原则过滤不重要的数据；( 4 ) 运 用其它手段对数据进一步提纯( 如o v e r l a y ) ；( 5 ) 生成关联规则。 关联规则通常可分为两种：布尔型的关联规则和多值关联规则。多值关联规 则比较复杂，一种自然的想法是将它转换为布尔型关联规则，由于空间关联规则 的挖掘需要在大量的空间对象中计算多种空间关系，因此其代价是很高的。一种 逐步求精的挖掘优化方法可用于空间关联的分析，该方法首先用一种快速的算法 粗略地对一个较大的数据集进行一次挖掘，然后在裁减过的数据集上用代价较高 的算法进一步改进挖掘的质量。因为其代价非常高，所以空间的关联方法需要进 一步的优化。 在产品予业务关联分析中，利用关联规则找出适合在一起捆绑销售的子业务 的组合，在此基础上形成新的电信产品供用户订购使用。 2 2 。2 2 分类方法 分类在数据挖掘中是一项非常重要的任务，目前在商业上应用最多。分类的 目的是学会一个分类函数或分类模型( 也常常称作分类器) ，该模型能把数据库中 的数据项映射到给定类别中的某一个。分类和回归方法都可用于预测，两者的目 的都是从历史数据记录中自动推导出对给定数据的推广描述，从而能对未来数据 进行预测。和回归方法不同的是，分类的输出是离散的类别值，而回归的输出则 是连续的数值。二者常表现为一棵决策树，根据数据值从树根开始搜索，沿着数 据满足的分支往上走，走到树叶就能确定类别。下图为分类的应用模式： 训练集 决策树 图2 - 3 分类算法的应用流程 要构造分类器，需要有一个训练样本数据集作为输入。训练集由一组数据库 记录或元组构成，每个元组是一个由特征( 又称属性) 值组成的特征向量，此外，训练 第l o 页 北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 样本还有一个类别标记。一个具体样本的形式可为：( v l ，v 2 ，v n ；c ) ；其中v i 表示字段值，c 表示类别。 分类器的构造方法有统计方法、机器学习方法、神经网络方法等等。统计方 法包括贝叶斯法和非参数法( 近邻学习或基于事例的学习) ，对应的知识表示是判 别函数和原型事例。机器学习方法包括决策树法和规则归纳法，前者对应的表示 为决策树或判别树，后者则一般为产生式规则。神经网络方法主要是反向传播 ( b a c k p r o p a g a t i o n ，简称b p ) 算法，它的模型表示是前向反馈神经网络模型( 由 代表神经元的节点和代表联接权值的边组成的一种体系结构) ，b p 算法本质上是 一种非线性判别函数。另外，最近又兴起了一种新的方法：粗糙集( r o u g hs e t ) ，其 知识表示是产生式规则。 不同的分类器有不同的特点。有三种分类器评价或比较尺度：1 ) 预测准确 度：2 ) 计算复杂度；3 ) 模型描述的简洁度。预测准确度是用得最多的- - t 0 比较 尺度，特别是对于预测型分类任务，目前公认的方法是l o 番分层交叉验证法。 计算复杂度依赖于具体的实现细节和硬件环境，在数据挖掘中，由于操作对象是 海量的数据库，因此空间和时间的复杂度问题将是非常重要的一个环节。对于描 述型的分类任务，模型描述越简洁越受欢迎。例如，采用规则归纳法表示的分类 器构造法就很有用，而神经网络方法产生的结果就难以理解。 另外要注意的是，分类的效果一般和数据的特点有关。有的数据噪声大，有 的有缺值，有的分布稀疏，有的字段或属性间相关性强，有的属性是离散的而 有的是连续值或混合式的。目前普遍认为不存在某种方法能适合于各种特点的数 据。 在本文的实现部分，作者在套餐劝转分析中利用了分类的各种算法，来给处 于衰退期的套餐用户选择相应的目标套餐，实现衰退期产品的归并和撤销。 2 2 2 3 数据挖掘应用 数据挖掘在各个行业都有着非常有前景的应用，比如生物医学、电信、银行、 保险等等，结合实际，这里介绍一下数据挖掘在电信行业的应用。 电信运营商拥有许多成熟的数据库应用系统，如网管系统、营业系统、计费 + 系统、账务系统、结算和客服系统等，这些系统都产生了大量的业务处理数据。 如果针对客户关系管理相关决策分析的需求，对这些数据进行重组整合，就能充 第i 1 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 分利用这些宝贵的数据，体现信息的真正价值。数据挖掘技术在电信行业客户关 系管理的主要应用领域如下： 客户消费模式分析 客户消费模式分析( 如固话话费行为分析) 是对客户历年来长话、市话、信 息台的大量详单、数据以及客户档案资料等相关数据进行关联分析，结合客户的 分类，可以从消费能力、消费习惯、消费周期等诸方面对客户的话费行为进行分 析和预测，从而为固话运营商的相关经营决策提供依据。 客户市场推广分析 客户市场推广分析( 如优惠策略预测仿真) 是利用数据挖掘技术实现优惠策 略的仿真，根据数据挖掘模型进行模拟计费和模拟出账，其仿真结果可以揭示优 惠策略中存在的问题，并进行相应的调整优化，以达到优惠促销活动的收益最大 化。 客户欠费分析和动态防欺诈 通过数据挖掘，总结各种骗费、欠费行为的内在规律，并建立一套欺诈和欠 费行为的规则库。当客户的话费行为与该库中规则吻合时，系统可以提示运营商 相关部门采取措施，从而降低运营商的损失风险。 客户流失分析 根据已有的客户流失数据，建立客户属性、服务属性、客户消费情况等数据 与客户流失概率相关联的分类数学模型，找出这些数据之间的关系，并给出明确 的数学公式。然后根据此模型来监控客户流失的可能性，如果客户流失的可能性 过高，则通过促销等手段来提高客户忠诚度，防止客户流失的发生。这就彻底改 变了以往电信运营商在成功获得客户以后无法监控客户流失、无法有效实现客户 关怀的状况。 2 2 3数据挖掘过程 数据挖掘需要从大量数据中抽取有价值的信息或知识以提供决策依据，成功 的应用数据挖掘技术以达到最终目标需要分析人员对业务流程、数据集、以及分 析方法都非常了解。同时数据挖掘是一个反复进行的过程，应用工程化的方法对 最终实现分析任务至关重要。本节介绍一个最常见的数据挖掘过程模型： 第1 2 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 c r i s p d m 。 2 2 3 1c r i s p - d m 模型 c r i s p d m 模型是由数家软件供应商和用户组织成立了行业协会制订的数 据挖掘过程模型。它强调数据挖掘在商业中的应用，解决商业中存在的问题，而 不是把数据挖掘局限在研究领域。 c r i s p d m 模型采用分层方法将数据挖掘划分为四个层次( 1 e v e l ) 。由一般到 具体分别为：阶段( p h r a s e ) ，通用任务( g e n e r i c t a s k ) ，专有任务( s p e c i a l i z e d t a s k ) ， 处理实例( p r o c e s si n s t a n c e ) 。如下图： j 臣2 - 4c r i s p d m 层次图 在最高层数据挖掘过程被组织成一系列的阶段，每个阶段包含若干第二级别 的通用任务。第一层之所以称之为通用的是因其涵盖了所有可能的数据挖掘情 况。通用任务通常是完整和稳定的。第三层专有任务定义了通用任务对应具体的 挖掘任务时是如何被由具体动作组成的。比如第二层定义了“清洁任务”则第三 层说明了对于不同类型的数据如数值型数据和分类型数据“清洁任务”是分别如 何进行的。第四层处理实例对应到实际的挖掘行动中行为、结果是如何组成的。 其中上面两层独立于具体的数据挖掘方法，是一般数据挖掘项目均需要实施的步 骤，这两层任务结合具体挖掘项目上下文，映射到下面两层的具体任务和过程。 c r i s p d m 认为上下文包括以下四个方面： 。 应用领域：如商业、电信行业等； 数据挖掘处理的问题类型：如分类型、预测型问题等； 技术方面：指数据挖掘特定问题所带来的技术方面的问题； 工具和技术：确定了具体数据挖掘项目的工具和技术。 第1 3 页北京邮电大学硕士论文 电信领域套餐分析系统的研究与设计 2 2 3 2c r i s p d m 过程参考模型 c r i s p - d m 的过程模型将一个数据挖掘项目的生命期分为6 个阶段： b u s i n e s s u n d e r s t a n d i n g ，d a t au n d e r s t a n d i n g ，d a t ap r e p a r a t i o n ，m o d e l i n g ， e v a l u a t i o n ，d e p l o y m e n t 下图展示了这六个阶段的顺序关系。因为数据挖掘更类似于一个发现的过程 所以往往需要不同阶段之间的往复。 图2 - 5c r i s p d m 过程模型 b u s i n e s su n d e r s t a n d i n g 商业理解 本阶段专注于商业角度理解项目目标和需求，并转化为一种数据挖掘问题定 义，同时设计出一个初始计划。 ” d a t au n d e r s t a n d i n g 数据理解 在数据理解阶段，先收集初步的数据，然后了解熟悉数据，以识别数据质量、 找到对数据的基本观察或假设隐含的信息来检测出感兴趣的数据子集。 d a t ap r e p a r a t i o n 数据准备 数据准备阶段包括了从数据构造到最终数据集合( 将要输入建模工具的数据) 的所有活动。数据准备任务可能要执行很多次，并没有任何规定的顺序。任务有 表、记录属性的选择以及为适合建模工具的要求对数据进行的转换和净化。 m o d e l i n g 建模 第1 4 页北京邮电大学硕士论文 电信领域套键分析系统的研究与设计 建模阶段可以选择使用各种建模技术，各类模型参数也可以调整优化。对同 一个数据挖掘问题可以有若干可用技术，某些技术对数据的形式有一定的要求， 因此常常要退回到数据准备阶段。 e v a l u a t i o n 评估 在最终扩展模型前要彻底的评价模型，对所建模型再次考察其执行步骤并确 信其正确的达到了商业目标。这里，一个关键的目的是确定是否有某些重要的商 业问题还没有充分的考虑。 d e p l o y m e n t 发布 所获得的挖掘结果和知识应该采用用户可以使用的方式来组织和表示。可以 简单到只有一份报告也可以实现一个可以重复的挖掘过程或系统。很多情况下， 这将由客户而非分析员来实施。 下表说明了各个阶段的通用任务，黑体是任务名称，斜体是任务的输出。 b u x l t # 0 m 艚t w l 目枷d 虽h 缸对0 慨h # 惯 q t 口hr e v s ! ；t ，“：m c t i w t i a a 辩, q i m j i i t t m ”舢l ! r 船 m 埠 娜n 口* m m 啦m # a n d ( m 口 r $ 4 0 w 舭m m “目嘧 怕目o 黼 n d r d t t 卦日矧n 吣g 蜩i 】s 脚w 拙出 d 船w e f f o g 酗能n s 爵“嘲 p m 曲叫 r t 加c l 崩a h p 删牲蜉她 l t t 嘶l 籼r m 蛳蹦 托汕一时7 # 城q 蚶 2 3e t o m 理论 ，嚣。l删d 毗i n 口船fs d t d3 , 1 “舢f 蕊t m 蚶蛳l n h1 牲h m q 舯 m m 自目姆，f 榭口d l a “m “曲皑 s 蝴坤。赫 轧协m 出，i t 舳k m ? g t m e r # l e m r 6 口 m d e i j g n o _ l d a t a 确# c k q n 抛舡”畦 b u m 日如l p d 措o d 甜s 哪珏 ( k _ 【h m o d e 母 w m i d d t e ! i * # h 口 船j * 埘 4 r # 湖曲 a s t y 4 m 捌d l m 雌m t e d a t a 融甜n h h 槠叫i 拍d n m 地口 h m l d b i d d 蒯l x * r a e a l u a l e 且l ：如j “ # “剐h 耐i 如* 硼l 曲t t t 畔d v w l w s 0 枷n “蛳酬j 弛咐州叫豫喇” b 蛐c 酬# t 耻蛙血口雕 h 辩“l 谢t 缸a c i i a 扭蛳鲫， 图2 - 6c r l s p d m 各阶段通用任务 电信运营图t o m ( t e l e c o mo p e r a t i o n sm a p ) 是t m f 最先提出的业务运营流 ? 程框架，它是基于t m n 结构和t i n a 的经营模型，结合电信运营实际的t o m 。 是业务处理过程的蓝图以及设计和开发集成业务运营支撑系统( o s s b s s ) 的起 点。 第1 5 页北京邮电大学硕士论文 脚聊兽蕞霎黧 电信领域套餐分析系统的研究与设计 e t o m ( e n h a n c e dt e l e e o mo p e r a t i o nm a p - ) 是t mf o r u m 在原有t o m 规范 基础上提出的，是涵盖了全企业范围的业务流程框架。原来的t o m 规范对各种 服务提供商的内部运营流程进行了详细的阐述，但是面对当今不断加剧的竞争环 境，企业迫切地需要找到提升自身竞争力的方法，如何赢得新客户挽留老客户， 在竞争中快速地对环境做出反映，这一切都要求服务提供商建设一套高效的全企