（计算机应用技术专业论文）电信经营分析系统中数据业务分发引擎的研究与实现.pdf

北京邮电大学硕士毕业论文 电信经营分析系统中数据业务分发引擎的研究与实现 摘要 近年来，国内电信运营商的盈利点已经由传统的单一的语音业务 转变为以语音业务为主，数据业务和增值业务并重的多元化趋势。区 别于话音业务，数据业务种类多，业务划分复杂，数据源混乱，同时 由于新的数据业务层出不穷，各业务缺乏共性，而且一些数据业务的 生存周期很短，目前的数据业务管理以单表为主，主要分析收入和用 户，如何有效的组织和管理这些爆炸性增长的数据，满足上层应用譬 如k p i ，指标上传，报表和0 l a p 分析等等的需要，以应对不断变化 的市场需求，以及怎样为决策和分析人员提供有效信息，进而在日益 激烈的市场竞争中赢得一席之地，是本文主要研究的问题。 本文主要贡献在于： ( 1 ) 参与某省电信经营分析系统的项目建设，分析了其中数据业 务的特性，针对当前数据业务数据的组织状况，提出了适合业务发展 和满足用户需求的解决方案。 ( 2 ) 结合数据仓库和数据集市理论中的相关知识，设计了数据业 务数据组织和分发的方案，并分三层详细阐述了数据业务分发引擎的 设计和功能实现。 ( 3 ) 设计和实现数据稽核模块，以保证数据在处理过程中的有效 性与准确性。同时说明了数据业务分发引擎在电信经营分析系统中详 细实施的方法，并对在项目中的实际应用举例说明。 关键词：数据业务经营分析分发引擎数据集市数据仓库 u 北京邮电大学硕士毕业论文 r e s e a r c han di m p l e 匝n t a t i o no f d a t as e r v i c ed i s t i u b u t l 0 ne n g i n e i nt e l e c o mo p e r a t i n ga n a l y s i ss y s t e m s a b s t r a c t 1 1 1r e c e n ty e a r s ，p r o f i tm o d eo fd o m e s t i ct e l e c o m m u n i c a t i o nc o m p a l l l e sh a v e c h a l l g e d 行o mr e l 姐n go n l yo nv o i c es e i c e st om e t r e a do fe m p h a s i so nd a t as e i c e s a n dv a l u e a d d e ds e i c e sa sw e l la st r a d i t i o n a lv o i c es e r v i c e s d i f j e e r e n t 蕾i o mv o i c es e r v i c e s ，d a t as e r v i c e sh a sm a l l yd i v e r s ec a t e g o r i e sa n di ti s h a r dt od i v i d e ，a n dm ed a t as o u r c e sa r em e s s e du p d u et ol a c ko fc o m m o i l i l e s s ，a n ds o m ed a t as e r v i c e s s h o r tl i f ec y c l e s ， p r e s e n t a n a l y z i n gs t r a t e g yi sp m 碰1 yb a s e do ns i n 酉et a b l e ，a 1 1 dt 鹕e t e dp r i m 撕l yo n i n c o m ea 1 1 du s e r s s oh o wt om a i l a g ea i l do r g a n j z em e s e 凰te x p l o d i l l gd a t at om e e t u p p e r 1 a y e r 印p l i c a t i o nd 锄a n ds u c ha sk p i ，i n d e xu p l o a d i n g ，r 印o n sa n d0 l a p a n a l y s i sa n de t c ，h o wt 0m e e tm ee v e r c h a n 西n gm a r k e td e m a l l d ，a i l dh o w t op r o v i d e u s e 向l i n f o n i l a t i o nt od e c i s i o nm a k e r sa n da i l a l y z e r ss oa st ow i no u tf r o mt h e6 e r c e c o m p e t i n gm a r k e t ，i st h ea i mo ft 1 1 i sa r t i c l e t h e p 印e rm a i n l yc o n t r i b l l t e st ot h ef o l l o w i n g 瓠p e c t s ： ( 1 ) n 啪u 曲b u i l d i n gm et e l e c o mo p e r a ：t i n ga i l a l y s i ss y s t e m ，w ea n a l y z e d c h a r a c t 嘶s t i c so fd a t as e r v i c e s b a s e do np r e s c n tc o n d i t i o no fd a t ao 唱a n i z a t i o n ，w e p r o v i d et h ed a t as e r v i c ed i s t r i b u t i o ne n 百n ea sa s o l u t i o nt om e e ts e r v i c ed e v e l o p m e n t a n du s e rd e m a n d ( 2 ) d e s i 盟a n di m p l e m e n td a t as e r v i c ed i s t r i b u t i o ne n 百n eb yd i v i d i n gi n t ot h i e e 1 a y e r s ，c o m b i n i n gr e l e v a n td a t aw a r d l o u s e a n dd a t am a r ti d l o w l e d g e ( 3 ) d e s i g na n di m p l e m e n t t h ed a t ac h e c k i n gm o d u l et oa s s u r et h ee 衔c i e n c ya 1 1 d a c c u r a c yo fd a t ap r o c e s s i n g m e a l l w l l i l ew e 百v et l l ed e t a i l e di m p l e i i l e n t a t i o no ft h e d i s t r i b u t i o ne n g i n e ，a n de v a l u a t eo ni t sp r a c t i c a lu s a g ei nt e l e c o mp r o j e c t s k e yw o r d s ：d a t as e i c e s ，o p e r a t i n ga n a l y s i ss y s t e m ， d i s t r i b u t i o ne n g i n e ，d a t am a n ，d a t aw a r e h o u s e i i i 北京邮电大学硕士毕业论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：翌兰重趁日期：巡：! ：兰竺 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位 本人签名： 导师签名： 适用本授权书。 日期：垄竺呈：；。互兰 日期：2 叩罗。弓z 2 ， 北京邮电大学硕十毕业论文 1 1 论文背景 第一章绪论 在我国正式加入w t 0 以后，国外资本将逐步进入我国电信市场，国际化的 市场环境要求国内的电信运营企业在经营管理上能够迅速赶上国外的先进水平， 以迎接电信运营业的国际化竞争。同时随着国内电信行业改革和重组的不断深 化，国内电信业务的市场环境将渐趋合理，竞争将日益加剧。国内、国际电信业 的竞争态势，对电信运营企业的服务意识、服务内容、服务方式、服务质量、以 及经营管理水平等均提出了严峻的挑战，要求国内的电信运营企业在经营理念、 管理模式上能有一个较高层次的飞跃，以求在电信运营业日益残酷的国际化竞争 中立于不败之地；同时，也要求国内电信运营企业传统的以产品为中心，以营业 窗口为基础的运营模式，逐步向以客户为中心、以数据为中心、以信息为基础的 模式转变。 与此同时我国的电信市场竞争进一步加剧，竞争的焦点由以扩大用户群为 核心逐渐转移到兼顾扩大用户群和提高现有用户对企业的贡献度，减少客户特别 是高端客户的流失。电信企业的发展模式也正在逐步由“规模型”向“规模效益 兼顾型”过渡，最终的目标是建立“效益型 的、可持续发展的模式。而电信企 业在发展过程中，从单一的依靠语音业务盈利逐渐转变为以语音业务为主，数据 业务和增值业务并重的趋势。尤其是在网络状况不断改善，网络带宽不断加大的 情况下，以及以t d s c d m a 和w c d m a 为主要标准的3 g 测试和应用不断展开的背景 下，数据业务已经日益成为运营商现在和未来最重要的利益增长点。如何发挥运 营商的综合优势，实现灵活多变的市场营销策略，为客户提供更具有针对性的满 意服务；同时最大限度使自己的资源得到合理配置和优化，降低运营成本，以增 强运营商的核心竞争力，成为当前迫切需要解决的问题。在此过程中，市场策略 的应对速度是保持竞争力的重要手段，而市场应对策略的制定需要丰富、真实、 及时的经营信息提供支持。 在此背景下，某省运营商经过近几年的努力，初步搭建了统计分析平台，满 足了一般经营分析和统计的要求。与此同时，数据业务的迅速发展成为近年来国 内运营商最大的利益增长亮点之一，针对数据业务的需求也越来越多，但是现有 系统无论从数据源、数据统计方法还是数据的展现形式上，都已经不能满足要求， 而且随着使用人员的增多，系统面临的问题也同益严重。 北京邮电人学硕士毕业论文 1 2 问题和现状 目前经营分析系统对数据业务进行分析面临的问题主要表现在以下几个方 面： ( 1 ) 数据源混乱 数据源混乱，数据不全面，对于相关原始数据、统计的支撑还不到位，没有 展现业务的详细经营信息。不同于传统语音业务，数据业务种类多，需求多，而 且业务和需求变化也大，而各业务数据源也是千差万别，有来自营帐系统，有来 自总部下发的e x c e l 格式表，有来自渠道分销系统的文本文件，也有直接来自经 营分析系统的数据库表。除了文件格式的不一致，同类文件在结构上也不一样。 ( 2 ) 数据处理效率低 相比千万级数据量的话音业务来说，数据业务的数据量小很多，因此在经营 分析系统建立的初期没有考虑对数据业务进行专门的管理和汇总，而只是以业务 类型为区分将数据业务与其他业务数据一起存放在数据仓库n 1 最底层的0 d s 层表 中。但随着需求的增多，这种弊端日益明显。例如不同需求涉及到多次重复查询， 这对系统的硬件开销造成了极大压力。 ( 3 ) 数据准确性无法保证 一方面多数据源增加了数据出错的可能性，例如业务员手工输入带来的脏数 据导致数据丢失和错误，另一方面没有完善的机制来检验数据的有效性。在保证 数据源准确的前提下仍然无法确定数据的真实与准确性。 ( 4 ) 只能接受被动查询，不能主动推送和定制数据。 基于数据仓库的经营分析系统是面向分析的系统，其建立目的是为了方便决 策人员进行查询和分析。数据仓库提供数据，以供被动查询使用。但是随着客户 需求的不断演进，出现了诸如短信接口，指标上传等需要定时按要求进行分发和 推送的新要求。而且这种需求越来越多，因为自动化的数据处理可以大大减少出 错的可能。 表卜1 问题描述和原因分析 问题描述 问题原因 数据源混乱业务种类多，数据来源复杂且格式不一致 处理效率低数据没有汇总，且涉及大表重复查询 无法保证准确性没有有效的机制避免脏数据，且没有数据稽核操作 不能主动定制和推送以往没有需求，而现在相关需求越来越多 2 北京邮电大学硕+ 毕业论文 如表1 1 所示，数据业务目前的管理和组织面临很多问题。为了满足经营分 析和决策的需要，以及上层应用的需要，对于数据业务建立高效的数据管理和分 发引擎是十分必要的。 1 3 主要工作 针对前面两节对系统背景和数据业务现状的分析，在本文我们设计和实现了 三层结构的数据业务分发引擎，以满足和解决数据业务分析所面临的问题。 ( 1 ) 分析数据业务分发引擎所在的开发环境经营分析系统，理解数据组织 结构，并对数据业务的特性进行分析。 ( 2 ) 分层设计和实现分发引擎。其中数据准备层实现对不同数据源的采集和 汇总，同时有效避免脏数据的出现，方便其后的管理和操作。数据集市层的建立 可以加快查询效率，使数据得到更有效的组织。数据分发层则按需要实现数据的 定时推送。 ( 3 ) 开发专门的数据稽核模块，以满足数据准确性验证的需要。 本文所介绍的数据业务分发引擎，是在经营分析系统的基础之上，对数据进 行二次管理，满足上层应用需求的一种灵活有效的机制。通过建立分三层结构的 分发引擎，首先实现了混乱数据源的集中管理，有效的避免了脏数据的出现为系 统带来的不可预知的影响，其次实现了数据的高效管理和组织，另外实现了数据 定制和数据分发的功能。在这个基础上我们建立了数据稽核模块，以保证数据流 在处理的每个步骤上数据的准确性。 数据业务分发引擎以“基础平台+ 集成应用的模式进行建设，三期工程在 原来的基础上将数据业务独立出来，完成集成应用平台的技术实现和建立比较关 注的分析应用模型。总体来说，经营分析系统数据业务分发引擎的目标如下： ( 1 ) 通过对数据业务指标进行汇总和分析，并对数据如何组织和存放进行建 模，构造整体的用户与产品经营信息体系架构； ( 2 ) 完善经营信息应用的整体技术架构，增强经营分析系统对数据业务的处 理能力。提高经营信息向经营知识转换与利用的效率，提高知识共享程度； ( 3 ) 通过数据集市组织数据业务信息，构造针对特定主题的通用经营信息应 用模型。进一步增强系统的实用性，对信息化部等重要部门提供直接的应用功能 支持。 3 北京邮电大学硕士毕业论文 1 4 文章结构 文章按以下结构进行组织： 第一章引言 本章介绍课题的背景和现状，以及本论文所做的主要工作。 第二章数据业务分发引擎系统分析 本章对于数据业务分发引擎进行了详细的分析，并对开发所在经营分析系统 环境进行了说明，同时介绍了相关技术。 第三章数据业务分发引擎详细设计 本章开始对分发引擎各层进行详细设计，其中对于关键的数据集市层给出概 念设计，逻辑设计和物理设计。 第四章数据业务分发引擎实现 本章对数据分发引擎按层进行实现，并按应用进行举例说明。 第五章总结 本章主要总结目前分发引擎存在的问题以及将来需要改进的地方。 4 北京邮电大学硕士毕业论文 第二章数据业务分发引擎系统分析 数据业务分发引擎建立在基于数据仓库的经营分析系统之上，只有理解了经 营分析系统的结构，掌握了经营分析系统的数据组织形式，才能建立高效的稳定 的分发引擎。同时，数据业务不同于语音和增值业务，有很多独特的性质，因此 本章先分析分发引擎所在的开发环境一经营分析系统，然后对数据业务特性进 行介绍和说明。 2 1 经营分析系统分析 经营分析系统【2 】是电信运营商实现以市场为中心的企业运作模式，建立完善 的市场营销管理服务体系，提高电信运营商的盈利和竞争能力的重要途径。在经 营分析系统地帮助下，电信运营商可以通过经营分析系统的信息采集、信息处理、 业务指标分析、专项分析、决策辅助支持、信息发布等功能，充分利用电信运营 商各个业务支撑系统产生的大量宝贵的数据资源，建立专门面向客户、实施垂直 一体化管理、分析运营商全面业务指标的经营分析体系，并依托运营商的公用传 输网、公用电话网、公用数据网等通信基础设施，以先进的网络技术、强大的网 络运行维护能力和丰富的网络管理经验为支撑，面向经营管理人员和市场部经 理、大客户发展部等部门提供业务咨询、业务分析、营销策略制定等全业务、个 性化综合咨询服务。 2 1 1 经营分析系统架构 经营分析系统的建设采取以“将基线产品和客户化本地化功能相分离，基 线产品信息模型逐步完善”为建设指导思想。基线产品以统一的信息模型为核心， 完成数据的收集并存储于经营信息数据仓库【3 j 的主要功能，同时对外提供统一的 报表数据，包括生成和传输总部需要的标准报表数据文件、总部统一标准的省分 公司经营报表等。客户化本地化以满足本地经营分析需求为前提，在基线产品 的基础上进行应用集成，提供经营信息的展现、生产型查询等客户化本地化的 具体应用。 经营分析系统三期工程采取以“完善基线系统，开发应用系统 的方式进行 建设。完善基线系统是进一步完善数据仓库系统中的信息模型，并且适当应用新 的生产系统作为经营分析系统数据仓库的数据源；开发应用系统是在数据仓库的 5 北京邮电大学硕士毕业论文 基础上，以各业务部门数据分析需求和市场经营热点为驱动，开发专题分析应用， 从而满足用户的需求。以某省运营商经营分析系统为例，经营分析系统总体架构 图如图2 1 所示： 使用 业务管理营销簧营销服 管理 对象 决策者 分析师人员戈i j 人员务人员 角色 管理 应用 k p l i报表中心i 功能 多维分析ie p 席杳询i 系统 管理 数 ：) 安全 据 数据仓库 管理 方 德 。 数据质 i 一 量管理 i 匕il l 元数据 据 l 川贝付 l 客户瓷料 i 渠道数据 l 管理 药l 帐务数据 l 计费详单数据 l 其他数据 i 取it k 刀删。 图2 1 系统总体架构图 系统架构从整体上分为以下三个部分： ( 1 ) 数据采集：以查询、统计型经营数据为核心，数据源于服务支撑系统中 各生产作业子系统( 例如综合营帐系统、计费系统、客服系统等) 中的数据。典 型的数据采集过程包括：源数据分析和映射、e t l ( e x t r a c t i o n 、t r a n s f o 砌a t i o n 、 l o a d i n g ) 以及数据审计。 ( 2 ) 数据存储：实现对数据仓库中数据和元数据的集中存储与管理，并可根 据需求建立面向部门和主题的数据集市。数据存储层主要对数据进行整合以及对 用于决策和分析的数据进行优化，这些数据存储在d w 和o d s 层。中央数据仓 库将被划分为三个逻辑存储区间：s t a g ea r e a 、s i n g l ev i e w 、l o g i c a ld a t am a r t s ： s t a g ea r e a 将存放各业务系统的原始数据，包括与原结构相同的业务数据以及 经过初步整理后的业务数据；s i n g l ev i e w 区域存放经过p d m ( 产品数据管理) 整理过的数据，是经营分析系统真正的数据中心；l o g i c a ld a t am a r t s 区域存 放各个应用系统( b i 、o l a p 、d a t am i n i n g ) 所需的综合数据。 ( 3 ) 信息展现：主要为企业的其他系统提供客户层面经营信息服务的统计及 决策分析支持，主要体现在报表查询、o l 廿分析和专题分析部分。通过多样化 6 北京邮电人学硕士毕业论文 的前端分析展示工具，实现对数据仓库中数据的分析和处理，形成市场经营和决 策工作所需要的科学、准确、及时的业务信息和知识。数据仓库应用可分为两大 类：一类应用以0 l a p 应用为主，主要是产生大量的业务报表和进行多维分析， 并能方便地支持动态查询( a d h o c 查询) 。另一类应用则以数据挖掘( d a t am i n i n g ) 为主。数据访问层即定义了业务用户如何访问经营分析系统中的信息， 包括查询报表o l a p 、知识发现数据挖掘。 2 1 2 应用产品说明 目前，国内数据仓库项目的实施软件厂商大体有两类：一类是基础软件提供 商，例如i b m ，s y b a s e ，o r a c l e ，m i c r o s o r ，s a s 等国外厂商，一类是国内的软 件集成商和软件开发商。 数据仓库产品【4 】大致有以下几部分组成：e t l 工具、数据仓库引擎产品、 o l a p 产品、数据挖掘工具、统计产品和展现工具。表2 1 列出了主要的数据仓 库产品： 表2 1 主要数据仓库产品表 厂商 土要产品 o r a c l e 公司o r a c l e 数据库( 9 i 以上版本内置e t l 工具、o l a p 引擎) 。 i b m 公司 i b m d b 2 u d b e e e n c r 公司t e r a d a t a 数据仓库。 s y b a s e 公司s y b a s ea s e s y b a s ei q ( 数据仓库服务器) m i c r o s o r 公司 s q ls e r v e r 数据库( 内置e t l 工具、o l a p 引擎) s a s 公司s a se n t 唧r i s em i n e r 。 s p s s 公司s p s s 分析工具和挖掘t 具 a s c e i l t i a l 公司 e t l 工具d a t a s t a g e i n f o m a t i c a 公司 p o 、e rc e i l t e r 、p o w e rm a r t 。 b u s i n e s s0 b j e c t s 公司 商务智能平台b u s i n e s s o b j e c t sx i ；c 巧s t a lr 印o r t s c o n 弘o s 公司 c o n g o s 分析和展现t 具。 h y p 耐o n 公司b r i o 报表和o l a p 上具。 m i c m s t r a t e g y 公司m i c r o s t e g y 分析- t 具。 a c t u a t e 公司a c t u a t e 企业报表平台。 2 2 数据业务特性分析 公众移动通信和数据通信为当前通信业界的两大热点，而两者的结合物一移 动数据通信，正在形成一个新的市场热点目前移动运营商所提供的业务可以划分 为3 个层面：话音、数据和多媒体，因数据业务和多媒体业务共用一个底层分组网 7 北京邮电大学硕士毕业论文 络，故可将后两个层面的业务统称为移动数据业务一般将提供话音与数据业务的 移动网络称为移动通信网；而将不提供话音业务只提供数据业务的移动网络，称为 移动数据网随着技术的发展，在解决分组网传送话音的服务质量( q o s ) 后，编码话 音将完全以分组数据形式传送当电路交换从移动核心网中退役后，移动通信网也 就整体演变为移动数据网 数据业务是通过因特网、帧中继、a t m 、x 2 5 分组交换网、d d n 等网络提 供的各种数据传送业务。根据管理的需要，数据通信业务分为两类。 第一类数据通信业务包括：因特网数据传送业务、国际数据通信业务、公众 电报和用户电报业务。 ( 1 ) 因特网数据传送业务 因特网数据传送业务是指利用i p 技术，将用户产生的i p 数据包从源网络或 主机向目标网络或主机传送的业务。 。 因特网数据传送业务的经营者必须自己组建因特网骨干网络和因特网国际 出入口，无国际或国内通信设施服务业务经营权的运营商不得建设国际或国内传 输设施，必须租用有相应经营权运营商的国际或国内传输设施。 因特网数据传送业务经营者可以为因特网接入服务商提供接入，也可以直接 向终端用户提供因特网接入服务。提供因特网数据传送业务经过的网络可以是同 一个运营者网络，也可以利用不同运营者网络共同完成。 因特网数据传送业务经营者可建设用户驻地网、有线接入网、城域网等网络 设施。 基于因特网的国际会议电视和图像服务业务、国际闭合用户群数据业务属因 特网数据传送业务。 ( 2 ) 国际数据通信业务 国际数据通信业务是国家间或国家与地区之间，通过帧中继和a t m 等网络 向用户提供永久虚电路( p v c ) 连接，以及利用国际线路或国际专线提供数据或图 像传送业务。 利用国际专线提供的国际会议电视业务和国际闭合用户群的数据业务属于 国际数据通信业务。 国际数据通信业务的经营者必须自己组建国际帧中继和a t m 等业务网络， 无国际通信设施服务业务经营权的运营商不得建设国际传输设施，必须租用有相 应经营权运营商的国际传输设施。 ( 3 ) 公众电报和用户电报业务 公众电报业务是发报人交发报文由电报局通过电报网传递并投递给收报人 电报业务。公众电报业务按电报传送目的地分为国内公众电报业务和国际公众电 8 北京邮电大学硕士毕业论文 报业务两种。 用户电报业务是用户利用装设在本单位或本住所或电报局营业厅的电报终 端设备，通过用户电报网与本地或国内外各地用户直接通报的一种电报业务。用 户电报业务按使用方式分为专用用户电报业务、公众用户电报业务和海事用户电 报业务。 第二类数据通信业务包括：固定网国内数据传送业务、无线数据传送业务。 ( 1 ) 固定网国内数据传送业务 固定网国内数据传送业务是指第一类数据传送业务以外的，在固定网中以有 线方式提供的国内端到端数据传送业务。主要包括基于异步转移模式( a t m ) 网络 的a t m 数据传送业务、基于x 2 5 分组交换网的x 2 5 数据传送业务、基于数字 数据网( d d n ) 的d d n 数据传送业务、基于帧中继网络的帧中继数据传送业务等。 固定网国内数据传送业务包括：永久虚电路( p v c ) 数据传送业务、交换虚电 路( s v c ) 数据传送业务、虚拟专用网业务等。 固定网国内数据传送业务经营者可组建上述基于不同技术的数据传送网，无 国内通信设施服务业务经营权的经营者不得建设国内传输网络设施，必须租用具 有相应经营权运营商的传输设施组建业务网络。 ( 2 ) 无线数据传送业务 无线数据传送业务是指前述基础电信业务条目中未包括的、以无线方式提供 的端到端数据传送业务，该业务可提供漫游服务，一般为区域性。 提供该类业务的系统包括蜂窝数据分组数据( c d p d ) 、p l a n e t 、n e x n e t 、 m o b i t e x 等系统。双向寻呼属无线数据传送业务的一种应用。 无线数据传送业务经营者必须自己组建无线数据传送网，无国内通信设施服 务业务经营权的经营者不得建设国内传输网络设施，必须租用具有相应经营权运 营商的传输设施组建业务网络。 2 3 数据业务分发引擎分析 2 3 1 需求分析 某省运营商信息化部门人员的任务是从生产部门采集和提取数据，借助第三 方厂商人员和工具的帮助，向上级部门人员和中国联通总部提供所需信息，包括 用户数，收入，使用时长，业务发展情况等等。这部分人员业务知识丰富，对基 本的通信和计算机知识有所掌握，但对于数据仓库和经营分析所采用的算法和原 理不清楚，因此用户很难通过系统后台的程序和原理来应用和维护经营分析系 9 北京邮电大学硕士毕业论文 统，从而满足不断变化的需求。因此，我们应该提供图形化操作界面，尽量减少 她们的编码工作。针对数据业务部门提出的需求，总结如下： ( 1 ) 数据可靠性要求 数据只能对专业人员开放数据库操作权限，防止和杜绝不相关人员的误操作 发生。 同时应该提供系统备份功能，包括自动和手动备份。 ( 2 ) 数据准确性要求 应该保证数据的准确性，不同口径不同粒度的统计数据结果应该一致，非流 水表不能随意更改，统计错误应该及时上报并重做备份。 ( 3 ) 时间响应要求 数据应该及时入库，及时备份，以满足上层报表和o l a p 等的及时需求。 ( 4 ) 存储能力要求 视数据库大小而定，一般日数据至少要保存3 0 天，月数据要保存1 2 年。 可以表和文件形式备份，备份后重建同义词指向当前日期。 ( 5 ) 可扩展性需求 应该充分考虑数据库结构，功能设计，管理对象的平衡机制和可扩展性。对 于新的数据业务需求不能简单建立新表，因为这样不易维护，而且会形成信息孤 岛。因此要求数据集市必须具有平滑而灵活的扩展能力。 ( 6 ) 其他要求 要提供可视可操作的界面，并提供下载打印等功能。 2 3 2 分发引擎难点分析 数据管理和分发是为了满足上层不断变化不断增加的应用需求而产生的，以 往的应用大多是直接从数据仓库取数据，部分原因是数据业务的用户群远小于 g c 网用户，业务数据也比g c 网小很多，所以系统能够承担直接从底层数据仓 库反复取数的开销，但随着数据业务历史数据越来越多，业务开展越来越广泛， 业务需求越来越复杂，如果每个需求都要从数据仓库层取数，不仅会给经营分析 系统数据仓库带来很大的压力，在时间上也不能保证需求按时完成，因为数据业 务数据已经从当初的不到十万的记录级猛增到现在的百万甚至千万记录级，而在 这种情况下要建立数据业务管理和分发引擎必然会遇到以下问题： ( 1 ) 效率问题。 分发可以是被动查询方式也可以是主动p u s h 方式。无论是被动还是主动， 我们都会面临海量数据的处理效率问题，用户能忍受的普通查询时间一般不到一 1 0 北京邮电大学硕+ 毕业论文 个小时，而当仅仅依靠建索引这种以空间换时间的方法不能满足需要时，我们必 须在结构上进行改变才能达到目的。 ( 2 ) 准确性问题 准确性是经营分析系统最关键也是系统用户最关心的问题，同时也是用户对 系统提出的最低要求。系统开发时用户界面可以不需要耗费太多精力，甚至功能 模块也可以与用户在需求调研阶段协商存留与否，但数据准确性问题却无论如何 都是必须要满足的。在数据业务分发引擎的开发过程中也必然会碰到准确性问 题。 因为数据业务种类多，业务划分比较复杂，数据源混乱，如何保证不同数据 源的相同指标在不同粒度的统计口径下保持一致，如何保证相同数据源的同一指 标在分发给不同需求的应用时保持数据统一，另外如何自动化验证数据是否一 致，这些都是数据业务分发引擎需要考虑和解决的问题。 ( 3 ) 容错性问题 容错性问题和准确性问题有相似之处，但却不尽相同。系统容错性好可以提 高数据处理的准确性，但却不能保证数据的准确性。反之，系统的数据处理准确 性高可以甄别系统容错性的好坏，但也不能使系统容错性得到保证，准确性和容 错性都是多方面因素确定的。此外，容错性和准确性在系统结构上并不是一个层 次的概念。系统容错性主要是指在数据采集或者数据准备阶段对与脏数据的处理 方式问题，而系统准确性却主要是指数据进入系统内部后如何让数据不丢失，不 重复的问题。如图2 2 所示： 图2 2 容错性和正确性 我们以租线业务为例，租线业务数据用户资料的数据源来源于营业系统，用 户在注册登记时提交表单由运营商营业人员记录到用户资料数据库表中。由于记 录员的粗心和喜好方式的不同，同样是带宽为2 兆的一条租线，可能产生2 兆， 2 ；l c m ，2 六m ，2 m ，2 ，2 m ，2 m 甚至是= i c 2 m 等多种记录，这样在统计总带宽 的时候系统对脏数据的容错性就成为保证统计准确性的关键问题。 北京邮电大学硕士毕业论文 2 3 3 背景和规划 一方面，某省运营商的经营信息来源于电信服务支撑系统( b s s ) 中各生产 子系统，涵盖了计费、结算、营业、帐务、客服、大客户等信息，由于系统容量、 运行效率等原因，服务支撑系统的各生产子系统不可能、也没有必要长期保存所 有历史数据；然而，为了准确了解、分析某省运营商的运营情况，运营过程中所 积累的各时期历史操作数据通过汇总与沉淀之后，却构成了企业整体经营信息的 生成基础。 另一方面，由于某省运营商业务量的迅速发展，业务支撑系统的各生产子系 统处理负担日益加重，而统计却日益复杂，若仍以传统的方式，在生产系统中进 行统计分析，向市场营销人员及时提供充足、准确的经营信息而又不影响生产系 统的处理效率已不现实。 由上可见，有必要实现操作数据与经营数据的分离，形成统一的经营信息数 据源，在服务支撑系统中为统计分析等经营信息服务建设专门的处理子系统：生 产子系统视本身情况，周期地备份并清理历史数据；而经营信息服务子系统所需 的大量历史数据不能直接依赖于生产子系统，必须周期性地从生产子系统中抽 取，独立积累、独立存储、独立管理。而将数据进行统一管理之后，我们还应着 眼于如何满足上层应用。例如对于短信和上传，不仅要提供数据，还应该提供符 合要求和规范的数据。 针对上述背景及规划，我们建立了三层结构的数据业务分发引擎，以满足统 计和决策的需要。 数据业务分发引擎子系统实现沉淀、融合各数据业务生产子系统的操作数 据，形成经营信息，实现数据到信息的转换，向省分公司和地市级分公司相关部 门提供面向业务产品与面向客户的营销报表与经营统计分析信息；并在统一传输 平台上向联通总部提供标准的经营统计调查报表以及标准的报表数据。 2 3 4 系统目标功能 数据业务分发引擎作为电信经营分析系统平台的子系统，其目的是为了将各 数据业务生产子系统的业务数据、客户数据以及其他重要经营信息实现整合，按 照近期目标、中期目标、远期目标三个阶段进行设计和实现统计报表、分析报表 甚至决策专题分析的全方位经营信息支持服务，增强经营分析系统对数据业务部 分的处理能力。 其主要功能包括： 1 2 北京邮电大学硕士毕业论文 ( 1 ) 数据采集功能：从各个生产子系统采集数据，并且保证采集到的数据的 准确性和完整性。 ( 2 ) 数据存储功能：存储所有经过e t l 的统一经营信息，要保证数据的完整 性，一致性，以及数据存储的稳定性。 ( 3 ) 数据查询功能：可以根据用户的权限给出相应的查询权限，必须有用户 权限的管理。 ( 4 ) 数据分析功能：对业务和客户的经营信息进行分析，并给出相应的分析 结果，以报表或者其他方式在前端展现出来。 ( 5 ) 数据分发功能：按需求对数据进行分发和推送，保证数据格式无误，数 据准确，按时分发。 ( 6 ) 数据挖掘【5 j 功能：提供以数据挖掘型知识为代表的发现型经营信息，提 高经营信息的智能支持能力，并采用专题分析的方式实现系统的经营信息决策支 持功能。 ( 7 ) 系统管理功能：包括元数据管理、系统日志管理、系统监控、系统接口 管理、报表管理、归档备份恢复管理等。 把整个系统服务流程用静态的层次表现出来，结构如图2 3 ： ，、 、，、 数据采集分发引擎 数据应用 图2 3 数据静态流程图 下面按照静态流程图分层进行分析： ( 1 ) 数据采集层 数据采集层主要是完成将来自各经营数据源系统中的数据采集到本系统中 的功能。数据采集层主要包括数据源文件预处理层、数据源文件格式检查和数据 源文件的临时存储层。 数据源文件预处理层。由于存在各专业系统每天产生的数据文件过大的情 况，业务系统给经营分析系统的文件进行分包处理，所以数据源文件预处理层主 要功能是对分包的文件进行合包处理。 数据源文件格式检查层。数据源文件检查层主要对文件名字，文件头，文件 尾和文件体进行检查，在一定程度上保证进入o d s 的数据格式良好，类型正确。 1 3 北京邮电大学硕十毕业论文 数据源文件的临时存储层。经过检查格式正确的数据源文件分类存储在临时 存储区中，等待分发引擎抽取、使用。 ( 2 ) 分发引擎 分发引擎层包括：数据准备层，数据集市层和数据分发层。 数据准备层 虽然分发引擎是建立在基于数据仓库的经营分析系统之上，但原来数据仓库 并没有对数据业务数据进行独立汇总和统计。建立准备层主要是为了过滤脏数 据，并对不同数据源的数据进行初步汇总，存储清洁、集成和轻度综合的数据， 屏蔽掉数据源对于数据集市建立的复杂性，以备数据集市层对数据进行重新组 织。 _ 数据集市层 数据集市层是为了有效的组织数据，提高查询效率，我们通过对已有需求出 现的指标进行汇总和分析，建立了概念，逻辑和物理模型，将数据业务分为用户 域，收入域和业务量域进行处理。通过参考设计指导原则，对于数据存放选择合 适的粒度，并建立合适索引以方便查询和分发。 数据分发层 数据分发层是为了满足上层应用中需要定制和主动推送的需求。例如短信和 指标上传应用中，需要定时将按要求汇总的数据发送到指定接口。从而实现被动 查询到主动p u s h 的数据处理方式的转变。 ( 3 ) 应用逻辑层 应用逻辑层包括应用逻辑生成层和应用逻辑使用层。 一应用逻辑生成层 应用逻辑生成层通过数据仓库接口层使用数据仓库中的数据生成不同的应 用，包括固定报表应用、o l a p 分析型应用( 多维数据立方体) 、数据访问应用、 部门级数据集市、数据挖掘应用、商业管理应用等。 应用逻辑使用层 应用逻辑使用层通过图形用户界面( g u i ) 、w 曲浏览器等多种方式为用户 提供友好的界面访问机制，使用户能方便地使用基于数据仓库的各种应用。 通过对系统流程的静态分析，我们可以进一步分析得出系统的动态应用服务 流程，如图2 4 所示： 1 4 北京邮电人学硕：卜毕业论文 图2 4 系统应用服务流程图 2 4 相关技术分析与介绍 2 4 1 数据仓库与经营分析系统 数据仓库技术是基于信息系统业务发展的需要，基于数据库系统技术发展而 来，并逐步独立的一系列新的应用技术。使用这些技术建设的信息系统我们称为 数据仓库系统。随着数据仓库技术应用的不断深入，近几年数据仓库技术得到长 足的发展。典型的数据仓库系统，比如：经营分析系统，决策支持系统等等。也 随着数据仓库系统带来的良好效果，各行各业的单位，已经能很好的接受“整合 数据，从数据中找知识，运用数据知识、用数据说话”等新的关系到改良生产活 动各环节、提高卜产效率、发展生产力的理念。 经营分析系统 6 】的作用主要体现在：解决旧系统的遗尉问题；达到高度的信 息集成；从数据管理过渡到信息管理；提供一个甲台利结构用以掌握历史数据和 北京邮电大学硕士毕业论文 当前数据；为商务智能及联机分析系统提供平台；在运用信息方面更具有竞争性。 简单说两者之间的关系：数据仓库是经营分析系统实现的理论依据，同时经营分 析系统为数据仓库技术的应用提供了实现平台。其中数据仓库技术在经营分析系 统中的实现有以下几个方面： ( 1 ) e t l 【7 】 e t l 技术是支撑数据仓库系统正常运转的基本技术。因为数据仓库系统是集 成的、与时间相关的数据集合。随着时间的推移，各种新数据的进入，旧数据的 转移等等工作，仓库建设前后，都没有间断过。要实现这些数据的自动更新运转， 以及新业务数据、旧格式新的不同代码的数据进行较好的适应性自动更新运转， e t l 技术是必不可少的技术之一。e t l 是e x t r a c t i o n 、t r a l l s f o 肌a t i o n 、l o a d i n g 数据抽取、转换、装载系统，该系统整合不同的数据源过来的数据，并对数据进 行初步的规格化整理，清洗除杂。 ( 2 ) 0 l a p 【8 】 o l 址技术联机分析处理( o l a p ) 的概念最早是由关系数据库之父e f c o d d 于1 9 9 3 年提出的。当时，c o d d 认为联机事务处理( 0 l t p ) 已不能满足终端用户对 数据库查询分析的需要，s q l 对大数据库进行的简单查询也不能满足用户分析 的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询 的结果并不能满足决策者提出的需求。因此c o d d 提出了多维数据库和多维分析 的概念，即o l 心。 o l 心是针对某个特定的主题进行联机数据访问、处理和分析，通过直观的 方式从多个维度、多种数据综合程度将系统的运营情况展现个使用者。 ( 3 ) 数据挖掘【9 】 数据挖掘是从数据集中自动识别出有用的相关知识，又称作数据库中的知识 发现( k n o w l e d g ed i s c o v e wi nd a t a b a s e ，简记为k d d ) ，是从大型数据库或数据仓 库中提取隐含的、未知的、非平凡的及有潜在应用价值的信息或模式，它是数据 库研究中的一个很有应用价值的新领域，融合了数据库、人工智能、机器学习、 统计学等多个领域的理论和技术。数据挖掘的数据源一般是商业数据仓库，它利 用统计学和机器学习【1 0 】技术对将来的趋势和行为进行预测，对数据仓库中的海 量数据进行分析处理，并以适当的形式把结果表示出来，从而很好地支持人们的 决策。随着支持数据挖掘技术的三种基础技术的成熟( 海量数据收集，强大的多 处理器计算机和数据挖掘算法) ，目前数据挖掘技术在商业应用中己经可以投入 使用。数据挖掘是一个多阶段的处理过程，通常意义上的利用模型进行数据挖掘 只是其中的一个阶段。在这个多阶段的处理过程中还存在着很多的反复。 ( 4 ) 元数据管理 1 6 北京邮电大学硕士毕业论文 所谓元数据m e t ad a t a 是关于数据的数据，指在数据仓库建设过程中所产生 的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含 关于数据含义的商业信息，所有这些信息都应当妥善保存，并