（计算机应用技术专业论文）电信数据业务监视分析系统的设计与实现.pdf

北京邮电大学硕士学位论文电信数据业务监视分析系统的设计与实现 独创性 或创新性 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果 尽我 所知 除了文中特别加以标注和致谢中所罗列的内容以外 论文中不包含其他人已经发表 或撰写过的研究成果 也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用 过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意 申请学位论 本人签名 处 本人承担一切相关责任 日期 兰 啦 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定 即 研究 生在校攻读学位期间论文工作的知识产权单位属北京邮电大学 学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘 允许学位论文被查阅和借阅 学校可以 公布学位论文的全部或部分内容 可以允许采用影印 缩印或其它复制手段保存 汇 编学位论文 保密的学位论文在解密后遵守此规定 保密论文注释 本学位论文属于保密在 年解密后适用本授权书 非保密论文注释 本学位论文不属 本人签名 导师签名 权书i t 期 了 2 十期 l e t t 自i 孕婵丝 北京郎电大学硕士学位论文电信数据业务监视分析系统的设计与实现 电信数据业务监视分析系统的设计与实现 摘要 电信运营支撑系统 o s s 是电信运营商的一体化 信息资源共享的支持 系统 作为快速开通业务 及时保障业务 优化管理网络资源的重要手段 电信运营支撑系统是电信网络运营管理不可分割的一部分 建设功能完善 互通灵活 充分共享信息的运营支撑系统 是我国每个电信运营商目前极为 关注并重点发展的运营管理战略之一 电信运营支撑系统中的数据业务管理系统的作用是最大限度地利用电信 网络资源 提高网络的运行质量和效率 向用户提供良好的通信服务 目前 已有的数据业务管理系统虽然实现了基本的业务指标监视功能 但只是把指 标简单地罗列在一起 使用者仍需要通过大量的操作才能获得其需要的信息 多维分析技术提供了对电信数据业务的关键业绩指标的多维分析功能 业务运维人员可以更直接 方便地获取他们最关心的数据 及时了解数据业 务的运行状况 快速实现故障定位 有效地提高数据业务运行的质量和效率 本文给出了建设电信数据业务监视分析系统的思路和设计方法 并重点 讨论了其中多维分析处理引擎的设计和实现 本文的主要贡献在于 1 分析了多维分析技术在电信运营支撑系统的应用 2 介绍了建设电信数据业务监视分析系统的思路和方法 3 实现了基于多维分析的电信数据业务监视分析系统 本文所讨论的建设数据业务监视分析系统的思路和方法在作者参与的某 省移动的数据业务指标管理系统项目中得到了实际应用 系统投入运行后基 本满足了其对数据业务监视分析的需求 得到了用户的好评 关键词电信o s s 数据业务多维分析处理运营商 2 北京邮电大学硕士学位论文 电信数据业务监视分折系统的设计与实现 t h ed e s i g na n di m p l e m e n t 棚o no f t h e t e l e c o md a i ab u s i n e s ss u r v e i i i a n c e a n da n a i y s i ss y s t e m t e l e c o mo p e r a t i o ns u p p o r ts y s t e m o s s i st h e s u p p o r ts y s t e mf o r t h e i n t e g r a t i o n o ft e l e c o m m u n i c a t i o n s o p e r a t o r s a n dt h es h a r i n go fi n f o r m a t i o n r e s o u r c e s i ti s m a i n l yb yt h en e t w o r km a n a g e m e n t s y s t e m sm a n a g e m e n t a c c o u n t i n g b u s i n e s s a c c o u n t i n ga n dc u s t o m e rs e r v i c ec o m p o n e n t s o s si sa l l i m p o r t a n tm e t h o dt ob e g i ns p e e d i l yo p e r a t i o n s g u a r a n t e eo p e r a t i o n si nt i m ea n d o p t i m i z et h em a n a g e m e n to fn e t w o r kr e s o u r c e s i sa nu n d i v i d e dp a r to ft e l e c o m n e t w o r km a n a g e m e n t i ti so n eo ft h eo p e r a t i o na n dm a n a g e m e n ts t r a t a g e m st o b u i l da l l0 s sw i t hp e r f e c tf u n c t i o n s f l e x i b l ec o m m u n i c a t i o na n df u l ls h a r eo f m e s s a g ef o re v e r yt e l e c o mo p e r a t o r s w h oh a v ep a i dh i g ha t t e n t i o nt oa n df o c u st h e d e v e l o p m e n to ni t n ef u n c t i o no ft h ed a t ab u s i n e s sm a n a g e m e n ts y s t e mi n0 s si st om a x i m i z e t h eu s eo ft h et e l e c o m m u n i c a t i o i l sn e t w o r kr e s o u r c e s i m p r o v et h eq u a l i t ya n d e f f i c i e n c yo fn e t w o r ko p e r a t i o n s p r o v i d i n gg o o dc o m m u n i c a t i o n ss e r v i c e st ou s e r s a l t h o u g hc u r r e n t l y a v a i l a b l ed a t ab u s i n e s ss e r v i c e m a n a g e m e n ts y s t e mh a s a c h i e v e dt h eb a s i cf u n c t i o n so fm o n i t o r i n gb u s i n e s si n d i c a t o r s b u to n l yb r i e f l y l i s t e di n d i c a t o r st o g e t h e r i no r d e rt oo b t a i nt h ei n f o r m a t i o nt h e yn e e d u s e r ss t i l l n e e dt od oal o to fo p e r a t i o n s 1 1 圮m u l t i d i m e n s i o n a la n a l y s i sp r o c e s s i n gt e c h n o l o g yp r o v i d e st h ef u n c t i o no f m u l t i d i m e n s i o n a l a n a l y s i s f o rt h et e l e c o m m u n i c a t i o nd a t ab u s i n e s s k e y p e r f o r m a n c ei n d i c a t o r s m a i n t e n a n c ea n do p e r a t i o n ss t a f tc a na c c e s st ot h e 3 北京邮电大学硕士学位论文 电信教据业务监视分析系统的设计与实现 i n f o r m a t i o n t h e yc 种a b o u tm o s tm o r cd i r e c t l y a n dc o n v e n i e n t l y 髓e yc a n u n d e r s t a n dt h ed a t ab u s i n e s so p e r a t i o nt i m e l ya n df a u l tl o c a t i o nr a p i d l y i tc a n i m p r o v et h ed a t aq u a l i t ya n de f f i c i e n c yo f b u s i n e s so p e r a t i o n se f f e c t i v e l y 1 m i sp a p e rp r e s e n t sam e t h o do fd e s i g na n db u i l d i n gt e l e c o md a t ab u s i n e s s s u r v e i l l a n c ea n da n a l y s i ss y s t e ma n df o c u st h ed i s c u s s i o no nt h ed e s i g na n d i m p l e m e n t a t i o no ft h em o d u l eo fm u l t i d i m e n s i o n a la n a l y s i sp r o c e s s i n g n e m a j o rc o n t r i b u t i o n so ft h i sp a p e ra r ea sf o l l o w s 1 a n a l y z e d t h e a p p l i c a t i o n o fm u l t i d i m e n s i o n a l a n a l y s i sp r o c e s s i n g m u l t i d i m e n s i o n a la n a l y s i st e c h n o l o g yi nt h et e l e c o m m u n i c a t i o n s0 s s 2i n t r o d u c e dt h et h i n k i n ga n dm e t h o do fb u i l d i n gt d e c o md a t ab u s i n e s s s u r v e i l l a n c ea n da n a l y s i ss y s t e m 3i m p l e m e n t e dat e l e c o md a t ab u s i n e s ss u r v e i l l a n c ea n da n a l y s i ss y s t e m b a s e do nm u l t i d i m e n s i o n a la n a l y s i sp r o c e s s i n g 1 n h et h i n k i n ga n dd e s i g n i n go fb u i l d i n gt e l e c o md a t ab u s i n e s ss u r v e i l l a n c ea n d a n a l y s i ss y s t e md i s c u s s e di n t h i sp a p e rh a s b e e na p p l i e di nap r o i e e to fd a t a b u s h e s ss u r v e i l l a n c ea n da n a l y s i ss y s t e mw h i c ht h ew r i t e rh a sp a r t i c i p a t ei ns o m e p r o v i n c e t h es y s t e mh a ss a t i s f i e dt h eb a s i cn e e d so fd a t as e r v i c ea n a l y s i s i th a s b e e nw e l lr e c e i v e db yu s e r s k e yw o r d s t e l e c o mo s s d a t ab u s i n e s s m u l t i d i m e n s i o n a la n a l y s i s p r o c e s s i n g o p e r a t o r 4 北京 电大学硕士学位论文 电信数据业务监视分析系统的设计与实现 1 1 背景 1 l l 电信网管系统发展现状 第一章绪论 随着我国进入w t o 后过渡期 电信市场业务领域和地域对外开放的程度越来越广 国际市场国内化 国内竞争国际化的趋势愈加明显 电信企业将不仅面对国内同行的竞争 更将直接面对国际知名电信公司的重量级竞争 竞争的压力越来越大 电信企业乃至全行 业只有不断提升核心竞争力 才能积极应对国际电信巨头的挑战 从长远和根本的观点来看 真正能给电信运营商提供持续发展能力和竞争能力的 除 了一些机制改革的手段 像融资 并购 重组以外 更重要的是要富有前瞻性的技术手段 和理念 对电信企业的运营维护和电信业务的发展进行卓有成效的支持和管理 即电信运 营支撑管理 为提高电信运营企业的竞争优势 各种新兴的电信业务不断涌现 电信用户的所有业 务 包括数据 话音 图像 传真都应通过共同的数据通信平台来承载 一套完整的o s s 将为电信运营商提供一个非常重要的开放的技术平台 将极大地方便运营商在电信运营 维护 管理方面展开具有世界先进水平的研究 电信业务销售渠道的多样化 优化网络的需求 对系统资源及闲置资源的有效管理等 都要求电信运营商建设一套完善的o s s 以适应企业的生存与发展 随着电信运营商从规模竞争转向业务运营竞争和效益竞争 网络管理已成为电信运营 的关键环节 系统复杂程度的成倍增长 技术的发展和市场的变化 使得传统网络管理系 统已经不能满足运营商的当前要求 在网管功能上 对系统智能化程度要求越来越来高 各个管理部分结合的更为紧密 对综合分析 自动处理的能力要求也越来越来高 网管系 统与业务系统的关系更加紧密 各种业务的实施都要通过网管系统来实现 网管系统逐渐 发展成一个对网络的智能管理工具和对业务端到端的实施工具 传统网管系统在网络性能管理方面仅局限于性能检测和简单的性能分析功能 在网络 性能分析方面 目前的系统仅能够对网络性能指标进行简单的统计和计算 并没有提供给 使用者更高级 更方便的分析操作 现在 基于人工智能的网络性能分析方法越来越受到 重视 在这种方法中 利用专家系统对网络性能进行分析 提高了分析的水平和速度 7 北京螺电大学硕士学位论文电信数据业务监视分析系统的设计与实现 1 1 2 相关分析技术的发展与应用 随着市场竞争的日趋激烈 近年来企业更加强调决策的及时性和准确性 这使得以支 持决策管理分析为主要目的的应用迅速堀起 这类应用被称为联机分析处理 它所存储的 数据被称为信息数据 随着数据库技术的广泛应用 企业信息系统产生了大量的数据 如何从这些海量数据 中提取对企业决策分析有用的信息成为企业决策管理人员所面临的重要难题 传统的企业 数据库系统 管理信息系统 即联机事务处理系统作为数据管理手段 主要用于事务处理 但它对分析处理的支持一直不能令人满意 因此 人们逐渐尝试对o l t p 数据库中的数据 进行再加工 形成一个综合的 面向分析的 更好的支持决策制定的决策支持系统 企业 目前的信息系统的数据一般由d b m s 管理 但决策数据库和运行操作数据库在数据来源 数据内容 数据模式 服务对象 访问方式 事务管理乃至无力存储等方面都有不同的特 点和要求 因此直接在运行操作的数据库上建立d s s 是不合适的 数据仓库技术就是在这 样的背景下发展起来的 数据仓库的概念提出于2 0 世纪8 0 年代中期 2 0 世纪9 0 年代 数据仓库已从早起的探索阶段走向实用阶段 业界公认的数据仓库概念创始人w h 1 n m o n 在 b u i l d i n gt h ed a t aw a r e h o u s e 一书中对数据仓库的定义是 数据仓库是支持管理决策 过程的 面向主题的 集成的 随时间变化的持久的数据集合 构建数据仓库的过程就 是根据预先设计好的逻辑模式从分布在企业内部各处的o l t p 数据库中提取数据并对经过 必要的变换最终形成全企业统一模式数据的过程 当前数据仓库的核心仍是r d b m s 管理 下的一个数据库系统 数据仓库中数据量巨大 为了提高性能 r d b m s 一般也采取一些 提高效率的措旌 采用并行处理结构 新的数据组织 查询策略 索引技术等等 数据仓库 d a t aw a n h o u s e 是现代计算机应用领域里的一个崭新方向 它是一种新型的 信息管理技术 其研究的主要宗旨是通过通畅 合理 全面她信息管理 来达到对管理决 策的支持 数据仓库的主要功能是把企业日常营运中分散不一致的数据归纳整理之后转换为集 中统一的 可随时取用的深层信息 这种信息虽然也是按关系数据库的存储结构存储起来 的 但与面向逐条记录的联机事物处理 o l t p 不同 在数据仓库中的一条记录 有可能是 基础数据中若干个表 若干条记录的归纳和汇总 o s s b s s 是当前电信网络管理论坛倡导的面向大型网络运行 维护和管理的主流技 术 也是各种新兴网络运营公司正在采用的主流运营平台 o s s b s s 的作用就在于对运营 商网络资源和客户资源的有效管理 o s s 门b s s 的运行 增加了运营商的网络使用效率 从 而提高了企业的投资回报率 而在客户资源管理方面 o s s 门陷s 将帮助运营商了解应怎样 8 北京邮电大学硕士学位论文电信数据业务监视分析系统的设计与实理 为客户提供更好的服务 从这些客户身上挖掘更多的收入 知道谁是最有价值的客户 并 为这些客户提供更好的服务 从而能够留住最有价值的客户 做到在激烈的竞争中把自己 的服务同别的运营商区分开来 a l s b s s 中的核心部分就是数据集中和数据仓库的建设问题 利用数据仓库可以把各 个业务部门 各个分支机构的业务数据集中管理 保留其中有价值的信息 通过数据仓库技术 可以将各个系统的数据进行汇总 集中地反映企业运转的情况 同时 通过对数据进行分析 能够 诊断 企业各个方面的状况 并为企业的正确决策提 供科学依据 避免决策的盲目性 数据仓库对数据进行整合 成为一个面向主题的 集成 的 非易失的且随时间变化的数据集合 o n l i n e a n a l y t i c a lp r o c e s s i n g o l a p 是一种流行且强大的数据分析方法 它探索复杂 的数据结构并以一种优雅且容易理解的方式呈现信息 它们使用户 业务分析师 经理和 执行官 能够以交互形式快速 一致地探查数据 用户看到的是经过转换后的原始数据的 各种信息视图 它们可以反映业务的真实维数 联机分析处理的用户是企业中的专业分析人员及管理决策人员 他们在分析业务经营 的数据时 从不同的角度来审视业务的衡量指标是一种很自然的思考模式 例如分析销售 数据 可能会综合时间周期 产品类别 分销渠道 地理分布 客户群类等多种因素来考 虑 这些分析角度虽然可以通过报表来反映 但每一个分析的角度可以生成一张报表 各 个分析角度的不同组合又可以生成不同的报表 使得r r 人员的工作量相当大 而且往往难 以跟上管理决策人员思考的步伐 联机分析处理的主要特点 是直接仿照用户的多角度思考模式 预先为用户组建多维 的数据模型 在这里 维度指的是用户的分析角度 例如对销售数据的分析 时间周期是 一个维度 产品类别 分销渠道 地理分布 客户群类也分别是一个维度 一旦多维数据 模型建立完成 用户可以快速地从各个分析角度获取数据 也能动态的在各个角度之间切 换或者进行多角度综合分析 具有极大的分析灵活性 这也是联机分析处理在近年来被广 泛关注的根本原因 它从设计理念和真正实现上都与旧有的管理信息系统有着本质的区 别 事实上 随着数据仓库理论的发展 数据仓库系统已逐步成为新型的决策管理信息系 统的解决方案擞据仓库系统的核心是联机分析处理 利用o l a p 服务 用户可以轻松地找到预定义的报告并探索业务数据 以建立新的 专用业务报告 而这些都不需要r r 专业人员的帮助 o l a p 报告使用户非常接近业务数 据 使他们能够认识到业务数据维的存在并理解哪些业务问题可以得到回答 9 北京一屯大学硕士学位论文 电信数据业务监视分析系统的设计与实现 现在的电信运营企业面临着很多的问题 比如拥有大量的数据却没有足够的信息 各 类报表纷繁复杂却不能有效的集成等 这就需要借助商业智能工具 更好地进行数据分析 找出有用的信息 以利于企业的决策 电信经营分析系统是为适应日趋激烈的市场竞争环 境 提升移动运营商的核心竞争力 充分利用业务支撑系统产生的大量宝贵的数据资源 结合相关支撑系统提供的信息 构建经营分析中心和分析 挖掘 使用平台 从而对信息 进行智能化加工 处理 并最终为市场决策管理者和市场经营工作提供及时 准确 科学 的辅助决策依据的计算机应用系统 在经营分析系统中提供o l a p 服务 通过动态 有选 择性地采集和更新数据源的有效信息及企业相关信息 进行智能化地分析 处理 预测 模拟等 最终向各级决策管理者或专业人员提供及时 科学 有效的分析报告 做好信息 智力支持工作 1 2 基于多维分析的数据业务管理系统 为了进一步提高电信运营企业的核心竞争力 为了更准确地了解企业的经营状况 提 高管理水平 建设一套完整的 高效的运营支撑系统成为电信运营企业提高服务质量 提 升企业竞争力的必要手段 业务监视分析系统作为电信运营支撑系统中的重要组成部分 最大限度地利用电信网络资源 提高网络的运行质量和效率 向用户提供良好的通信服务 为了符合现在运营网络的状况 满足运营商的实际需求 网络管理系统中开始引入面 向业务的设计理念 在这种设计理念下 网络业务成为最主要的管理对象 运营商可以从 多种业务 多层网络 多种设备等不同角度监测业务和管理网络 面向业务的网络管理系 统能够帮助运营商提供更高服务水平 数据仓库和联机分析处理技术使用了面向主题的概念 数据仓库是面向主题的 集成 的 非易失的 随时间变化的数据集合 主题是指用户使用数据仓库进行决策所关心的重 点方面 是在较高层次上将企业信息系统中的数据进行综合归类的标准 数据仓库中的数 据是按一定的主题进行组织的 为按主题进行决策的过程提供信息 在面向业务的网络管理系统中也存在很多需要进行管理的主题 这些主题是日常运营 维护工作中所要重点予以关注的方面 通过有针对性地对业务中的主题进行分析 可以对 所关心的事务进行专门的分析和处理 从而帮助使用者更加方便 直观 快速地综合该主 题相关的各个方面的信息 支撑业务的正常运营 联机分析处理技术并不适合用于网络管理系统 联机分析处理是以数据仓库的多维数 据立方体为基础的 其主要特点提供多种联机分析操作 如旋转 切片 切块等 这些功 1 0 北京邮电大学磺士学位论文电信数据业务监视分析系统的设计与实现 能在经营分析系统中可以帮助决策者分析经营辅助决策 但对于日常的网络运维来说是没 有必要的 业务管理系统的使用者只需要能够在已有的多维数据的基础上定制出其所要使 用的分析操作即可 并不需要在已有的展示面板上进行复杂的联机分析处理操作 通过全面而灵活的基于多维分析的主题分析功能 实现对业务指标的实时监视和分 析 为数据网络的运营和决策提供必要的信息 与简单的报表相比多维分析能够提供给日 常运营维护人员更直接 明确的数据反映 运营商可以通过分析这些数据方便 高效地管 理数据业务的运营 因此 建设以多维分析为基础的数据业务监视分析系统对电信企业的 日常生产经营活动意义重大 1 3 本文的工作 电信数据业务监视分析系统所需要的数据分析处理方法是一种新型的分析方法 它既 不是传统的联机事务处理所做的简单的日常读写操作 也不是数据仓库和联机分析处理所 完成的对海量数据进行复杂查询而做的分析决策 它是一种介于o l t p 与o l a p 之间的 面 向主题的 准实时的多维分析技术 已有的o l a p 或o l t p 都不能完全满足面向主题的业务监视分析系统的需求 我们所 需要的是一种能够提供基于多维数据分析功能的 具有准实时性的数据分析方法 所以在 借鉴和吸取了其它产品的设计思路和经验后 将多维分析技术用于电信数据业务监视分析 系统 这是对联机分析处理技术与联机事务处理技术的融合及其在电信网络管理领域应用 的一次新的尝试 本文的主要工作 1 讨论了电信运营支撑系统的基本理论 发展趋势以多维分析技术的特点及其在电 信网络管理系统中的应用 2 介绍了数据业务监视分析系统的建设思路 对电信数据业务监视分析系统的设计 与实现进行了说明 3 提出了一种轻量级的多维分析处理模块的构建方法 并在某省移动的数据业务监 视分析系统中应用 l l 北京邮电大学硕士学位论文电信数据业务监视分析系统的设计与实现 第二章系统分析 基于多维分析的电信数据业务管理系统是一种具有电信行业特点的面向主题的多维 分析系统 多维分析即不同于传统的联机事务处理 也不是从数据仓库技术发展而来的联 机分析处理 而是一种介于二者之间的针对多维数据的准实时分析方法 基于多维分析的 电信数据业务管理系统是电信运营支撑系统的一个子系统 是一个使用多维分析技术对业 务指标进行监视分析的网络管理平台 2 1 多维分析特点讨论 多维分析即不同于传统的联机事务处理 也不是从数据仓库技术发展而来的联机分析 处理 而是一种介于二者之间的针对多维数据的准实时分析方法 联机分析处理技术是一种基于数据仓库的应用 数据仓库是一种新型的信息管理技 术 数据仓库的主要功能是把企业日常营运中分散不一致的数据归纳整理之后转换为集中 统一的 可随时取用的深层信息 这种信息虽然也是按关系数据库的存储结构存储起来的 但与面向逐条记录的联机事物处理不同 在数据仓库中的一条记录 有可能是基础数据中 若干个表 若干条记录的归纳和汇总 仅将数据存储在数据仓库环境之中 不是我们的最终目的 基于数据仓库环境的分析 方法主要包括报表 数据挖掘及o l a p 等 报表工具直接为决策者提供报表视图 其实许 多报表工具也是基于o l a p 的 数据挖掘包括多种挖掘算法 如关联 聚类 聚簇及神经 网络等 联机分析处理是数据仓库领域中应用最广 技术最成熟的分析方法 它可以根据 分析人员的要求 迅速 灵活地对大量数据进行复杂地查询处理 并以直观的 容易理解 的形式将查询结果提供给各种决策人员 使他们能够迅速 准确地掌握企业运营状况 了 解市场地需求 从应用角度来说 数据仓库系统除了联机分析处理外 还可以采用传统的报表 或者 采用数理统计和人工智能等数据挖掘手段 涵盖的范围更广 就应用范围而言 联机分析 处理往往根据用户分析的主题进行应用分割 例如 销售分析 市场推广分析 客户利润 率分析等等 每一个分析的主题形成一个o l a p 应用 而所有的o l a p 应用实际上只是数 据仓库系统的一部分 北京邮电大学硕士学位论文电信数据业务监视分析系统的设计与实现 0 l a p 的特性 o l a p 定义为共享多维信息的快速分析 应具有以下几个方面的特性 1 快速性 用户对o l a p 的快速反应能力有很高的要求 要求系统能在数秒内对 用户的多数分析要求做出反应 如果终端用户在3 0 秒内没有得到系统的响应就会变得不 耐烦 因而可能失去分析的线索 影响分析的质量 大量的数据分析要达到这个速度并不 容易 这就需要一些技术上的支持 如专门的数据存储格式 大量的事先运算 特别的硬 件设计等 2 可分析性 o l a p 系统应能处理与应用有关的逻辑及系统分析 尽管系统可以事 先编程 但并不意味着系统已经定义好了所有的应用 在应用o l a p 的过程中 用户无需 编程就可以定义新的专门计算 将其作为分析的一部分 并以用户所希望的方式给出报告 用户可以在o l a p 平台上进行数据分析 也可以连接到其他外部分析工具上进行数据分析 例如连接时间序列分析工具 成本分配工具 意外报警和数据挖掘等 3 多维性 多维性是o l a p 的关键属性 系统能够提供对数据分析的多维视图和 多维分析 包括对层次维和多重层次维的支持 事实上 多维分析是分析企业数据最有效 的方法 是o l a p 的灵魂 4 信息性 不论数据量有多大 也不管数据存储在何处 o l a p 系统应能及时获得 信息 并能管理大容量信息 这里有许多因素需要考虑 如数据的可复制性 可利用的磁 盘空间 o l a p 产品的性能以及与数据仓库的结合度等 o l t p 是传统的关系型数据库的主要应用 主要是基本的 日常的事务处理 o l t p 系 统能够处理同时输入的大量实时事务 快速响应细节数据的插入 删除和更新等操作 o l t p 系统的诞生主要是为了替代手工劳作 因而与业务流程非常相似 是业务流程的计算机描 述 o l a p 是数据仓库系统的主要应用 支持复杂的分析操作 侧重决策支持 并且提供 直观易懂的查询结果 表2 1o l t p o l a p 与多维分析的比较 0 l t po l a p 多维分析 用户操作人员 日常管理人员决策者 高级管理人员操作人员 日常管 理人员 功能日常操作处理分析决策日常操作处理 d b 设计面向应用面向主题面向主题 数据 当前的 最新的细节的 历史的 聚集的 准实时的 聚集 一维的分立的多维的集成的 统一的 的 多维的 北京郎电大学硕士学位论文电信数据业务监视分析系统的设计与实现 存取读 写数十条记录读上百万条记录读上万条记录 工作单位简单的事务复杂的查询稍复杂的查询 用户数上千个上百个 上百个 d b 大小 1 0 0 m b g b1 0 0 g b 加g b 1 0 0 g b 反应时间几毫秒 几秒几小时 几天几分钟 表2 1 列出了o l t p o l a p 与多维分析之间的比较 通过对比我们可以看到 多维分 析满足了在o l t p 与o l a p 之间的分析需求 多维分析中所使用的数据源也是具有星形模型或雪花型模型的多维数据 和o l a p 一 样存在如下概念 维 d i m e n s i o n 是人们观察数据的特定角度 是考虑问题时的一类属性 属性集合 构成一个维 时间维 地理维等 维的层次 l e v e l 人们观察数据的某个特定角度 即某个维 还可以存在细节程度 不同的各个描述方面 时间维 日期 月份 季度 年 维的成员 m e m b e r 维的一个取值 是数据项在某维中位置的描述 某年某月某 日 是在时间维度上位置的描述 度量 m e a s u r e 多维数组的取值 2 0 0 0 年1 月 上海 笔记本电脑 1 0 0 0 0 0 o l a p 的基本多维分析操作有钻取 d r i l l u p 和d r i l l d o w n 切片 s l i c e 和切块 d i c e 以及旋转 p i v o t 等 这些在多维分析中则不是必要的 钻取 是改变维的层次 变换分析的粒度 它包括向下钻取 d r i l l d o w n 和向上钻取 d r i l l u p 上卷 r o l l u p d r i l l u p 是在某一维上将低层次的细节数据概括到高层次的汇 总数据 或者减少维数 而d r i l l d o w n 则相反 它从汇总数据深入到细节数据进行观察或 增加新维 切片和切块 是在一部分维上选定值后 关心度量数据在剩余维上的分布 如果剩余 的维只有两个 则是切片 如果有三个或以上 则是切块 旋转 是变换维的方向 即在表格中重新安排维的放置 例如行列互换 多维建模技术 多维数据建模以直观的方式组织数据 并支持高性能的数据访问 每一个多维数据模 型由多个多维数据模式表示 每一个多维数据模式都是由一个事实表和一组维表组成的 多维模型最常见的是星形模型 在星形模型中 事实表居中 多个维表呈辐射状分布于其 四周 并与事实表连接 1 4 北京郎电大学硕士学位论文电信教据业务监视分析系统的设计与实现 星形模型 星形模型示意如图2 1 所示 位于星形中心的实体是指标实体 是用户最关心的基本 实体和查询活动的中心 为数据仓库的查询活动提供定量数据 每个指标实体代表一系列 相关事实 完成一项指定的功能 位于星形图星角上的实体是维度实体 其作用是限制用 户的查询结果 将数据过滤使得从指标实体查询返回较少的行 从而缩小访问范围 每个 维表有自己的属性 维表和事实表通过关键字相关联 星形模型虽然是一个关系模型 但是它不是一个规范化的模型 在星形模型中 维度 表被故意地非规范化了 这是星形模型与o l t p 系统中的关系模式的基本区别 使用星形模型主要有两方面的原因 提高查询的效率 采用星形模型设计的数据仓库 的优点是由于数据的组织已经过预处理 主要数据都在庞大的事实表中 所以只要扫描事 实表就可以进行查询 而不必把多个庞大的表联接起来 查询访问效率较高 同时由于维 表一般都很小 甚至可以放在高速缓存中 与事实表作连接时其速度较快 便于用户理解 对于非计算机专业的用户而言 星形模型比较直观 通过分析星形模型 很容易组合出各 种查询 地理维时阿维 客户雉产品雏 图2 1 星形模型示意图 雪花模型 在实际应用中 随着事实表和维表的增加和变化 星形模型会产生多种衍生模式 包 括星系模式 星座模式 二级维表和雪花模型 雪花模型是对星形模型维表的进一步层次化 将某些维表扩展成事实表 这样既可以 北京邮电大学硕士学位论文电信数据业务监视分析系统的设计与实现 应付不同级别用户的查询 又可以将源数据通过层次间的联系向上综合 最大限度地减少 数据存储量 因而提高了查询功能 雪花模型的维度表是基于范式理论的 因此雪花模型是介于第三范式和星形模型之间 的一种设计模式 通常是部分数据组织采用第三范式的规范结构 部分数据组织采用星形 模型的事实表和维表结构 在某些情况下 雪花模型的形成是由于星形模型在组织数据时 为减少维表层次和处理多对多关系而对数据表进行规范化处理后形成的 雪花模型的优点是 在一定程度上减少了存储空间 规范化的结构更容易更新和维护 同样雪花模型也存在不少缺点 雪花模型比较复杂 用户不容易理解 浏览内容相对困难 额外的连接将使查询性能下降 在数据仓库中 通常不推荐 雪花化 因为在数据仓库 中 查询性能相对o l r l 系统来说更加被重视 而雪花模型会降低数据仓库系统的性能 使用多维分析不需要构造庞大的数据仓库 而o l 廿和数据仓库是密不可分的 数据 仓库是一个包含了企业历史数据的大规模数据库 这些历史数据主要用于对企业的经营决 策提供分析和支持 数据仓库中的数据是不能用于联机事务处理 o u 甲 系统的 而0 l a p 技术则利用数据仓库中的数据进行联机分析 将复杂的分析查询结果快速地返回给用户 o u 心利用多维数据集和数据聚集技术对数据仓库中的数据进行组织和汇总 然后用联机 分析和可视化工具对这些数据进行评估 o l a p 用多维结构来表示数据仓库中的数据 创 建组织和汇总数据的立方体 这样才能满足用户的复杂查询要求 因此 数据仓库的结构 将直接影响到立方体的设计和构造 也就影响到o u 杼的工作效率 因此 从o l a p 使用 效率的角度考虑 在设计数据仓库时应该考虑这样一些因素 一尽可能使用星形架构 如果采用雪花结构 就要最小化事实表底层维度表以 后的维度表的数量 为用户设计包含事实表的维度表 这些维度表应该包含有意义的 用户希望 了解的信息 一维度表的设计应该符合通常意义上的范式约束 维度表中不要出现无关的数 据 事实表中不要包含汇总的数据 事实表中所包含的用户需要访问的数据应该 具有必需的粒度 这些数据应该是同一层次的数据 对事实表和维度表中的关键字必须创建索引 同一种数据尽可能使用同一个 事实表 一保证数据的参考完整性 使事实表中的所有数据都出现在所有的维度表中 避免事实表中的某些数据行在立方体进行聚集运算时没有参加进来 北京邮电大学顼士学位论文电信蔹据业务监视分折系统的设计与实现 多维分析所使用的数据源可以是关系数据库 而o l a p 系统按照其存储器的数据存储 格式可以分为关系o l a p r e l a t i o n a lo l a p 简称r o u 多维o l a f m u l t i d i m e n s i o n a l o l a f 简称m o l a p 和混合型o l a p h y b r i do l a p 简称h o l a p 三种类型 1 r o l a p r o i a p 将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一 批实视图作为表也存储在关系数据库中 不必要将每一个s q l 查询都作为实视图保存 只 定义那些应用频率比较高 计算工作量比较大的查询作为实视图 对每个针对o l a p 服务 器的查询 优先利用已经计算好的实视图来生成查询结果以提高查询效率 同时用作 r o l a p 存储器的r d b m s 也针对o l a p 作相应的优化 比如并行存储 并行查询 并行 数据管理 基于成本的查询优化 位图索引 s o l 的o l a p 扩展 c u b e r o l l u p 等等 2 m o l a p m o l a p 将o l a p 分析所用到的多维数据物理上存储为多维数组的形式 形成 立方 体 的结构 维的属性值被映射成多维数组的下标值或下标的范围 而总结数据作为多维 数组的值存储在数组的单元中 由于m o l a p 采用了新的存储结构 从物理层实现起 因 此又称为物理o l a p p h y s i c a lo l a p 而r o l a p 主要通过一些软件工具或中间软件实现 物理层仍采用关系数据库的存储结构 因此称为虚拟o l a p v i r t u a lo l a p 3 h o l a p 由于m o l a p 和r o l a p 有着各自的优点和缺点 如下表所示 且它们的结构迥然不 同 这就给分析人员设计o l a p 结构提出了难题 为此一个新的o l a p 结构 混合型 o l h o l a p 被提出 它能把m o l a p 和r o l a p 两种结构的优点结合起来 迄今为 止 对h o l a p 还没有一个正式的定义 但很明显 h o u 心结构不应该是m o l a p 与r o l a p 结构的简单组合 而是这两种结构技术优点的有机结合 能满足用户各种复杂的分析请求 2 2 系统背景技术分析 电信数据业务监视分析系统是一个针对电信数据业务网络的网络管理系统 属于移动 运营商整个运营支撑系统的一个子系统 o s s 体系结构的规划和系统功能模块的设计是o s s 建设中至关重要的一环 电信o s s 建设可参考的国际标准模型中 最为著名的包括电信管理论坛提出的t m n 模型 t o m 模 型和s m a r tt m n 模型等 最新的也是当前最受电信领域推崇的是e t o m 模型 e t o m 模型 是目前针对电信运营设计最为全面的一个体系模型 它的主要内容如图2 2 所示 1 7 北京邮电大学磺士学位论文 电信数据业务监视分析系统的设计与实现 从功能模块的角度 e t o m 模型可以划分为如下4 个组成部分 1 端到端的客户运营过程 该过程包括业务开通 业务保障和业务计量3 个部分 2 功能运营过程 该过程在端到端的客户运营过程基础上 从功能运营的角度分 为四级管理层次 包括c r m 服务管理和运营 资源管理和运营 供应商 合作伙伴关系 管理 3 企业支撑功能过程 该过程定义了市场销售供应管理和企业管理两个过程 对 市场销售供应管理的定义是为了突出市场营销在电子商务环境下的重要性 而对于企业管 理过程的定义则使e t o m 提升到了能够指导整个企业活动的高度 4 端到端的生命周期管理过程 包括构架生命周期管理 产品生命周期管理和供 应链生命周期管理3 个部分 图2 2 e t o m 模型 我们可以清楚的看到 e t o m 模型涵盖了电信运营企业在生产经营过程中的各类活动 集中反映了在市场竞争日益激烈和电子商务广泛应用的环境下电信运营企业对运营模式 的最新要求 o s s 的建设正是要为电信运营企业提供一个完善的运营环境和系统平台 所 北京邮电大学硕士学位论文电信教据业务监视分析系统的设计与实现 以e t o m 模型理应成为o s s 规划设计中的重要参考依据和标准 为了满足电信企业价值链的需要 服务于电信企业的主体活动和支撑活动 并结合当 前电信企业的实际需求 可以定义出电信o s s 的具体功能模块 参照e t o m 模型的模块 设定和层次划分 并结合t m n t o m 模型 我们可以认为所谓电信企业的运营支撑可以 包括三个方面 即经营支撑 业务支撑和资源支撑 而作为运营支撑系统的o s s 当然还应 当加入系统支撑相应模块 由此可以将o s s 的各具体功能模块大致归入四类系统平台 即 经营支撑平台 业务支撑平台 资源支撑平台和系统支撑平台 o s s 功能结构框架如图2 3 所示 1 资源支撑平台 一直以来 困扰电信运营企业的一个重要问题就是企业内部的资源难以集中管理 因 此造成了数据难以共享 信息孤岛仍然存在 办公效率低下 网络资源不能发挥最大效益 等诸多问题 一个典型的例子出现在本地电话业务上 由于对网络资源缺少统一的管理 导致本地网络资源数据库信息混乱 因而每受理一次装机业务都需要电信装机部门进行线 路的实地勘测 这不仅直接导致了不能为