硕士论文-甘肃移动经营分析系统的研究与设计.pdf

北京邮电大学 硕士学位论文 甘肃移动经营分析系统的研究与设计 姓名 李杰 申请学位级别 硕士 专业 电子与通信工程 指导教师 纪红 20080101 北京邮电大学工程硕士学位论文 甘肃移动经营分析系统的研究与设计 摘要 为适应日趋激烈的市场竞争环境 提升中国移动的企业核心竞争 力 应充分利用以B O S S 系统为主的源数据系统产生的大量宝贵的数 据资源 甘肃移动决定按照集团总部统一部署 建立移动企业经营分 析系统 实现对信息的智能化加工和处理 为市场经营工作提供及时 准确 科学的决策依据 本文在阐述新建系统设计原则及功能的基础上 重点对数据获 取 数据存储 数据访问各模块的功能及性能要求进行了详细描述和 定义 对主机系统的性能和设备配制 存储系统的存储方案和设备配 制进行了详细计算设计 并且对网络组织及带宽 I P 地址规划 应 用软件系统 接口等的设计原则进行了论述 同时对系统普通用户数 据操作浏览 后台管理用户运行管理 用户管理 系统监控 操作日 志 质量管理等用户界面进行了设计 在本项目中 我主要参与了对 数据获取 数据存储 数据访问等各模块的功能及性能要求的详细描 述和定义 重点完成了对主机系统的性能和设备配制 存储系统的存 储方案和设备配制进行了详细计算设计 在进行设备选型及工程设计 过程中 借助于T P C C 值对设备和系统的性能进行量化 并且提出对 网络组织及带宽 I P 地址规划 应用软件系统 数据库系统等的设 计原则 关键词 经营分析获取存储访问接口 北京邮电大学工程硕士学位论文 R E S E A R C HA N DD E S I G No F G A N S UM o B I L EB U S I N E S SA N A L Y S I SS Y S T E M A B S T R A C T I no r d e rt oa d a p tt ot h ei n t e n s em a n e tc o m p e t i t i o na n d p r o m o t ec o r e c o m p e t i t i v ep o w e ro fe n t e r p r i s e w es h o u l df u l l yu t i l i z et h em a s s i v e p r e c i o u sd a t ar e s o u r c e sp r o d u c e db yt h eB O S Ss y s t e ma n do t h e rd a t a s y s t e m A c c o r d i n gt ot h eh e a d q u a r t e r su n i f i c a t i o nd e p l o y m e n t G a n s u M o b i l ed e c i d e dt oe s t a b l i s hb u s i n e s sa n a l y s i s s y s t e ma n dr e a l i z et h e i n f o r m a t i o ni n t e l l e c t u a l i z e d p r o c e s s i n g i no r d e rt o p r o v i d et i m e l y a c c u r a t ea n ds c i e n t i f i cd a t af o rt h em a r k e t i n gd e c i s i o n O nt h eb a s i so fe x p l a i n i n gt h ed e s i g np r i n c i p l ea n df u n c t i o no f n e w l y b u i l ts y s t e m t h i sa r t i c l ee m p h a s i z e dt h ef u n c t i o no fd a t ao b t a i n i n g d a t as t o r i n g d a t aa c c e s s i n gi nd e t a i l a n dd e s c r i b e dt h ed e s i g nc a l c u l a t i o n o fp e r f o r m a n c ei nh o s tc o m p u t e rs y s t e m t h ea p p a r a t u sc o n f i g u r a t i o n a n d t h em e m o 巧s c h e m e T h i sa r t i c l ea l s od i s c u s s e dt h ed e s i g np r i n c i p l eo f n e t w o r ko r g a n i z a t i o n b a n d w i d t h I Pa d d r e s sp l a n a p p l i c a t i o ns o f f w a r e a n di n t e r f a c e a sw e l la s d e s i g n e du s e r t si n t e r f a c e ss u c ha s s y s t e m o p e r a t i o na n dm a n a g e m e n t u s e rm a n a g e m e n t o p e r a t i o nm o n i t o r i n g d a t a o p e r a t i o nb r o w s i n g o p e r a t i o nr e c o r d q u a l i t yc o n t r o l l i n g e t c I nt h i s p r o j e c t Ip a r t i c i p a t e di nt h ee l a b o r a t i o no fd a t ao b t a i n i n g d a t as t o r i n g I I 北京邮电大学工程硕士学位论文 d a t aa c c e s s i n g Im a i n l yf i n i s h e dt h ed e s i g nc a l c u l a t i o no f p e r f o r m a n c ei n h o s tc o m p u t e rs y s t e m t h ea p p a r a t u sc o n f i g u r a t i o n a n dt h em e m o 巧 s c h e m e I nt h ec o u r s eo ft h ea p p a r a t u st y p es e l e c t i n ga n dt h ep r o j e c t d e s i g n i n g Iq u a n t i z e dt h ep e r f o r m a n c eo fa p p a r a t u sa n ds y s t e mw i t ht h e T P C Cv a l u e a n dp r o p o s e dd e s i g np r i n c i p l eo fn e t w o r ko r g a n i z a t i o n b a n d w i d t h I Pa d d r e s sp l a n a p p l i c a t i o ns o f t w a r e d a t a b a s ed e s i g n e r e k e yw o r d s b u s i n e s sa n a l y s i ss y s t e m o b t a i n s t o r a g e a c c e s s i n g i n t e r f a c e 1 1 1 北京邮电大学工程硕士学位论文 第6 I 页共6 2 页 英文缩写 W T O B O S S E T L O L A P I P T P C K P I B I A P I S Q L U R L I 认I D O L T P T p m C G P R S D S S C I D R I T M O U A R P U 缩略语 英文全拼 W o r l dT r a d eO r g a n i z a t i o n B u s i n e s s O p e r a t i o nS u p p o r tS y s t e m E x t r a c t i o n T r a n s f o r m a t i o n L o a d i n g O n L i n eA n a l y t i c a lP r o c e s s i n g I n t e r n e tP r o t o c o l T r a n s a c t i o nP r o c e s s i n gC o r p K e yP e r f o r m a n c eI n d i c a t o r B u s i n e s sI n t e l l i g e n c e A p p li c a t i o nP r o g r a m m i n gI n t e r f a c e S t a n d a r dQ u e r yL a n g u a g e U n i f o r mR e s o u r c e L o c a t i o n R e d u n d a n tA r r a yo fI n d e p e n d e n tD is k s O n L i n eT r a n s a c t i o nP r o c e s s i n g T r a n s a c ti o n sp e rm i n u t e G e n e r a lP a c k e tR a d i oS e r v i c e D e c i s i o nS u p p o r tS y s t e m c l a s s l e s si n t e r d o m a i nr o u t e I n f o r m a t i o nT e c h n o l o g y M i n u t e sO fU s a g e A v e r a g eR e v e n u eP e rU s e r 甘肃移动经营分析系统的研究与设计 中文 世界贸易组织 业务运营支撑系统 抽取 转换 加载 联机分析处理 I n e r n e t 协议 事物处理性能委员会 关键绩效指标 商业智能 应用程序接口 结构化查询语言 统一资源定位符 立磁盘冗余阵列 联机分析处理 每分钟商业事务 通用无线分组业务 决策支持系统 类域间路由 信息技术 每用户分钟数 每用户平均收入 独创性 或创新性 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果 尽我所知 除了文中特别加以标注和致谢中所罗列的内容以外 论文中不 包含其他人已经发表或撰写过的研究成果 也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意 申请学位论文与资料若有不实之处 本人签名 乡篓 L 本人承担一切相关责任 日期 篁 31 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定 即 研究生在校攻读学位期问论文工作的知识产权单位属北京邮电大学 学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘 允许学位论文被查阅和借 阅 学校可以公布学位论文的全部或部分内容 可以允许采用影印 缩印或其它 复制手段保存 汇编学位论文 保密的学位论文在解密后遵守此规定 保密论文注释 本学位论文属于保密在一年解密后适用本授权书 非保密论 文注释 本学位 本人签名 导师签名 适用本授权书 日期 迦丛 墨 日期 蛰丛五工 北京邮电大学工程硕士学位论文第1 页共6 2 页 1 1 项目背景和概况 第一章前言 随着W T O 的到来 中国移动通信面临着前所未有的发展机遇和挑战 通过近 1 0 余年的培育 我国广大群众消费观念的日趋成熟以及通信市场的国际化趋势 客户对服务形式 服务内容 服务质量的要求也越来越趋向于多样化 个性化 市场的竞争将成为对客户的竞争 国内通信运营企业传统的以产品为中心 以营 业窗口为基础的运营模式正在发生着深刻的变革 逐步向以客户为中心 以电子 信息流为基础的模式转变 在此背景下 甘肃移动决定贯彻中国移动通信的双领 先战略 建设新一代经营分析系统向企业内部各部门提供综合性 智能化的分析 预测信息 为企业运营提供强大的市场分析决策依据 使经营分析系统不但成为 企业领导的决策助手 更可成为企业发展的驱动中心 甘肃移动经营分析1 0 系统建设工程的建设主要是按中国移动经营分析系 统 两级系统 三层结构 的体系要求 在省公司新建的省级数据中心 为全省 的经营分析活动提供报表数据和决策依据 经营分析系统独立于已有的B O S S 等 源头数据系统 但在数据联系上又与其他源数据系统有紧密的关联关系 经营分 析系统有自己一套完整的数据获取 数据存储 数据访问的处理机制 系统通过 完备的E T L 系统从源数据系统获得基础数据 经过内部处理 向外界用户提供 O L A P 分析 智能查询 自定义报表 常规报表展示等用户入口 用户可以通过 统一的接入平台进行访问 同样 经营分析系统也为其他源数据系统和其他系统 提供统计数据 因此经营分析系统是甘肃移动的运营支撑系统的有机组成部分 与其它系统协同工作 共同为整个公司的业务发展起到支撑作用 根据甘肃移动 公司的安排 本项目的建设规模按满足2 0 0 4 年底业务发展的需要考虑 1 2 经营分析系统的研究现状及本论文研究意义 全球电信市场正在逐渐走向开放和自由化 顾客需求在不断变化和增加 业 务的复杂程度日益提高 新技术的采用日新月异 市场竞争方式推陈出新 电信 运营商面临日益激烈和复杂的竞争环境 电信业要同时达到降低经营成本 提高 客户满意 增加经营利润 扩大市场份额四项相互矛盾的指标 必须有一套完整 的管理机制才能实现 数据仓库技术正是对付这一挑战的锐利武器 全球各家著 名大型电信运营商 就是在激烈的市场竞争中 纷纷采用数据仓库解决方案而获 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第2 页共6 2 页 得巨大收益 为此中国移动启动了以数据仓库技术为基础的经营分析系统建设项 目 以适应日趋激烈的市场竞争环境 利用业务支撑系统产生的大量宝贵的信息 资源 结合其它相关支撑系统提供的信息 构建经营分析平台 从而对信息进行 智能化加工处理 并最终为各级市场决策管理者提供及时 准确 科学的辅助决 策依据 从而确保实现公司业务和服务双领先的战略目标 1 经过几年的业务发展 到2 0 0 2 年底 甘肃移动全网用户已达到1 3 2 4 万户 预计到2 0 0 4 年底将达到2 4 2 万户 在B O S S 支撑系统建设方面 经过几年时间的 系统建设扩容 特别是B O S S l 0 集中以来 以B O S S 系统为主的各类源数据系统 已经储备了大量的数据 为本期经营分析系统建设提供了坚实的数据基础 在这 次系统设计过程中 强调 分析型 应用 系统不仅仅停留在数据报表展示的阶 段 应用软件设计按照建立移动企业经营分析决策系统和客户关系管理的核心的 思想进行 它不是简单的查询性工程 而是具有极强的扩展能力 极强应用能力 的指导工程 能为适应未来不断变化的业务需求打下坚实的基础 1 3 本论文的基本结构 本文共分四章 第一章为前言 主要阐述了经营分析系统的项目背景和概况 以及本论文研究意义 第二章为经营分析系统设计方案 本章在阐述系统功能及 新建系统设计原则及目标的基础上 重点阐述了数据获取 数据存储 数据访问 等各模块的功能及性能要求进行了详细描述和定义 第三章为新建经营分析系统 建设方案 本章的第一部分阐述了系统组成 对主机系统的性能和设备配制 存 储系统的存储方案和设备配制进行了详细计算 并且对网络组织及带宽 I P 地 址规划 应用软件系统 数据库系统等的设计原则进行了论述 第二部分重点对 新建结算系统的接口进行了设计 第三部分对用户界面进行了设计 包括数据操 作浏览 系统运行管理 用户管理 系统监控 操作日志 质量管理 第四章为 结束语 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第3 页共6 2 页 第二章经营分析系统设计方案 2 1 新建系统设计原则 经营分析1 0 系统的建设原则 2 是 一体规划 两级系统 三层结构 一体规划 是指甘肃1 O 系统作为整个中国移动经营分析系统的重要组成部 分 要符合全国经营分析系统的统一规划原则 实现源数据的统一抽取 本系统 数据的统一管理 统计分析指标的统一版本 网络资源的统一管理 两级体制 是指整个经营分析系统分为两级建设 具体分为全国经营分析系统 又称一级经 营分析系统 和省级经营分析系统 又称二级经营分析系统 三层结构 是指 经营分析系统在逻辑结构上包含数据获取层 数据存储层和数据访问层 经营分析系统的建设应遵循 整合业务数据 面向经营分析 的应用原则 整合业务数据 是指经营分析系统必须构造面向主题的 集成的 稳定的 随 时间而变化的数据仓库系统 面向经营分析 是指系统必须智能地从数据中提 取与企业经营相关的信息和知识 为市场经营和决策人员制定客户服务 业务发 展和市场竞争等策略提供科学 准确 及时的依据 在系统实施过程中遵循以下技术原则 3 开放性 基于业界开放式标准 对系统中的各种网络协议 硬件接口 数据 接口等进行全国统一规划 为未来的系统扩展奠定基础 灵活性与可扩展性 能够根据应用需求 方便扩展设备容量和提升设备性能 具备支持多种组件模块 多种物理接口的能力 具备技术升级 设备更新的灵活 性 具备支持业务功能的扩展与重构的灵活性 安全可靠性 提供较强的管理机制和控制手段 提供系统备份 数据恢复 事故监控和网络安全保密等技术措施 实用性 系统应实现用户可接受的查询效率与响应时间 对现有业务运营系 统影响小 有良好的人机接口与灵活多样的展现方式 2 2 新建系统设计目标 建设目标可分为近期目标和中远期目标 1 近期目标 本阶段建设实现的目标是 三个具备 两个实现 一个统一 三个具备 是指经营分析系统应具备高效的数据抽取 整合以B O S S 系统 为主的多种数据源 形成统一的经营分析数据视图 具备灵活的数据存储 按主 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第4 页共6 2 页 题组织数据 并能根据需要进行主题内部要素的扩充 主题的新增以及跨主题的 重构 具备多样的数据访问 重点采用O L A P 分析 预定义报表 即席查询 并 辅以数据挖掘等多种方式 以满足不同人员的要求 两个实现 是指 实现较快的反应速度 实现较强的处理能力 较快的 反应速度要求不仅能够快速适应各种新业务发展的需要 而且能够快速的展现分 析结果 较强的处理能力是指系统能够进行海量数据的处理 并能够从多角度进 行分析 满足市场经营分析的需要 一个统一 是指提供一个 统一 的综合业务经营分析平台 将各种分析 活动统一在该平台下完成 一个统一 具体体现在以下几个方面 本阶段的建设将围绕为市场经营工作提供及时 准确 科学的决策依据展开 重点对客户 业务 收益 竞争对手 服务质量 营销管理 大客户 新业务和 数据业务 合作服务方九大主题进行分析 并以专题分析作为补充 技术实现以 O L A P 分析为主 辅以数据挖掘 在一定程度上实现对数据信息的提取 以B O S S 系统中的生产数据为主要数据源 辅以其他企业信息系统和外部数 据源 建立统一的经营分析数据视图 形成经营分析的专业数据仓库 分析结果可根据实际情况以直接或间接方式反馈回生产系统 为客户提供更 好的服务 时间规划上 本阶段建设满足1 2 年的业务需求 为下阶段建设积累经验 2 中远期目标 经营分析系统的建设是一个不断推进的过程 在完成近期目标的基础上 中 远期建设将增加数据源 扩充数据主题 丰富数据访问 提供更多的数据模型和 应用模型 支持更加灵活多样的市场经营活动 2 3 经营分析系统功能构成 经营分析系统主要包括系统功能与业务应用功能两大部分 其中 系统功能模块整体控制各个子系统与模块之间数据接口的调用 包含系统管 理与监控 E T L 数据接口 元数据管理 K P I 预警及信息发布等子系统 见下 图2 1 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文 第5 页共6 2 页 图2 1 系统功能构成示意图 业务应用功能部分包含B I 应用子系统及基于B I 应用子系统之上建立的业务 分析与专题分析 依赖于系统功能 这些分析主题与分析专题可以在用户定义的 基础上进行扩展 从而实现分析需求的不断扩展与跨主题的重构 见下图2 2 图2 2 系统应用功能构成示意图 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第6 页共6 2 页 2 4 模块功能及性能要求及设计 经营分析系统的总体架构如下图2 3 所示 主要由数据流 数据分类 工作 流构成三维架构体系 从数据流的层面 分为数据中转区 数据存储层和经营分 析三个层面 从数据分类 分为运行数据存储 原子数据仓库 主题数据集市 信息知识库 多维数据结构 元数据存储 企业目录服务 统一政策服务 从工 作流的层面 分为流程 工作流集成 系统管理 性能监控 容量规划 同意用 户管理 信息授权管理 单点注册 资源开通服务 4 图2 3 系统总体架构图 数据中转层 也就是数据获取 通过E T L 工具将B O S S M I S 网管和其 它外部数据源中的数据进行抽取 清洗 转换 并加载到数据仓库 数据存储层 包括运行数据存储 数据仓库 原子数据仓库 主题数据 集市 信息知识库 多维数据结构 实现对移动企业数据仓库中数据的集中存 储与管理 并可根据需求建立面向分析主题的数据集市 经营分析层 通过多样化的前端分析展示工具 数据挖掘工具 实现对 数据仓库中数据的分析和处理 形成市场经营和决策工作所需要的科学 准确 及时的业务信息和知识 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第7 页共6 2 页 公共服务层 贯穿于经营分析系统的各个层面 主要完成元数据存储与 管理 企业目录服务 统一政策服务 系统管理与监控 统一用户管理和权限管 理 单点登录等 2 4 1 数据中转层设计 经营分析系统三层结构中的数据获取层功能是将数据从数据源经过必要的 处理后加载到数据仓库系统中 典型的数据获取过程即常提到的E T L E x t r a c t i o n T r a n s f o r m a t i o n L o a d i n g 过程 在详细介绍E T L 过程之前需要先简要介绍一下E T L 的源数据分 析 1 源数据分析 映射 经营分析系统数据仓库数据的主要来源有 B O S S 系统 客服系统 网管系统 其他数据 源数据内容参见表2 1 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第8 页共6 2 页 表2 1 经营分析系统源数据 类型 数据内容 数据特征 客户 代销商 用户 服务 信用 客户管理类描述实体的特征属性 更新不频繁 度 帐户 帐务关系资料 客户服务定单 定单操作流程 工移动业务办理时产生 对应日常营业 定单管理类 单资料的每一笔业务 属于增长快速的数据 产品及资费管产品 包括中国移动提供的主体服描述产品的特征属性和对应执行的资 理类务 资费及优惠规则资料费及优惠规则 更新不频繁 田 资源管理类 资源 包括单据 咨询 终端 服 记录资源使用情况 易 务资源 信息 系 统 使用中国移动提供的服务时由相关的 采集管理类服务使用记录 标准服务使用记录设备和系统产生的网络资源使用记 录 是流水型记录 数据增长快速 结算清单 结算明细帐单 结算报 用于结算的原始记录和结算产生的结 结算管理类果数据 是流水型记录 数据增长快 表 结算记录 速 计费帐务管理清单 明细帐单 综合帐单 付款 对应客户每一次使用移动主体服务和 缴费行为 是流水型记录 数据增长 类记录 帐本信息 销帐记录 非常快 单位 员工资料 有服务考核则需描述移动公司内部单位和员工的特征 系统管理类 要 属性和变更记录 更新不频繁 网络运行类网络运行的关键指标 描述网络运行质量 繁忙程度等情况 网 的指标数据 流水型记录 管 系 统 主要网元 交换机 小区 基站等 网元管理类描述网元配置情况 数据量较小 资料 源数据分析包括如下内容 数据的业务范围及业务含义 数据所在平台 包括系统平台和数据库平台 数据结构 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文 第9 页共6 2 页 数据更新周期 数据更新方式 数据量 源数据分析之后 根据数据仓库系统物理数据模型的需要 将源数据同目的 数据进行匹配 即源数据映射 2 E T L E T L 展P 数据抽取 转换和加载 是数据仓库实现过程中 将数据由数据源系 统向数据仓库加载的主要过程 甘肃移动经营分析系统的E T L 过程可参见图2 4 该图显示了如何通过B O S S 系统中数据源的实体 经过E T L 过程形成数据仓库主题域中实体的过程 B o S s 系统数据实体 数据仓库中实体 图2 4B O S S 系统到经营分析系统的E T L 过程 甘肃移动经营分析系统的研究与设计 客户主题域 服务主题域 lII I I II I IIlJr 1 II I l IIII II J 一 一 北京邮电大学工程硕士学位论文 第l O 页共6 2 页 B O S S 系统数据源中的实体与数据仓库主题域中的实体并不是简单的一对一 映射关系 而是比较复杂的多对多关系 这种映射关系构成了经营分析系统E T L 过程的主要内容 从功能上看 整个E T L 包括三个部分 数据抽取 从数据源系统抽取数据仓库系统需要的数据 数据转换 将从数据源获取的数据转换按数据仓库要求的形式 对数 据进行转换 数据加载 将数据装入数据仓库 E T L 实现过程的流程图如图2 5 所示 图2 5E T L 实现过程的流程示意图 在E T L 的整个过程中 还必须充分考虑异常情况的处理 下面详细介绍E T L 过程 数据仓库 数据集市 1 数据抽取 a 数据抽取接口 典型的数据抽取接口包括数据库接口和文件接口 对于不同数据平台 不同 源数据形式 不同性能要求和业务量的业务系统以及不同数据量的源数据 采取 不同的数据抽取接口 在数据抽取时需要重点考虑数据抽取的效率 以及对现有 业务系统性能及安全的影响 经营分析系统的源数据具有如下特点 数据量特别大 业务系统工作负荷重 7 2 4 工作 业务系统性能 实时性的要求较高 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文 第l l 页共6 2 页 鉴于以上特点 对于移动数据抽取接口一般情况下采用专用数据库驱动接 口 必要的时候采用A P I 接口编程实现数据的抽取 以提高数据抽取效率同时减 少对业务系统的性能的影响 b 数据抽取策略 数据的抽取必须能够充分满足经营分析系统的需要 又能保证不影响业务系 统的性能 所以进行数据抽取时应制定相应的策略 包括抽取方式 抽取时机 抽取周期等内容 简要描述如下 抽取方式 增量抽取 完全抽取等 抽取时机 尽可能避开业务系统的高峰时段 可选择在夜间业务系统比 较闲时进行 抽取周期 对不同类型的数据源 应综合考虑业务需求和系统代价 制 定合理的抽取周期 对源数据的抽取必须保证不能影响数据源系统的性能 所以进行数据抽取时 必须充分考虑以下因素 制定相应的策略 满足对多种不同的数据来源的抽取处理 数据源包括中国移动相应业务 系统 企业外部数据源 能够提供某些数据的人工输入功能 如促销活动信息 社会调查信息等 支持多种不同系统平台和数据类型的数据抽取 包括各种关系型数据库 系统 各种文件方式的源数据等 充分考虑数据源系统的性能要求 根据业务量大小和数据量大小 尽量 减少对数据源系统的影响 在制定抽取策略时 需要对以上各项因素综合考虑 通常情况下 流水型增 长且数据量大的数据适合采用增量抽取的方式 最为典型的是清单 帐单类数据 变化更新的数据适合采用完全抽取的方式 最为典型的是反映当前状态的资源配 置类数据 对于两者结合的数据 如果能提取增量信息 则进行增量抽取 否则 采用完全抽取的方式进行 最为典型的是客户资料变更数据或其他的客户服务记 录数据 此外 对于抽取周期要考虑实际业务的需求和抽取进行的系统代价 在 可能的情况下 尽量缩短抽取周期 本期工程数据抽取策略详细见表2 2 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文 第1 2 页共6 2 页 表2 2 数据抽取策略 分类数据特征主要数据内容 数 流水型增长 I N S E R T 数据按增量方式产生 不涉及 对已有数据的更新操作 清单 帐单 定单等 据 源 操 数 作 变化更新 U P D A T E 对已有数据进行更新资源配置信息等 据 分 类 两者结合 按增量方式产生新数据的同 方 I N S E R T D E L E T E 客服记录等 式 时 还对已有数据进行更新 U P D A T E 大清单 帐单等 数 据 量 资源管理 系统管理 相对较小 类数据 2 数据转换 数据转换是指对从业务系统中抽取的源数据根据数据仓库系统模型的要求 进行数据的转换 清洗 拆分 汇总等处理 保证来自不同系统 不同格式的数 据的一致性和完整性 并按要求装入数据仓库 a 转换的主要功能 在数据转换中主要有以下6 类原因可能造成的数据不一致性问题 源数据系统同数据仓库系统在模型上的差异性 源数据系统平台不一致 数据仓库系统的数据源可能包括基于不同平台 的数据库的数据 可能会存在大量的转码工作 源数据结构的不一致 有些数据源由于历史的原因 导致同一个表在不 同的时期数据结构不一致 源数据定义不规范导致错误数据 对数据的约束不严格 导致无意义数据 存在重复记录 数据转换的主要功能就是屏蔽处理这些可能的数据不一致现象 b 数据转换技术和策略 根据实际情况 数据转换工作一般会在以下几个环节中具体实现 在抽取过程中进行数据处理 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第1 3 页共6 2 页 使用异步数据加载 以文件的方式处理 在数据加载过程中进行数据处理 进入数据仓库以后再进行数据处理 采用在数据抽取过程中进行数据转换时 必须考虑抽取的性能以及对业务系 统性能的影响 采用异步数据加载需要以文件方式处理时 必须充分考虑中间磁 盘的存储量以及E T L 整个流程的协调性工作 以及大量的非S Q L 语句的编程 采用 在数据加载过程中进行数据转换时 必须考虑加载性能 采用先将数据装载到数 据仓库后再处理时 必须考虑数据仓库引擎的海量数据处理能力 3 数据加载 a 数据加载主要功能 数据加载就是将从数据源系统中抽取 转换后的数据加载到数据仓库系统 中 要求数据加载工具必须具有高效的加载性能 b 数据加载技术及策略 主要加载技术有以下2 种 使用数据仓库引擎厂商提供的数据加载工具进行数据加载 通过数据仓库引擎厂商提供的A P I 编程进行数据加载 数据加载策略要考虑加载周期及数据追加策略两方面的内容 根据甘肃移动业务数据的实际情况 加载周期要综合考虑业务分析需求和系 统加载的代价 对不同业务系统的数据采用不同的加载周期 但必须保持同一时 间业务数据的完整性 数据的追加策略根据数据的抽取策略以及业务规则确定 一般有以下三种类 型 直接追加 全部覆盖 更新追加 直接追加 是指每次加载时直接将数据追加到目的表中 对于典型的流 水数据 一般采用此方法 清单 帐务等数据可以采用直接追加的方式 全部覆盖 对于抽取数据本身已包括了数据的当前和所有历史状况 对 目标表采用全部覆盖方式 典型情况是资费规则定义的数据可以全部覆盖的方 式 更新追加 对于需要连续记录业务的状态变化 用当前的最新状态同历 史状态数据进行对比的情况采用更新追加的方式 典型情况是客服记录数据的加 载 具体采取何种方式 要综合考虑效率 业务实现等因素 在处理不同业务时 予以灵活应用 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第1 4 页共6 2 页 最后 对整个E T L 处理过程的要求做一个回顾 在整个数据抽取 转换和 加载过程需要具备以下功能 E T L 处理过程可支持多种操作系统平台 如U N I X W i n d o w s9 5 9 8 N T 等 E T L 处理过程可支持主流硬件平台 E T L 处理过程必须支持并行处理 E T L 处理过程必须包括有统一调度 监控和管理的功能 E T L 处理过程对数据源系统的影响应尽可能的小 E T L 处理过程支持各种字符集的转换 E T L 处理过程支持校验点 当外部数据记录特别庞大时 如果因为某种 原因发生故障中断后 可以从最近的校验点开始处恢复处理 E T L 处理过程具有完整的日志管理和数据审计功能 并且有相关的监控 预警机制 保证E T L 正常进行 E T L 处理过程可提供图形化的操作界面 具有良好的易用性 E T L 处理过程可以将E T L 执行或开发的权利赋给指定的人 避免不相关 人员的误操作 并能记录操作人员的使用情况 E T L 处理过程可以定义外部数据记录的错误限制 如发现最多1 0 0 0 条 错误数据记录时停止进行处理 同时将发生错误的数据记录加到相应的错误表 中 能够支持各种平台的异构数据源系统的数据 采用高性能的数据抽取接口 比如 专用数据库驱动接口 J D B C O D B C 接口等 数据抽取过程支持增量抽取 完全抽取等抽取策略 对于数据源系统 支持异步抽取或同步抽取 数据转换模块可进行二次开发 并通过对内嵌脚本语言 存储过程 插件及外部程序的支持来处理复杂的处理 提供调试 跟踪功能 数据加载可利用多个数据库连接 进行大量数据的并行加载 数据加载可设计自动加载的流程 当日常数据加载出错 一般采用人 工干预的方式来进行 这时需提供一个数据重新接收 加载的操作界面 2 4 2 数据存储层设计 l 数据存储方式 数据存储层包括数据仓库和复制 传播组件 数据仓库组件定义了信息的逻 辑和物理存储 复制和传播组件从企业数据仓库中存储的数据创建从属的数据集 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文 第1 5 页共6 2 页 市 5 数据仓库是面向主题的 集成的 非易失的且随时间变化的数据集合 数据仓库是按照企业整体的信息模型 尽可能以最小的业务单元来组织并存 储数据 这样既能保证数据访问的灵活性 又可保证最少量的数据冗余 在数据仓库的实施过程中 对于某些主题的业务分析问题 可能会按照主题 采用数据集市的方式对数据进行进一步的组织 所以在数据仓库的基础之上根据 分析需求会创建相应的从属的数据集市 2 数据仓库的意义 数据仓库是企业经营分析和决策支持的核心 与传统的关系型数据库相比 数据仓库有以下几个特点 数据仓库中的数据 是面向主题的 集成的 不可更新的 稳定的 随时间不断变化的 建立数据 仓库的目的是为了更好的支持决策的制定 数据仓库有别于传统的关系型数据库 它的目的是要建立一种体系化的信息 存贮环境 将分析决策所需的大量数据从传统的操作环境中分离出来 使分散的 不一致的数据转换成集成的 统一的数据 不同用户都可以在此单一的环境之下 通过运用其中的数据 发现全新的视野和新的问题 新的分析与想法 进而发展 出制度化的决策系统 因此 数据仓库的建立并不是要取代传统的数据库 它是要建立在一个较全 面完善的信息应用的基础上 用于支持高层决策分析 而数据库仍承担日常事物 的处理任务 数据仓库是数据库技术的一种全新的应用 并且使用的数据仍来源 于数据库 在甘肃移动的支撑系统建设中引入数据仓库的项目 就是利用数据仓库这一 技术 达到分析已有海量数据 支持经营决策的目的 以弥补完成原有传统数据 库的不足之处 3 甘肃移动数据特性分析 甘肃移动业务运营支撑系统 B O S S 系统 所产生的数据中数据量最大同时也 是最有价值的信息是用户清单信息 所有有关客户消费行为分析 消费习惯分析 按照消费行为对客户分类 业务发展分析等主题基本上都是以用户清单信息为中 心 通过用户清单信息能够进行有效的即席查询 多维分析 数据挖掘等 从中 能够得到大量的有价值的核心信息 客户基本资料相对而言比较稳定 这部分信息量的大小同客户数的多少有着 直接的关系 目前中国移动某些地方的客户基本信息可能不太全面 这样 对基 于客户基本属性进行客户分类的分析可能会由于信息的缺乏而受到影响 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文 第1 6 页共6 2 页 客户业务受理信息包括客户通过所有渠道 含呼叫中心 互联网 营业厅等 进行申办 变更等所产生的信息 这部分信息要求保留详细记录 这些信息反映 了客户使用移动公司的产品和服务的合约关系 是经营分析系统需要的基本资料 之一 客户服务信息包括客户通过所有渠道 含呼叫中心 互联网 营业厅等 进 行查询 投诉 咨询 建议等所产生的信息 这部分信息要求保留详细信息 因 为这部分信息直接反映了客户对中国移动的满意程度 比如 通过客户投诉可以 分析客户对具体产品或服务的满意度以及服务中存在的主要问题 通过客户咨询 信息可以了解客户对于中国移动所提供产品 服务的了解程度以及客户最为关注 的问题 尤其是当我们分析客户的忠诚度及客户流失情况时 能够通过客户服务 系统进一步知道客户 为什么 流失 2 4 3 经营分析层设计 经营分析系统的数据访问层的主要功能是使经营分析系统使用人员通过报 表和图形的方式 简便 快捷地访问经营分析系统中的各种数据并进行各种分析 预测操作 数据访问层应提供多种数据加工展现方法 包括多维动态分析 即席 查询 预定义报表等 多维动态分析是基于多维数据模型的分析方法 用于支持复杂的分析和预 测 包括趋势分析 W h a t i f 分析等 即席查询的内容可由经营分析系统使用人员自由定义 允许使用者控制数据 的访问方法 并对查询结果提供多种可选择的展现方式 预定义报表 是一种经营分析人员在使用系统的过程中 根据需求和有关分 析结果进行预定义后 格式内容相对固定的报表 数据访问层应提供一个统一的门户入口 实现预定义报表 即席查询和多维 动态分析的无缝连接 并提供集成化的认证 信息发布和管理环境 使经营分析 系统使用人员无需关 t l 具体的技术实现途径 即可实现对经营分析系统数据的访 问和分析 同时门户站点还可根据不同分析和决策人员的需求 对所需的访问和 分析内容进行方便 简捷的定制 以满足个性化信息服务的需求 l 联机分析处理 联机分析处理 O L A P 是中国移动经营分析系统本阶段建设的主要应用之一 联机分析处理是针对特定的分析主题 设计多种可能的观察形式 设计相应 的分析主题结构 即进行事实表和维表的设计 使管理决策人员在多维数据模 型的基础上进行快速 稳定和交互性的访问 并进行各种复杂的分析和预测工作 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文 第1 7 页共6 2 页 下面详细予以说明 1 基本概念介绍 按照存储方式来分 O L A P 可以分成M O L A P 以及R O L A P 等方式 M O L A P M u l t i D i m e n s i o nO L A P 将O L A P 分析所需的数据存放在多维数据库中 分析主题的数据可以形成一 个或多个多维立方体 R O L A P R e l a ti o n a lO L A P 将O L A P 分析所需的数据存放在关系型数据库中 分析主题的数据以 事实 表一维表 的星型模式组织 本期经营分析系统主要采用采用M O L A P 的方式实施 O L A P 的展现主要有两种方式 传统O L A P 客户端方式 用户通过安装在本机上的客户端工具进行O L A P 分析 O L A P 客户端工具包括 独立的前端工具 以及电子表格的加载项等 W e b 方式 用户直接通过浏览器访问O L A P 服务器 本期经营分析系统采用w e b 展现方式 2 本期移动经营分析系统中O L A P 的结构 本期系统中的O L A P 结构如下图2 6 所示 甘肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第1 8 页共6 2 页 翻 数据仓库 图2 6 移动经营分析系统 O L A P 系统结构 在经营分析系统的数据仓库内 数据以 数据仓库主题 的形式进行组织 根据中国移动业务的需求 数据可以分成9 大主题 客户主题 资源主题 帐务 主题 营销主题 服务使用主题 结算主题 客服主题 服务主题 合作方主题 每个主题由多个实体组成 例如 服务主题有服务实体 产品实体 资费和 优惠政策实体等等 这些实体根据业务规则和业务结构相互联系 这种联系可以 通过实体关系图描述 l r 肃移动经营分析系统的研究与设计 北京邮电大学工程硕士学位论文第1 9 页共6 2 页 在确定了O L A P 分析目标之后 可以根据目标所涉及的内容从数据仓库主题 中抽取所需的数据 以收益情况分析为例 其数据来源包括 客户主题中的客户 实体 服务使用主题中的用户实体 帐务主题中的综合帐单实体 帐户实体 帐 本实体等 3 O L A P 的分析流程 O L A P 分析包括3 个步骤 第一步 确定分析的目标和维度 对业务进行O L A P 分析 首先应确定分析的目标 然后提出分析的维度和指 标 以收益分析中的收入总量分析为例 目标定为 分析不同的地区 时间 移 动业务种类对业务收入总量的影响 在确定分析的目标之后 分析的指标以及分析的维度基本确定 在本例中 分析的指标就是收入总量 分析的维度有三个 分别是地区 时间 移动业务种 类 分析的维度需要根据实际需求进行细分 第二步 构造分析模型 O L A P 的分析模型可以分为逻辑模型和物理模型 逻辑模型主要采用星型模式 星型模式由事实表和维表构成 事实表存放了 需要分析的细节数据 维表存放了各分析维度的属性 物理模型指的是O L A P 的存储方式 以星型模式存放在关系型数据库中或构 建多维立方体等 第三步 前端分析与展现 针对O L A P 分析应用 在完成分析模型的构造之后 应相应地配置前端展现 工具 对于W e b 访问方式 根据需要将有关内容加入O L A P 服务器中 并对