基于数据仓库模型的运营分析系统

基于数据仓库模型的运营分析系统基于数据仓库模型的运营分析系统 进入 21 世纪 信息科技迅猛发展 市场瞬息万变 企业要想在激烈的市场竞争中立于 不败之地 就需要对客户和市场的信息做出快速 及时的搜集与响应 同时对自身的运营 状况也要做出全面的预测与分析 企业要想通过信息化的手段 按照自身的需求以全方位 精确的粒度来分析自身生产 经营的情况 使用数据仓库是一个行之有效的方法 数据仓库是一个面向主题的 Subject Oriented 集成的 Integrated 相对稳定 的 Non Volatile 反映历史变化 Time Variant 的数据集合 用于支持管理决策 Decision Making Support 面向主题 面向主题 操作型数据库的数据组织是面向事务处理任务 各个业务系统之间各自 分离 而数据仓库中的数据是按照一定的主题域进行组织的 集成 集成 数据仓库中的数据是在对原有分散的数据库数据抽取 清理的基础上经过系 统加工 汇总和整理得到的 必须消除源数据中的不一致性 以保证数据仓库内的信息是 关于整个企业的一致的全局信息 相对稳定 相对稳定 数据仓库所涉及的数据操作主要是数据查询 一旦某个数据进入数据仓 库以后 一般情况下将被长期保留 也就是数据仓库中一般有大量的查询操作 但修改和 删除操作很少 通常只需要定期的加载 刷新 反映历史变化 反映历史变化 数据仓库中的数据通常包含历史信息 系统记录了企业从过去某一 时点 如开始应用数据仓库的时点 到目前的各个阶段的信息 通过这些信息 可以对企业 的发展历程和未来趋势做出定量分析和预测 1 系统软件平台及构造 系统软件平台及构造 1 软件平台 软件主要包括前台展现页面 WEB 应用程序服务器 后台数据库系统 其中前台展 现页面是基于 B S 架构的 JSP 页面 WEB 应用服务器使用 IBM 公司的 WebSpere Application Server 后台数据库使用 Oracle 10g 2 系统结构 下图展示了基于数据仓库模型的运营分析系统的体系结构 其中 ETL 包括 数据抽 取 转换 清洗 过滤 装载这几个步骤 业务数据经过 ETL 的过程 以另一种方式存入 一个逻辑上独立于业务系统的新数据库中 这个数据库对业务系统是完全封闭的 并且是 按照待分析的指标存放在多个类似于 数据集市 的多个表中 基于海量的分析数据 我们 按之前设定好的参数来进行数据仓库模型的建立 也就是所谓的 多维度 的数据模型 模 型建立好以后 就可以在模型框架的基础上进行多角度的海量数据的查询分析 图 1 运营分析系统解决方案的体系结构 结构特点 独立性 该系统和外界的业务系统是完全独立的 不依赖于某种特定的业务系统而存在的 数据的抽取实际上是实现和外部业务系统的数据接口 而接口是可以由多种方式来实现的 如数据库后台的存储过程 JAVA 程序等 外界业务系统数据的变化也不会实时的 直接的影响到分析系统的数据 分析系统 反应的只是某一个时点上业务数据的情况 安全性 由于系统数据存放在独立于外部业务系统的数据库中 拥有外部业务系统访问权限 的用户不一定可以访问分析系统 系统通过基础数据定义中角色的授权来控制访问 查询 分析分析数据的权限 对于后台存储的数据也进行了加密的处理 2 系统的多维度数据模型 系统的多维度数据模型 多维度结构模型是基于多张维度表和一张事实表的星型模型结构 如图 2 所示 每 个维度表存放的是按属性分类的维成员 如时间维度表中的时间维成员有 2009 年 2008 年 2007 年 组织维度表中的组织维成员有 销售部 国际业务部 往来单位维度表 中的维成员有 客户 A 客户 B 客户 C 那么在指标事实表中的数据就可以查询到如 2008 年国际业务部与客户 A 所签的订单额度 2009 年销售部与客户 C 所签的订单额度 2009 年所有部门与所有客户所签的订单额度 每个维度表的主键构成了事实表的外键 这样的结构保证事实表中存在每个维度的 每个维成员组合的数据 我们可以把事实看成是各个维交叉点上的值 图 2 多维度数据模型 我们把业务系统中待分析的数据归类 每一类称为一个 指标 如销售收入 成本 总额 应收账款都是指标 指标之间大多数没有彼此的关联 但有一类指标是需要通过其 它指标的公式计算得到数据值的 如主营业务利润率 主营业务利润 主营业务收入 100 所以我们把指标分为非计算类指标和计算类指标两大类 而非计算类指标的数据 值来源于业务系统 3 运营分析系统的设计 运营分析系统的设计 1 ETL 数据抽取 转换 装载模块的设计 系统设置自动的数据库任务 定时的执行存储过程 或者通过定时启用 JAVA 的线程 将 外部业务系统中的数据写入到每个指标的中间表中 2 基础数据定义模块的设计 数据仓库的建模需要根据基础数据的定义模块的相关数据 由指标与维度的关联可 以动态生成每个指标的维度表 由指标与维成员的关联可以生成每个指标维度表中的数据 由每个指标的维度表可以动态生成其事实表 3 数据查询与分析的设计 数据的查询与分析其实是对所有指标在多维度模型上的一个展示 包括某个指标在 同一个维度的不同层次的维成员上做 上卷 下钻 的查询操作 某个指标在某年度的指 标值进行 同比 环比 的查询操作 此外 针对分析查询的结果 系统支持多维度报表 的生成 打印等功能 运营分析系统为企业的中高层管理者提供及时 全面 详细的综合数据分析 解决 了企业管理者以灵活的方式从各个角度全方面的了解企业生产运营状况的需