仓库管理_数据仓库与商业智能概述

数据仓库与商业智能 2009 4 20 主要内容 数据仓库的起源和发展数据仓库定义和特点数据仓库体系结构数据仓库建设方法商业智能 数据仓库的起源和发展 数据管理的历史 人工管理方式这一时期是在20世纪50年代中期以前 这一阶段的计算机应用主要用于科学计算 外存只有纸带 磁带 卡片等 数据处理的方式基本上是批处理 这一时期数据管理的特点是 数据不保存 没有专用的数据管理软件 每个应用都必须自己完成存储结构 存取方法 输入输出等数据管理功能 一组数据对应一个应用 这使得程序之间可能有重复的数据 文件系统管理这一阶段在20世纪50年代后期至60年代中后期 计算机应用开始用于信息管理 由于数据存储 检索和维护等需求 使得相应的研究开展起来了 在硬件和软件方面都得到了发展 磁盘磁鼓出现 操作系统也产生 数据库系统 60年代末开始 关系数据库之父E F Codd提出了关系模型 ER 促进了联机事务处理 OLTP 的发展 数据以表格的形式而非文件方式存储 数据库到数据仓库 传统的数据库环境中以数据库为中心 数据资源组织方式单一 侧重对数据的管理 操作型处理 OLTP 联机事务处理 关心的是响应时间 数据的安全性和完整性 问题 易进不易出 数据库到数据仓库 数据处理不断有新需求 联机事务 批处理 决策分析 分析型处理 OLAP 联机分析处理 用于管理人员的决策分析 经常要访问大量的历史数据 而很少对数据库进行写操作 除非对数据库进行更新或装入时 人们希望从中获得跟公司经营效益紧密相关的信息 数据仓库的产生 1 数据集成 2 历史数据的应用需求 3 查询性能 数据集成 企业全面的经营数据OLTP分散在不同系统中 核心 信贷 国结 外部数据 市场数据 竞争对手 集成的数据建立关联的各业务系统之间的业务事件联系统一的 统一的事实 维度 历史的数据一般的全国股份制商业银行一天的交易流水在150W左右通常业务系统只保留当前的历史数据查询困难 数据集成 数据一致化在很多情况下 大型企业会产生数据不一致情况数据仓库的数据要保持一致化和准确性数据综合各种不同粒度的数据的集成问题详细粒度中等聚集高层聚集外部数据集成 查询性能 提高数据的查询效率OLTP系统面向数据维护数据仓库面向数据查询提高查询功能为最主要目标 发展的动力 业务需求驱动主要是详细的分析科学的经营市场活动的细化和实施等数据驱动数据量不断扩大需要相关技术全面了解企业结论 以单一的数据组织方式进行组织的数据库 不能满足新型的数据处理多样化的要求 数据仓库技术应运而生 数据仓库的概念和特征 数据仓库的概念 数据仓库 EDW EnterpriseDataWareHouse 数据仓库无非是所有数据集市的集合 RalphKimball数据仓库无非是面向主题的 集成的 不同时间的 稳定的数据集合以便支持管理决策 BillInmon数据仓库是一个过程不是一个项目 数据仓库的特点 面向主题数据所代表的业务内容划分 而不是以应用划分集成的数据所代表的业务内容划分 而不是以应用划分不同时间的数据按照时间组织 并存储在不同的时间切片稳定的不允许对数据进行更新 只允许初始加载和查询 数据仓库系统结构 数据仓库结构 OperationalDataStore ETL 数据源 DataWarehouse 数据源 数据源 DataMart DataMart DataMart 分析 报表 可视化 数据挖掘 ODS OperationalDataStore 操作型数据存储区域ETL ExtractTransferLoad 数据抽取转换加载DW DataWareHouse 数据仓库DM DataMart 数据集市 元数据 MetaData 数据源 各种业务系统RDBMS文件系统如 银行业中 核心系统 信贷系统 国结系统ERP系统 ODS 操作型数据存储区域 是一种数据仓库的混合形式 它包含及时的 最近的 面向主题的和集成的信息 是数据仓库环境的一个组成部分是操作型系统的一个集成环境为决策支持系统提供当前详细数据的查询功能是面向主题的 集成的 经常更新的详细数据 ETL 抽取转换加载 数据仓库数据是面向主题的 而业务数据库总是围绕一个或几个业务处理流程 因此到数据仓库的过程需要十分复杂的数据整合过程 数据抽取数据转换 一致化 数据加载作业控制 数据仓库 数据模型 多维数据模型粒度划分 分割 汇总 FactTable fact1 fact2 fact3 机构 粒度 key 机构代码地址联系人attribute Dimension Dimension Dimension 粒度代码attributeattributeattribute 粒度 1 日2 月3 年日期2008 12 31 数据集市 数据集市是数据仓库的子集 如果数据仓库是整个企业组织的所有主题数据存储区 那么数据集市就是某一个主题数据的存储领域 数据集市即是数据仓库的一种实现 也是实现数据仓库的重要过程 同时提供了分布式数据仓库的思想 数据展现 查询报表多维分析 钻取 切换 图形 元数据 元数据是关于数据的数据 它描述了数据的结构 内容 码 索引等项内容 元数据分类技术元数据业务元数据 三个关键部分 数据仓库建设方法 数据仓库建设 频繁变化 面向企业中不同业务和用户 数据仓库建设策略 自底向上的策略 即数据集市方法 提供了灵活性 低花费 并能迅速回报投资 此方法的核心是 从最关心的部分开始 先以最少的投资 完成企业当前的需求 获得最快的回报 然后再不断扩充 完善 数据仓库建设策略 自顶向下的策略 先建立一个全局数据仓库的结构 然后在此基础上建立部门的数据集市和个人的数据仓库 这是一种系统解决方案 能最大限度地减少集成问题 但开发周期长 费用高 并且缺乏灵活性 数据仓库建设层次 分析型应用要求千差万别 一个单一层次的数据仓库不能满足所有的分析需求 一个好的解决方案 建立分层的数据仓库 递增 进化地开发数据仓库 商业智能 商业智能 商业智能 又称商务智能 英文为BusinessIntelligence 简写为BI 起源于上世纪90年代 商业智能描述了一系列的概念和方法 通过应用基于事实的支持系统来辅助商业决策的制定 商业智能技术提供使企业迅速分析数据的技术和方法 包括收集 管理和分析数据 将这些数据转化为有用的信息 然后分发到企业各处 可以说商务智能是一个可包含企业所有知识的系统 服务于管理决策层或部门执行经理 帮助其进行决策和分析 商业智能结构 OLAP数据挖掘 DataMining 数据仓库其他的查询和展现 商业智能的功能 记录选择查询展现关联分析买债券 保本型理财监视功能月营业额小于10万元的分店展示功能查找 排序 统计数据输出打印 导出 图形 Excel 商业智能实施步骤 需求分析数据分析数据仓库建模数据处理 ETL BI展现 报表 图形 OLAP 数据模拟测试系统完善改进 迭代 相关产品 数据仓库解决方案Teradata IBM Oracle 建模软件ERwin PowerDesigner ETL软件DataStage Informatic 数据仓库Teradata Oracle IBMDB2 BI软件COGNOS BO Brio 商业智能的发展趋势 功能上具有可