数据仓库解决方案概述.ppt

Sybase DW/Business Intelligence,Sybase中国有限公司,Sybase数据仓库解决方案,电信行业,议程,数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具,“数据仓库是在企业管理和决策中 面向主题的,集成的, 与时间相关的 和不可修改的数据集合”,Bill Inmon,数据仓库定义,OLTP系统,财务系统,业务系统,计费系统,网管系统,数据仓库是完全不同的数据库系统,操作(业务)系统特性,信息(分析)系统特性,DW/BI 在电信行业的应用 - How ?,立足于现有的OLTP系统 当前数据和历史数据 集中整合之后，构建一个庞大的数据仓库 面向业务分析和决策层 运用多维分析方法，充分挖掘数据中的信息 应用DW/BI的三步曲,数据抽取,数据管理,数据分析,INFORMATION,信 息,数据仓库(Data Warehouse)是一种专为联机分析应用 和决策支持系统提供数据源的结构化的数据环境 数据仓库要解决的问题是从数据库中获取信息的问题。,信 息,INFORMATION,DW/BI 在电信行业的应用 - 小结 什么是数据仓库(Data Warehouse) ？,决策支持应用,数据仓库的实际构造示意图,议程,数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具,Sybase数据仓库相关产品的技术构成,Relational,Package,Legacy,External source,Data Clean Tool,Source Data,Data Staging,WareHouse Admin. Tools,Enterprise Data Warehouse,Data Extraction, Transformation and load,Datamart,Datamart,Enterprise/ Central Data Warehouse,RDBMS ROLAP,RDBMS,RDBMS, Star Schema,Architected Datamarts,Central Metadata,Local Metadata,Local Metadata,Sybase数据仓库相关产品介绍,一个集成化的产品集,集成的主要产品,Integrate Enterprise Connect Replication Server PowerMart,Design Warehouse Architect,Manage Sybase ASIQ,议程,数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具,设计: 成功的关键,数据库的设计对数据仓库系统的整体性能、装载和 建立索引的时间以及数据量的增长等的影响超过 任何其它方面。,数据仓库设计工具WarehouseArchitect,为数据仓库的设计提供三大功能： 多维建模 度量、维、属性 事实表，维表 维层次表，事实层次表 设计向导 聚合（Aggregation Wizard） 分区（Partitioning Wizard） 逆向工程数据源 优化代码生成 目标数据仓库引擎（IQ，RDBMS) OLAP分析环境,设计:WarehouseArchitect,议程,数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具,数据抽取、转换、清洗、集成,挑战 多个、多种异构数据源 硬件，OS，RDBMS，文件 数据不规范，需要做大量的清洗和整合 转换规则复杂，繁多 繁琐的日常性工作，占80%工作量 数据质量保证 数据增量抽取 抽取工作过程化，自动化,数据抽取、转换、清洗、集成,成功的关键 支持多个、多种异构数据源 轻松方便地设计数据的清洗，转换和整合规则 日常事务性工作自动化完成 有完善的数据质量保证体系 有完备的数据增量抽取 直观，面向过程化设计；自动化的执行 开放性，可扩展性，易于实施和维护,数据抽取、转换、清洗、集成,解决的方案 手工编程实现 使用工具设计和实施 PowerMart/PowerCenter 开发环境，一系列工具用于设计、执行和维护 数据的抽取、转换和装载流程 抽取转换引擎(服务器)，自动执行,集成: PowerMart,Mapping Designer,Transformation Developer,Sybase Informix Oracle Microsoft IBM/UDB ODBC DB2 SAP PeopleSoft VSAM Flat Files Web Logs XML IBM MQ Gateways,Sybase Informix Oracle Microsoft ODBC IBM/UDB SAP BW PeopleSoft EPM Flat Files Gateways,议程,数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具,数据存储、管理,挑战 数据规模 查询性能 装载速度 易于管理 存取访问,成功的关键 快速，高效数据存储技术 出色的查询性能 - 特殊的索引 技术，并行查询 可伸缩性 - GB 到 TB 级 易于管理 - 方便，灵活，GUI 存取访问 - 数据随时可用,数据管理,解决的方案 通用的关系数据库系统 专门的数据仓库服务器 Sybase IQ 专门为数据仓库/数据集市设计的关系型数据库 专门针对OLAP/DSS而优化的索引和查询处理技术,Adaptive Server IQ,数据存储： Adaptive Server IQ,无处不索引(Index EVERYWHERE) 数据压缩(通常达到原始数据的 70 - 75%) 垂直存储技术(Vertical Partitioning) 专利的Bit Wise索引技术跨越Bitmap的限制 多种索引类型：FP,LF,HNG,HG 低级数的限制从100扩充到1000 预连接的索引提供额外的显著提高性能手段(Join Index) 支持任意设计模式 星型、雪花、雪暴、星座模式 普通关系模式 支持任意加载方式 文件、内部数据、外部数据库直接加载 开放的接口,计算“NY”州 A类商店的 平均销售额,当表的记录数从几万条变为千万和上亿条时， 传统RDBMS技术面对的问题: 表扫描的性能极端低下 冗余设计代价高昂、查询读取的无效字段过多 低级数类型数据上索引的失效 普通索引加载和空间代价，造成不能任意建造 即席查询的SQL顺序对性能有显著影响 数值型比较和运算，无恰当手段加速处理,传统RDBMS不适合数据仓库,IQ的特殊存储方式-垂直存储（按列存储）,Sybase IQ: 数据是按列存储的，而不是按行存储,好处: 只存取查询所需的数据 数据类型是一致的，因而可以很容易被压缩 数据库易于修改和管理,Sybase IQ: 只读完成查询所 涉及到的列,计算在纽约的“A”类商店 的平均销售额,IQ的特殊存储方式-垂直存储（按列存储）,“How many MALES are NOT INSURED in CALIFORNIA?,Gender M M F M M -,800 Bytes/Row,10M ROWS,State NY CA CT MA CA -,RDBMS,Insured Y Y N Y N,10M Bits x 3 col / 8 16K Page,= 235 I/Os,800 Bytes x 10M 16K Page,= 500,000 I/Os,基本上只能使用表扫描 查询过程读取了太多的无效数据,IQ,Example: I/O 的明显减少,IQ的索引特点,索引即是数据 没有索引和数据的分别 任何一列可以建立多个索引 系统保证至少会存在一个索引（FP） 索引的选择和设计主要基于： 数据的级数（离散值的个数） 在查询中的使用方式 和SQL语句的顺序无关,索引的种类,Fast Projection(FP) 数据压缩存储 根据数据的特点会自动使用三种方式中的一种 Low Fast (LF) Bit map 索引 High Non Group (HNG) Bit-wise 索引 High Group (HG) G-Array (包括一个改进的B-tree),FP Index normal FP,级数（取值个数） 65536 数据被压缩存储,Color,Red,Blue,Green,Red,FP Index - FFP,级数 256 内建一个1-byte的参照表,Lookup Table,Data,LF Index,传统的 Bit Map 索引 级数小于1000 可以唯一 使用的可能性 Joins Group by MIN, MAX, SUM, AVG functions Where clause predicates Equality / Inequality, Ranges, IN lists,.,冗余设计时数据量比想象中要小得多 每一个取值都有一个相应的位 可以适应新的取值出现和行的增加 查询： select count(*) from customers where state =AL,LF Index,HNG Index,Bit-Wise Index 数据按照二进制存储 垂直分布和处理 Sybase的专利技术 cannot be used with certain data types 使用最佳范围 range searches for high cardinality columns 运算 (sum and average functions),适合大量二进制的存储 数据垂直分片 即每一个位都可以在内部被独立操作 由于肯定存在大量的位同时为1或0，因此IQ在内部处理时会自动做数据压缩,HNG - High Card Bit-Wise Index,HG Index,在Bit-Wise的基础上增加一个B-Tree，并保证树在加载时不会重建 最佳使用场合： Joins Select Distinct, Count Distinct Group By,1 0 0 0 1 0 0 1,突破性的速度 闪电般的快速查询 快速装载 无限的灵活性 任何查询 任何模式 非常经济 压缩的数据存储 支持多用户查询,Sybase IQ,Adaptive Server IQ 12: 专门设计的数据仓库服务器,IQ12的技术参数,Column limit - now 16,000 per table (up from 255 - Great for SAS & SPSS customers) Row limit - now 281,474,976,710,700 (thats 281 Trillion Rows and change) Device size - up to 128GB (depending on OS) Device limit - now 65,524 (up from 2,000) Database Size limit - 8.4 Petabytes,Sybase IQ 真正的数据仓库,Andyne,Brio,Business Objects,Gentia,Information Advantage,Information Discovery,InfoSpace,Linguistic Technology,Teleran Technology,Seagate Software,Mathsoft,Any Data, Any Time, Anywhere,Cognos,Adaptive Server IQ,议程,数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具,信息生产者,信息消费者,Brio.Insight,Brio.Quickview,客户机服务器,Web/Intranet,高级用户,活跃的分析人员,报表查阅者,信息技术人员,Brio.Enterprise 6.0 产品家族,Brio Enterprise 功能服务,功能服务,BrioQuery 查询 OLAP 查询 在线分析 (OLAP) 报表 EIS/脚本 制图 审核 两层安全防护,Broadcast Server 信息发布 作业调度 批处理查询/报表 事件驱动处理 报表广播,OnDemand Server 零管理客户端 Web查询 适应型报表 多层安全防护 集群服务器支持 SSL (安全套接层加密),BrioQuery,IQ数据仓库,数据源-IQ数据仓库,Transformer,Impromptu,*.iqd,任何数据源（关系型、平面型,数据仓库) 自动生成PowerCube 用户定义的业务规则和维度 10:1的数据压缩 图形化的浏览多维数据 完全交互式的报表探察,PowerPlay: OLAP 环境,Cognos BI 产品结构,PC Database,Oracle, Sybase, Informix, SQL Server, ODBC Gateway,Impromptu,.DBF .DB,.DBF, .DB, .XLS, .WKS, .CSV,Transformer,Authenticator,.MDC,PowerCubes,.PBB,PowerPlay,.PYH .MDL,.IQD,.PPR,.IMR,议程,数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具,元数据管理：什么是元数