数据仓库商务智能的解决方案.ppt

,Sybase/BusinessIntelligence,SYBASE数据仓库/商务智能解决方案,魏健商务智能咨询顾问SYBASE软件(中国)有限公司,议程,数据仓库解决方案概述数据仓库设计工具数据仓库引擎SybaseAdaptiveServerIQMultiplex,“数据仓库是在企业管理和决策中面向主题的,集成的,与时间相关的和不可修改的数据集合”,BillInmon,数据仓库定义,OLTP系统,数据仓库是完全不同的数据库系统,RDBMSSybase,SAP/ERP,VSAM,EXCEL,操作(业务)系统特性,事务处理性能是第一位的支持日常的业务事务驱动面向应用数据是当前的并在不断变化存储详细数据(每一个事件或事务)针对快速预定义的事务优化设计可预见的使用模式支持办事人员或行政人员,数据仓库应用系统特点,支持长远的业务战略决策分析驱动面向主题数据是历史的数据反映某个时间点或一段时间数据是静态的，除数据刷新外数据是汇总的优化是针对查询而不是更新支持管理人员和执行主管人员,数据仓库解决方案解决从数据库中获取信息的问题。,什么是数据仓库解决方案？,应用价值,时间,1.日常报表2.即席查询3.分析4.数据挖掘,专题应用,1234,数据仓库应用类型,数据仓库应用,数据仓库系统体系架构,Relational,Package,Legacy,Externalsource,DataCleanTool,SourceData,DataStaging,WareHouseAdmin.Tools,EnterpriseDataWarehouse,DataExtraction,Transformationandload,Datamart,Datamart,Enterprise/CentralDataWarehouse,RDBMSROLAP,RDBMS,DimensionModelingConformeddimension&factIncludingatomic&aggregate,ArchitectedDatamarts,CentralMetadata,LocalMetadata,LocalMetadata,数据仓库/商务智能应用成功的关键,做什么，怎么做？数据仓库性能,Sybase&Partner专业服务数据仓库顾问咨询,SybaseIWS方法学,ERDesignToolImpactAnalysisMetadataManagement,SybaseIndustryWarehouseStudio打包的数据仓库基础平台概述,业务模型,物理模式,元数据,ETL工具,例子报表算法,ETLToolMetadataExchangeSmartETLMaps(Future),SQLTemplatesCognosBusinessObjectsMicroStrategy,BusinessModelsfocusedonKeyIndustryEvents,Enterprise-wide,StarSchema-baseddesign,IWS产品介绍,ImplementationProtocol,SQLSampleReports,SybaseIndustryWarehouseStudio分析型应用框架,Time,资源,搜集需求理解业务线设计模式ETL模板构造分析需求实施测试,用户反馈精练测试,第二代仓库,典型的数据仓库项目从这里开始,SybaseIWS提供的时间上的价值快速启动数据仓库项目,搜集需求理解业务线设计模式ETL模板构造分析查询实施测试,第一代仓库,IWS节省3到6个月,更多的价值=更快地访问信息,SybaseIndustryWarehouseStudioValueProposition回顾,预先建立的业务和物理模型优化了项目进度的安排和加快了对数据的访问基于经过验证的实施经验和行业经验设计和方法论是可扩展/可定制的,安全,企业范围数据库独立面向行业集成的模型和基础平台,灵巧,节省资源一半的投入节省时间更快的实施节省资金降低成本,节省,数据仓库系统体系架构,Relational,Package,Legacy,Externalsource,DataCleanTool,SourceData,DataStaging,WareHouseAdmin.Tools,EnterpriseDataWarehouse,DataExtraction,Transformationandload,Datamart,Datamart,Enterprise/CentralDataWarehouse,RDBMSROLAP,RDBMS,DimensionModelingConformeddimension&factIncludingatomic&aggregate,ArchitectedDatamarts,CentralMetadata,LocalMetadata,LocalMetadata,AdaptiveServerIQMultiplex是专门为满足数据仓库和商务智能设计的高性能的关系数据库系统。IQMultiplex的主要特点是：高可扩展性支持数以千计的并发用户存取TB级的数据。突破性的速度闪电般的查询速度，比传统RDBMS快10100倍以上。无限的灵活性支持任意类型的即席查询。最低的拥有总成本高效的数据压缩存储，达到30%60%；简单的维护和管理。,集成的主要产品,DesignWarehouseArchitect,ManageSybaseASIQM,VisualizeBo、BrioCognosSPSS,Sybase数据仓库相关产品集的构成,Relational,Package,Legacy,Externalsource,DataCleanTool,SourceData,DataStaging,WareHouseAdmin.Tools,EnterpriseDataWarehouse,DataExtraction,Transformationandload,Datamart,Datamart,Enterprise/CentralDataWarehouse,RDBMSROLAP,RDBMS,RDBMS,StarSchema,ArchitectedDatamarts,CentralMetadata,LocalMetadata,LocalMetadata,PowerCenterPowerMart,SybaseIQM,SybaseIQM,Brio/BO,PowerMart,WarehouseArchitect,WCC,Cognos,设计:成功的关键,数据库的设计对数据仓库系统的整体性能、装载和建立索引的时间以及数据量的增长等的影响超过任何其它方面。,数据仓库设计,在支持分析和决策的查询环境中，使业务用户可以访问，理解和利用数据以业务用户理解和运用信息的方式组织数据可预见的查询方式基于时间的汇总的数据向下/上的钻取（Drill-down/drill-up）,多维模型设计,传统的数据建模方法(如ER模型)可能非常复杂且不易理解按照最终用户的想法定义信息(以查询为中心建模)Star(星型),Snowflake(雪花型)，Constellation(星座型)，Snowstorm(雪暴型)Facts(事实)：可度量数据，如数量、价格Dimensions(维)：用于分类Fact的详细数据,GroceryTransaction,StoreNumber,TransactionDate,Customer,Product,Quantity,Amount,Customer,Customer,FromDate,ToDate,FirstName,LastName,Address1,Address2,Address3,City,State,Country,PostalCode,Time,TransactionDate,Store,StoreNumber,StoreName,City,State,Country,Telephone,Product,Product,Description,Category,FactTable,DimensionTables,DimensionTables,多维模型:星型模式,GroceryTransaction,StoreNumber,TransactionDate,Customer,Product,Quantity,Amount,Customer,Customer,FirstName,LastName,Address1,Address2,Address3,City,State,Country,PostalCode,CustomerCategory,Time,TransactionDate,Store,StoreNumber,StoreName,City,State,Country,Telephone,Region,Product,Product,Description,Category,ProductCategory,ProductCategory,Description,Region,Region,Description,SalesPeriod,PeriodIdentifier,SalesPeriod,FromDate,ToDate,CustomerCategory,Category,CustomerCategory,为了避免数据冗余,用多张表来描述一个复杂维在星型模式的基础上,构造维表的多层结构,多维模型:雪花模式,GroceryTransaction,StoreNumber,TransactionDate,Customer,Product,PurchaseQuantity,Amount,Customer,Customer,FirstName,LastName,Address1,Address2,Address3,City,State,Country,PostalCode,CustomerCategory,Time,TransactionDate,Store,StoreNumber,StoreName,City,State,Country,Telephone,Region,Product,Product,Description,Category,ProductLine,SalesPeriod,PeriodIdentifier,SalesPeriod,FromDate,ToDate,CustomerCategory,Category,CustomerCategory,ProductPurchases,Product,PurchaseDate,SupplyingVendor,PurchaseOrder,UnitQuantity,PurchaseCost,Vendor,Vendor,VendorName,Address1,Address2,Address3,City,State,Country,PostalCode,ProductInventory,Product,WarehouseLocation,QuantityOnHand,QuantityBackOrdered,Warehouse,Warehouse,Address1,Address2,Address3,City,State,Country,PostalCode,具有多个事实表,多维模型:星座模式,GroceryTransaction,StoreNumber,TransactionDate,Customer,Product,PurchaseQuantity,Amount,Customer,Customer,FirstName,LastName,Address1,Address2,Address3,City,State,Country,PostalCode,CustomerCategory,Time,TransactionDate,Store,StoreNumber,StoreName,City,State,Country,Telephone,Region,Product,Product,Description,Category,ProductLine,ProductCategory,ProductCategory,Description,Region,Region,Description,SalesPeriod,PeriodIdentifier,SalesPeriod,FromDate,ToDate,CustomerCategory,Category,CustomerCategory,PromotionPeriod,PromotionId,Promotion,FromDate,ToDate,ProductLine,ProductLineID,Description,ProductPurchases,Product,PurchaseDate,SupplyingVendor,PurchaseOrder,UnitQuantity,PurchaseCost,Vendor,Vendor,VendorName,Address1,Address2,Address3,City,State,Country,PostalCode,ProductInventory,Product,WarehouseLocation,QuantityOnHand,QuantityBackOrdered,Warehouse,Warehouse,Address1,Address2,Address3,City,State,Country,PostalCode,具有多个事实表与多层维表,多维模型:雪暴模式,数据模型中的事实和维度,事实和维的概念对应于:数据仓库数据库中的数据模型对象星型模式（Starschema）DSS/OLAP系统中的数据模型对象多维模型（Multidimensionalmodel）,星型模式-StarSchema,多维模型-MultidimensionalModel,数据仓库设计工具WarehouseArchitect,为数据仓库的设计提供三大功能：多维建模度量、维、属性事实表，维表维层次表，事实层次表设计向导聚合（AggregationWizard）分片（PartitioningWizard）逆向工程数据源优化代码生成目标数据仓库引擎（IQM，RDBMS)OLAP分析环境,WarehouseArchitect,WarehouseArchitect的支持范围,数据仓库设计-小结,WarehouseArchitect对数据仓库设计过程的每一步都提供支持：数据源中的元数据导入。设计和优化数据仓库的数据模型（星型模式/多维模型）。与抽取、转换工具对接，实施数据移动。基于数据仓库模型，为前端DSS/OLAP工具生成所需的数据立方体。为设计过程的每一步生成文档和报告。,数据存储、管理,挑战数据规模查询性能装载速度易于管理存取访问,成功的关键快速，高效数据存储技术出色的查询性能-特殊的索引技术，并行查询可伸缩性-GB到TB级易于管理-方便，灵活，GUI存取访问-数据随时可用,数据管理,解决的方案通用的关系数据库系统专门的数据仓库服务器SybaseIQM专门为数据仓库/数据集市设计的关系型数据库专门针对OLAP/DSS而优化的索引和查询处理技术,AdaptiveServerIQM,数据存储：AdaptiveServerIQM,垂直存储技术(VerticalPartitioning)无处不索引(IndexEVERYWHERE)专利的BitWise索引技术跨越Bitmap的限制多种索引类型：FP,LF,HNG,HG,CMP,WD低级数的限制从100扩充到1000数据压缩(通常达到原始数据的70-75%)预连接的索引提供额外的显著提高性能手段(JoinIndex)支持任意设计模式星型、雪花、雪暴、星座模式普通关系模式支持任意加载方式文件、内部数据、外部数据库直接加载开放的接口,传统RDBMS,RelationalTable,TypicalRDBMS数据按行存储数据与索引分开存放很少的索引类型-B-树普通关系数据库为OLTP系统进行优化,计算“NY”州A类商店的平均销售额,当表的记录数从几万条变为千万和上亿条时，传统RDBMS技术面对的问题:表扫描的性能极端低下冗余设计代价高昂、查询读取的无效字段过多低级数类型数据上索引的失效普通索引加载和空间代价，造成不能任意建造即席查询的SQL顺序对性能有显著影响数值型比较和运算，无恰当手段加速处理,传统RDBMS不适合数据仓库,IQM的特殊存储方式-垂直存储（按列存储）,SybaseIQM:数据是按列存储的，而不是按行存储,好处:只存取查询所需的数据数据类型是一致的，因而可以很容易被压缩数据库易于修改和管理,SybaseIQM:只读完成查询所涉及到的列,计算在纽约的“A”类商店的平均销售额,IQM的特殊存储方式-垂直存储（按列存储）,“HowmanyMALESareNOTINSUREDinCALIFORNIA?,GenderMMFMM-,800Bytes/Row,10MROWS,StateNYCACTMACA-,RDBMS,InsuredYYNYN,10MBitsx3col/816KPage,=235I/Os,800Bytesx10M16KPage,=500,000I/Os,基本上只能使用表扫描查询过程读取了太多的无效数据,IQM,Example:I/O的明显减少,IQM的索引特点,索引即是数据没有索引和数据的分别任何一列可以建立多个索引系统保证至少会存在一个索引（FP）索引的选择和设计主要基于：数据的级数（离散值的个数）在查询中的使用方式和SQL语句的顺序无关,索引的种类,FastProjection(FP)数据压缩存储根据数据的特点会自动使用三种方式中的一种LowFast(LF)Bitmap索引HighNonGroup(HNG)Bit-wise索引HighGroup(HG)G-Array(包括一个改进的B-tree)Compare(CMP)列比较Word(WD)字符串查找,FP索引有三种内部形态,根据数据级数特征，IQ自动选择FP中最合适的一种表现形式If级数65536FPindexIf级数256FFPIndex(Fast-FastProjection)If级数Between256and65536FFFPIndex(Fast-Fast-FastProjection),FP形式1：FPIndex,该列的级数超过65536原始数据在磁盘上压缩存储,FP形式2：FFPIndex,列级数,7,高级数Bit-Wise索引：HNG,Salesinbinaryform,8bit,4bit,2bit,1bit,0,1,1,0,1,0,0,1,0,1,0,1,1,0,1,1,1,0,0,1,0,0,1,1