数据仓库解决方案概述

SybaseDW/BusinessIntelligenceSybase中国有限公司Sybase数据仓库解决方案电信行业议程数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具“数据仓库是在企业管理和决策中面向主题的,集成的,与时间相关的和不可修改的数据集合”BillInmon数据仓库定义OLTP系统财务系统业务系统计费系统5-10年过去详细数据当前详细数据轻度汇总数据高度汇总数据数据集市用户分析网络资源分析数据仓库数据仓库/决策分析系统网管系统数据仓库是完全不同的数据库系统操作(业务)系统特性事务处理性能是第一位的支持日常的业务事务驱动数据是当前的并在不断变化存储详细数据(每一个事件或事务)面向应用针对快速预定义的事务优化设计可预见的使用模式支持办事人员或行政人员信息(分析)系统特性

支持长远的业务战略决策分析驱动数据是历史的数据是静态的，除数据刷新外数据反映某个时间点或一段时间数据是汇总的面向主题优化是针对查询而不是更新支持管理人员和执行主管人员DW/BI在电信行业的应用-How?立足于现有的OLTP系统当前数据和历史数据集中整合之后，构建一个庞大的数据仓库面向业务分析和决策层运用多维分析方法，充分挖掘数据中的信息应用DW/BI的三步曲数据抽取数据管理数据分析INFORMATION信息数据仓库(DataWarehouse)是一种专为联机分析应用和决策支持系统提供数据源的结构化的数据环境数据仓库要解决的问题是从数据库中获取信息的问题。信息INFORMATION

DW/BI在电信行业的应用-小结

什么是数据仓库(DataWarehouse)？业务系统外部数据财务计费网管InformationAccessInfrastructure通用信息访问、处理层（基础数据库）企业级数据仓库GlobalCatalog集成的信息管理设计和元数据维护决策支持应用DataMartsDataMartsDataMartsDataMartsDataMartsDataMarts数据仓库的实际构造示意图议程数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具Sybase数数据仓库库相关产产品的技技术构成成RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMSRDBMS,StarSchemaArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadataSybase数数据仓库库相关产产品介绍绍一个集成成化的产产品集集成的主主要产品品IntegrateEnterpriseConnectReplicationServerPowerMartDesignWarehouseArchitectManageSybaseASIQVisualizeBrioCognosAdministerWarehouseControlCenterWarehouseControlCentre议程数据仓库库解决方方案概述述Sybase数据仓库库技术解解决方案案数据仓库库设计工工具抽取、转转换、清清洗和装装载工具具数据存储储、管理理服务器器数据分析析和展现现工具数据字典典（元数数据）的的管理工工具设计:成成功的的关键数据库的的设计对对数据仓仓库系统统的整体体性能、、装载和和建立索引引的时间间以及数数据量的的增长等等的影响响超过任何其它它方面。。数据仓库库设计工工具WarehouseArchitect为数据仓仓库的设设计提供供三大功功能：多维建模模度量、维维、属性性事实表，，维表维层次表表，事实实层次表表设计向导导聚合（AggregationWizard））分区（PartitioningWizard）逆向工程程数据源源优化代码码生成目标数据据仓库引引擎（IQ，RDBMS)OLAP分析环境境Timeidentifier=TimeidentifierProductidentifier=ProductidentifierCustomeridentifier=CustomeridentifierStoreidentifier=StoreidentifierCustomerCustomeridentifier<pk>doubleCustomernamechar(30)SalesFactProductidentifier<pk,fk>doubleTimeidentifier<pk,fk>doubleCustomeridentifier<pk,fk>doubleStoreidentifier<pk,fk>doubleSalestotalrealProfitsrealStoreStoreidentifier<pk>doubleStorenamechar(50)TimeTimeidentifier<pk>doubleDatetimestampMonthchar(50)QuarterdoubleYeardoubleProductProductidentifier<pk>doubleProductdescriptionchar(80)设计:WarehouseArchitect议程数据仓库库解决方方案概述述Sybase数据仓库库技术解解决方案案数据仓库库设计工工具抽取、转转换、清清洗和装装载工具具数据存储储、管理理服务器器数据分析析和展现现工具数据字典典（元数数据）的的管理工工具数据抽取取、转换换、清洗洗、集成成挑战多个、多多种异构构数据源源硬件，OS，RDBMS，文文件数据不规规范，需需要做大大量的清清洗和整整合转换规则则复杂，，繁多繁琐的日日常性工工作，占占80%工作量量数据质量量保证数据增量量抽取抽取工作作过程化化，自动动化数据抽取取、转换换、清洗洗、集成成成功的关关键支持多个个、多种种异构数数据源轻松方便便地设计计数据的的清洗，，转换和和整合规规则日常事务务性工作作自动化化完成有完善的的数据质质量保证证体系有完备的的数据增增量抽取取直观，面面向过程程化设计计；自动动化的执执行开放性，，可扩展展性，易易于实施施和维护护数据抽取取、转换换、清洗洗、集成成解决的方方案手工编程程实现使用工具具设计和和实施PowerMart/PowerCenter开发环境境，一系系列工具具用于设设计、执执行和维维护数据的抽抽取、转转换和装装载流程程抽取转换换引擎(服务器器)，自自动执行行集成:PowerMartSourceDatabasesTargetDatabaseDesignerServerManagerRepositoryManagerWarehouseDesignerMappingDesignerTransformationDeveloperSourceAnalyzerRepositoryServerEngineSybaseInformixOracleMicrosoftIBM/UDBODBCDB2SAPPeopleSoftVSAMFlatFilesWebLogsXMLIBMMQGatewaysSybaseInformixOracleMicrosoftODBCIBM/UDBSAPBWPeopleSoftEPMFlatFilesGateways议程数据仓库库解决方方案概述述Sybase数据仓库库技术解解决方案案数据仓库库设计工工具抽取、转转换、清清洗和装装载工具具数据存储储、管理理服务器器数据分析析和展现现工具数据字典典（元数数据）的的管理工工具数据存储储、管理理挑战数据规模模查询性能能装载速度度易于管理理存取访问问成功的关关键快速，高高效数据据存储技技术出色的查查询性能能-特特殊的的索引技术，并并行查询询可伸缩性性-GB到到TB级级易于管理理-方方便，，灵活，，GUI存取访问问-数数据随随时可用用数据管理理解决的方方案通用的关关系数据据库系统统专门的数数据仓库库服务器器SybaseIQ专门为数数据仓库库/数据据集市设设计的关关系型数数据库专门针对对OLAP/DSS而而优化的的索引和和查询处处理技术术AdaptiveServerIQ数据存储储：AdaptiveServerIQ无处不索索引(IndexEVERYWHERE)数据压缩缩(通常常达到原原始数据据的70-75%)垂直存储储技术(VerticalPartitioning)专利的BitWise索引引技术跨跨越Bitmap的限限制多种索引引类型：：FP,LF,HNG,HG低级数的的限制从从100扩充到到1000预连接的的索引提提供额外外的显著著提高性性能手段段(JoinIndex)支持任意意设计模模式星型、雪雪花、雪雪暴、星星座模式式普通关系系模式支持任意意加载方方式文件、内内部数据据、外部部数据库库直接加加载开放的接接口计算“NY”州A类商店的的平均销售额额当表的记录录数从几万万条变为千千万和上亿亿条时，传统RDBMS技术术面对的问问题:表扫描的性性能极端低低下冗余设计代代价高昂、、查询读取取的无效字字段过多低级数类型型数据上索索引的失效效普通索引加加载和空间间代价，造造成不能任任意建造即席查询的的SQL顺顺序对性能能有显著影影响数值型比较较和运算，，无恰当手手段加速处处理传统RDBMS不适适合数据仓仓库IQ的特殊殊存储方式式-垂直存存储（按列列存储）SybaseIQ:数据是按列列存储的，，而不是按按行存储好处:只存取查询询所需的数数据数据类型是是一致的，，因而可以以很容易被被压缩数据库易于于修改和管管理SybaseIQ:只读完成查查询所涉涉及到的列列计算在纽约约的“A””类商店的平均销售售额好处:

无须使用其他的技术，SybaseIQ就可以减少I/O超过90%IQ的特殊殊存储方式式-垂直存存储（按列列存储）“HowmanyMALESareNOTINSUREDinCALIFORNIA?GenderMMFMM-800Bytes/Row10MROWSStateNY

CA

CTMACA-RDBMSInsuredY

YNYNM Y CAM N CAF Y NYM N CA1243GenderInsuredState++11011101010110MBits10MBitsx3col/816KPage=235I/Os800Bytesx10M16KPage=500,000I/Os基本上只能能使用表扫扫描查询过程读读取了太多多的无效数数据IQExample:I/O的的明显减减少IQ的索引引特点索引即是数数据没有索引和和数据的分分别任何一列可可以建立多多个索引系统保证至至少会存在在一个索引引（FP））索引的选择择和设计主主要基于：：数据的级数数（离散值值的个数））在查询中的的使用方式式和SQL语语句的顺序序无关索引的种类类FastProjection(FP)数据压缩存存储根据数据的的特点会自自动使用三三种方式中中的一种LowFast(LF)Bitmap索索引HighNonGroup(HNG)Bit-wise索索引HighGroup(HG)G-Array(包括一个个改进的B-tree)FPIndex––normalFP级数（取值值个数）>65536数据被压缩缩存储ColorRedBlueGreenRedFPIndex-FFP级数<256内建一个1-byte的参照照表DataValuesRedBlueGreenRedColorRedBlueGreen12311123332LookupTableDataLFIndex传统的BitMap索索引级数小于1000可以唯一使用的可能能性JoinsGroupbyMIN,MAX,SUM,AVGfunctionsWhereclausepredicatesEquality/Inequality,Ranges,INlists...冗余设计时时数据量比比想象中要要小得多每一个取值值都有一个个相应的位位可以适应新新的取值出出现和行的的增加查询：selectcount(*)fromcustomerswherestate=‘‘AL’LFIndexHNGIndexBit-WiseIndex数据按照二二进制存储储垂直分布和和处理Sybase的专利利技术cannotbeusedwithcertaindatatypes使用最佳范范围rangesearchesforhighcardinalitycolumns运算(sumandaveragefunctions)适合大量二二进制的存存储数据垂直分分片–即即每一个个位都可以以在内部被被独立操作作由于肯定存存在大量的的位同时为为1或0，，因此IQ在内部处处理时会自自动做数据据压缩HNG-HighCardBit-WiseIndexSalesinbinaryform8bit4bit2bit1bit01101001010110111001001101111100Salesinbinaryform8bit4bit2bit1bit01101001010110111001001101111100HGIndex在Bit-Wise的基础上上增加一个个B-Tree，并并保证树在在加载时不不会重建最佳使用场场合：JoinsSelectDistinct,CountDistinctGroupByDate Zip State Class Sales3/1 6 NY A 64/1 9 MA A 95/1 5 NY B 56/1 11 CT A 117/1 6 NY B 99/2 3 RI B 38/3 7 CT A 72/2 6 NY A 12110464561,5,8,...10001001突破性的速速度闪电般的快快速查询快速装载无限的灵活活性任何查询任何模式非常经济压缩的数据据存储支持多用户户查询SybaseIQAdaptiveServerIQ12:

专门门设计的数数据仓库服服务器IQ12的的技术参数数Columnlimit-now16,000pertable(upfrom255-GreatforSAS&SPSScustomers)Rowlimit-now281,474,976,710,700(that’s281TrillionRowsandchange)Devicesize-upto128GB(dependingonOS)Devicelimit-now65,524(upfrom2,000)DatabaseSizelimit-8.4PetabytesSybaseIQ真正的的数据仓库库AndyneBrioBusinessObjectsGentiaInformationAdvantageInformationDiscoveryInfoSpaceLinguisticTechnologyTeleranTechnologySeagateSoftwareMathsoftAnyData,AnyTime,AnywhereCognosAdaptiveServerIQ议程数据仓库解解决方案概概述Sybase数据仓库技技术解决方方案数据仓库设设计工具抽取、转换换、清洗和和装载工具具数据存储、、管理服务务器数据分析和和展现工具具数据字典（（元数据））的管理工工具信息生产者者信息消费者者BrioQueryDesignerBrioQueryExplorerBrioQueryNavigatorBrio.InsightBrio.QuickviewBrioEnterpriseServer客户机服务务器Web/Intranet高级用户活跃的分析析人员报表查阅者者信息技术人人员产产品家族BrioEnterprise功功能服务功能服务BrioQuery查询OLAP查查询在线分析(OLAP)报表EIS/脚脚本制图审核两层安全防防护BroadcastServer信息发布作业调度批处理查询询/报表事件驱动处处理报表广播OnDemandServer零管理客户户端Web查询询适应型报表表多层安全防防护集群服务器器支持SSL(安全套接接层加密)OnDemandServerWebServerBrioQueryIQ数据仓库Brio.InsightBrio.QuickviewBrio.FreeViewBroadcastServerEmailServerFileServer数据源-IQ数据仓仓库TransformerImpromptu*.iqd任何数据源源（关系型型、平面型型,数据仓仓库)自动生成PowerCube用户定义的的业务规则则和维度10:1的的数据压缩缩图形化的浏浏览多维数数据完全交互式式的报表探探察PowerPlay:OLAP环境CognosBI产品结构DataWarehousePCDatabaseOracle,Sybase,Informix,SQLServer,ODBCGatewayImpromptu.DBF.DB.DBF,.DB,.XLS,.WKS,.CSVPortfolioTransformerAuthenticator.MDCPowerCubes.PBBPowerPlay.PYH.MDL.IQD.PPR.IMR议程数据仓库解解决方案概概述Sybase数据仓库技术术解决方案数据仓库设计计工具抽取、转换、、清洗和装载载工具数据存储、管管理服务器数据分析和展展现工具数据字典（元元数据）的管管理工具元数据管理：：什么是元数数据提供数据对象象的准确、全全面、一致的的定义：什么是“customer”的定定义，其内容容是什么?提供物理数据据到企业模型型的映射关系系，如：“customernumber”的正确确格式是什么么“productstatus””有哪些取值值?不同系