BI商业智能简介

BI/DWIntroductionJamesChenPSOSr.Consultant程序=算法+数据结构--NiklausWirth数据结构离散结构线形结构-数组链表栈队列树图算法空间复杂度时间复杂度用户内存中数据结构物理数据结构E-R业务流程二者相辅相成，不同应用侧重不同经典业务系统模型Skillset数据库C++/J2EE/.netPowerDesignerER_WINOOUML面向过程OODesignWorkflowDevelopBusinessTypeModelIdentifyBusinessInterfacesIdentifySystemInterfaces&OpsCreateInitialCompSpecs&ArchitectureDiscoverBusinessOperationsRefineInterfaces&OpsRefineComponentSpecs&ArchitectureDefineInterfaceInformationModelsSpecifyOperationPre/PostconditionsSpecifyComponentInterfaceConstraintsBusinessConceptModelUseCaseModelBusinessInterfacesSystemInterfacesInterfacesInterfacesComponentSpecs&ArchitectureComponentSpecs&ArchitectureComponentSpecs&ArchitectureBusinessTypeModelArchitecturePatternsExistingInterfacesExistingAssetsComponentIdentification

ComponentInteractionComponentSpecification笑一笑数据仓库初学者：数据仓库与数据库有什么区别？

某专家：一个有仓一个没仓！

BI/DW的引出统计报表需求数字越来越重要报表越来越多效率越来越差数据仓库的定义“数据仓库是在企业管理和决策中面向主题的,集成的,与时间相关的和不可修改的数据集合”

BillInmon数据仓库(DataWarehouse)是一种专为联机分析应用和决策支持系统提供数据源的结构化的数据环境数据仓库要解决的问题是从数据库中获取信息的问题。数据信息INFORMATIONINFORMATIONINFORMATIONINFORMATION影响数据仓库的几个人物BillInmon-《数据仓库》RalphKimball-《数据仓库工具箱》BernardLiautaud-《商业智能》OLTP与数据仓库系统RDBMS关系数据库SAP/ERPVSAM主机系统EXCELWeb/XMLOLTP业务系统数据仓库系统

数据是当前的数据总在实时变化中存储明细数据优化是针对即时更新的事务处理支持日常的业务支持办事人员或行政人员

数据是历史的数据是静态的，除数据刷新外数据是汇总的优化是针对大批量查询而不是更新支持长远的业务战略决策支持决策人员和管理人员面向事务面向决策5-10年数据集市分析型CRM业务指标分析数据仓库BI系统建设方法（1）直接建立BI应用OLTP数据源各种前端应用KPI指标报表多维分析即席查询数据挖掘数据仓库环境业务智能层中央数据仓库数据仓库数据集结数据源公司数据源外部数据源BIW数据集市数据仓库管理子系统数据仓库元数据目录信息访问和引用部件BI系统建建设方方法（（2）企业数数据仓仓库体体系架架构RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMSRDBMSArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadata典型物物理架架构ETL_DM1ETL_DM2BAS_DW1BAS_DW2BAS_OP1BAS_OP2Bas_sw01Bas_sw02Dx_sp01Dx_sp02Dx_sp03元数据据管理理服务务器BAS_SM1BAS_SM270T!企业数数据仓仓库的的目的的数据整整合--建立一一个企企业统统一的的信息息平台台建立统统一的的业务务数据据定义义建立唯唯一的的统计计分析析数据据源快速访访问—采用适适合企企业BI应用的的数据据组织织方式式新需求求的开开发快快数据获获取的的效率率快业务管理层业务操作层战略层层底层数数据低粒度度汇总总高粒度度汇总总建设数数据仓仓库的的主要要任务务数据仓仓库建建模ETL前端展展现组组数据挖挖掘元数据据数据仓仓库引引擎NCRTeredataORACLE9以上DB2EEESybaseIQMSSQLServer维模型型的设设计每个维可以由一个或多个维层次或聚合路径组成Dimension1事实Dimension2Dimension4measure1measure2.....supportiveattributes....Dimension3aggregationpathordimensionhierarchydimensionkey1dimensionkey2.....aggregationlevelsIWS模型的的特点点简单视视图—实例仓库底底层设设计考考量（（一））慢速变变化维维问题题快速变变化和和慢速速变化化仓库底底层设设计考考量（（二））粒度问问题一天变变化多多次入库时时间仓库中中间层层设计计考量量基于用用户标标识多个粒粒度汇汇总综合各各个数数据集集市效率考考虑仓库集集市层层设计计考量量面向应应用报表集集市挖掘集集市主题集集市KPI集市维模型型以最细细粒度度数据据为主主表加物物化视视图数据仓仓库与与数据据集市市数据源源CUBE报表事实表表维表维表维表维表数据仓仓库事实视视图维视图图维视图图维视图图维视图图业务驱驱动数据驱驱动数据集集市设计技技巧星型还还是雪雪花？？组合代代理键键慢速变变化维维维度的的不同同层次次处理理聚合表表的设设计….ETL过程源表结结构--目标结结构工具？？自己己编码码？--业务逻逻辑的的任务务已经经很大大实时任任务和和批量量任务务CDC的处理理ODS的处理理？BODateIntegratorInformaticaPowerCenterDatastageSagent数据源源大数据据量变化数数据关联数数据手工数数据抽取时时机和和最迟迟到达达时间间！数据源源考量量-大数据据量二十余余种清清单上万个个文件件，大大小不不一一天几几十GB的数据据数据源源考量量-变化数数据实时变变化未存历历史数据源源考量量-关联数数据没有transaction几个文文件不不一致致怎么么办？？数据源源考量量-手工数数据外部录录入？？OLTP系统？天气社会指标标集团客户户信息操作型CRM数据源考考量-历史数据据更新修改昨日日数据批错价/延迟话单单等ETL抽取/转换/加载源数据的的理解加载时间间4小时ETL实现工具Loader汇总（数数据库汇汇总还是是文件汇汇总）调度ETL-调度一天几十十GB的数据并行度/任务大小小/资源/优先级调度清单类（（大数据据量）-文件的拆拆分和合合并/实时处理理业务类（（实体之之间的关关系复杂杂）-稽合帐务类（（数据准准确）-验证参数类（（变化影影响其他他实体））-告警/事先处理理其他任务务月末处理理前端展现现固定报表表多维分析析即席查询询仪表盘数据挖据据BO(CR)Hyperion(Brio)CognosMicrostrategy仪表盘OLAP分析报表，即即席查询询固定报表表格式灵活活多变CrystalReportMSTRBrioReportNet多维分析析MOLAP--CognosPowerPlay,HyperionEssbaseROLAP--BOE,MSTRHOLAP--BO--MSOLAP切片旋转切块钻取OLAP分析多角度、、多层次次对同一一主题进进行分析析通过旋转转、钻取取、切片片等技术术探察数数据旋转：按按不同顺顺序组织织各个维维，对结结果进行行考察钻取：在在一个维维内部沿沿着从高高到低或或从低到到高的方方向考察察数据(有上钻和和下钻两两种)切片：在在确定某某些维数数据的情情况下对对其他维维进行观观察有MOLAP、ROLAP、HOLAP三种实现现方式OLAP设计-指标还是是维度性别年龄长途类型通话时段客户数通话时长性别年龄客户数通话时长长途类型通话时长通话时段通话时长

1-2点通话时长即席查询询语义层效率很关关键BO语义层仪表盘仪表盘、、KPI---EPM整合了企企业的整整个绩效效、把告告警、报报表、分分析穿在在了一起起BOEPMHyperionBPM数据挖掘掘机器学习习数理统计计数据库预测、特特征分析析、客户户分类SAS\SPSS数据挖掘掘实施的的体系结结构数据仓库数据挖掘引擎算法数据选择知识库评价修改知识建模分析员领域知识元数据元数据管管理什么是元元数据？？元数据和和开发文文档有何何区别？？为什么单单单在数数据仓库库中如此此重视元元数据？？文档语音计费费GPRS计费文档帐务文档结算营业文档文档客服文档MIS网管HR文档文档文档元数据管管理(续)业务元数数据业务元数数据用业业务名称称、定义