商业智能（BI）介绍

BI/DWIntroduction,JamesChenPSOSr.Consultant,程序=算法+数据结构,-NiklausWirth,数据结构离散结构线形结构-数组链表栈队列树图,算法空间复杂度时间复杂度,用户,内存中数据结构,物理数据结构,E-R,业务流程,二者相辅相成，不同应用侧重不同,经典业务系统模型,Skillset数据库C+/J2EE/.net,PowerDesignerER_WIN,OO,UML面向过程,OODesignWorkflow,DevelopBusinessTypeModel,IdentifyBusinessInterfaces,IdentifySystemInterfaces&Ops,CreateInitialCompSpecs&Architecture,DiscoverBusinessOperations,RefineInterfaces&Ops,RefineComponentSpecs&Architecture,DefineInterfaceInformationModels,SpecifyOperationPre/Postconditions,SpecifyComponentInterfaceConstraints,BusinessConceptModel,UseCaseModel,BusinessInterfaces,SystemInterfaces,Interfaces,Interfaces,ComponentSpecs&Architecture,ComponentSpecs&Architecture,ComponentSpecs&Architecture,BusinessTypeModel,ArchitecturePatterns,ExistingInterfaces,ExistingAssets,ComponentIdentification,ComponentInteraction,ComponentSpecification,笑一笑,数据仓库初学者：数据仓库与数据库有什么区别？,某专家：一个有仓一个没仓！,BI/DW的引出,统计报表需求数字越来越重要报表越来越多效率越来越差,数据仓库的定义,“数据仓库是在企业管理和决策中面向主题的,集成的,与时间相关的和不可修改的数据集合”BillInmon,数据仓库(DataWarehouse)是一种专为联机分析应用和决策支持系统提供数据源的结构化的数据环境数据仓库要解决的问题是从数据库中获取信息的问题。,影响数据仓库的几个人物,BillInmon-数据仓库RalphKimball-数据仓库工具箱BernardLiautaud-商业智能,OLTP与数据仓库系统,RDBMS关系数据库,SAP/ERP,VSAM主机系统,EXCELWeb/XML,OLTP业务系统,数据仓库系统,BI系统建设方法（1）,直接建立BI应用,KPI指标报表多维分析即席查询数据挖掘,BI系统建设方法（2）,企业数据仓库体系架构,典型物理架构,ETL_DM1,ETL_DM2,BAS_DW1,BAS_DW2,BAS_OP1,BAS_OP2,Bas_sw01,Bas_sw02,Dx_sp01,Dx_sp02,Dx_sp03,元数据管理服务器,BAS_SM1,BAS_SM2,70T!,企业数据仓库的目的,数据整合-建立一个企业统一的信息平台建立统一的业务数据定义建立唯一的统计分析数据源快速访问采用适合企业BI应用的数据组织方式新需求的开发快数据获取的效率快,战略层,底层数据低粒度汇总高粒度汇总,建设数据仓库的主要任务,数据仓库建模ETL前端展现组数据挖掘元数据,数据仓库引擎,NCRTeredataORACLE9以上DB2EEESybaseIQMSSQLServer,维模型的设计,IWS模型的特点,简单视图实例,仓库底层设计考量（一）,慢速变化维问题,快速变化和慢速变化,仓库底层设计考量（二）,粒度问题,一天变化多次,入库时间,仓库中间层设计考量,基于用户标识多个粒度汇总综合各个数据集市效率考虑,仓库集市层设计考量,面向应用报表集市挖掘集市主题集市KPI集市维模型以最细粒度数据为主表加物化视图,数据仓库与数据集市,数据源,CUBE,报表,事实表,维表,维表,维表,维表,数据仓库,事实视图,维视图,维视图,维视图,维视图,业务驱动,数据驱动,数据集市,设计技巧,星型还是雪花？组合代理键慢速变化维维度的不同层次处理聚合表的设计.,ETL过程,源表结构-目标结构工具？自己编码？-业务逻辑的任务已经很大实时任务和批量任务CDC的处理ODS的处理？,BODateIntegratorInformaticaPowerCenterDatastageSagent,数据源,大数据量变化数据关联数据手工数据,抽取时机和最迟到达时间！,数据源考量-大数据量,二十余种清单上万个文件，大小不一一天几十GB的数据,数据源考量-变化数据,实时变化未存历史,数据源考量-关联数据,没有transaction几个文件不一致怎么办？,数据源考量-手工数据,外部录入？OLTP系统？天气社会指标集团客户信息操作型CRM,数据源考量-历史数据更新,修改昨日数据批错价/延迟话单等,ETL,抽取/转换/加载源数据的理解加载时间4小时ETL实现工具Loader汇总（数据库汇总还是文件汇总）调度,ETL-调度,一天几十GB的数据并行度/任务大小/资源/优先级调度清单类（大数据量）-文件的拆分和合并/实时处理业务类（实体之间的关系复杂）-稽合帐务类（数据准确）-验证参数类（变化影响其他实体）-告警/事先处理其他任务月末处理,前端展现,固定报表多维分析即席查询仪表盘数据挖据,BO(CR)Hyperion(Brio)CognosMicrostrategy,仪表盘,OLAP分析,报表，即席查询,固定报表,格式灵活多变CrystalReportMSTRBrioReportNet,多维分析,MOLAP-CognosPowerPlay,HyperionEssbaseROLAP-BOE,MSTRHOLAP-BO-MSOLAP切片旋转切块钻取,OLAP分析,多角度、多层次对同一主题进行分析通过旋转、钻取、切片等技术探察数据旋转：按不同顺序组织各个维，对结果进行考察钻取：在一个维内部沿着从高到低或从低到高的方向考察数据(有上钻和下钻两种)切片：在确定某些维数据的情况下对其他维进行观察有MOLAP、ROLAP、HOLAP三种实现方式,OLAP设计-指标还是维度,即席查询,语义层效率很关键BO语义层,仪表盘,仪表盘、KPI-EPM整合了企业的整个绩效、把告警、报表、分析穿在了一起BOEPMHyperionBPM,数据挖掘,机器学习数理统计数据库预测、特征分析、客户分类SASSPSS,数据挖掘实施的体系结构,元数据管理,什么是元数据？元数据和开发文档有何区别？为什么单单在数据仓库中如此重视元数据？,文档,语音计费,GPRS计费,文档,帐务,文档,结算,营业,文档,文档,客服,文档,MIS,网管,HR,文档,文档,文档,元数据管理(续),业务元数据业务元数据用业务名称、定义、描述和别名来表示数据仓库和业务系统中的各种属性，直接供业务分析人员使用。技术元数据技术元数据描述了数据源、数据转换、抽取过程、加载策略以及目标数据库的定义等。,元数据管理(续),CWM1.0数据源ETL数据仓库数据集市OLAPCUBE,元数据管理(续),能分析什么？WhereUsedDependsOn事先还是事后？自动化修改？,典型的项目组织架构,项目经理,首席业务分析师,ETL