新一代BI 决方案

微软新一代BI解决方案 王颖微软华南区 议程 数据仓库BI解决方案典型架构 微软商业智能平台构建于您所熟悉的工具 4 数据和商业智能平台分析服务报表服务主数据服务集成服务数据挖掘数据仓库 最受欢迎的办公平台 业务协作平台 数据和商业智能平台 业务协作平台仪表盘和平衡积分卡Excel服务基于Web的表单和工作流协作搜索内容管理关键业务数据整合Sharepoint中的PowerPivot 最受欢迎的办公平台自助数据访问和分析数据钻取和交叉分析预测分析图形化展现图表互动 SQLServer回顾 年收益 全球第二 出货量 全球第一 赢得基础指标 唯一具备TPC E指标的产品 企业级就绪 TPC H 1forprice perf 1TB 3TBnon clustered 1perf 1TB TPC E 1oneverything 微软已经将它的SQLServer扩张到上层主流的企业当中 随着SQLServer2005的推出 这种趋势在不断向前发展 TheMagicQuadrantiscopyrightedSeptember2008byGartner Inc andisreusedwithpermission TheMagicQuadrantisagraphicalrepresentationofamarketplaceatandforaspecifictimeperiod ItdepictsGartner sanalysisofhowcertainvendorsmeasureagainstcriteriaforthatmarketplace asdefinedbyGartner Gartnerdoesnotendorseanyvendor productorservicedepictedintheMagicQuadrant anddoesnotadvisetechnologyuserstoselectonlythosevendorsplacedinthe Leaders quadrant TheMagicQuadrantisintendedsolelyasaresearchtool andisnotmeanttobeaspecificguidetoaction Gartnerdisclaimsallwarranties expressorimplied withrespecttothisresearch includinganywarrantiesofmerchantabilityorfitnessforaparticularpurpose ThisMagicQuadrantgraphicwaspublishedbyGartner Inc aspartofalargerresearchnoteandshouldbeevaluatedinthecontextoftheentirereport TheGartnerreportisavailableuponrequestfromMicrosoft SOURCE Gartner Inc MagicQuadrantforInformationAccessTechnology byWhitAndrews September2 2009 GartnerMagicQuadrantforBusinessIntelligencePlatforms 2011 Microsoftisintheleadersquadrant BusinessIntelligence 单机高性能SQLServer2008R2TPC性能指标 SQLServer的性能以8CPU64Core的配置直接击败IBMP59532CPU小型机 成本仅仅是小型机的1 8 物理空间占用只有1 5 SQLServer2008R2全能的数据平台 动态开发 超越关系型数据库 BI分析平台 企业级数据平台 移动设备和桌面设备 EntityDataModel 服务 支持云计算 服务器 SQLServer内置产品 SQLServer不仅仅是数据库很多客户买SQL 不一定用数据库的功能 12TBCube 5TBCube 美国农业部GIS库50TB 全球第二食品商 意大利最大银行 北美最大银行之一40TB 500并发用户 韩国最大电信营运商800并发 全球第二大医疗机构 风云三号卫星GIS系统50TB SQLServer数据库企业级案例 全球最大的案例1000TB天文数据库数据库1000TBMyspace数据库大型交易量案例意大利最大银行50TB 每秒3000笔交易纳斯达克股票交易系统 每秒50000笔交易欧洲最大的游戏网站BWIN 每秒30000笔交易 持续数据服务可靠的数据平台 非计划宕机 计划性宕机 可测数据响应数据压缩 节省存储成本可观地压缩提升查询性能大幅度地降低I O开销 只是略微增加CPU的计算量更好的缓存命中率达到2到7倍的压缩比独立于其它功能例如 索引 ISVBenchmarkResults 50 80 可测数据响应资源调控器 能够依据应用程序名 用户名等区别不同工作负荷可设置每个请求的资源分配限制 最大内存百分比最大CPU时间最大请求数目资源使用监视 SQLServer 管理任务工作负荷 备份 管理工作 报表工作负荷 OLTP工作负荷 事务处理工作 企业分析报表 业务数据报表 高 AcceleratingDataWarehousing SQL2012列存储 Apollo 数据的交互式体验接近实例响应时间大数据集即席查询设置简便不在需要汇总表 索引视图 OLAP多维数据集设置 创建和维护少量的索引减少手动优化查询的需要低TCO减少人力成本底硬件成本仅从磁盘提取需要的列减少IO更佳的缓冲区命中率 列存储性能提升实例 1TBTPC DS数据库catalog sales事实表 包含14 4亿行数据32逻辑处理器 256GB内存Warmstart查询语句 如右边所示 性能示例 SELECTw city w state d year SUM cs sales price AScs sales priceFROMwarehouse catalog sales date dimWHEREw warehouse sk cs warehouse skandcs sold date sk d date skandw statein SD OH andd yearin 2001 2002 2003 GROUPBYw city w state d yearORDERBYd year w state w city Tier1EnterpriseDataWarehouseApplianceOfferingHighscalabilityfrom10sto100softerabytesHighperformancethroughMPPsystemFlexibilityandChoiceMultiplehardwarevendors HPandDellChoiceofdeploymentoptionsthroughdistributedarchitectureMostComprehensiveSolutionCompletedatawarehousesolutionspanningdesktop enterprisedatawarehouse EDW anddatamartsDeepintegrationwithMicrosoftbusinessintelligence BI ComprehensivetoolsetforBI ETL MDM andstreamingdataConnectivitytonon MicrosoftBIandETLproducts Microstrategy BusinessObjectsandInformaticaInteroperabilitywithHadoopthroughwithnewHadoopconnectorsReducedriskthroughpretestedconfigurations SQL2008R2PDW ParellalDataWarehouse 并行数据仓库 ControlRack DataRack SQLServerMPPDWArchitecture ControlNodeActive Passive LandingZone Configuration Monitoring Backup ComputeNodes ClientDrivers ETLLoadInterface CorporateBackupSolution CorporateNetwork PrivateNetwork SpareNode IndustryStandardSANStorageDistributedDB MicrosoftClusterServer ApplianceModelBalancedarchitectureTunedforDWworkloadsBuiltinreliability nosinglepointoffailureEaseofdeployment 1 2 3 4 N 10000亿Rows 10000万 73 049 1 92Million 1 902 2 500 502 000 性能测试 150 Terabytes 性能测试 查询类型CacheflushedInnerjoins 性能测试结果从1万亿条记录的交易表中 11秒内返回结果集62万汇总记录 报表Retailer day partanalysisSales Time Date Prodtype 企业级数据整合工具高性能支持复杂数据流程设计支持各类复杂数据源设计开发特性可视化数据流程设计动态调试 断点自定义任务 转换 数据源集成特性与数据挖掘紧密集成支持WebServices XML 与BI应用紧密集成自身能够作为数据源再度利用 SSISPerformanceDesignOverview 1GbEthernetconnections 2GbFiberChannel SourceserversrunSSIS SourcedataEMCCX600 Sourceservers UnisysES3220L2socketseachwith4coreIntel2GHzCPUs4GBRAMWindowsServer2008SQLServer2008 每小时2TB数据迁移性能 其他对ETL的支持在SQLServer中实现EIM 企业信息管理 基于知识的数据清理和匹配独立 SSIS集成 在SQLServer中直接发现起源和关系与SSMS集成 用ExcelUI来管理数据和维度快速 容易加载数据 集成部署和管理改进用户体验 主数据服务 数据质量服务 集成服务 影响分析 OLAP SQLServer分析服务SSAS 在线分析处理 OnlineAnalyticalProcessing 由EFCodd在1994年首次提出广义的定义与一些早期术语基本相同 例如 决策支持 商业智能 执行信息系统OLAP 多维数据库 AnalysisServicesHigh levelArchitecture Dashboards RichReports BIFrontEnds Spreadsheets Ad HocReports AnalysisServices Cache SQLServer Teradata OracleDB2 LOB DW Datamart XML AorODBO 同时支持ROLAP MOLAP HOLAP多种分析技术 MultipleDataSources DSV DSVcancontaintablesdrawnfrommultipleheterogenousdatasourcesACubeisbasedononlyoneDSV QuotaCustomerIDQuantity Primary datasourcemustbeSQLServerOLEDBMicrosoft SQLServer 7 0 Microsoft SQLServer 2000 andMicrosoft SQLServer 2005 Oracle 8 0 9 0 10 0 IBMDB2 8 1 NCRTeraData 4 1 5 0 Microsoft Jet 4 0 ManagedProvidersSQLServerOracle Cube 层次结构 翻译 SupportsglobalenterprisesAllowstranslationsofMetadataandData AdvancedAnalytics 主动缓存别 ProactiveCaching 对于动态变化的数据实现丰富的商业智能体验兼有关系数据库和多维数据库优点OLAP性能关系数据库实时性实现透明的分析服务分析服务成为高性能缓存区 Process多维数据集 不再需要MOLAP ROLAP以及HOLAP的区分不再重要 AnalysisServices SQLServer实时BI MOLAPcache MDX UDM NewVersion SilenceInterval Latency RDBMS 1 January February March2000Sales Client Server 2 Quarter12000Sales 3 Quarter11999Sales 1 January February March2000Sales 3 Quarter11999Sales ClientCalculates OnlyQuarter11999NeededFromServer IntelligentCaching 什么是MDX MDX MultiDimensionalExpressions是Microsoft Hyperion等公司共同研究的标准是所有OLAP高级分析功能的核心 MDX的两个职能 MDX查询语句类似SQL查询客户端应用程序必须使用的技术返回完整的结果报表MDX表达式多维表达式 类似spreadsheet表达式定义商务逻辑用于定义计算成员以及更多 MDXQuery SELECT Time 1997 Q1 Time 1997 Q2 Time 1997 Q3 Time 1997 Q4 ONCOLUMNS Product ProductFamily Drink Product ProductFamily Food Product ProductFamily Non Consumable ONROWSFROM Sales WHERE Measures StoreSales SQL2008数据挖掘工具 可视化的数据挖掘工具与向导多种种数据挖掘算法集成Microsoft关联算法Microsoft聚类分析算法Microsoft决策树算法MicrosoftNaiveBayes算法Microsoft神经网络算法 SSAS Microsoft顺序分析和聚类分析算法Microsoft时序算法Microsoft线性回归算法Microsoft逻辑回归算法行业标准的领导者DMX XML AOffice2007的数据挖掘插件增强终端用户的使用体验数据挖掘面向大众 TextMining 42 基于多维分析的BI展现技术 企业级报表平台 报表服务SSRS更加丰富的报表制作 ReportServer XMLWebServiceInterface SQLServerCatalog ReportEngine Scheduling Delivery Rendering DataProcessing Security ReportingServices 报表制作扩展 最新报表组件简介 Tablix Table Matrix 表格和矩阵的强强联合超强可视性图表仪表最新的报表设计器新增数据区域增强的对话框行快照组区域 提供可视化与灵活设计满足任何报表设计需求 SQLServer2008报表服务 SteppedorBlockgrouping Pivot CustomSubtotals Non pivotcolumns Nestedcontrols Multi Pivot CustomHeaders AuthoringReportsManytypesoflayouts SQLReportBuilder HTML CSV TIF XML ATOM MicrosoftWord MicrosoftExcel AcrobatPDF DeliveringReportsManyrenderingtargets ReportCatalog ReportingData ScalingOutArchitecture OverallArchitecture RSScaleOutDeployment ReportServer POWERPIVOTFOREXCEL REPORTBUILDER3 0 面向普通用户 赋与最终用户最大灵活性 OuranalystscandoanythingwithExcel sointegratingExcelasafrontendforourBIinfrastructureisextremelypopular Itmakesiteasiertoexplorethehugewealthofdatawehaveinour17 terabytedatawarehouse DanZerfas VicePresidentofSoftwareDevelopment 直接在Excel中分析来自内网和外网的数据在Excel中直接分析和总结大量的数据 100millionrows 使用熟悉的MicrosoftOffice界面制作报表 PowerPivot简介 PowerPivoting 处理海量数据只需轻点鼠标 用户就可以针对自己的业务数据 创建和发布直观 交互的自助式分析应用 Excel中的PowerPivot SharePoint中的PowerPivot 直观的创作和发布 Excel2010和Excel服务交互式的切片器帮助用户 直接在Excel2010的表格中 或者在浏览器中利用PowerPivotforSharePoint和Excel服务 从多个方向分析数据 嵌入式的交叉分析 Crescent赋予用户权利 Crescent是一个交互式的数据查看及可视化展现体验的工具 微软管理驾驶舱解决方案MicrosoftManagementCockpitSolution 一堆所谓BI的报表生成器 57 业务人员和领导有耐心理解或学习操作吗 WhatisManagementCockpitSolution领导驾驶舱是什么 领导驾驶舱是一个为高层管理层提供的 一站式 One Stop 决策支持的管理信息中心系统 它以驾驶舱的形式 通过各种常见的图表 速度表 音量柱 预警雷达 雷达球 形象标示企业运行的关键指标 KPI 直观的监测企业运营情况 并可以对异常关键指标预警 和挖掘分析 它能将企业管理决策提升到一个新的高度 最大化地发挥高层经理了解 领导和控制公司业务的管理室 即驾驶舱 59 让BI不只是BI 还可作为集团形象及品牌的信息展示 一鱼两吃 微软Silverlight技术平台让你完全可以如此掌控全局 60 桌面工具让您不用进系统也能同步玩转BI 可以设置更新的频率 还可显示如邮件通知一样的自动讯息 61 联机转出ppt让您简报与系统同步数据不失真 联机模式使您的ppt也能与系统互动及数据同步更新 62 拖拉式沙盘推演助您打好 预算仗 63 鱼骨图直接展示出层级关系 64 主题讨论及涂鸦使会议效率更高不致无疾而终 内容还可附加Office文件 65 应用W