SQL Server 商业智能技术.ppt

SQLServer商业智能技术,微软商业智能和大数据分析（BI/BigData）技术平台框架创新15年,通过实时洞察力促成实时业务,通过内存中列存储让查询提速100倍，实现更大幅压缩,通过内存中OLTP让事务处理提速30倍,内存中分析技术提供更出色的性能,内存中PowerPivotforExcel每秒处理上百万行数据,更快速获得洞察力内存中分析,更快速进行查询内存中数据仓库,更快速完成事务内存中OLTP,微软商业智能和大数据分析（BI/BigData）技术平台框架混合BI平台OnPremiseANd/ORInTheCloud（Azure）,分析服务,Excel,Excel自带高级分析插件withPowerQuery,PowerPivot,PowerMap,PowerView,企业级BIPortalPowerBIforOffice365,报表服务,ExcelWeb服务,自助式BI,多维分析模型,数据挖掘模型,数据集成,主数据服务,数据质量服务,传统数据源,ERP,CRM,LOB,APPS,非关系型数据(半结构化数据),Crawlers,Bots,Devices,Sensors,数据加载,Hadoop,数据仓库,发布,微软商业智能（BI）平台部署简单、灵活、易学易用,技术方案要素、特点和优势,混合BI平台SQLServer数据仓库（DW）SQLServer集成服务（SSIS）SQLServer主数据服务（MDS）SQLServer数据质量服务（DQS）SQLServer分析服务（SSAS）-多维数据模型/Tabular表格模型/数据挖掘SQLServer报表服务（SSRS）Excel高级分析插件：PowerView/PowerPivot/PowerMap/PowerQuerySharepointBIPortal：PowerPivotforSharePoint/ExcelServices/PPS,混合BI平台的需求驱动,混合BI平台（企业内+云计算）,海量数据存储,按需付费IT资源,大数据分析,随时就绪的IT资源,分析服务,Excel,Excel自带高级分析插件withPowerQuery,PowerPivot,PowerMap,PowerView,企业级BIPortalPowerBIforOffice365,报表服务,ExcelWeb服务,自助式BI,多维分析模型,数据挖掘模型,数据集成,主数据服务,数据质量服务,传统数据源,ERP,CRM,LOB,APPS,非关系型数据(半结构化数据),Crawlers,Bots,Devices,Sensors,数据加载,Hadoop,数据仓库,发布,混合BI平台的技术选择,技术方案要素、特点和优势,混合BI平台SQLServer数据仓库（DW）SQLServer集成服务（SSIS）SQLServer主数据服务（MDS）SQLServer数据质量服务（DQS）SQLServer分析服务（SSAS）-多维数据模型/Tabular表格模型/数据挖掘SQLServer报表服务（SSRS）Excel高级分析插件：PowerView/PowerPivot/PowerMap/PowerQuerySharepointBIPortal：PowerPivotforSharePoint/ExcelServices/PPS,内存驻留列存储技术同时支持内存和磁盘内置到RDBMS核心引擎客户收益：10-100倍更快的速度降低设计需求运行在客户现有的硬件平台上轻松升级、轻松部署,数据仓库中的内存驻留技术以行模式进行的数据存储：堆、B-树、键-值,10,”通过使用SQLServer2012内存驻留列存储技术，我们能够在2-3秒钟内提取上亿行记录，而过去这需要大约30分钟时间。”,名古屋银行助理主管AtsuoNakajima,空间使用情况比较10亿行的表和索引使用的空间,快速执行数据仓库查询加速高达10倍或更高无需分离基础表节省空间数据可以被插入、更新或删除简化的管理消除其他索引的需求节省空间并实现简化的管理支持更多的数据类型去除SQLServer2012当中非集群的列存储技术的很多限制,内存驻留列存储可更新的聚集索引,列存储增强概述,功能：聚集的&可更新的内存驻留存储列存储归档选项以实现数据压缩全局批处理聚合主要收益：实时超快的数据仓库引擎无需删除并重新创建索引或切换分区在查询的同时更新由数据压缩带来的大量磁盘空间节省通过使用归档的基于分区的压缩实现高达5倍到15倍的数据压缩能力通过使用批处理模式而不是行模式，实现性能更好、效率更高（更低的内存）的批处理查询,归档压缩新增功能,在列存储使用的固有压缩之上增加一个额外的层收缩磁盘上的数据库大小达27压缩可以被应用到每个分区当中，也可以在索引创建或重建过程中进行设置,技术方案要素、特点和优势,混合BI平台SQLServer数据仓库（DW）SQLServer集成服务（SSIS）SQLServer主数据服务（MDS）SQLServer数据质量服务（DQS）SQLServer分析服务（SSAS）-多维数据模型/Tabular表格模型/数据挖掘SQLServer报表服务（SSRS）Excel高级分析插件：PowerView/PowerPivot/PowerMap/PowerQuerySharepointBIPortal：PowerPivotforSharePoint/ExcelServices/PPS,SSIS、DQS、MDS构成了微软数据整合解决方案,16,PreliminaryInformationSubjecttoChange,管理数据提取、清洗和加载过程,集成服务（SSIS）,数据质量服务（DQS）,主数据服务（MDS）,实现ETL流程自动化；提取多源业务系统的数据，向数据仓库、分析模型、报表等多种BI目标类型，输出高质量的分析用数据。,数据检查,构建知识库，发现和修正数据匹配的规则，保障数据质量；通过维护知识库，不断扩充数据匹配规则，为主数据的判定和使用提供决策依据；,规则参照,主数据管理平台，通过建立独立的工作流和客户端，在业务系统之外，管理主数据；可管理主数据从创建到消亡的全生命周期；也可视用户需要，建立主数据管理平台和业务系统的连接，方便主数据的及时发布。,SQLServer集成服务(IntegrationServices)微软ETL核心工具,SQLServer集成服务(IntegrationServices)微软ETL核心工具,支持多种源与多种不同的格式：关系数据库(SQL、Oracle、DB2、Sybase、Informix等)，WebServices，SAPERP/BW等结构化、半结构化和非结构化数据：格式化数据文件、XML等。在不同或同一时间从不同源系统获得数据信息。庞大数据量数据质量管理不同数据格式的识别数据格式转换（转换为业务分析可用的格式）高性能加载数据。同一时间加载多个目标位置的数据。目标位置存在多样性。,SQLServer集成服务（SSIS）内置多种功能组件,支持将数据直接输出到数据库、多维数据模型、数据挖掘模型、报表集成CDC，支持变化数据增量更新，实现接近于实时的数据采集；结合SQL调度，支持按天、小时、分钟，或人工执行等多种频度的数据更新策略,图形化开发环境,丰富的内置任务组件,采用SQLServer集成服务（SSIS）构建海量数据ETL,WeLoaded1TBin30MinuteswithSSIS,andSoCanYou！,SQLServer数据质量服务(DataQualityServices)记录并维护规则知识库，提供给ETL过程使用,SQLServer数据质量服务,确保数据质量的易用工具DQS旨在通过分析、清理和匹配关键数据，帮助确保数据质量指标（比如完整性、符合性、一致性、准确性和重复性等）。知识驱动数据质量DQS是一项知识驱动解决方案，其核心位于数据质量知识库(DQKB)。DQKB存储与特定类型数据源相关的所有知识，并由该组织的数据专家（通常称为数据管家）负责维护。与WindowsAzureMarketplaceDataMarket的互操作性支持使用第三方参考数据服务提供商提供的数据访问WindowsAzureMarketplaceDataMarket，轻松地清理、验证和匹配地址。,数据质量服务客户端,SQLServer主数据服务(MasterDataServices)管理主数据，提供给ETL过程使用,数据质量服务DQS通过构建知识树帮助发现主数据处理规则主数据服务MDS构建主数据交换表和视图集成服务SSIS提供了平台抽取并加载主数据,SSIS、DQS、MDS构成了微软数据整合解决方案,技术方案要素、特点和优势,混合BI平台SQLServer数据仓库（DW）SQLServer集成服务（SSIS）SQLServer主数据服务（MDS）SQLServer数据质量服务（DQS）SQLServer分析服务（SSAS）-多维数据模型/Tabular表格模型/数据挖掘SQLServer报表服务（SSRS）Excel高级分析插件：PowerView/PowerPivot/PowerMap/PowerQuerySharepointBIPortal：PowerPivotforSharePoint/ExcelServices/PPS,SQLServer分析服务（AnalysisService）以用户为中心的统一模型，上看下看左看右看,以用户为中心，进行数据组织统一的360度客户视图便于利用洞察力营销模型和数据挖掘便于开展数据整合,利用BI语义模型获得可扩展的洞察力法,AnalysisServices提供三种不同的方法来创建商业智能语义模型：表格、多维和PowerPivot：表格解决方案使用关系建模构造（如表和关系）来对数据进行建模，并且使用内存中分析引擎来存储和计算数据。多维和数据挖掘解决方案使用OLAP建模构造（多维数据集和维度）以及MOLAP、ROLAP或HOLAP存储。PowerPivot是一种自助式商业智能(BI)解决方案，允许业务分析人员使用PowerPivotforExcel外接程序在Excel工作簿内生成分析数据模型。PowerPivot还在Excel内和SharePoint上使用内存中分析引擎。,微软SQLServer分析服务为企业业务数据提供了统一的，完全集成的视图来支持在线分析处理（OLAP），关键绩效指标（KPI）记分卡和强大的数据挖掘能力。它提供了可靠的商业决策支持解决方案。,SQLServer分析服务(AnalysisServices)多维数据模型/表格模型/数据挖掘,SQLServer分析服务(SSAS)提供了您所有业务数据的统一、集成的视图在线分析处理（OLAP），支持三种OLAP存储方案：MOLAP/ROLAP/HOLAP内存分析解决方案关键绩效指标（KPI）记分卡数据挖掘,OLAP多维分析-SQLAnalysisServices技术架构与组件,服务器对象AnalysisServices实例都视为不同的服务器对象；每个不同实例都通过不同的连接连接到Server对象。服务器对象都包含一个或多个数据源、数据源视图、数据库对象、程序集和安全角色。维度对象每个数据库对象都可包含多个维度对象。每个维度对象都包含一个或多个属性，属性组织为层次结构。多维数据集对象数据库对象都包含一个或多个多维数据集对象。多维数据集通过其度量值和维度定义。多维数据集中的度量值和维度派生自数据源视图中的表和视图，此数据源视图是多维数据集所基于的视图，或者是通过度量值定义和维度定义生成的视图。,OLAP多维分析-SQLAnalysisServices可视化开发工具,与VisualStudio集成一体的开发工具,基于多源异构数据建立分析模型,在数据源视图中定义新的数据项,丰富的指标和KPI模板,超大型OLAP多维分析应用案例,系统在海量数据环境下，仍然保持了良好的速度。在数据量高达12TB的多维数据集(Cube)中的查询，都能在10秒以内完成。,每天处理事件数,每天装载数据量,每小时处理文件,OLAP数据库,3,500,000,000,1.2TB,60 x50GB,12TB,内存驻留大数据分析，对大数据进行交互式分析,32,SQLServer分析服务横向扩展到庞大的数据量各种大数据源，如：Hadoop、Isotope等企业数据来源（SQLServer、Oracle、SAP等）基于xVelocity分析引擎内存驻留技术、列存储技术、高达10倍的数据压缩技术部署方式：服务器、一体机、云,集群,使用SSDT(SQLServerDataTools)创建SQLServer2012AnalysisServices表格模型项目将数据从SQLServer关系型数据库导入表格模型创建和管理模型中表之间的关系创建和管理可帮助用户分析模型数据的计算,度量值和关键绩效指标创建和管理透视和层次结构,通过提供业务和应用程序特定的视点,帮助用户更轻松的浏览模型数据创建分区将表数据划分为可独立于其它分区进行处理的更小逻辑部分创建角色以及用户成员来保护模型对象和数据安全将表格模型部署到在表格模式下运行的AnalysisServices的SandBox或Production环境中,SQLServerTabularMode表格建模,Singlearchitectureforbothmultidimensionalandtabular,SQLServer数据挖掘，从行为和价值出发，细分客户，了解价值所在,20/80原则。20%的用户创造80%的价值企业必须对用户进行分类，将有效的资源优先满足最有价值的客户。利用数据挖掘实现客户细分从用户模型中选择所需的信息维度，利用聚类分析算法将所有客户进行细分利用用户的背景信息变量建立预测模型，对客户所属类别进行预测利用预测模型输出的决策树规则，帮助企业了解不同类别客户的相关特征,更多算法选择,内置多种数据挖掘算法,SQLServer数据挖掘技术架构,SQLServer内置的数据挖掘算法,可视化的数据挖掘工具与导航8种数据挖掘算法集成DecisionTreesNaveBayesianClusteringSequenceClusteringAssociationRulesNeuralNetworkTimeSeriesTextMining行业标准的领导者DMX,XML/A支持第三方算法嵌入关联销售销售预期客户分类客户行为分析风险管理信用评估欺诈检测流量点击分析.,TextMining,数据挖掘算法对应的一些特定场景,37,针对数据科学家的高级分析工具,高级描述性分析（例如SQLServerAnalysisServices中的聚类算法）预测分析（SQLServerAnalysisServices中的NeuralNets、Regression、DecisionTree、TimeSeries、NaveBayes算法）进一步高级分析（SQLServer2012中的语义搜索、地理空间数据以及其他功能）大数据分析（Hadoop集成）,针对业务分析师的数据挖掘加载项,通过Excel轻松使用丰富的数据挖掘算法可实现群集、预测、预报、购物篮分析等功能通过与SSAS集成实现扩展,SQLServer数据挖掘一体化解决方案,ExcelExcel是分析服务的业务分析前端工具.灵活熟悉的环境.强大的数据挖掘插件.快速、即席决策支持.Visio数据挖掘模具.直接展现算法特有的浏览效果.多种存储和发布方式.友好的互动操作.,SQLServer数据挖掘与Office无缝集成,技术方案要素、特点和优势,混合BI平台SQLServer数据仓库（DW）SQLServer集成服务（SSIS）SQLServer主数据服务（MDS）SQLServer数据质量服务（DQS）SQLServer分析服务（SSAS）-多维数据模型/Tabular表格模型/数据挖掘SQLServer报表服务（SSRS）Excel高级分析插件：PowerView/PowerPivot/PowerMap/PowerQuerySharepointBIPortal：PowerPivotforSharePoint/ExcelServices/PPS,数据可视化例行报表企业报表服务（ReportingService）,向导提高报表制作效率,图表,KPIs,波形图,仪表与数据地图可视化,报表编制器-面向业务人员的运营报表与自定制报表工具,报表发布、权限管理；数据驱动的KPI报警与报表内容订阅,报表组件库，团队成员分享自定制报(图)表与可重用数据集合,丰富多样的图表类型，连接所有类型数据源,ReportingService可视化开发,ReportingService可视化管理,管理报表的属性,管理报表访问权限,管理报表订阅和分发,设置“共享计划”,设置缓存和执行,SQLServerCatalog,ReportServer,XMLWebServiceInterface,ReportProcessing,Office,CustomApplication,Browser,ReportingServices体系架构,ReportingServices,ReportingServices工具与组件,技术方案要素、特点和优势,混合BI平台SQLServer数据仓库（DW）SQLServer集成服务（SSIS）SQLServer主数据服务（MDS）SQLServer数据质量服务（DQS）SQLServer分析服务（SSAS）-多维数据模型/Tabular表格模型/数据挖掘SQLServer报表服务（SSRS）Excel高级分析插件：PowerView/PowerPivot/PowerMap/PowerQuerySharepointBIPortal：PowerPivotforSharePoint/ExcelServices/PPS,通过Excel中自助服务为用户提供帮助,轻松访问任意规模的数据搜索、访问并获得内部和外部数据的格式，与非结构化数据关联在一起通过熟悉的工具获取深刻的洞察力通过熟悉的OfficeExcel和支持移动平台的Office365实现对数据的快速访问，加速分析和获取洞察力的时间完整的商业智能平台通过一个涵盖了云部署和本地服务器部署的商业智能平台，来扩展您的BI模型，扩充数据并保护数据的安全性,从任意数据中获取更深刻的洞察力PowerQuery,PowerQuery轻松获取任意大小的数据,为增强商业智能自助服务提供的Excel加载项识别和导入外部数据:关系型数据库XSL格式数据（Excel）文本数据XML格式数据开源数据网页数据Hadoop分布式文件系统通过搜索发现数据合并、转换不同的数据源,利用Excel的PowerQuery搜索、关联并萃取大数据、小数据、以及任意数据,用PowerPivot（SQLServer）创作和发布分析数据模型,PowerPivot（SQLServer）-嵌入式的交叉分析,Excel2010和ExcelWeb服务交互式的切片器帮助用户，直接在Excel2010的表格中，或者在浏览器中利用PowerPivotforSharePoint和Excel服务，从多个方向分析数据,用ExcelPowerView自助交互式分析,2.拖拽，钻取，链接,4.切换不同的图形,3.What-If分析,7.支持多个PowerView页面,基于Excel，提供直观、完善的交互式能力,1.Dashboard、联动,5.按时间序列动态播放,6.按地理位置动态展示,PowerView（SQLServer）用户动态Web报表,PowerView（SQLServer）特点,3D地图数据可视化PowerMap多点触摸、任意缩放的数据旅行,获取并聚合任意来源的数据利用熟悉的工具建立数据模型,通过有力的数据可视化工具快速洞察通过PowerPivot和PowerView快速分析高达100万行的Excel数据,关于数据的连接和合作简便地共享对改善的决策的见解对任意设备的无线手机用户,技术方案