企业信息管理技术方案

1、企业信息管理技术方案Microsoft EIM Solution王颖智能云平台高级经理微软（中国）有限企业第1页第一部分：企业信息管理EIM理念第二部分：主数据管理第三部分：数据质量管理第四部分：跨平台数据集成第五部分：数据可视化分析内容第2页数据库平台内存数据库（提升3-20倍交易性能），适用于高频率大并发交易场景列存储（提升10-100倍查询行），适用于海量数据查询库与表的场景多节点读写分离群集，适用于改进与增强原有的SQL服务器主备群集场景企业自助式BI平台移动式互联时代的BI APP：提供Iphone/Ipad/Android/Win10平台BI APP，以及支持客户定制化APP的HT

2、ML5嵌入式开发展现PowerBI：高级业务用户自助式BI分析，与公有云结合进行分享与分析Excel BI增强：提供普通业务用户自助式数据分析能力，以及图形增强能力分析企业复杂报表定制：提供HTML5的企业复杂报表开发与发布、管理多维分析服务器：利用多维立方体技术，实现对海量数据的多维快速聚合与分析，提升报表性能高级数据挖掘与分析R Server完全兼容开源R模型，迁移到R-Server运行提升10倍以上挖掘性能，支持跨平台：R Server on Windows/ R Server on Linux/ R for Hadoop/ R for Teradata数据管理平台数据转换与清洗 Int

3、egration Serivce： 一个图形化的批量数据的跨平台迁移与清洗平台数据质量管理平台Data Quality Service： 针对企业数据库中数据质量问题，进行统一管理的平台主数据管理平台 Master Data Service：针对企业大量不同系统之家数据口径不一致，进行企业核心主数据的管理平台大数据Hadoop整合分析提供直接用SQL语句访问Hadoop群集，将结构化与非结构化数据整合进行分析SQLServer 是7大企业数据平台工具套装SQLServer 内置工具数据库数据集成服务SSIS多维分析服务SSAS报表服务SSRS复杂报表平台移动BI 平台自助式 PowerBI主数

4、据管理平台MDS数据质量平台DQS数据挖掘 R Server第3页企业需要可信，一致数据Source of examples: TDWI ()可信, 一致数据错误或不完整数据业务决议业务决议更高效率降低开销增加收入更高利润降低效率客户不满合规贡献降低收入和利润因为录入了错误客户代码造成无法发送账单，一家电信企业每个约损失8百万美元一家全球化工企业发觉因为无法识别和协调全球供给商，它们每年在采购折扣上损失数百万美元因为重复客户统计，一个保险企业每年在邮寄开销上损失数十万美元（邮费，退信，员工支出）因为数据不准确造成重复给客户发送汇报，最终使一家信息服务商每年损失50万美元并丢失了客户一家大银行发

5、觉其62房屋贷款被错误计算了，造成本金每个月越来越大一个在中西部保险企业因为数据是“质疑”，造成其决议支持系统推迟2年上线第4页企业信息管理业务目标数据冗余数据不一致业务改变业务低效需要处理主要问题客户数据不一致系统用户数据不一致业务定义不一致低生产力低效供给链管理不一致客户待遇客户不满意浪费销售部门努力企业内每一个系统、应用、甚至业务部门都会搜集自己版本关键业务实体数据。引入新产品和服务营业网点改变新技术出现并成熟第5页实现企业信息管理多个步骤基于知识数据清理和匹配数据质量分析移动BI、领导驾驶舱、自助式分析数据挖掘管理数据和维度快速、轻易加载数据集成布署和管理改进用户体验管理清理集成数据洞

6、察主数据服务数据质量服务数据跨系统集成数据可视化分析第6页InsightsIntegrationTrusted Data微软EIM处理方案 主数据管理数据质量管理数据集成服务分析服务报表服务Power BIR语言数据挖掘全部功效都集成在一个产品中数据集成服务SSIS从各种数据源整合数据在企业内和云环境上扩展数据集成数据质量服务DQS基于业务知识清洗和标准化数据主数据管理服务MDS 提升业务效率统一和标准化数据IT控制下业务驱动治理报表和分析服务等数据可视化服务做出可信决议，用可信，一致数据支持为用户驱动商业智能提供支持。第7页第一部分：企业信息管理EIM理念第二部分：主数据管理第三部分：数据质

7、量管理第四部分：跨平台数据集成第五部分：数据可视化分析内容第8页Customer Oriented Business Cycle以客户为导向业务循环 Marketing & Promotion营销CommunitySalesSupport & Services社群销售支持服务Telematics物联网WeChat Platform微信平台DS ClubDS 俱乐部DS ConnectDS 物联络统T-Call Center呼叫中心Call Center呼叫中心DMS经销商管理系统Digital Show Room数字展厅DCS经销商协同平台DS WebsiteDS 官方网站Media Chan

8、nels媒体渠道Mobile App行动应用Customer第9页业务与IT协作是主数据管理关键“谁来主导或驱动你主数据?”业务/IT协作: 业务为主IT配合: IT为主业务配合: 未知/其它: Forrester70%15%12%3%数据属于业务用户，而不是IT因为业务用户了解业务领域和实体，他们是最好数据管家IT是管理数据存放和整合最正确人选，不过业务用户应该得到数据治理授权第10页关键概念介绍主数据管理 （MDMMasterDataManagement） 概念主数据管理描述了一组流程、技术和处理方案，用于为全部利益相关方（如用户、应用程序、数据仓库、流程以及贸易搭档）创建并维护业务数据一

9、致性、完整性、相关性和准确性。 第11页哪些是主数据?主数据 多系统共享迟缓改变参考数据人员CustomersVendorsSales peopleEmployeesPartnersPatients事物ProductsOrganizational unitsRecipesPartsStorage binsDocuments位置StoresWellsPower linesGeographical areas抽象ContractsWarranteesTimeMetrics第12页数据仓库和主数据管理对比数据是历史数据是现时包含交易数据和主数据只包含特定类型主数据只包含被认为是分析需要数据包含完整跨

10、整个企业实体信息维度是平面实体是有上下文 (实体视图、角色)通常是一个数据消费者，端点通常是数据消费者也是提供者，通常含有双向关系目标是分析历史数据目标是保持准确和最新更新实体数据重点是实体和聚合重点是实体维度不会被其它应用所使用实体被包含数据仓库在内其它应用所使用围绕着交易分析来建立各种工具围绕着实体管理来建立各种工具数据仓库主数据管理主数据管理和数据仓库不一样，即使它们是共生。第13页消除主数据项目误解MDM是一个数据仓库或商业智能项目MDM既不是BI/DW项目，也不是操作型项目。MDM是另一类实现方式，MDM的建立其实是实现真正的商业智能的前提。MDM仅为了维护企业内业务处理应用中数据的

11、一致性主数据可以维护这些系统中数据的一致性，但是它的作用不仅仅如此。还可以作为各种系统、应用和环境的标准数据源。MDM只是另一个数据整合项目除了数据整合之外，还需要业务用户的参与并制定MDM的原则和政策等内容。MDM功能是全企业的事情，企业内的每一个应用都会和主数据的设计、配置和使用有关。MDM整合并管理了所有的企业数据。MDM仅为核心业务实体提供SOR。其他的事务数据必须被维护到其他地方，如操作型系统、ODS或者具有混合负载的数据仓库环境中。第14页企业信息管理模式第15页数据观察业务流程候选数据实体编码索引相关单据。数据分析主题数据实体识别主题数据分类数据实体关系。数据规划元数据定义分类分

12、段编码主题数据同步方式主题数据版本方案主题数据有效期。编码标准字段标准实体关联标准层次标准版本标准有效期标准形成信息和数据标准Here we are !第16页微软MDM功效架构17应用处理环境开发管理环境用户 界面开发工作流程定义分发流程定义流程监控管理分发接口定义主数据数据库数据抽取数据存放数据备份主数据数据管理主数据查询主数据清理数据分析工作流程管理主数据申请主数据审批主数据转换主数据分发规则主数据分发处理主数据业务管理编码规则处理编码处理数据交换处理流程调度接口调用WEB用户界面管理公布申请审批查询监控SAP业务环境主数据平台接口其它业务系统主数据平台接口用户身份管理授权系统第17页S

13、QL Server Master Data Services第18页SQL Server Master Data Services客户熟悉Microsoft Excel界面:定义和管理数据实体验证业务规则以用户为中心主数据管理第19页第一部分：企业信息管理EIM理念第二部分：主数据管理第三部分：数据质量管理第四部分：跨平台数据集成第五部分：数据可视化分析内容第20页常见数据质量问题数据质量问题数据问题示例格式值是否按照一致格式标准?电话号码 # 可能显示为 xxxxxxxxxx, (xxx) xxx-xxxx, 1.xxx.xxx.xxxx, 等. 标准数据元素是否一致性定义和了解 ?一个系统

14、性别代码 = M, F, U ，另一个系统性别代码 = 0, 1, 2一致性值是否代表统一含义?营业额是否总是显示为美元还是也有可能为?完整性是否全部必须数据都包含? 20% 用户 last name 为空, 50% 邮政编码为 99999准确性数据是否准确地反应现实或可验证数据起源？供给商显示为活动，不过其实6年前已经和它没有业务往来。有效性数据值是否在接收范围内? 薪水值应该在 60,000-120,000重复性数据屡次出现 John Ryan 和 Jack Ryan 都在系统中出现了 他们是同一个人吗?21第21页微软数据质量DQS 处理方案概念知识驱动基于 数据质量知识库 (DQKB)

15、，可重用于不同的数据质量改进。语义数据被映射到捕获语义的数据域知识发现通过数据抽样和用户反馈获得辅助知识开放和可扩展支持使用用户生成的知识，和第三方的参照数据提供程序。容易使用提供友好的用户体验来提高生产率。第22页DQS 架构概览DQ 客户端交互式 DQ 项目知识发觉和管理SSIS DQ 组件未来客户端 Excel, SharePoint, MDSDQ 云计算分类参考数据Dallas分类参考数据服务DQS UIDQ 服务器RD 服务 API(浏览,设置, 验证)参考数据 API(浏览, 获取, 更新)数据质量服务DQ 项目存放DQ 活动项目Common Knowledge StoreMS 数

16、据域知识库存放公布KB当地数据域DQ 引擎知识发觉数据探查匹配清理参考数据数据探查参考数据据服务第三方MS DQ 域存放参考数据第23页介绍数据质量服务SQL Server Data Quality Services直观，基于向导客户端工具发觉数据知识创建知识库引用外部数据集清理和匹配数据结果导出到Excel验证清洗过数据评定匹配纪录基于知识数据质量管理第24页交互式进行清理 示例第25页交互式进行清理 - Profiler第26页知识管理 示例第27页第一部分：企业信息管理EIM理念第二部分：主数据管理第三部分：数据质量管理第四部分：跨平台数据集成第五部分：数据可视化分析内容第28页SQL

17、Server Integration Services强大，但在创建集成处理方案时简单易用因为降低了外部顾问数量，所以总体成本也能够降低“Microsofts SQL Server Integration Services (SSIS) ETL product was by far the least likely to require external SI support according to our survey, with only 9% of respondents saying that they used an SI for implementation, compared

18、with IBMs users employing an SI more than 50% of the time.” Forrester: Enterprise ETL: Evolving and Indispensable To Your Data Management Strategy (May )第29页广泛数据连接企业数据源:关系性数据库SQL Server, Oracle, DB2, MySQL任何ODBC 或 OLE DB数据源CDC for SQL Server and OracleSAPTeradataFlat filesXMLExcel 文档云Web ServicesSQL AzureAzure Data Market自定义数据