IBM大数据平台解决方案介绍

1、 Copyright IBM Corporation 2011Business Consulting ServicesIBM 大数据平台解决方大数据平台解决方案介绍案介绍 Dalian, 11 March, 2021Xiao Fei Wang第一页，共三十四页。2. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services1. 工程背景理解工程背景理解 IBM 大数据平台解决方案第二页，共三十四页。3. Copyright IBM Corporation 2011Airtel |

2、IBM | ConfidentialBusiness Consulting Services当前业务面临的挑战当前业务面临的挑战数据问题数据问题企业内数据定义缺失；数据项缺失；数据属性不完整；企业外部数据无暇顾及；数据在多个系统中重复采集、重复存储；系统数据无法关联、共享，数据整合困难；系统林立，数出多门；数据时效性差，使用者无法及时获得所需信息；数据使用不方便，方法繁琐；手工报表多；数据质量差，数据不完整，数据不一致；业务支持TextText网络运营决策与报告风险管理产品运营营销支持精细化管理对运营商价值对运营商价值链的影响链的影响 数据问题长期存在将导致： 对自身状况摸不透 对经营环境看不

3、清 对市场先机抓不住 对未来竞争赢不了制约阻碍没有准确数据支撑难以进展深度分析决策缺乏可靠依据第三页，共三十四页。4. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting ServicesIT如何推动公司运营变革如何推动公司运营变革2、效劳管控模式逐步完善夯实根底管理管控思路由简单支撑向精细效劳转型全面优化信息化效劳流程实现分级效劳 保险行业经过多年的开展，整个行业的变革越来越快，市场竞争环境也日益剧烈。保险公司想要在残酷的竞争中占得先机，就必须考虑产业的融合，并在价值链中占得有利的位置。1

4、1、由被动的、由被动的IT IT支撑向主动的以数据为核心的支撑向主动的以数据为核心的IT IT效劳转型效劳转型以大数据为核心组织以大数据为核心组织IT IT效劳能力效劳能力持续完善根底支撑能力持续完善根底支撑能力拥抱互联网拥抱互联网架构体系全面云化架构体系全面云化第四页，共三十四页。5. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据思考大数据思考根据Gartner的定义，大数据的特征具体涵盖了3V的内容：数据量庞大Volume：从PB扩展到ZB；IT系统、互联网、

5、物联网等每天都在产生大量新生数据，过去的两年间产生的数据占到了所有数据的90%数据变化快 (Velocity)：数据变化与处理的频度由天加速到秒/毫秒；订单、支付、欺诈、微博、监控视频、传感器、信令每时每刻都在不停的产生数据数据多样Variety)：数据种类繁多：数据库表，格式文本，自然语言文本，电子表格，声音，图片，视频数据规模大数据规模大数据范围广数据范围广数据加工深入数据加工深入数据服务对象全面数据服务对象全面数据类型多数据类型多数据管理复杂数据管理复杂1. 生产系统数据2. 网元等设备数据3. 平台自生数据4. 外部互联网数据5. 10PB级+指数级快速增长1. 结构化、非结构化2.

6、静态、动态3. 1. 在线、近线、离线2. 高性能、低成本、高质量、可追溯3. 1. 企业内部（管理层、执行层、一线营销群体等）2. 企业外部（客户，合作伙伴，供应链、政府部门等）3. 内部生产系统4. 1. 信息转换2. 知识沉淀3. 价值创造4. 数据成为公司核心资产和核心竞争力，将被设计用于在成本可承受（economically）的条件下，通过快速（velocity）采集、发现和分析，从大量化（volumes）、多类别（variety）数据中提取价值（value）第五页，共三十四页。6. Copyright IBM Corporation 2011Airtel | IBM | Confi

7、dentialBusiness Consulting Services大数据应用价值可以从公司侧和客户侧表现大数据应用价值可以从公司侧和客户侧表现客户：客户：精准效劳精准效劳及时响应及时响应智能应用智能应用透明管控围绕大数据应用，促使公司实现科学运营、价值创造以及透明管控，一方面能使得公司侧感知到大数据带来的管理、决策、运营效率和质量的提升；另一方面，能够使客户感知到大数据带来业务开发的智能、效劳及时以及与需求匹配的精准。科学运营价值创造企业：企业：开发便捷开发便捷分析及时分析及时决策支持决策支持数据准确数据准确大数据平台大数据平台客户第六页，共三十四页。7. Copyright IBM Co

8、rporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services2. 大数据平台需求理解大数据平台需求理解 IBM 大数据平台解决方案第七页，共三十四页。8. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据平台的关键需求大数据平台的关键需求角色流程数据应用数据分类市场营销市场营销产品开发产品开发客户管理客户管理客户洞察客户洞察决策类活动决策类活动管理类活动管理类活动执行类活动执行类活动分析类活

9、动分析类活动1.结构化了企业架构中四大架构的关键要素，以及要素间的承接关系，形成了一套标准、清晰的定义，从而为大数据平台的方案设计建立了更明确的指导依据和验证方法。柔性架构的大数据平台柔性架构的大数据平台企业架构方法论和云计算技术让建立柔性架构成为可能，基于企业架构元模型，建立柔性企业架构方法论和云计算技术让建立柔性架构成为可能，基于企业架构元模型，建立柔性的架构需要实现业务、应用、数据、技术四个架构层面的解耦。的架构需要实现业务、应用、数据、技术四个架构层面的解耦。业务业务应用应用/ /数据：业务活动在业务架构和应用架构数据：业务活动在业务架构和应用架构( (大数据平台大数据平台) )间具有

10、承上启下的作用，间具有承上启下的作用，可从业务类型和业务活动类型两个维度划分，前者表现业务差异，后者更多表现数据平台可从业务类型和业务活动类型两个维度划分，前者表现业务差异，后者更多表现数据平台能力要求，且可以稳定地分为决策类、管理类、执行类和分析类四种，因此业务与能力要求，且可以稳定地分为决策类、管理类、执行类和分析类四种，因此业务与IT IT的解耦的解耦可从四类业务活动支撑实现。可从四类业务活动支撑实现。应用应用数据：应用和数据共同承接了业务，数据实体也承接了应用交互，因此二者解耦的数据：应用和数据共同承接了业务，数据实体也承接了应用交互，因此二者解耦的核心是数据实体。这可以通过建立稳定的

11、、弹性的企业企业级大数据模型、数据整合与存核心是数据实体。这可以通过建立稳定的、弹性的企业企业级大数据模型、数据整合与存储区域，保证未来应用对数据操作的可扩展，以及屏蔽了应用对底层数据直接访问的数据储区域，保证未来应用对数据操作的可扩展，以及屏蔽了应用对底层数据直接访问的数据效劳加以实现。效劳加以实现。应用应用/ /数据数据技术：系统组件承接了应用和数据，因此要实现该层面的解耦，需要解决系统技术：系统组件承接了应用和数据，因此要实现该层面的解耦，需要解决系统组件对应用的依赖，可通过建立应用开发平台、数据交换平台和数据管控平台来实现。同组件对应用的依赖，可通过建立应用开发平台、数据交换平台和数据

12、管控平台来实现。同时基于云计算的弹性扩展和虚拟化技术实现系统组件与根底设施的解耦。时基于云计算的弹性扩展和虚拟化技术实现系统组件与根底设施的解耦。第八页，共三十四页。9. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据平台能力需求分析大数据平台能力需求分析决策类业务活动决策类业务活动识别问题或对决策的要求分析和阐明方案做出选择追踪和反馈决策结果传达和执行决策1.决策就是为到达某一目标而在假设干个可行方案经过分析、比较、判断，从中选择并赋予实施的过程据诺宾斯泰Robe

13、nstein将决策过程定义为五个步骤2.大数据平台的核心是数据，从数据生命周期看，大数据的生成、获取、整合、效劳、应用、归档各个步骤分别有着不同的目标，并面临不同的问题3.从决策类活动过程和数据生命周期两个维度，对大数据平台的决策类活动的支撑能力需求进展分析通过优化技术选择满足约束条件的最优方案产生应用获取整合效劳归档应用通过仿真技术进展各种方案的预演与细化整合案例类、规如此类知识支撑规如此制度信息查询实时/准实时数据捕获客户行为捕获企业/用户互联网数据捕获应用效劳获取整合大数据的存储和管理海量数据的快速分析海量数据的快速获取归档整合效劳应用归档获取整合效劳应用归档获取效劳归档实时/准实时数据

14、捕获互联网数据捕获冷数据的近线访问快速的数据效劳执行简便的数据效劳使用非结构化数据的挖掘和分析快速的数据转储和归档高可用的数据支撑建立柔性的架构支撑个性化应用开发支撑最终用户自定制的数据效劳与生产系统在功能和数据分工上清晰合理与生产系统的及时交互决策执行业务活动中的数据支撑第九页，共三十四页。10. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据平台能力需求分析大数据平台能力需求分析分析类业务活动分析类业务活动业务理解数据理解数据准备模型部署数据建模1.分析类活动是

15、通过对数据的深入分析，力求取得更深刻业务洞察的过程，参考DM-CRISP数据挖掘方法论，包括业务理解、数据理解、数据准备、数据建模、模型评估和模型部署六个步骤产生应用获取整合效劳归档应用整合应用效劳获取整合归档整合效劳应用归档获取整合效劳应用归档获取效劳归档模型评估应用整合获取效劳归档历史数据探查和分析海量数据的快速获取方便准确的数据抽样能力探索数据可方便归档和恢复非结构化数据、实时数据的获取海量数据的获取非结构化数据与结构化数据的整合流数据概要数据与结构化数据的整合海量数据的处理能力非结构化数据分析能力海量数据分析能力支撑不同分析的数据宽表宽表数据归档丰富的数据挖掘算法建模过程中的模拟仿真仿

16、真结果的优化计算调用API进展模型训练能力丰富的数据计算和可视化分析模型能够导出为可直接使用的评分条件，如SQL评估数据能够嵌入到模型评估中，通过外部调用发现已经退化的模型模型分析结果的快速回写模型评估数据集的提取模型分析结果嵌入到生产系统中模型分析源数据的预处理与获取第十页，共三十四页。11. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据平台关键能力需求大数据平台关键能力需求应用开发与运行应用开发与运行1.当前总部BI系统的数据应用需求包括业务部门的方案性业务支

17、撑需求和大量的临时性支撑需求，以及IT部门自身规划中的方案性支撑需求；2.省公司经分系统也需要支撑来自业务部门和IT部门的大量支撑需求，同时要完成集团下发的IT标准要求3.未来省公司数据集中后，大数据平台将必须承担省分公司和总部的全部数据应用效劳需求省分公司当前数据应用需求集团总部当前数据应用需求省公司经分系统总部BI系统业务部门IT 部门集团领导IT部门业务部门集团下发规范支撑需求临时支撑需求计划业务支撑需求计划IT支撑需求临时支撑需求省公司领导计划业务支撑需求计划IT支撑需求数据应用需求急速增长数据应用需求急速增长总公司总公司IT IT增长缓慢增长缓慢省公司省公司IT IT投入有限投入有限

18、1.平台开发方面：如何支撑急速增长的数据应用需求2.平台执行方面：如何保障海量大并发的数据访问需求和海量数据处理的性能要求大数据平台将面临两大大数据平台将面临两大挑战挑战IT人力紧张IT系统扩容难IT投入效益难保障第十一页，共三十四页。12. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据平台关键能力需求大数据平台关键能力需求更直接的决策支持更直接的决策支持未来大数据平台当前BI系统1.结构化决策：库存控制2.半结构化决策：套餐设计3.非结构化决策：产品外观设计鸿沟

19、知识库(事实知识、规如此知识、案例知识)OLAP应用数据挖掘应用固定报表应用灵活查询应用数字仪表板知识库(事实性知识)DWDDWAODS最优解绩效度量数据挖掘模型输入参数1.模型的建立基于预先假设2.模型所需数据事先确定3.模型是静态的4.模型的数学形式很完善，但往往不能符合实际业务情况数据挖掘模型仿真模型随机输入量终端补充量Q输入参数绩效变量约束条件决策计划目标函数DWDDWAODSDMDMDM非结构化数据数据挖掘模型仿真模型优化模型第十二页，共三十四页。13. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness

20、 Consulting Services3. 大数据平台定位分析大数据平台定位分析 IBM 大数据平台解决方案第十三页，共三十四页。14. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services前期初步确立的大数据平台目标技术架构前期初步确立的大数据平台目标技术架构目标架构：目标架构： 拥抱互联网、运用云计算技术，建立开放的基于拥抱互联网、运用云计算技术，建立开放的基于SOASOA架构的中国企业集中化云数据效劳支撑平台，面向全国各级经营主体和总部集中平台提供大数据、分布式、架构的

21、中国企业集中化云数据效劳支撑平台，面向全国各级经营主体和总部集中平台提供大数据、分布式、实时智能数据效劳支撑与客户响应，并注重公共数据、公共能力的一点沉淀与全网共享，实现基于特定对象、特定需求的个性化自主定制、灵活组件组装，高效实现一级实时智能数据效劳支撑与客户响应，并注重公共数据、公共能力的一点沉淀与全网共享，实现基于特定对象、特定需求的个性化自主定制、灵活组件组装，高效实现一级系统多维应用多级支撑系统多维应用多级支撑总部目标集中生产系统应用统一访问门户透明管控科学运营价值创造生产类应用SaaS（软件） 中间件即服务 业务即服务ESBBPM组件集1组件集2组件集3报表工具联机分析工具挖掘工具

22、PaaS（平台） 数据即服务DW分析类数据生产类数据ODS/MDM统一 IaaS服务接口小型机X86服务器高端存储中低端存储网络资源IaaS（资源） SDK开发平台生命周期管控数据质量管控数据安全管控元数据管控指标体系统一视图CUBE开发工具近线区归档ETL元数据围绕三个维度：透明管控、科学运营、围绕三个维度：透明管控、科学运营、价值创造价值创造强调开放灵活：基于开放业务组件、应强调开放灵活：基于开放业务组件、应用开发平台、公共应用模型等构建，灵用开发平台、公共应用模型等构建，灵活支撑个性化应用开发、部署和推广活支撑个性化应用开发、部署和推广实施五项管控：数据模型与标准、数据实施五项管控：数据

23、模型与标准、数据质量、数据平安、元数据、数据生命周质量、数据平安、元数据、数据生命周期期推行五个一点：一点源头采集、一点加推行五个一点：一点源头采集、一点加工转换、一点存储、一点分析挖掘、一工转换、一点存储、一点分析挖掘、一点效劳提供点效劳提供数据模型标准管控第十四页，共三十四页。15. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services基于技术架构目标，参加大数据平台建设的驱动力基于技术架构目标，参加大数据平台建设的驱动力分析类系统应该建立多少数据库，多少种数据库保证数据从

24、省分及时向集团提供准确唯一数据现存问题在一个框架下有效支持5级体系的个性化开发和共性开发提供多种形式数据效劳提供方式，并有效执行数据应用数据效劳数据交换采集数据整合数据存储数据管控新兴技术流数据处理架构和体系桌面云管理技术IaaS 、PaaS，SaaS，DaaS等云管理技术内容数据处理架构和体系提供多厂商、多系统的统一开发平台第十五页，共三十四页。16. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据平台应具备的技术支撑能力大数据平台应具备的技术支撑能力10962数

25、据捕获数据效劳大数据产生大数据产生知识沉淀数据消亡数据消亡1.清晰的整合层次和加工时效2.海量数据、非结构化数据、实时流数据等多样化的存储与管理3.Gartner于2021年7月提出大数据管理中：“列式存储数据库、云计算和内存数据库在未来5年内将是3个最重要的技术数数据据价价值值10 04数据整合3数据处理14业务信息8系统支撑5数据分析11数据冷却13数据归档示意示意12近线存储7数据展示大数据生命周期大数据生命周期时间时间大数据平台将借助云计算的快速可扩展性、标准化效劳、自助效劳等特征，强化大数据的获取、处理、整合、分析、效劳等技术支撑能力，促进敏捷化、个性化的数据应用开发，最终助力IT对

26、业务转型的推动。1.海量数据的识别和快速装入2. 数据分布流转3. 互联网数据和客户行为捕获4.实时/准实时数据捕获1.大量数据效劳需求的快速开发支撑2.快速数据效劳执行3.简便的数据效劳使用4.清晰的数据效劳目录5.数据效劳使用记录1.针对海量数据的高性能数据分析2.实时数据的即时分析3.非结构化数据的智能分析如网页的标引、结构化解析，视频、图片的模式识别等4.高级分析算法1.海量冷数据包括实时、非结构化、结构化的存储和管理策略2.冷数据的透明访问3.冷数据与热数据的统一支撑4.操作型和分析型数据的统一归档5.快速的数据转储和归档1.数据的展现策略2.个性化应用开发支撑3.共享应用快速部署4

27、. 对外部系统的支撑5.信息提炼以及对业务的支撑6.知识的组织、沉淀、管理和应用第十六页，共三十四页。17. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据平台与周边系统的关系大数据平台与周边系统的关系大数据平台与省分系统和总部系统的关系主要表现在功能分工协作和数据交换两大方面，此处将大数据平台作为一个黑盒子，重点关注数据平台与外部系统的关系。大数据平台总部系统ADBSID省分系统ADBSID1.1.功能分工与协作功能分工与协作2.2.生产系统只保存与生产直接相关的

28、、数据稽核比对相关的统计报表，生产系统只保存与生产直接相关的、数据稽核比对相关的统计报表，其它全部整合到分析平台上。直接相关可以从流程和数据两方面考察，其它全部整合到分析平台上。直接相关可以从流程和数据两方面考察，一系列连续业务活动，使用一样数据的应用功能直接相关耦合度高，一系列连续业务活动，使用一样数据的应用功能直接相关耦合度高，如结算中的话单数、本钱查询，需要放在结算系统。如结算中的话单数、本钱查询，需要放在结算系统。3.3.不直接相关的统计、分析类应用，由大数据平台通过数据效劳，并在不直接相关的统计、分析类应用，由大数据平台通过数据效劳，并在D D域域中统一建立应用进展支撑。中统一建立应

29、用进展支撑。4.4.数据交换数据交换5.5.一般情况下，一般情况下，D D域中的分析类应用系统中不单独存储数据，系统所需的和域中的分析类应用系统中不单独存储数据，系统所需的和系统产生的数据都存放在数据平台的数据集市中。其中如果系统使用的系统产生的数据都存放在数据平台的数据集市中。其中如果系统使用的数据较少，可以部门数据较少，可以部门/ /省分数据集市；但如果系统涉及的数据很多，如此省分数据集市；但如果系统涉及的数据很多，如此需存放在应用集市中需存放在应用集市中6.6.生产系统使用的数据全部存放在生产系统中，当需要与大数据平台发生生产系统使用的数据全部存放在生产系统中，当需要与大数据平台发生共享

30、数据时，如此通过数据交换进展。具体交换周期模式可以是实时、共享数据时，如此通过数据交换进展。具体交换周期模式可以是实时、准实时和分批交换准实时和分批交换7.7.大数据平台的数据整合策略是根据业务需求，按照数据模型定义和数据大数据平台的数据整合策略是根据业务需求，按照数据模型定义和数据存储周期的要求，集成生产系统中所需的局部私有数据和共享数据，而存储周期的要求，集成生产系统中所需的局部私有数据和共享数据，而不是全部获取和集成不是全部获取和集成8.8.生产系统的共享数据集生产系统的共享数据集SIDSID尽管是数据中心业务职能管辖范围，但尽管是数据中心业务职能管辖范围，但SIDSID不属于大数据平台

31、的管辖范围，只是大数据平台中的一个数据源，且不属于大数据平台的管辖范围，只是大数据平台中的一个数据源，且SIDSID与大数据平台的数据交换是双向的与大数据平台的数据交换是双向的数据读取数据读取数据数据交换交换数据数据交换交换第十七页，共三十四页。18. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据平台在大数据平台在Cloud的位置的位置大数据平台:外围关系：数据来源与生产系统的ADB，SID等；效劳对象：数据应用、反响生产系统；核心内容：数据管理、数据组织、数据管

32、控、数据效劳；承载关系：IaaS统一承载构架；PaaS数据集与SID和ADB并列；PaaS技术效劳集：互为补充；PaaS业务效劳集：单独形成面向分析业务效劳集；大数据平台针对异常复杂的大数据管理，而云计算为大数据管理提供了坚实的技术支撑。 Cloud以数据为核心向上提供标准的封装效劳，以业务(流程)解耦为前提支撑生产经营、数据加工分析等应用。概括的说，Cloud 是大数据平台的载体，为其提供了根底运行环境。第十八页，共三十四页。19. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Ser

33、vices4. 大数据平台总体架构设计大数据平台总体架构设计 IBM 大数据平台解决方案第十九页，共三十四页。20. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services总体逻辑架构图总体逻辑架构图大数据平台大数据平台总部系统基于企业大数据平台生态系统框架，总体架构可分为系统平台和参与人两大局部，其中系统平台可分为大数据平台、总部IT系统和省分IT系统，参与人可分为企业内部用户、外部用户、系统建设厂商系统建设厂商集成厂商实施厂商咨询厂商信息提供商省分系统图例逻辑库物理库数据流控

34、制流数据整合与存储数据整合与存储DW/DMODSCloud-i资源统一统一 IaaS IaaS效劳接口效劳接口数据效劳数据管控数据应用数据应用开发平台开发平台标准化API分析模型SDK工具软件数据获取非结构化数据企业内部用户企业外部客户第二十页，共三十四页。21. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services总体逻辑架构图总体逻辑架构图数据应用应用开发平台应用开发平台数据整合与存储数据获取大数据平台大数据平台生产系统生产系统数据效劳应用集市总部系统备份文件备份文件备份文

35、件备份文件省分系统备份文件备份文件备份文件备份文件数据管控数据归档近线区归档区明细类数据快照类数据日志类数据元数据快照类数据日志类数据参数类数据元数据明细类数据参数类数据元数据数据标准数据质量管理数据生命周期管理前置机前置机图例逻辑库物理库部门集市ODSEDSB部门集市应用集市标准化API分析模型SDK工具软件EASB接入适配数据交换层数据处理层传输路由标准策略管理交换管理平台管理监控告警作业管理处理逻辑定义获取管理层非结构化数据流数据数据抽取数据转换数据装载省分集市省分集市省分集市知识库DWADWD部门集市透传通道ADBSIDADBSID服务接入高层服务视图服务脚本服务数据接入服务管理第二十

36、一页，共三十四页。22. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services总体物理架构图总体物理架构图 IaaS SaaS PaaS 物理资源实时流/批量ETL海量分析平台归档区资源池虚拟化中低端存储中低端存储高端存储高端存储小型机小型机X86X86效劳器效劳器提供能够满足用户需求的各类应用程序关注软件架构与效劳，提供给用在根底设施中进展计算所需要的各类效劳提供系统运行所需的计算与存储资源SMP集群VMVMVM临时性临时性应用应用固化应用固化应用SMP+MPP+Hadoop

37、小型机/X86 SMP集群数据库资源池网络设备网络设备第二十二页，共三十四页。23. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting ServicesCompute Intensive ApplicationsPlatform Management ConsolePlatform Enterprise Reporting FrameworkResource OrchestratorLow-latency Service-oriented Application MiddlewareServ

38、ice Instance Manager (SIM)Enhanced MapReduce Processing FrameworkDATA INTENSIVECOMPUTE INTENSIVEPlatform Symphony Core第二十三页，共三十四页。24. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services大数据平台方案设计关键点和相关方法论大数据平台方案设计关键点和相关方法论高可用数据提供数据全面性数据质量数据快速提供与分发数据整合分区与定位应该如何给大数据平台划

39、分数据区，每个区的数据目标是什么应该分为哪些类数据整合区，有多少个数据库，每个数据库的定位是什么，必要性如何数据存储本钱与性能海量、多样性、实时数据的高性价比的数据管理在线、近线、离线数据的管理策略易扩展的数据存储架构支撑大数据业务战略的应用框架自顶向下：五个一点要承接自底向上：从大数据4V特性，如何进展创新，真正实现IT对业务的推动IBM 行业模型eTom与SIDIBM 数据治理方法论DW2.0方法论企业信息工厂方法论维度建模方法论IBM BI方法论维度建模方法论IBM BI方法论Hadoop实施方案IBM 企业架构(EA)方法论IBM CBM业务组件模型关键点方法论关键点描述自助式应用开发

40、支持开发人员的敏捷化开发支持最终用户的自助式的查询、分析和挖掘IBM BI方法论工行数据大集中经验第二十四页，共三十四页。25. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services5. 分项专题关设计思想及注点分项专题关设计思想及注点 IBM 大数据平台解决方案第二十五页，共三十四页。26. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services数据获取方案设计

41、思想和关注点数据获取方案设计思想和关注点采集周期数据传输采集范围数据模型采集技术采集方式采集方式联动机制传输技术选择企业现有数据模型+IBM行业数据模型+其它优秀实践， 确立企业级逻辑数据模型结合逐步实现一点源头采集、 覆盖MBO全域全景数据，满足横纵向、内外部众多数据源需要根据系统中不同数据类型的时间串口实时/准实时/日月确定合理的数据采集周期根据管理要求，确定数据的采集周期要求，并执行保证采集与源系统联动，防止源系统变化影响根据数据类型、数据量、数据时效等特性选择适宜的传输技术和策略确定数据采集和传输过程中的关键问题点，监控采集可能出现的问题。数据采集问题的排错机制和容错机制。系统现状管理

42、需求现状系统时间窗口采集管控采集监控问题处置选择适宜的采集技术，保证数据原生态、时效要求针对结构化/非结构化、海量数据并发处理、实时数据处理等要求，确定统一的和标准的数据采集方式数据数据分类分类数据分布传输数据分布传输第二十六页，共三十四页。27. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services数据整合与存储方案设计思想和关注点数据整合与存储方案设计思想和关注点数据整合基于业界近期研究进展，讨论数据整合区域的根本划分层次明确整合数据区中应该有多少个逻辑/物理数据库，具体定

43、位SA、ODS、DWD、DWA、DM数据集进一步细分的策略，实时中的建模策略、参照方法论等建设方法操作型/分析型数据数据、结构化/非结构化数据、实时/非实时数据等不同数据类型的功能划分和整合策略各个数据集/库中应该存放哪些数据，包括数据类分布和数据生命周期分布策略；数据在不同数据集间的复制策略，如数据集市是否全量保存DWD中的CDR数据存储大数据的3V特征，对数据存储与处理的要求，满足9621的支撑要求结构化数据、非结构化数据的特征分析，相应的存储管理策略，不同类型数据的共用机制非结构化数据的分类、标引等结构化信息的提取方法内存数据管理技术在实时流数据处理中的具体应用策略结构化/非结构化数据、

44、实时/非实时数据等不同类型数据应该使用哪些软硬件平台，包括DBMS管理和处理能力要求，计算、存储、网络平台不同数据生命周期的数据清理机制、数据存储管理策略，数据在在线区、近线区、归档区的自动归档与自动恢复机制。海量多样化速度生命周期软硬件平台层次划分数据集定义建设方法数据存放数据模型明确应该存在几套数据模型，每类数据模型的定位和承接关系,统一模型和个性化模型之间的关系，如何满足省分5级/7级要求选择企业现有数据模型+IBM行业数据模型+其它优秀实践， 确立企业级逻辑数据模型的主题域、数据分类和数据子类数据模型第二十七页，共三十四页。28. Copyright IBM Corporation 2

45、011Airtel | IBM | ConfidentialBusiness Consulting Services数据效劳方案设计思想和关注点数据效劳方案设计思想和关注点方案设计数据效劳理解数据效劳内涵必要性可行性效劳层次指对大数据平台中的各种数据进展封装，通过各种效劳方式向不同应用系统提供数据效劳，以满足用户的多样性数据请求。将数据效劳划分为3个层次，中层效劳、底层效劳开放给内部应用系统使用，高层效劳向所有用户开放；数据应用基于数据效劳，通过EAB取得数据，数据效劳可复用局部数据交互进程，并依据数据标准、元数据提供效劳；建立简单、易用的数据封装、效劳开发向导，能够快捷的对数据进展封装，发布

46、新效劳；两层效劳接入平安管理，以及对效劳请求优先级管理，控制效劳执行的数量，保障系统平安平稳的运行；高层效劳请求需要进展语义转换，然后执行效劳，中层、底层效劳不需要语义转换，直接执行效劳；效劳运行方式数据效劳目标建立应用和数据之间标准化的访问接口，能够快速响应用户的各种数据请求，提升与外部系统实时的互动与信息共享能力；将数据与应用隔离开来，实现系统间的松耦合性，依托大数据平台能力，对各种数据请求作出快速响应，实现实时的信息共享；将各种接口技术及响应模式组合成多种效劳方式，快速响应各种效劳请求，用户可根据实际情况选择适合自己的效劳方式；与其它模块协作效劳功能划分第二十八页，共三十四页。29. Copyright IBM Corporation 2011Airtel | IBM | ConfidentialBusiness Consulting Services数据应用方案设计思想和关注点数据应用方案设计思想和关注点应用技术架构应用开发环境应用管理平台应用框架细化补充开放化标准化灵活性集成开发环境个性化支持多厂商支持应用推广能力应用生命周