大数据时代的大机遇

1、HUAWEI TECHNOLOGIES CO., LTD.目录目录一大数据蕴含大价值二华为大数据解决方案介绍三大数据平台建设探讨HISILICON SEMICONDUCTOR华为华为TECHNOLOGIES CO., LTD.Page 3华为Confidential 大数据定义n广义大数据：是物理世界到数字世界的映射和提炼，通过发现其中的数据特征和规律，最终实现提升人们生活质量、提高生产效率的目的；n狭义大数据：是指围绕着海量数据的智能存储、智能挖掘和智能分析；由于数据量过于庞大，在同样的约束条件下(性能和成本)，使用传统的IT技术无法完成数据的管理和分析满足4V(Volume、Variety

2、、Velocity、Value，即容量大、种类多、流量快、价值高)指标的数据称为大数据大数据是指难以实现存储、搜索、共享、可视化和分析的大型数据集Page Page 4 4HUAWEI TECHNOLOGIES CO., LTD.HUAWEI TECHNOLOGIES CO., LTD.数据，已经渗透到每一个行业和业务领域，数据，已经渗透到每一个行业和业务领域，洞见本质、预测趋势、指引未来是洞见本质、预测趋势、指引未来是Big DataBig Data时代的核心时代的核心用未来牵引现在，用现在保证未来！用未来牵引现在，用现在保证未来！HUAWEI TECHNOLOGIES CO., LTD.5

3、 运营商需要依据大数据发展趋势进行战略选择数据用途数据用途(提供者角度提供者角度)数据来源数据来源(使用者角度使用者角度) 数据用于向外部数据用于向外部客客户户提供服提供服务务 数据分析数据分析结结果用于果用于解决自身解决自身业务问题业务问题 从外界有从外界有偿获偿获取取需要的数据和服需要的数据和服务务 自有自有资资源和源和业务业务数据采集分析数据采集分析HUAWEI TECHNOLOGIES CO., LTD.6 华为Confidential 新技术的大量涌现，运营商如何选择？内存分析流式计算IBM Streams、Apache StormSAP HANA、Oracle ExalyticsM

4、PP数据仓库NoSQL多维分析Oracle Essbase、IBM Cognos数据挖掘/预测分析文本分析Hadoop发行版Dremel、Spanner、Impala、EMC HAWQNewSQLCloudera、MapR、HortonworksHbase/Hive、Cassandra、MongoDBExadata、GP、Teradata、NetezzaSAS、SPSS、R、MahoutSplunk自然语言处理社交图谱分析Siri、IBM Watson媒体智能分析大数据技术栈Pregel、Neo4jVideosurf软硬一体机Oracle Exadata、IBM Puredata 小型机数据库

5、分析多样智能化：智能决策从结构化数据分析向文本、语音视频媒体的智能分析、社交化图谱分析方向发展分析实时化：分析计算向自助式ad-hoc多维分析、实时内存分析、流式计算发展管理集中化：数据管理从数据仓库、Hadoop向支持海量数据集中化管理、交互式SQL查询的NewSQL发展软硬一体化：传统基础设施从小型机向软硬整合一体机方向发展数据治理Datastage大数据技术向海量、实时和智能发展。在实际的应用过程中按需采用。HUAWEI TECHNOLOGIES CO., LTD.7 目前为止半数以上的运营商已经开始部署大数据，针对具体应用的方案占多数Source: Informa Telecoms &

6、amp; Media N:240 (All base) 结论1 半数以上已经开始部署大数据，但是规模不一；结论二 相比规划和部署端到端大数据方案，针对具体应用/目的的大数据方案占多数；HUAWEI TECHNOLOGIES CO., LTD.8 TMF 34个大数据分析应用场景企业管理欺诈管理业务流程优化市场营销网络优化客户体验网页浏览个性化推荐Checkout个性化推荐实时互动个性化推荐基于位置实时个性化推荐基于业务使用的实时个性化推荐基于价值的网络规划新企业用户订单影响分析基于策略的网络性能管理个性化的实时交互人工服务适时的客户接触关怀客户离网风险预测客户离网原因预测个性化的挽留营销活动挽

7、留营销活动的效果评估网络故障检测和恢复基于价值的实时网络拥塞管理实时Wifi转移(四网协同）收入保障合作伙伴价值优化基于设备的实时个性化推荐基于互联网记录进行精准广告产品分析产品优化产品设计和开发产品引入分析数据货币化沉默用户（服务）主动关怀客户自服务渠道效率分析渠道和时间偏好分析客户体验差的时候主动关怀网络故障的时候主动关怀市场分析&监控客户对产品的购买概率分析HUAWEI TECHNOLOGIES CO., LTD.9 华为大数据应用情况截止到2013年11月份，全球拓展86个大数据市场项目，其中39个交付中（11个已经商用）商业智能商业智能流量经营流量经营网络运维网络运维客户关怀

8、客户关怀大数据基础设大数据基础设施施精准营销精准营销大数据分析和数据开放大数据分析和数据开放HUAWEI TECHNOLOGIES CO., LTD.10 11个商用项目简介（按正式商用时间先后排序）产品名称（产品名称（OfferingOffering）项目名称项目名称项目描述项目描述商用时间商用时间SDP彩铃尼日利亚彩铃MTN主要是预测分析（流失率预测、订购行为预测）以及关联推荐营销，Smartminer用户分类分析能力2012年11月日志详单天津私有云提供超大容量100台节点的访问和管理能力提供便捷的安装部署能力提供高很高的吞吐量和高并发的业务访问2012年12月CBS巴林VIVO CBS

9、项目用于AR/GL/Report等模块，实现模块间数据集成；提供产品配置、匹配、订购的规则引擎2013年6月SDP游戏基地SDP游戏基地（BDI）游戏基地：将分布式数据库Teastore中的数据同步到BI系统进行经分分析。要求每月全量同步一次，每天增量同步一次，同时同步的数据要按照客户的要求进行聚合。2013年8月CBS不丹Tashi CBS项目用于AR/GL/Report等模块，实现模块间数据集成；提供产品配置、匹配、订购的规则引擎2013年10月eCommerce电子渠道河北移动（BDI）业务方目前已完成部分流程的配置，jdbc抽取、jdbc加载节点使用最多，数据库都是oracle。中间偶

10、尔会有过滤等少量转换节点。 正在和第三方讨论方案，已决定文本的处理。调度方面存在三个：1、分钟 目前有5个分钟调度， 1个1分钟调度，4个两分钟调度，大多数据量是1条，5个调度总共7条数据。2、日 大约15至20个。总数据量不超过100条。3、月 目前有3个，数据量和日调度一致，总数据量不超过100条。2013年10月RBT音乐平台菲律宾Smart项目BDI,SM,RTD,Hadoop共计4个组件。新用户因其不存在用户评分记录，这个时候可以基于用户特性、标签通过业务规则来推荐，用户特性或标签本身可以来源于数据挖掘分析或者是数据钻取分析。2013年10月BI( 一体化营销项目)山东移动一体化营销

11、项目提供事件决策平台，引入实时和精确营销能力 Hbase客户画像，RTD实时决策能力2013年11月VASCloud Report多米尼加（BDI）支持7个报表产品，合计100个左右的作业调度。报表接受系统定时(默认2-30分钟之间)采集生成的统计数据文件。部分话单包括和配置表关联衍生字段。 按一般消息400字节计算，具备单机2万/行的入库能力。支持单机和集群部署，集群一般场景是双机2013年11月Hybird Video卡塔尔卡电（BDI）提供BDI2013年11月SDP音乐基地四川移动音乐基地（BDI）四川移动音乐基地：将分布式数据库Teastore中的数据同步到BI系统进行经分分析。每天

12、增量同步一次，全量只同步一次，同时同步的数据要按照需求进行聚合。2013年11月HUAWEI TECHNOLOGIES CO., LTD.11 中移动集团私有云/南方基地日志详单系统背景介绍：l 北方基地私有云和南方基地，为中移动集团的南北两大云计算基地，集中建设海量日志详单系统，用于集团各省公司共享式地使用Hadoop存储日志详单数据；l 系统规模为1xx节点，存储容量1.x PB业务描述：l 基于HDFS的清单数据存储服务。l 基于MR和Hive的清单数据统计分析服务。成功经验：l 系统2013年初成功上线商用，已经支撑上线的业务系统包括防骚扰电话、垃圾彩信，等等。数据查询服务层数据存储服

13、务层数据接口和访问层日志详单数据存储系统逻辑功能视图HUAWEI TECHNOLOGIES CO., LTD.12 华为Confidential 菲律宾PLDT大数据存储ETL (Extract, Transfer, Loading)ProductAnalyticReportingInquiryData WarehouseExadata(160T)BIHadoopStructured dataMPPUnstructured dataHuawei Big Data SolutionLoadArchiveSimpleInquery&Analytic痛点诉求如左图，机会1：A(结构化数据存储

14、)+B(非结构化数据存储)；机会2：ETL基础数据处理。提供的方案硬件采用x86服务器，软件系统采用OI平台，提供A+B+C的整体解决方案，超出客户需求。空间和进展一期已开始交付；二期需求主要是B和C，投资预算超$500万。后续该大数据存储中心可作为IT网改中的核心部件，为上层各应用（BI/Report/CRM等）提供统一的数据接口和服务。IndicatorPOC ResultRequirementQuery Performance 2-4s delay with 300 concurrent queries10sLoading Performance 83+MB/S with 13 node

15、s11MB/SExport Performance 135+MB/S with 13 nodes11MB/S需求驱动来源随着MBB发展，用户上网数据暴增，DWH撑爆，话单查询需数十秒甚至分钟级。当前的存储服务器老旧，已无法扩容，急需新的存储解决方案。客户需求描述对6个月以上的话单进行归档和简单查询，查询延时最长10秒；对非结构数据（如网络日志）海量存储查询。一期目标是结构化数据的存储，数据量规模300T。HUAWEI TECHNOLOGIES CO., LTD.13 山东移动综合分析系统与山东移动合作进行网络综合分析系统一期建设：p完成了HADOOP+MPP的大数据架构的搭建；p打通与Gn信令

16、系统、综合资源系统、经分系统、流控系统、话务网管、数据网管、网优系统、拨测系统8个系统的接口；p初步建立网络数据融合分析模型和指标体系；应用层数据仓库层数据源基础数据层 流控系统经营分析系统EOMS系统Gn分析系统话务网管系统数据网管系统综合资源系统数据质量管理四网协同价值小区应用专题自定义分析HBaseM/RHiveHDFSHUAWEI TECHNOLOGIES CO., LTD.14 互联网用户行为分析支撑个性化营销，提升营销效率用户上网行为用户上网行为实施案例：实施案例：河南移动互联网分析系统黑龙江移动互联网分析系统广东联通精细化运营平台 互联网行为分析互联网行为分析支撑个性化营销支撑个

17、性化营销实施前情况实施后效果HUAWEI TECHNOLOGIES CO., LTD.15 借助互联网分析进行全内容智能分发全内容智能分发平台，功能建设方面已经实现全内容管理、渠道信息管理、个性化推荐管理和互联网渠道运营等模块，并构建了一个包含阅读、视频、音乐、游戏等栏目的手机版全内容聚合portal；内容方面已实现手机阅读、无线音乐、手机游戏、手机动漫等业务的内容数据接入，手机视频在12月初完成数据接入。截止到11月26日，通过139导航小说栏目月推荐小说覆盖数达10568本，累计达14826本，累计访问用户数达152842个，成功点播用户数达58996个，共阅读4321101章节,月均阅读

18、约217万章节， 月均收入约19.53万元，预计全年可实现收入约234.36万元。HUAWEI TECHNOLOGIES CO., LTD.16 某省精确营销系统案例Page 16事件类型事件量级触发事件触发规则适合的营销活动业务/分析事件500万+/天缴费办理事件客户到营业厅或代理商交话费推荐网上交话费送话费、手机支付网银交话费等优惠活动用户信息录入事件用户是某营销活动的目标客户通过BOSS双屏向营销员侧和用户侧推荐相应的营销活动信息，比如终端类营销活动、存话费送礼品营销活动短信营业厅接触事件用户发给短信营业厅的短信为特定指令进行关联产品推荐，比如订购来电提醒时向客户推荐短信回执、订购手机阅

19、读时向客户推荐热门书籍、初次订购GPRS套餐时向客户推荐热门应用网厅、掌厅登录事件用户是某营销活动的目标客户在优惠活动专区醒目地展示特定营销活动信令事件5亿+/天语音呼叫、接听事件拨打长途电话发生漫游通话拨打查号、订票类电话推荐长途12593、长途包推荐非常假期、两城一家推荐12580业务短信发送、接收事件与飞信用户短信往来收发特定短信网关的短信推荐短信套餐、飞信业务推荐自有替代业务或相关业务位置更新事件、位置切换事件处于机场、商业中心等特定区域处于漫游状态推荐WLAN业务、商家联盟等业务推荐手机阅读、手机导航等数据业务开机事件用户未订购来电提醒业务用户处于漫游状态推荐来电提醒业务推荐1258

20、0、移动气象站等业务互联网事件（接入中）40亿+/天（估计）使用手机软件事件使用手机软件访问互联网推荐移动同类产品或业务搜索事件歌曲搜索、小说搜索时触发推荐相同类型的歌曲或小说音乐试听事件在音乐平台点击音乐试听推荐相同类型歌曲HUAWEI TECHNOLOGIES CO., LTD.17 与XX移动开展基于热线大数据挖掘的终端销售提升活动STEP1：定向抽取录音到语音分析引擎，作为重要数据输入STEP2：深入研究客户热线交互行为数据，输出换机关联强度信息STEP3：汇集热线大数据与BI标签信息，对典型换机用户进行聚类分析，区分不同购机驱动力用户群体STEP4：通过专业数据挖掘算法，计算输出用户

21、终端兴趣指数STEP5：生成个性化手机选择过滤器，匹配出用户偏好终端机型STEP6：将用户购机兴趣指数、偏好等热线数据挖掘成果应用到在线呼入、外呼/直复营销实践支持支持30%录录音音结结构化入构化入库库， ，语语音音识别识别率从率从 35% 提升到了提升到了 80%文本分析及文本分析及终终端端兴兴趣挖掘模型趣挖掘模型此次此次热线终热线终端端营销营销目目标标机型是机型是低价智能机低价智能机，从模型，从模型输输出的出的34562名用名用户户中匹配出中匹配出6457人人呼出量接通量接通率外呼成功率配送成功量配送成功率感兴趣量兴趣率6457231935.9%8.62%12462%48520.9%客服客

22、服语语音数据是最能体音数据是最能体现现客客户户真真实实需求、客需求、客户满户满意度的数据，通意度的数据，通过语过语音数据的文本音数据的文本转换转换，可以达到数据价，可以达到数据价值值的深入挖掘。的深入挖掘。聚类分析；决策树分析；关联分析；文本挖掘分析；HUAWEI TECHNOLOGIES CO., LTD.18 数据开放相关进展沃尔玛24小时人群流量曲线图选定区域人群偏好分布人群归属地查询不同区域人群对比分析目前，沃尔玛采取的是人工蹲点方式进行采样分析；每个潜在新址花费约几万元江苏移动、湖北移动均对数据开放非常关注，当前湖北正在考虑进行实际系统落地。主要考虑“开店选址”：根据用户的选择的区域

23、，以数据地图的形式展示该区域的人群特征和统计报表，为大卖场和专业连锁客户开店选址提供依据.HISILICON SEMICONDUCTOR华为华为TECHNOLOGIES CO., LTD.Page 19华为Confidential 运营商对大数据的需求总结1.1.大数据自助大数据自助ad hocad hoc交互式分析交互式分析( (中国移动、中国联通、中国移动、中国联通、VDF)VDF)2.2.低成本的低成本的100PB100PB级数据存储级数据存储( (中国移动、中国联通、中国移动、中国联通、VDF)VDF)3.3.海量数据的一致性，分布式事务管理能力海量数据的一致性，分布式事务管理能力 (

24、 (中国移动中国移动) )海量数据存储1.1.实时数据展现（实时数据展现（dashboarddashboard等），实时分析等），实时分析( (中国移动、中国移动、Mobily)Mobily)2.2.CEP/CEP/流计算能力流计算能力( (中国移动、中国联通、中国移动、中国联通、VDFVDF、Mobily)Mobily)3.3.实时决策引擎实时决策引擎( (中国移动、中国联通、中国移动、中国联通、VDFVDF、Mobily)Mobily)实时大数据分析1.1.支持自然语言处理、网页支持自然语言处理、网页/ /文本分析、社交图谱等数据分析文本分析、社交图谱等数据分析( (中国移动、中国联通中国

25、移动、中国联通) )2.2.支持音视频等媒体数据智能分析，基于大数据的人工智能算法支持音视频等媒体数据智能分析，基于大数据的人工智能算法全面智能化1.1.分析结果对广告系统开放数据能力，发掘数据价值分析结果对广告系统开放数据能力，发掘数据价值( (湖北移动、广东联通湖北移动、广东联通) )2.2.地理位置数据分析报告开放能力地理位置数据分析报告开放能力( (湖北移动、广东联通湖北移动、广东联通) )数据开放1.1.多租户能力，在存储、计算、分析层实现资源隔离，提供云服务多租户能力，在存储、计算、分析层实现资源隔离，提供云服务( (中国移动中国移动) )2.2.资源虚拟化，统一存储，统一管理资源

26、虚拟化，统一存储，统一管理( (中国移动中国移动) )云化能力海量低成本清单库混合型存储Hadoop平台高性能文件系统分布式事务型存储存储&查询加速事件分析和决策Stream/CEP内存分析决策平台/AMStore计算能力加速Stream ETL传统ETL云托管和开放云化多租户开放集成框架报表系统/BICPMOLAP引擎数据挖掘/SmartMiner数据智能加速实时决策非结构化数据分析/NLP媒体数据分析大数据中间件技术目录目录一大数据蕴含大价值二华为大数据解决方案介绍三大数据平台建设探讨HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page

27、21华为大数据上升为公司战略，持续投入南京：BDI/SmartMiner/RTD/IA（电软研发中心）深圳：Hadoop/AMStore（电软研发中心）印度研究所：Streaming（电软研发中心）Hadoop（电软研发中心）Data Visualization（中央软件院）美研所：Gauss DB（高斯实验室）Data Mining（诺亚实验室）MOLAP（电软研发中心）欧研所：SmartSwitch（电软研发中心）杭州：SmartStream（香农实验室）徐直军：大数据、云计算、社交网络、移动化是华为公司未来投入战略方向。大数据未来保持上千人规模重点投入。HUAWEI TECHNOLOGI

28、ES CO., LTD.华为保密信息，未经授权禁止扩散Page 22华为大数据解决方案概览（内部视角）Hardware LayerPlatform LayerApplication LayerBig Data server(OSCA/ATAE3.0)Big Data Storage(Dsware/DiskArray)Big DataInfinibandBig Data Hardware Accelerator(FPGA Compress/Filter/Process)Business Consulting ServiceBusiness Process OutsourcingResource

29、Managed ServiceData Asset Trade Service (TBD)Real-time DecisionNetwork dynamic congestion controlReal-time recommendationExperience EnhancementPrecise MarketingImprove EfficiencyInnovative BusinessPersonalized recommendationDetailed Weblog InquiryOffering optimizationPackage design for specific OTT

30、OperationVisualizationCentralized Customer ProfileCapability exposureData exposureBI/SOP/SmartPCC/SDP/UP/CRM/SmartCare/DaaSOceanInsightIDC/存储/服务器HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 23端到端提供大数据解决方案（外部视角）聚焦技术分析平台和价值应用，构建开放、合作的生态环境HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 24大数据业务能力体系

31、框架商业价值精细化运营（融合）客户洞察（深刻）客户全视图（全面）大数据运营（变革）商业价值拓展（创新）业务能力开放共享自动探索自动监控实时决策精准营销场景营销自助分析搜索分析智能决策数据模型客户终端位置体验产品接触内容合作统一指标库（B、O、M域融合）交互分析数据可视化消费能力模型话务需求模型上网行为模型交往圈模型终端偏好模型位置轨迹模型社会身份模型渠道接触模型需求变化预测客户群微分内容需求偏好健康度分析生命周期管理离网倾向预测敏感度分析行为习惯分析资源效益评估数据开放客户体验提升多波次营销产品交叉销售价值向上销售多渠道联动位置信息经营社交信息经营客户知识经营产品实时决策精准实时营销实时满意度

32、维系资源效率优化反欺诈反骚扰价值提升能力提升应用模型与场景产业链服务分析过程可视化分析结论可视化HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 25数据开放当前聚焦的应用场景精准营销客户满意度维系产品优化资源优化DecisionOperation内容应用推荐基于业务使用的实时个性化推荐基于位置实时个性化推荐客户对产品的购买概率分析市场监控NPS分析个性化的挽留营销活动客户体验差的时候主动关怀用户流量详单查询渠道和时间偏好分析基于客户价值的网络规划基于客户价值的实时网络拥塞管理基于用户行为的网络资源投放异动客户资费归位基于信息热点的资费单元设计实

33、时业务监控广告数据开放区域价值服务数据管理平台精准实时营销客户满意度维系产品优化资源优化策略数据开放l订购率可达传统群发的10倍l使营销上市周期从9天缩短为2小时l全流程自动化，减少人工干预，节省的人力l不满意事件的前置处理减少30%投诉量l增加客户电渠便利度，提升运营效率l单次服务耗时从6分钟下降到4分钟l产品设计从3个月降为1个月l主要资费产品匹配度从50%提升到77%l不匹配客户离网率下降3%l相同投放成本下，后者带来的流量提升是前者的150%l价值小区客户得到优先保障，投诉率下降25%l增加收入来源HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散

34、Page 26数据开放：将数据作为商品，提供开放服务分析能力开放报告开放数据开放数据开放场景场景1、业务用户分析能力场景2、情境分析能力场景3、情境推荐分析 地点推测状态推测社交推测习惯推测电信情境 终端情境物理情境 社交情境132多种推荐能力互联网分析业务用户关联分析竞争分析业务知识库人群分析45678购车一族美容族白领商务人士97-1506-XXXXXX场景4、标签开放与推荐场景5、授权登陆的标签开放场景6、自定义人群过滤 场景7、商机洞察与人群流向场景8、产品竞争报告 ID 授权第三方购车一族运营商APP人群A实时人群过滤购车一族女性服饰投资族自定义DSOP 人群分布地图查询商铺选址人群

35、流向和预测输入品牌：华为AscendHonor自动生成竞争分析报告HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 27华为大数据给运营商带来的独特价值31542p专业的大数据平台建设和维护能力p电信级安全标准要求，保障系统数据安全安全/可靠/专业pX86化的计算云，存储云，缓解IOE扩容带来的成本压力p集中化的采集、处理，解决烟囱式系统的冗余浪费低成本低成本p全球需求分析与管理，版本规划业界领先p全球商业模式洞察，创新模式快速响应p业界资源汇聚整合，行业经验共享全球视野借鉴p架构开放，支持运营商构建应用百花齐放的局面p预置更加智能化/自动化的专

36、项应用如精准营销/满意度维系p自研系列产品，易提供定制工具，快速响应需求开放开放/预预置置/易集成易集成p专业实验室提供业界领先技术支撑p内嵌业界领先的分析技术和模型领领先技先技术创术创新新实实践践目录目录一大数据蕴含大价值二华为大数据解决方案介绍三大数据平台建设探讨HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 29基础数据仓库X86集群Hadoop云平台精准营销能力电子商城传统电子渠道互联网客服数据理解、融合、建模数据开放能力实时接触渠道合作伙伴平台建设所需关注的IT能力HUAWEI TECHNOLOGIES CO., LTD.华为保密信息

37、，未经授权禁止扩散Page 30B域数据与O域数据融合建模分层实现：系统数据来源广泛，潜在使用部门和人员众多，需求多样化、个性化，前端要求具有很高的响应性能和分析能力，后端要求广泛的数据集成能力和海量数据的处理、存储能力。单一的模型很难同时满足以上诸多的需求。采用分层实现的方式就是把综合分析系统模型划分为多个层次模型，每层次模型只满足特定的需求，这样分开的结果既简化了模型的设计，又满足了系统对模型提出的各种挑战。明确定位：各层次模型都可以满足运用系统某方面的特定需求，但各层次模型无法独立完成整个系统的全部模型需求。因此，各层次模型功能都必须有明确的功能定位，只有把各层次模型的功能定位清楚以后才

38、能针对其功能的特点有针对性的展开模型设计。区别对待：各层次模型功能都不一样，在其内部的建模的时候遇到的问题和挑战也会存在很大的差别，建模方法自然也就需要区别对待才能更好解决建模中遇到的问题和挑战。总体建模原则以用户为视角实现B域O域数据的关联HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 31提供OceanInsight Hadoop作为大数据平台的基础Hadoop：独有二级索引技术、colocation、电信级HA和大规模集群管理机制超越竞争对手。HDFS性能比社区版提升23倍，M/R性能提升310倍，HBase批量入库性能超越Intel 2

39、3倍达到35MB/s，利用二级索引机制查询性能提升10倍以上；移动研究院详测试结果表明OceanInsight Hadoop性能超越主要竞争对手。分布式文件存储Hadoop 管理台NoSql 数据库批处理运算数据仓库、SQL 查询分布式协调安装、配置、监控、任务调度安装、配置、监控、任务调度分布式存储HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 32430.12287.64510.720100200300400500600ClouderaIntelHuawei (OI)170.33140.46190.650204060801001201401

40、60180200ClouderaIntelHuawei (OI)21.8211.674501020304050ClouderaIntelHuawei (OI)70.5627.5589.58020406080100ClouderaIntelHuawei (OI)OceanInsight Hadoop性能对比测试结果Tested on 5 Node RH2288 ClusterStorage Per Node: 12x 1.8TBCores Per Node: 6x 4Memory Per Node: 189GBNetwork: 10Gbps EthernetOS:SUSE Linux (x86

41、64 bit)NMSMaster Nodes(Active-Standby)Worker NodesRead Throughput (MB/Second/Node)Higher the betterHDFSHDFSWrite Throughput (MB/Second/Node)Higher the betterMRHbaseJob Throughput (MB/Second/Node)Higher the betterData Load Throughput (MB/Second/Node)Higher the betterHuaweiHuaweiClouderaClouderaIntelI

42、ntelApacheApacheHadHadoopoopHadoop 2.1.0Hadoop 2.0.0-cdh4.4.0Hadoop 1.0.3-IntelHadoop 2.0.5-alphaHBaHBasesehbase-0.94.11-securityHBase 0.94.6-cdh4.4.0HBase 0.94.1-Intelhbase-0.94.9-securityHISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 33华为提供云化ETL工具支撑统一数据处理大MapReduce任务mapmapmapreducemapmap

43、bdi基于可视化组件拖拽实现，在可维护性、标准化封装、灵活性等方面更具优势；Hadoop在分任务处理时，任务之间是通过文件进行交换的，通过流程优化，将多个map任务整合成一个任务，剔除了不必要的文件交换，可极大地提高处理性能图形化拖拽流程编排及自动执行优化HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 34河南现场云ETL性能对比HUAWEI-BDI云化ETL产品同类ETL产品主机配置曙光640AMD 6136*2(x8) 2.4GHZ4G*16SAS ST91000640SS 1T*12 曙光A-620r-G AMD 6136

44、*2(x8) 2.4GHZ 4G*16 SAS ST91000640SS 1T*12 DataNode数量5台67台每天数据处理量1T8T数据处理时间9小时17.5小时单服务器计算能力22.756G/小时6.987G/小时对比结论华为BDI云化ETL产品数据计算能力是同类ETL产品数据计算能力的3.257倍HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 35数据仓库建设需要满足高容量、高性能以及高稳定性要求，同时又要具备其开放性要求，华为基于高性能开放应用平台FusionCube+Oracle Rac的数据仓库方案，在软硬件两方

45、面提升数据仓库处理能力和满足稳定性要求。存储节点PCI-e SSDSSD存储节点PCI-e SSDSSD计算节点PCI-e SSDPCI-e SSDCPUIBIB网络(56G FDR)(56G FDR)计算节点PCI-e SSDSSDCPU存储节点PCI-e SSDSSD存储节点PCI-e SSDSSD计算节点PCI-e SSDSSDCPUIBIB网络(56G FDR)(56G FDR)计算节点PCI-e SSDSSDCPU存储节点PCI-e SSDSSD存储节点PCI-e SSDSSD计算节点PCI-e SSDSSDCPUIBIB网络(56G FDR)(56G FDR)计算节点PCI-e SSDCPUIBIB网络(56G FDR)(56G FDR)华为FusionCubeFusionCube硬件平台华为FusionCubeFusionCube硬件平台华为FusionCubeFusionCube硬件平台开放性：基于X86开放平台大内存，单节点128G快网络，采用IB 56GE闪存盘，采用PCI-eSSD存储华为FusionCubeFusionCube硬件平台特点：基于华为高性能硬件的基础数据仓库解决方案HUAWEI TECHNOLOG