华为大数据时代的大机遇v

大数据时代的大机遇 目录 大数据定义 广义大数据 是物理世界到数字世界的映射和提炼 通过发现其中的数据特征和规律 最终实现提升人们生活质量 提高生产效率的目的 狭义大数据 是指围绕着海量数据的智能存储 智能挖掘和智能分析 由于数据量过于庞大 在同样的约束条件下 性能和成本 使用传统的IT技术无法完成数据的管理和分析 满足4V Volume Variety Velocity Value 即容量大 种类多 流量快 价值高 指标的数据称为大数据 大数据是指难以实现存储 搜索 共享 可视化和分析的大型数据集 用未来牵引现在 用现在保证未来 运营商需要依据大数据发展趋势进行战略选择 新技术的大量涌现 运营商如何选择 内存分析 流式计算 IBMStreams ApacheStorm SAPHANA OracleExalytics MPP数据仓库 NoSQL 多维分析 OracleEssbase IBMCognos 数据挖掘 预测分析 文本分析 Hadoop发行版 Dremel Spanner Impala EMCHAWQ NewSQL Cloudera MapR Hortonworks Hbase Hive Cassandra MongoDB Exadata GP Teradata Netezza SAS SPSS R Mahout Splunk 自然语言处理 社交图谱分析 Siri IBMWatson 媒体智能分析 大数据技术栈 Pregel Neo4j Videosurf 软硬一体机 OracleExadata IBMPuredata 小型机 数据库分析 多样智能化 智能决策从结构化数据分析向文本 语音视频媒体的智能分析 社交化图谱分析方向发展 分析实时化 分析计算向自助式ad hoc多维分析 实时内存分析 流式计算发展 管理集中化 数据管理从数据仓库 Hadoop向支持海量数据集中化管理 交互式SQL查询的NewSQL发展 软硬一体化 传统基础设施从小型机向软硬整合一体机方向发展 数据治理 Datastage 大数据技术向海量 实时和智能发展 在实际的应用过程中按需采用 目前为止半数以上的运营商已经开始部署大数据 针对具体应用的方案占多数 Source InformaTelecoms MediaN 240 Allbase 结论1 半数以上已经开始部署大数据 但是规模不一 结论二 相比规划和部署端到端大数据方案 针对具体应用 目的的大数据方案占多数 TMF34个大数据分析应用场景 企业管理 欺诈管理 业务流程优化 市场营销 网络优化 客户体验 网页浏览个性化推荐 Checkout个性化推荐 实时互动个性化推荐 基于位置实时个性化推荐 基于业务使用的实时个性化推荐 基于价值的网络规划 新企业用户订单影响分析 基于策略的网络性能管理 个性化的实时交互人工服务 适时的客户接触关怀 客户离网风险预测 客户离网原因预测 个性化的挽留营销活动 挽留营销活动的效果评估 网络故障检测和恢复 基于价值的实时网络拥塞管理 实时Wifi转移 四网协同 收入保障 合作伙伴价值优化 基于设备的实时个性化推荐 基于互联网记录进行精准广告 产品分析 产品优化 产品设计和开发 产品引入分析 数据货币化 沉默用户 服务 主动关怀 客户自服务渠道效率分析 渠道和时间偏好分析 客户体验差的时候主动关怀 网络故障的时候主动关怀 市场分析 监控 客户对产品的购买概率分析 华为大数据应用情况 截止到2013年11月份 全球拓展86个大数据市场项目 其中39个交付中 11个已经商用 11个商用项目简介 按正式商用时间先后排序 中移动集团私有云 南方基地日志详单系统 背景介绍 北方基地私有云和南方基地 为中移动集团的南北两大云计算基地 集中建设海量日志详单系统 用于集团各省公司共享式地使用Hadoop存储日志详单数据 系统规模为1xx节点 存储容量1 xPB业务描述 基于HDFS的清单数据存储服务 基于MR和Hive的清单数据统计分析服务 成功经验 系统2013年初成功上线商用 已经支撑上线的业务系统包括防骚扰电话 垃圾彩信 等等 日志详单数据存储系统逻辑功能视图 菲律宾PLDT大数据存储 痛点诉求如左图 机会1 A 结构化数据存储 B 非结构化数据存储 机会2 ETL基础数据处理 提供的方案硬件采用x86服务器 软件系统采用OI平台 提供A B C的整体解决方案 超出客户需求 空间和进展一期已开始交付 二期需求主要是B和C 投资预算超 500万 后续该大数据存储中心可作为IT网改中的核心部件 为上层各应用 BI Report CRM等 提供统一的数据接口和服务 需求驱动来源随着MBB发展 用户上网数据暴增 DWH撑爆 话单查询需数十秒甚至分钟级 当前的存储服务器老旧 已无法扩容 急需新的存储解决方案 客户需求描述对6个月以上的话单进行归档和简单查询 查询延时最长10秒 对非结构数据 如网络日志 海量存储查询 一期目标是结构化数据的存储 数据量规模300T 山东移动综合分析系统 与山东移动合作进行网络综合分析系统一期建设 完成了HADOOP MPP的大数据架构的搭建 打通与Gn信令系统 综合资源系统 经分系统 流控系统 话务网管 数据网管 网优系统 拨测系统8个系统的接口 初步建立网络数据融合分析模型和指标体系 互联网用户行为分析支撑个性化营销 提升营销效率 借助互联网分析进行全内容智能分发 全内容智能分发平台 功能建设方面已经实现全内容管理 渠道信息管理 个性化推荐管理和互联网渠道运营等模块 并构建了一个包含阅读 视频 音乐 游戏等栏目的手机版全内容聚合portal 内容方面已实现手机阅读 无线音乐 手机游戏 手机动漫等业务的内容数据接入 手机视频在12月初完成数据接入 截止到11月26日 通过139导航小说栏目月推荐小说覆盖数达10568本 累计达14826本 累计访问用户数达152842个 成功点播用户数达58996个 共阅读4321101章节 月均阅读约217万章节 月均收入约19 53万元 预计全年可实现收入约234 36万元 某省精确营销系统案例 Page16 与XX移动开展基于热线大数据挖掘的终端销售提升活动 STEP1 定向抽取录音到语音分析引擎 作为重要数据输入 STEP2 深入研究客户热线交互行为数据 输出换机关联强度信息 STEP3 汇集热线大数据与BI标签信息 对典型换机用户进行聚类分析 区分不同购机驱动力用户群体 STEP4 通过专业数据挖掘算法 计算输出用户终端兴趣指数 STEP5 生成个性化手机选择过滤器 匹配出用户偏好终端机型 STEP6 将用户购机兴趣指数 偏好等热线数据挖掘成果应用到在线呼入 外呼 直复营销实践 支持30 录音结构化入库 语音识别率从35 提升到了80 文本分析及终端兴趣挖掘模型 此次热线终端营销目标机型是低价智能机 从模型输出的34562名用户中匹配出6457人 客服语音数据是最能体现客户真实需求 客户满意度的数据 通过语音数据的文本转换 可以达到数据价值的深入挖掘 文本分析和数据挖掘模型 聚类分析 决策树分析 关联分析 文本挖掘分析 数据开放相关进展 江苏移动 湖北移动均对数据开放非常关注 当前湖北正在考虑进行实际系统落地 主要考虑 开店选址 根据用户的选择的区域 以数据地图的形式展示该区域的人群特征和统计报表 为大卖场和专业连锁客户开店选址提供依据 运营商对大数据的需求总结 目录 华为大数据上升为公司战略 持续投入 南京 BDI SmartMiner RTD IA 电软研发中心 深圳 Hadoop AMStore 电软研发中心 印度研究所 Streaming 电软研发中心 Hadoop 电软研发中心 DataVisualization 中央软件院 美研所 GaussDB 高斯实验室 DataMining 诺亚实验室 MOLAP 电软研发中心 欧研所 SmartSwitch 电软研发中心 杭州 SmartStream 香农实验室 徐直军 大数据 云计算 社交网络 移动化是华为公司未来投入战略方向 大数据未来保持上千人规模重点投入 华为大数据解决方案概览 内部视角 HardwareLayer PlatformLayer ApplicationLayer BigDataserver OSCA ATAE3 0 BigDataStorage Dsware DiskArray BigDataInfiniband BigDataHardwareAccelerator FPGACompress Filter Process BusinessConsultingService BusinessProcessOutsourcing ResourceManagedService DataAssetTradeService TBD Real timeDecision Networkdynamiccongestioncontrol Real timerecommendation ExperienceEnhancement PreciseMarketing ImproveEfficiency InnovativeBusiness Personalizedrecommendation DetailedWeblogInquiry Offeringoptimization PackagedesignforspecificOTT OperationVisualization CentralizedCustomerProfile Capabilityexposure Dataexposure BI SOP SmartPCC SDP UP CRM SmartCare DaaS OceanInsight IDC 存储 服务器 端到端提供大数据解决方案 外部视角 聚焦技术分析平台和价值应用 构建开放 合作的生态环境 大数据业务能力体系框架 数据开放 当前聚焦的应用场景 精准营销 客户满意度维系 产品优化 资源优化 Decision Operation 内容应用推荐 基于业务使用的实时个性化推荐 基于位置实时个性化推荐 客户对产品的购买概率分析 市场监控 NPS分析 个性化的挽留营销活动 客户体验差的时候主动关怀 用户流量详单查询 渠道和时间偏好分析 基于客户价值的网络规划 基于客户价值的实时网络拥塞管理 基于用户行为的网络资源投放 异动客户资费归位 基于信息热点的资费单元设计 实时业务监控 广告数据开放 区域价值服务 数据管理平台 精准实时营销 客户满意度维系 产品优化 资源优化策略 数据开放 订购率可达传统群发的10倍使营销上市周期从9天缩短为2小时全流程自动化 减少人工干预 节省的人力 不满意事件的前置处理减少30 投诉量增加客户电渠便利度 提升运营效率单次服务耗时从6分钟下降到4分钟 产品设计从3个月降为1个月主要资费产品匹配度从50 提升到77 不匹配客户离网率下降3 相同投放成本下 后者带来的流量提升是前者的150 价值小区客户得到优先保障 投诉率下降25 增加收入来源 数据开放 将数据作为商品 提供开放服务 华为大数据给运营商带来的独特价值 3 1 5 4 2 专业的大数据平台建设和维护能力电信级安全标准要求 保障系统数据安全 安全 可靠 专业 X86化的计算云 存储云 缓解IOE扩容带来的成本压力集中化的采集 处理 解决烟囱式系统的冗余浪费 低成本 全球需求分析与管理 版本规划业界领先全球商业模式洞察 创新模式快速响应业界资源汇聚整合 行业经验共享 全球视野借鉴 架构开放 支持运营商构建应用百花齐放的局面预置更加智能化 自动化的专项应用如精准营销 满意度维系自研系列产品 易提供定制工具 快速响应需求 开放 预置 易集成 专业实验室提供业界领先技术支撑内嵌业界领先的分析技术和模型 领先技术创新实践 目录 大数据平台 基础数据仓库 X86集群 Hadoop云平台 精准营销能力 统一数据服务 电子商城 传统电子渠道 互联网客服 统一数据处理 开放式应用平台 数据理解 融合 建模 数据开放能力 实时接触渠道 合作伙伴 数据 应用 服务 平台建设所需关注的IT能力 B域数据与O域数据融合建模 分层实现 系统数据来源广泛 潜在使用部门和人员众多 需求多样化 个性化 前端要求具有很高的响应性能和分析能力 后端要求广泛的数据集成能力和海量数据的处理 存储能力 单一的模型很难同时满足以上诸多的需求 采用分层实现的方式就是把综合分析系统模型划分为多个层次模型 每层次模型只满足特定的需求 这样分开的结果既简化了模型的设计 又满足了系统对模型提出的各种挑战 明确定位 各层次模型都可以满足运用系统某方面的特定需求 但各层次模型无法独立完成整个系统的全部模型需求 因此 各层次模型功能都必须有明确的功能定位 只有把各层次模型的功能定位清楚以后才能针对其功能的特点有针对性的展开模型设计 区别对待 各层次模型功能都不一样 在其内部的建模的时候遇到的问题和挑战也会存在很大的差别 建模方法自然也就需要区别对待才能更好解决建模中遇到的问题和挑战 总体建模原则以用户为视角实现B域O域数据的关联 提供OceanInsightHadoop作为大数据平台的基础 Hadoop 独有二级索引技术 colocation 电信级HA和大规模集群管理机制超越竞争对手 HDFS性能比社区版提升2 3倍 M R性能提升3 10倍 HBase批量入库性能超越Intel2 3倍达到35MB s 利用二级索引机制查询性能提升10倍以上 移动研究院详测试结果表明OceanInsightHadoop性能超越主要竞争对手 HDFS分布式文件存储 HOMHadoop管理台 HBaseNoSql数据库 MapReduce批处理运算 Hive数据仓库 SQL查询 Zookeeper分布式协调 性能优化 高可靠 性能优化 性能优化 性能优化 高可靠 安装 配置 监控 任务调度 Bookkeeper分布式存储 YARN SQLoverHadoop OceanInsightHadoop性能对比测试结果 Testedon5NodeRH2288ClusterStoragePerNode 12x1 8TBCoresPerNode 6x4MemoryPerNode 189GBNetwork 10GbpsEthernetOS SUSELinux x8664bit ReadThroughput MB Second Node Higherthebetter HDFS HDFS WriteThroughput MB Second Node Higherthebetter MR Hbase JobThroughput MB Second Node Higherthebetter DataLoadThroughput MB Second Node Higherthebetter 华为提供云化ETL工具支撑统一数据处理 bdi基于可视化组件拖拽实现 在可维护性 标准化封装 灵活性等方面更具优势 Hadoop在分任务处理时 任务之间是通过文件进行交换的 通过流程优化 将多个map任务整合成一个任务 剔除了不必要的文件交换 可极大地提高处理性能图形化拖拽流程编排及自动执行优化 河南现场云ETL性能对比 数据仓库建设需要满足高容量 高性能以及高稳定性要求 同时又要具备其开放性要求 华为基于高性能开放应用平台FusionCube OracleRac的数据仓库方案 在软硬件两方面提升数据仓库处理能力和满足稳定性要求 开放性 基于X86开放平台大内存 单节点 128G快网络 采用IB56GE闪存盘 采用PCI eSSD存储 华为FusionCube硬件平台特点 基于华为高性能硬件的基础数据仓库解决方案 华为分布式关系数据库 GaussMPPDB 适用场景 适合PB级关系型数据的低成本存储和查询计算的场景 可支撑海量日志详单的存储和查询 面向高价值关系数据的OLAP分析场景 特点 高扩展性 可支持上千个并发查询 可扩展到256个节点以上 高性能 入库性能达到单柜160万条 s 遵循ANSISQL标准 10亿记录下100并发下SQL统计查询时延 1s 低成本 采用x86服务器 比传统数据仓库采用小型机的成本减少90 统一数据服务的关键点在于透明访问 实施效果 接口统一化 通过统一SQL接口或SOAP REST等接口访问数据降低耦合度 上层应用对数据存储细节透明化 降低数据与应用的耦合提升开发效率 跨实例的数据计算在透明访问层中完成 应用内部对此透明数据访问可管理 所有数据访问通过透明访问层 能实现数据访问的统一监控和管理 HDFS 接口层 语言层接口 解析层 语言解析引擎 执行计划和优化引擎 任务调度与路由 执行层 任务计算FDW 任务计算FDW 任务计算FDW 数据目录 SQL NativeAPI WebService 数据互通 接口层接口层面向上层应用或用户 提供统一的数据访问接口 针对不用对象提供不同的接口类型 如SQL 本地API或服务接口等 同时接口层提供数据地图 开放数据层模型信息 支撑应用设计 数据地图 RDBMS MPPDB 数据联邦 构建透明访问服务层的目的是统一管理异构数据库 对应用层屏蔽异构数据库的差异 它可以替代SQL成为平台与应用之间一个兼顾效率与界面清晰的中间层 解决三个问题 查询对应用层透明 统一管理维护 数据联邦 执行层执行层针对上层的任务进行执行动作 不同类型的数据实例有对应的FDW ForeignDataWrapper 模块 同时 执行层支持数据联邦 支持跨实例数据访问 解析层解析层接收接口层的数据访问命令 并对其进行语法解析 输出用户访问命令所涉及的模型 字段 操作符等基本对象 并基于数据目录信息生成针对各个数据实例的执行计划 执行计划通过任务调度进入到执行层的具体执行模块 精准营销能力 大数据平台 精细化营销管理 9 营销评估 活动执行监控 活动效益评估 3 营销活动管理 4 客户需求洞察管理 活动信息库 事件知识库 接触信息库 10 数据交互服务管理 业务事件处理模块 目标管理数据获取 信令事件处理模块 PCRF接口管理 传统业务行为分析 互联网行为分析 位置轨迹分析 黄页行为分析 行业网关行为分析 营销模板配置 一键式营销 5 策略中心 策略配置 策略效果 渠道系统接口管理 营销知识库 华为内存分析决策计算平台AMStore 华为内存分析决策平台AMStore是华为大数据实时分析 查询的核心加速部件 基于内存计算技术 提供比传统磁盘库快100倍 比商用传统内存数据库10倍以上的性能 适用高速探索式分析 Ad hoc查询 实时分析等场景 基于内存CACHE友好的计算加速技术 支持实时查询响应 相比传统内存数据库性能提升10倍 支持高性能的多表管理和复杂查询 相比磁盘数据库提升100倍以上 22万 s单点内存数据加载性能 支持单点平滑扩展至50个节点 100TB级数据处理能力 在亿级用户宽表分析场景下 进行一次多条件的ad hoc查询 响应时间 10毫秒级 华为AMStore亮点 极高性能的实时分析和查询响应高性能的数据入库和出库数据高并发修改的ACID保护 华为实时决策引擎RTD Real TimeDecision RTD定位 RTD定位在决策计算 基于CEP引擎和流计算框架提供实时决策引擎和运行框架 业务面向基于事件的实时决