曙光XData大数据教战手册

曙光 XData 大数据教战手册 曙光信息产业 北京 有限公司 产品中心 1 教战手册作用 曙光 XData 大数据教战手册是销售人员在与客户沟通时常见问题的回答要点 是让客 户清楚曙光在备份领域能做的事情以及曙光的优势 最终为达成销售的目的提供必要的技 术解释 2 背景介绍 2 1 什么是大数据 大数据 并不是一项技术 而是由于不断增长的数据量和数据种类而逐渐衍生出来的 一种现象 因此 大数据在业内并没有一个统一的定义 不同厂商 不同用户 站在不同 的角度 对大数据的理解不一样 目前说大数据的定义 主要有下面两种 第一种是 Teradata Manager 上给出的一个定义 它指出大数据是指超出了常用硬件环境和软件工 具在可接受的时间范围内为其用户收集 管理和处理数据的能力 另一种是麦肯锡给出的 定义 它说大数据是指大小超出了典型数据库软件工具收集 存储 管理和分析能力的数 据集 2 2 大数据的特点 大数据 这个词 光从字面来看 可能会让人觉得只是容量非常大的数据集合而已 但是 容量只不过是大数据特征的一个方面 如果只拘泥于数据量的话 就无法深入理解 当前围绕大数据所进行的讨论 因为 用现有的一般技术难以理解 这样的状况 并不仅仅 是由于数据量增大这一个因素所造成的 大数据的特征 可以用四个 V 开头的关键词来描述 1 数据体积大 Volume 截止目前 人类生产的所有印刷材料的数据量是 200PB 而历史上全人类说过的 所有的话的数据量大约是 5EB 当前 典型个人计算机硬盘的容量为 TB 量级 而一些大企业的数据已经接近 EB 级 2 数据类型多 Variety 数据的多样性可以把数据分为结构化数据和非结构化数据 相对于以往便于存储 的以文本为主的结构化数据 非结构化数据越来越多 包括网络日志 音频 视 频 图片 地理位置信息等 这些多类型的数据对数据的处理能力提出了更高要 求 4 3 价值密度低 Value 价值密度的高低与数据总量的大小成反比 以视频为例 一部 1 小时的视频 在 连续不间断的监控中 有用数据可能仅有一两秒 如何通过强大的机器算法更迅 速地完成数据的价值 提纯 成为目前大数据背景下亟待解决的难题 4 处理速度快 Velocity 这是大数据区分于传统数据挖掘的最显著的特征 根据 IDC 的 数字宇宙 的报告 预计到 2020 年 全球数据使用量将达到 35 2ZB 在如此海量的数据面前 处理 数据的效率就是企业的生命 3 产品介绍 3 1 产品概述 Xdata 大数据一体机是一款通用的海量数据处理平台 提供对结构化及非结构化海量 数据的存储组织和查询处理功能 满足用户对海量数据的过滤性查询 统计分析类查询和 关联分析的处理需求 Xdata 大数据一体机可广泛的应用在电信数据统计分析 互联网 移动互联网的日志和 用户行为分析 物联网 传感器网络的数据监控和追踪分析 以及金融交易数据的离线统计 和挖掘等众多领域 3 2 功能特性 Xdata 大数据处理机将数据存储单元和处理单元分离 通过构架高效的服务中间件 将底层采用无共享结构的数据存储节点 聚合成一个单一的数据处理系统映像 达到较高 的数据读写并发度 计算并发度 以及良好的系统扩展性 可靠性和可维护性 系统结构 如图 5 数据集群 复制服 务节点 数据定 义节点 管理数据 应用数据 加载节点 负载均衡节点 客户端 通信软件 查询服务 节点 图表 3 1 XData 系统结构 Xdata 向用户提供统一的类 JDBC 的客户端编程接口 向下管理分布在不同存储模块上 的不同类型的数据 并提供简易的用户管理界面 Xdata 系统的核心计算包括自动的服务 注册和负载均衡 可扩展的数据划分和分布策略 高效的批量数据加载 通用的并行查询 分析和处理引擎 结构化和非结构化数据的统一访问接口 不同类型数据之间的关联查询 和检索 以及全方位的熊故障和恢复处理等多项技术 Xdata 的产品功能特性如下 1 分级存储 Xdata 支持分级存储 以降低系统的总体持有成本 即按照数据量和数据的访问 频率 分为在线 离线和备份三个存储级别 并支持数据在各级之间根据策略进 行迁移 2 复杂数据类型关联分析 Xdata 支持大表关联和大表嵌套类等复杂的查询语句的处理 Xdata 系统通过将复 杂查询解析成在多个数据节点上的并行任务流 来提高复杂查询的处理性能 Xdata 支持用户自定义的并行查询任务流 可以支持任意复杂的结构化 非结构化 数据处理语义 以满足更广泛的应用需求 3 SN MPP 并行处理架构 Xdata 采用无共享的集群架构 提供高速的数据写入能力 写入过程中 采用并 6 行写入的方式 按照一定的数据划分策略 将数据写入到后端的数据节点 Xdata 将查询语句分解成为在多个数据模块并行执行的查询任务流 所有的查询 处理都在数据节点上并行的执行 充分利用无共享结构的计算并行度 Xdata 提 供任务断点执行功能 发生意外情况时 失效任务自动恢复执行 4 SQL MapReduce 一体化执行框架 XData 提供类 SQL 访问接口 有 SQL 使用经验的用户无需额外学习即可很方便 的使 XData 提供 SQL MapReduce 混合执行框架 提供跨平台的兼容性 3 3 产品特点 中科曙光 XData 大数据一体机的主要硬件组成部分 数据模块 DataModule 具有如 下特点 1 高性能 采用 Intel 最新一代的 E5 2600 系列处理器 处理器内部集成 PCI E 控制器 处 理器之间采用更多 更快的 QPI 总线 大幅提升 CPU 之间协作效率 16 根 DIMM 插槽 支持 DDR3 内存 频率支持 1600MHz 由使用的处理器型号决 定 最高可支持 512GB 内存 PCI E 总线提升到 3 0 标准 极大的提高了扩展性能 2 高可靠性 具有高级内存容错功能 支持多网卡冗余 系统正常时分摊网络流量 当其中一块网卡出现问题时 自动 将其负担的工作切换到其他网卡 机箱温度检测功能 随时检测机箱内部的温度以及系统风扇的情况 发现问题及 时报警 标配 2 1 冗余电源 防止瞬间掉电 提供用户更稳定可靠的系统电源 3 高扩展性 16 条 DIMM 插槽 最大可扩展至 512G 内存 最大支持 36 块硬盘 可用作存储服务器 支持 6 条 PCI E 插槽 提供高扩展能力 支持更多扩展卡 为更多应用提供支持 4 高可管理性 7 可选智能硬件监控系统 提供系统内部温度 风扇转速 直流电源电压等工作状 态信息显示 自动记录主机因故障停止工作的时间和日志信息 帮助分析故障原 因 支持智能动态调节风扇转速功能 风扇转速随着系统温度动态调整 有效降低了 系统噪音和功耗 5 易维护性 集成 iKVM 功能可以对数据控制器进行远程操作 维护 具有多项故障指示功能 有效降低用户宕机风险 3 4 产品规格 XData 大数据一体机包含两类组件 计算模块 数据模块和客户端 计算模块 用于数据的并行加载和查询处理 对客户端提供统一的数据处理接口 数据模块 用于提供结构化 非结构化数据一体化存储空间 内嵌高性能数据存取引擎 并行处理所有计算模块的数据访问请求 客户端 用于和用户应用对接 提供 XJDBC MapReduce 统一访问接口和各服务专用 访问接口 表格 3 1 规格列表 型号型号XData 大数据一体机大数据一体机 系统容量16PB 计算模块1024 数据模块1024 系统规格 客户端 OS CentOS5 X86 X86 64 CentOS6 X86 X86 64 RedHat5 X86 X86 64 RedHat6 X86 X86 64 SLES11 SP1 X86 X86 64 SLES11 SP2 X86 X86 64 系统架构非对称双集群架构 系统由计算集群和数据集群组成 系统功能 访问接口支持类 JDBC 统一编程接口和各服务专用编程接口 兼容 8 MapReduce 执行框架 负载均衡支持基于连接数 容量和性能的负载均衡 数据迁移支持数据控制器之间的数据迁移 分级存储支持同一系统内的数据分级 加载模块 支持计算模块在线动态添加和安全移除 扩展后系统数据加载能 力呈线性增长 数据模块 支持数据模块在线动态添加 扩展后系统数据查询处理能力呈线 性增长 可扩展性 硬盘Raid0 1 5 6 计算模块 多个计算模块以负载均衡方式运行 单个或多个计算模块故障不 影响系统整体的数据加载和查询处理 客户端会自动重连切换到 可用的计算模块可靠性 数据模块 数据模块以集群方式运行 支持数据的双副本和分级存储策略对 数据可靠性进行保护 部署支持集中式部署和配置 升级 支持在用户业务不停止的情况下在线升级 升级过程对原有数据 和配置无影响 状态监控 支持对系统总体状态进行监控 支持对各节点和服务状态进行监 控 性能监控 支持对系统总体性能 资源进行监控 以及各节点的性能 资源 进行监控 管理 告警 支持对系统软硬件故障和系统状体阀值信息进行告警 告警方式 支持以界面告警 邮件告警和短信告警等方式 3 5 XData 大数据一体机管理系统 Xdata 大数据一体机管理系统主要为用户提供对 Xdata 系统执行各种操作的图形化交互 界面 提供的功能包括 安装维护 系统监控 系统管理 告警管理 报表管理和资源管 理等服务 其界面操作如下图所示 9 图表 3 2 XData 管理系统登录界面 图表 3 3 XData 系统管理服务界面 10 图表 3 4 XData 系统安装界面 图表 3 5 XData 系统资源监控界面 4 目标行业及典型应用 在数据量爆发式增长的时代 数据中蕴含的价值日益受到企业和社会的重视 曙光公 司以客户需求为导向 依托十几年的专业技术积累和丰富的项目实践经验 提出以 平台一 11 体 智汇应用 为核心的曙光大数据战略 为各行各业客户提供业界顶尖水准的大数据整体 解决方案和服务 助力客户业务持续创新和增长 曙光大数据提供丰富的平台接口 支持 与各行业丰富的第三方应用集成 汇集了智慧城市 金融 电信 交通 医疗 教育 军 工等各行各业丰富的大数据应用软件 提供高效和个性化的数据分析服务 挖掘数据价值 释放数据潜能 为客户带来创新的技术模式 商业格局和投资机会 从而获得在信息时代 的竞争优势 4 1 客户的数据类型 客户应用系统的数据通常被分为一下两个大类 1 结构化数据 即存储在关系型数据库里面的行数据 可以通过二维表结构来逻辑表达实现的数 据 2 非结构化数据 相对于结构化数据而言 不方便用数据库二维逻辑表来实现的数据即称为非结构 化数据 包括所有格式的办公文档 文本 图片 XML HTML 各类报表 图 像 音频 视频 智能终端 智能仪表 传感器产生的数据等等 Xdata 大数据一体机致力于对分散的结构化和非结构化数据进行整合存储 实现数据 的交叉复用及数据的深层次挖掘等应用 4 2 典型的行业应用 曙光在大数据布局上将采用三步走战略 为企业打着简单易用 注重实效的大数据平 台 其中 数据落地式三步走战略中的第一步 其关键点在于数据采集存储 帮助用户掌 握大数据分析和处理的方法 第二步是分析简化 让数据化简为繁 结合行业应用形成解 决方案 在这一步 曙光同时将为用户提供应用迁移 应用优化以平台开发等服务支持 第三步是价值新生 通过深化应用 联手用户共同探寻 挖掘数据价值 4 2 1 金融行业 在金融行业 数据存储要求非常高 在我国每天都会产生大量的交易数据 包括银行 证券 保险等各个金融领域都会产生大量的数据 这些数据都会存放在交易系统当中 如 果能够把这些历史数据进行分析 挖掘将会产生意向不到的效益 传统金融行业业务系统规范化做的相对来说比较好 大量的数据已经被严格的规范化 12 并存储在关系型数据库当中 目前 金融行业对这些具有潜在价值数据的分析相对来说比 较少 基于金融数据的特点 以下这些业务可以被移植到大数据平台中来 1 监管和改革 监管和改革可以为整个国家层面金融统计方面提供依据 除了内部审核之外 还 有很多信用风险分析 包括压力分析等 这些都需要金融机构实时的 长期的 频繁的为整个金融数据进行测试和检测 这些对数据的分析对计算能力和计算深 度及计算广度的要求都非常的高 利用传统的业务处理手段在处理深度和数据分 析的速度上都具有一定的局限性 而大数据的优势是能够针对最底层的交易数据 进行全面的模式识别 分析 能够大大提高整个风险分析的能力和效率 2 盈利方面 通过对用户进行分类以及对用户信用能力进行分析 可以改善对用户提供的服务 也能极大地提升金融机构的盈利水平 3 运行效率方面 对于金融机构来说基本上都是跨全国的大型机构或公司 具有很多的分支机构 数据是分散存储的 而现在可以利用大数据手段 把原来分布在各个系统当中的 运营数据进行汇总 进行交叉复用分析进而提升整个运营的效益 金融机构的很多业务系统都已经基本成熟 包括 BI 信息分析等 在移植到大数据平 台后 这些业务系统仍然可以继续实施 而且比传统的方法更高效 这样不仅可以降低数 据整合的工作量 把原来那些相对昂贵的工作放到更有效 更高效 性价比更高的大数据 处理平台上来运行 这样可以从很大程度上降低原来的独立系统对服务器的要求 曙光 XData 大数据解决方案基于对大数据处理技术的应用层面 对文件管理 历史 数据查询以 及数据分析类应用进行深入研究 为信息时代数据爆炸式增长所带来的海量数 据存储及分析应用需要提供可靠解决方案 曙光金融行业 XData 大数据解决方案采用曙光自主研发的 SN MPP 并行数据库 并 结合大数据处理事实标准 hadoop 充分考虑了多方 面的数据收集 加入 ETL 工具和连 接驱动器 提供了类 SQL 的接口 和现有金融业务系统进行对接 方案总体架构图如图 所示 13 图表 4 1 金融行业大数据解决方案 曙光金融行业大数据解决方案立足于基础平台建设 同时切实贴合金融行业用户需求 提供优质软硬一体优质解决方案 服务 为用户解决部署 业务移植开发等技术难题 帮助 用户跨过应用门槛 为金融行业盘活数据资产 用户抢占新技 术的制高点 推动业务持续 不断的发展 4 2 2 电信行业 移动互联网时代的来临 给人们的生活和娱乐方式带来了天翻地覆的变化 尤其是 3G 网络的出现 使得人们已经突破了时间和空间的限制 随时随地都可与他人交流沟通 这 一全新事物的迅猛发展 给电信运营商带来许多商机 同时也出现了一些挑战 例如随着 移动互联网的普及 用户移动数据流量迅猛增长 数据流量收入已经超过了点对点短信业 务 成为拉动数据业务收入增长的主要驱动力 尽管新的商业凸显 但挑战也应运而生 如在 3G 全业务市场竞争环境下 电信运营 商急需根据竞争情况和用户需求 加快实现流量的实时计费和提醒 优化数据流量资费体 系 降低资费水平差距 提高精细化营销能力 不断提高客户满意度并降低流量投诉等等 而这一切都催生了对流量大数据分析的需求 大数据依赖于成熟的技术方案 但从目前看 来 运营商现有的系统架构并不能很好地满足这些需求 从电信运营商的整体系统架构来看 其主要面临四个方面的挑战 首先 传统电信运营商的系统建设分散 很难实现资源和应用共享 诸如经营分 析 信令监测 综合网络分析 不良信息监测以及上网日志留存等大数据系统垂直建设较 多 同时 很多省分公司的系统建设存在重复建设 应用重复开发 各类专家资源无法共 享等情况 其次 则是数据分散存储 标准化程度低 要对电信行业的流量大数据进行分析 14 就必须实现数据的集中存储 并有统一的标准 但从目前来看 各级电信运营商各大数据 系统的数据模型并未统一 跨系统综合分析较为困难 在原有基础之上实现统一管理的难 度较高 再者 以 OLTP 为核心的传统架构难以满足新业务发展要求 电信运营商 IT 架构 较为传统的做法是采用高端架构建设 类 IOE 成本极高 并且 其仅具备良好的结构化数 据处理能力 在飞速增长的非结构化 半结构化数据处理方面显得心有余而力不足 除此 之外 传统的 IT 架构在高速增长的数据背景之下 很难满足其存储需求 除了上述之外 目前电信运营商的大部分业务都只对内提供服务 未能有效地进 行成规模商业利用 如何建立商业模式 如何解决用户隐私保护问题 这是各大电信运营商 都需要深思的问题 面对上述难题与挑战 并结合电信运营商现有业务 曙光存储提出了针对电信运 营商大数据管理总体系统框架模型 其主要分为四层 即物理层 数据层 模型层和应用 层 其中数据层是整个运营商大数据管理的核心部分 为上层应用提供数据支持 具体如 下图所示 图表 4 2 电信行业大数据解决方案 4 2 3 公安行业 以省市县三级公安的信息中心作为为数据基础 考虑到公安数据及其业务的实际应用 15 主要在公安信息网上运行 同时也需要各种公安信息资源库的支撑 因此在公安网内建设 综合应用管理系统平台 通过安全接入平台与汇聚平台进行数据共享和交换 实现与警务 基础平台 情报信息平台以及其他重点信息系统的关联对接 为交通管理 治安防控 侦 查破案 应急指挥等公安业务提供有效支撑 为科技强警 保障社会稳定提供技术支持 公安行业大数据平台总体方案架构图如下 业务的应用包括如下几个方面 实时监控 实时监测和查看监控点过车信息 车辆图片等 关联查询 机动车数据查询 特殊数据查询 车辆轨迹查询 设备及工作状态查询 其 他信息系统的深度关联查询等 统计分析 包括点位统计 流量统计 考核统计 设备统计 成功案例统计 车牌识别 率统计等各种统计功能 并以表格 曲线图 柱状图 饼形图等多种形式展 现 布控拦截 比对报警 应能对各类嫌疑车辆进行布控报警 实施拦截处置 针对布控车辆和违法车 辆进行比对预警管理 实现对报警信息的接受 查询 确认 发布等 并支 持客户端 Web 页面 LED 屏 SMS 短信报警等多通道报警方式 视频监控 16 在各类动态视频 实时图像和录像资料 联网应用基础上 实现实时预览 历史图像检索回放 远程控制 截图功能 图片抓拍 图像抓录 视频巡 检 分组轮巡 网上巡逻 报警联动 智能调度 预案管理 警情联动等主 要功能 PGIS GPS 集成应用 通过 PGIS 地图实现可视化日常操作功能与系统图像化管理功能 交通管理 主要包括交通违法信息识别和分检 交通违法信息查询处理等 智能研判 包括 重点车辆轨迹研判 高危时段 地区车辆研判 频繁出入车辆研判 同行车辆关联研判 套牌车辆研判 车案区域关联研判 车辆活动规律研判 等 4 2 4 交通行业 随着智慧交通的不断建设 其数据呈现暴增趋势 能够展现并支持这些数据量 需要一套 成熟且又稳定的产品或者解决方案 曙光公司基于在大数据处理领域的经验和知识积累 针对交通行业的具体应用特征 推出曙光在交通行业的大数据解决方案 架构如下图所示 17 区 市数据中心用来收集前端摄像头 拾音器等终端设备的数据 并进行存储 变 形以及分析和挖掘 曙光交通行业数据中心解决方案各层功能如下 底层由曙光专为大数据定制的 Xdata 一体机及网络设备等构成 为上层应用提供计算 以及存储资源 存储层基于曙光 XData 优化版的分布式文件系统 HDFS 以及分布式实时数据库 HBase 技术实现 存储层不仅可以用来 存储从终端设备采集来的实时非结构化数据 还可以用来存储从传统应用的关系数据 库里整合来的结构化数据 应用层基于曙光发行版 XData hadoop 技术实现 用来对存储层的海量数据进行离线 分析 数据挖掘以及在线 互动应用 交通系统的数据具有分布性和动态性的特点 需要进行数据统一管理和实时分析 及 时快速的处理突发事件 针对交通系统的应用特点 曙光解决方案采用如下几项创新技术 用来优化存储 查询 增强应用结果处理能力 曙光解决方案提出创新的跨地域 XData 大表技术 支持数据存储在不同地域的 18 多个数据中心 而用户所见为虚拟的单 一数据中心 方便管理和使用 同时 每个数据中心互为备份 在全局范围内提 供更高可用性 曙光大数据平台在 XData 顶部加入 SQL 层 对大量交通数据提供实时分析服务 并且对同一组数据同时支持互动式查 询和离线统计 曙光大数据平台在 XData 中加入全文本索引和近实时搜索 可以实现对分布式 数据库里的结构化数据提供全文本搜索 的能力 并且内建索引以确保交通数据和索引始终同步 曙光大数据平台在 XData 里加入高效大对象存储 采用标准的 Hbase 接口 提 升了交通图像数据的存储性能 曙光大数据平台将成熟的 R 语言库引入 MapReduce HDFS 和 HBase 降低了 开发复杂的数据挖掘逻辑的工作量 4 2 5 医疗行业 曙光大数据支撑平台针对医疗行业大数据应用特点 采用多项曙光创新的结构化与非 结构化数据一体化处理 并行处理 SQL MapReduce 统一执行引擎 分布式容错及自动 故障处理 复杂数据类型关联分析 多 IP 通路负载均衡 处理任务 断点执行 动态扩展 等技术 从服务器 网络 操作系统到软件层逐层优化 保证系统具有高性能 高可靠 易扩展 易使用等特点 同时曙光为大数据支撑平台设计了图形化的统一管理系统 简化 用户的管理和维护工作 19 曙光医疗大数据应用平台将医疗卫生数据中心仓库的数据经过 ETL 后 集中到数据 集市 数据集市中的数据经过 OLAP 和数据挖掘分析引擎处理后 应用于大数据的报表 展现 卫生数据统计 决策分析 数据挖掘 疾病预警 预测等 通过应用系统 提供给 使用者直观展示 其应用方向可包括医疗收入 患者负担 工作负荷 工作效率 疾病监控等多个主题 各主题分析都基于大数据技术构建 通过采集不同医疗机构业务系统数据 对各项医疗业 务进行汇总统计 构成分析 对比分析 因素分析 增量函数分析等 并通过各种图表形 象 直观的表达出来 能够有效的反映医疗管理机构或服务机构的整体运营 管理等情况 同时有利 于管理层正确分析并做出有效决策 强化医卫管理 优化资源配置 控制不合理 因素 5 竞争分析 5 1 目前市场上主流的大数据产品 目前 大数据产品市场主要分为如下几大阵营 Oracle IBM EMC Intel 在国内主要是类 Intel 的阵营 包括 华为 浪潮 天云趋势 友友等 5 2 竞争对手主要产品分析 5 2 1 Oracle 大数据一体机 在大数据时代 Oracle 推出了软硬一体优化集成的 Oracle 大数据综合解决方案 如下 图所示 20 图表 5 1 Oracle 大数据综合解决方案 其中捕获 组织 分析 决策部分包括的组件如图所示 图表 5 2 Oracle 大数据解决方案组件 针对大数据时代数据的特点 1 可预测的低延迟 2 高吞吐高交易 3 灵活的数据 结构 Oracle 把获取到的数据存放在 HDFS Oracle NoSQL 数据库和 RDBMS 中 Oracle NoSQL 数据库的架构如图所示 21 图表 5 3 Oracle NoSQL 数据库架构 Oracle NoSQL 数据库的特点如下 1 分布式键值对数据库 2 简单编程模型 3 可伸缩的吞吐量 4 商业软件和支持 5 易于管理 6 存储节点跨多个数据中心 7 自动处理存储节点故障 8 无单点故障 9 与 Oracle 体系无缝集成 Oracle 大数据一体机如图所示 22 图表 5 4 Oracle 大数据一体机 5 2 2 IBM PureSystem 一体机 IBM PureSystem 一体机包括 PureFlex System PureApplication System 和 PureData System 具体如下所示 PureFlex System 包含计算 存储 系统管理和网络组件 用于满足 IT 基础架构需 求 PureApplication System 支持事务性 Web 和数据库应用程序 易于部署 定制 保护和管理 X86 和 POWER 平台 PureData System 集成 优化 可立即运行的数据库平台 简化并优化分析应用程序的数据服务的性能 数据仓库系统 用于交付对业务运营的洞察以实现实时决策 一台 PureData System 的售价将从 50 万美元起 特点 继承并管理海量数据 基于原生数据格式的分析 可用数据的可视化分析 为创造新分析模型提供开发环境 23 负载均衡及调度 安全与管理 5 2 3 EMC Greenplum 统一分析平台 UAP Greenplum 统一分析平台 UAP 结合 Greenplum DB 和 Greenplum Hadoop 为企业构建高 效处理结构化 半结构化和非结构化的大数据分析平台 客户可以以此平台为基础利用 Greenplum 行业和数学统计方面的专家 充分挖掘自身数据价值 实现数据资产从成本中 心到利润中心的转变 以数据驱动业务 图表 5 5 Greenplum 统一分析平台 EMC 联合 Informatica 推出高性能数据分析方案 HPDA 它利用 Informatica Ultra Message 产品实时从用户的业务系统中进行数据抽取 通过流计算模式把业务数据处理结 果写入 Greenplum DB 把传统的 ETL 周期从小时 分钟级别降低到秒级别 用户再通过 Greenplum DB 高效的海量数据分析挖掘能力 最大程度把业务数据转变成信息和知识的周 期降到最低 实现真正意义的实时商业智能 提升企业的核心业务价值 24 图表 5 6 EMC HPDA 5 2 4 浪潮云海大数据一体机 浪潮云海大数据一体机作为浪潮大数据战略的载体 重点面向行业大数据应用 是一 体化数据处理的解决方案 采用新型技术体系架构 整合软硬件系统 涵盖数据存储 数 据处理 数据展现等全环节 浪潮云海大数据一体机是金融 电信 公安 工商 交通 卫生 企业等各个行业用户的大数据解决方案理想之选 功能特性 1 新型技术体系架构 采用全分布式大数据处理架构 平台能够随着客户数据的增长和业务的扩张而不 断增长 并且能够保持极高的线性度 解决了传统架构在扩展范围和扩展效率方 面的难题 2 软硬一体化的系统 集成计算单元 存储单元 交换单元 管理单元等硬件模块和数据存储 数据管 理 数据分析 数据展现等软件功能 是大数据一体化处理的全环节解决之道 针对性的软硬件一体化优化 性能等技术指标大幅提升 工厂预装 集中交付 集中管理 简化配置流程 降低应用门槛 3 专业化服务 从业务分析 应用移植 应用开发到运维服务的全环节服务保障 解决用户在实 25 施分布式数据理架构面临的软硬件部署 二次开发等实际问题 帮助客户实现由 传统数据平台向新型大数据平台的平滑迁移 4 国产化方案 浪潮可提供基于飞腾处理器 浪潮 K UX 系统等产品的全国产化方案 保障数据 核心处理平台的自主可控 技术规格 SDA 1SDA 2SDA 3SDA 4 处理器 400Core 高端 CPU 576Core 通用 CPU 1280Core 通用 CPU 288Core 飞腾 CPU 内存 5TB9TB10TB576GB 存储 270TB1296TB480TB432TB 硬件加速 GPU FPGA 网络总带宽 200Gb720Gb1600Gb360Gb 应用特点处理密集型的重载通用数据处理海量并发的轻量级高安全 高保密 具体应用 视频处理 图像渲 染 在线交易等 模式计算 商 业智能 医疗 挖掘等 企业搜索等 国防应用 保密 机构等 5 2 5 华为大数据一体机 华为联合拓尔思出击大数据一体机系列 拓尔思 华为大数据一体机系列包括拓尔思 26 华为信息采集一体机 拓尔思 华为信息检索一体机 拓尔思 华为信息采集一体机是一款软件与硬件集成并优化整合的产品 可实时监控