沈阳大学——浪潮云海大数据一体机产品白皮书

浪潮云海大数据一体机浪潮云海大数据一体机 产品白皮书 20148 浪潮信息云产品部 浪潮云海大数据一体机产品白皮书 页页 1 目录 1.产品介绍.2 1.1 产品定位.2 1.2 产品特点.2 2.体系架构.3 2.1 大数据一体机硬件组成.4 2.2 大数据一体机网络拓扑.5 2.3 大数据一体机软件架构.6 3.应用场景.8 4.关键技术特性.9 5.技术指标.11 浪潮云海大数据一体机产品白皮书 页页 2 1.产品介绍产品介绍 1.11.1 产品定位产品定位 浪潮云海大数据一体机（Inspur In-Cloud SmartData Appliance 以下简称 SDA 或大数据一体机）面向行业大数据应用场景，是一体化数据处理的解决方案， 采用新型技术体系架构，整合软硬件系统，采用全分布式大数据处理架构，平 台能够随着客户数据的增长和业务的扩张而不断线性扩展，解决了传统架构的 扩展瓶颈，集成计算单元、存储单元、通讯单元、管理单元、等核心模块，涵 盖数据存储、数据处理、数据呈现等全环节，是金融、电信、公安、交通、卫 生等各个行业用户大数据分析处理平台的理想之选。 1.21.2 产品特点产品特点 新型技术体系架构新型技术体系架构 采用全分布式大数据处理架构，平台能够随着客户数据的增长和业务的扩 张而不断增长，并且能够保持极高的线性度，解决了传统架构的扩展瓶颈，系 统在扩展至核心时依旧保持 0.8 左右的扩展效率； 软硬一体化的系统软硬一体化的系统 集成计算单元、存储单元、通讯单元、管理单元等核心模块，是对数据存 储、处理、展现的全环节的解决方案，由浪潮统一开发，能够统一交付，集中 管理，用户可以轻松完成； 全局优化的系统全局优化的系统 浪潮云海大数据一体机产品白皮书 页页 3 浪潮进行全局优化性能等技术指标大幅提升，在性能、可用性方面有了重 大提升。 16%：通过优化系统任务调度策略，动态调整任务执行资源，减少慢任务 数量，任务执行时间平均缩短 16%以上； 30%：引入 Reed-Solomon 算法，优化分布式散列数据布局，满足文件高并 发和高带宽双重需求同时平衡数据冗余度，浪潮采用两副本加编码的方式相对 三副本最大可实现 30%空间节省； 50%：采用多级高速缓存，实现硬件加速。经测试，1TB 数据排序测试整体 访问性能提高 50%； 系列化、产品化系列化、产品化 针对视频等重载应用、商业智能分析应用、海量并发的轻量级线程类应用 这三类应用场景。云海大数据一体机根据用户应用特点提供个性化解决方案； 国产化国产化 浪潮可提供基于飞腾处理器、浪潮云谷系统等产品的全国产化方案；在敏 感行业、关键数据，保障数据核心处理平台的自主可控； 专业化服务专业化服务 从业务分析、应用移植、应用开发到运维服务的全环节服务保障。解决用 户在实施分布式数据理架构面临的软硬件部署、二次开发等实际问题，帮助客 户实现由传统数据仓库向新型大数据平台的平滑迁移。 2.体系架构体系架构 大数据一体机基于 Apache Hadoop 集群架构，由三个大的模块构成：底层 基础架构基于浪潮的先进硬件平台，软件部分则采用浪潮的专有 Hadoop 发行 版来提供海量数据的存储与处理能力，通过浪潮软件、硬件的彼此优化与整合， 形成一套高性能的软硬一体的平台解决方案，并经过大量的测试调优来保证整 体系统的兼容性、稳定性和可靠性。在软硬件之上，还架构了一个可视化的管 理界面来帮助用户对一体机的硬件、软件进程进行统一的管理和控制。 浪潮云海大数据一体机产品白皮书 页页 4 2.12.1 大数据一体机硬件组成大数据一体机硬件组成 大数据一体机物理部署图（SDA30000 主柜） 如上图所示，SDA 硬件上主要由管理节点，数据节点，管理交换机，计算 交换机，KVM 控制器机柜等组件构成 一体机组件一体机组件说明说明 管理节点 采用 2 台高性能的 2 路，4 路或 8 路服务器，用来执行集群中 的文件访问管理，数据处理任务调度，节点性能监控和故障恢 复等任务。两台服务器间互为冗余，实现管理节点的高可用性， 保证集群可以持续对外提供服务。 数据节点 专用的 2 路 2U 存储服务器，除系统盘外，配置了 12 块大容量 硬盘，单节点可以提供高达 36TB 的存储空间和 192GB 内存容 量。数据结点数量可以按客户具体需求配置，并可灵活线性扩 展。 管理交换机对内提供 24 个 10/100/1000M 自适应电口，对外 4 个 SFP 非复 用端口，交换容量为 208Gbps(全双工)，包转发率 51Mpps 浪潮云海大数据一体机产品白皮书 页页 5 计算交换机对内提供 24-48 个万兆 SFP+端口，对外提供 4 个 40G QSFP+ 端口，支持冗余电源,支持 FcoE 接入，其中可支持 2/4/8Gbps FC 端口。交换容量 1.28T,包转发率 960Mbps KVM 控制器1U 高度，可折叠式，整合 17LCD 液晶显示器、切换器、键盘 及触控板于一体的抽拉式视频控制模块。 机柜19、42U 专用机柜，最高静载 1000kg；机柜两侧预留布线槽， 强弱电分离布线，机柜上下方均可走线；前后门采用钢制网孔 设计，保证前后通风，顶部有通风孔结构；1 个承重托盘，支 持并柜并带有并柜遮条；自带 2 个线缆槽，配置专业工业 PDU,可选 220V/380V 供电环境 2.22.2 大数据一体机网络拓扑大数据一体机网络拓扑 大数据一体机网络拓扑图 如图所示，大数据一体机具有两套相互独立的网络系统：管理网络和计算网络 管理网络：管理网络：采用千兆以太网连接一体机所有节点，实现节点的配置，管理和性 能监控，并可以通过 IPMI 接口，实现远程开关机，虚拟设备挂载等带外管理功 能 浪潮云海大数据一体机产品白皮书 页页 6 计算网络计算网络：采用万兆以太网连接一体机所有节点，一体机各节点间的数据交换 和通信通过计算网络完成。文件服务器，ETL 服务器和应用服务器等相关系统 可配备万兆网卡直接连入一体机，或者通过交换机万兆上联端口连入一体机计 算网络进行数据交换和处理。 2.32.3 大数据一体机软件架构大数据一体机软件架构 浪潮云海大数据一体机软件架构 在软件架构上，浪潮云海大数据一体机支持多种 Linux 版操作系统，并采 用浪潮自主研发的 Hadoop 商业发行版浪潮云谷系统（CloudCanyon） 。浪潮 云谷系统为用户提供稳定的、可靠的、易用的 Hadoop 平台，其组件包括 HDFS 文件存储系统、MapReduce 框架以及 Hive 数据仓库、Pig 数据分析平台和 HBase 数据库等。 浪潮浪潮 CloudCloud CanyonCanyon 发行版产品功能如下发行版产品功能如下 : : 商业套件商业套件功能详解功能详解 浪潮云海大数据一体机产品白皮书 页页 7 分布式文件系统 （HDFS） 高带宽集群文件存储系统 高可扩展性，无需停机无缝动态扩容 高容错性，数据自动复制和校验 分布式协同工作系统 （ZooKeeper） 高效的选举算法，确保分布式系统一致性 保证集群数据及配置同步 实现统一命名服务 分布式数据库 （HBase） 分布式、面向列存储的、多维度的数据系统 数据自动切分和分布存储 高可扩展性，高性能 并发读写 分布式计算框架 （Map/Reduce） 高度并行和可扩展的分布式批处理计算框架 高容错能力，支持任务自动迁移和重试 合理调度任务，有效降低网络带宽 灵活的资源分配和调度，达到资源利用最大化 分布式数据仓库（Hive） 高性能分布式海量数据仓库 强大的查询与分析功能 类似 SQL 的查询语言 数据转移工具（Sqoop） 将关系型数据库导入到 Hadoop 的 HDFS 将 HDFS 的数据导入到关系型数据库 分布式数据处理（Pig） 大规模数据分析实现平台 系统自动化最优策略实现 高可扩展性，易于实现用户需求 浪潮云海大数据一体机产品白皮书 页页 8 3.应用场景应用场景 云海大数据一体机是一体化的数据分析处理平台，可应对多种数据类型和 多种数据处理需求，包括但不限于以下四种应用场景： 海量数据存储海量数据存储：大数据一体机具备高性能的分布式文件系统，支持大吞吐量高 并发访问，具有自我修复，动态扩展等特性，硬件配备了高密度大容量的硬盘 和高速的数据交换网络，对外提供丰富的数据访问接口，非常适合监控视频， 医疗影像，科研数据等大数据集的存储。 批量数据处理批量数据处理：通过分布式计算框架 MapReduce,大数据一体机可调用所有节点 的计算资源执行诸如数据格式整理，数据类型转换，图片特征值提取，语音识 别等数据数据处理任务，在处理过程中减少了数据在不同节点间的交换，降低 了传输带宽的压力，极大的提升了处理效率。 海量结构化数据在线查询海量结构化数据在线查询：大数据一体机内置了列存数据库 HBase,它具有高效 的查询性能和良好的横向扩展能力，支持高并发访问，百亿条的数据规模下进 行查询可达到毫秒级响应，非常适合金融，电信等行业的历史交易详单查询以 浪潮云海大数据一体机产品白皮书 页页 9 及公安，交通等行业的道路卡口数据查询，快速身份信息查询等需。 数据仓库：数据仓库：大数据一体机配备了数据仓库工具和 ETL 工具，可实现将数据从多 种数据库，多个数据源抽取，转换最终加载到数据仓库中。数据仓库对外提供 标准 SQL 接口，可对接 SAS，Congons 等传统分析应用，适合各种面向分析应用 的数据仓库场景。 4.关键技术特性关键技术特性 针对企业用户对与数据分析处理的需求，大数据一体机在硬件上进行了定 制化设计，在软件层面也在开源 Hadoop 基础之上进行了优化和较大的功能改 进： 1.支持高速并发写入和高并发查询，每秒实现 10 万条以上写入和查询（记 录大小 1K）； 2.递交请求创建数据表，数据表需要能灵活改变 Schema； 3.灵活的表结构，可动态改变和增加每一行的列，保证新旧数据共存； 4.数据自动切分和分布，可通过增加服务器动态扩容，扩容过程中无需停 机可持续服务； 5.单台数据库节点失效会自动修复，所提供服务可自动迁移至集群中其他 服务器； 6.数据文件存放于分布式文件系统之上，可复制多份，保证数据不丢失； 7.数据文件实现元数据备份和恢复功能，防止元数据破坏失效； 8.线上动态扩容，新加节点可以实现自动负载均衡； 浪潮云海大数据一体机产品白皮书 页页 10 9.节点数据的副本以及正确性的自动检查，尽最大限度的保证数据的高可 用性； 10.多副本机制，提供高并发读性能； 11.磁盘故障的自动检测，发现故障磁盘，数据自动实现副本恢复迁移； 12.提供多层容错机制，应用程序故障能自动迁移重启； 13.可以实现表中指定列的复制份数，做到可用性和复制冗余根据需要灵活 调配； 14.可以实现表中指定列的压缩，可根据需要实现存储空间的高利用率； 15.分布式数据库自动负载均衡； 16.分布式数据库支持多级别的客户请求过滤器，可对单个列族、多列族、 行等进行过滤； 17.分布式数据库局部性机制，减少读写数据时网络传输消耗； 18.分布式数据仓库可以增加节点提高计算性能，扩容无须停机； 19.分布式数据仓库需要提供灵活的扩展性，如复杂数据类型，扩展函数和 脚本等； 20.分布式数据仓库可以提供分区操作，桶操作； 21.集群管理软件提供图形化界面对集群服务器角色，配置和状态进行管理； 22.集群管理软件支持分布式文件系统、分布式数据库和分布式数据参数所 有参数配置及用户自定义参数配置； 浪潮云海大数据一体机产品白皮书 页页 11 23.集群管理软件支持集群服务器上分布式系统状态监控和服务器状态监控； 24.集群管理软件支持自定义报警； 25.集群节点健康状态监控管理； 26.集群组件服务状态监控； 27.平台支持全文检索功能扩展； 28.提供大对象存储能力； 29.采用有效的数据冗余技术； 30.提供有效的安全访问及鉴权机制，确保合法用户对数据进行合法访问； 31.提供独立的远程管理控制端口； 32.提供自动化的管理特性，帮助管理员简化运维管理； 33.可根据日志数据的保存周期，设置数据生命周期策略，对不同阶段的日 志数据采用不同的可靠性策略，并支持自动资源回收。 技术指标技术指标 根据不同的应用场景需求，浪潮云海大数据一体机有三个通用系列供用户选择，根据不同的应用场景需求，浪潮云海大数据一体机有三个通用系列供用户选择， 并可为用户进行定制化配置满足客户要求：并可为用户进行定制化配置满足客户要求： 大数据一体机型号大数据一体机型号SDA20000SDA30000SDA60000 *扩展性扩展性 只支持单机柜, 最多 14 个数据 节点 主柜最多 14 个 节点支持 1-2 个 机柜，最多 30 个数据节点 主柜最多 12 个 节点，支持多个 机柜，最大支持 60 节点 应用场景应用场景小规模数据处理，高性价比配置，适合数据量大， 浪潮云海大数据一体机产品白皮书 页页 12 扩展性要求不高适合大多数数据 处理场景 增长速度快，数 据处理性能要求 高的应用场景 管理网络管理网络千兆以太网千兆以太网千兆以太网 数据网络数据网络千兆以太网万兆以太网万兆以太网 整机最大计算整机最大计算 CPU168 核360 核720 核 整机最大计算内存整机最大计算内存5096GB10920GB21840GB *整机最大存储空间整机最大存储空间504TB1080TB2160TB 交流输入电压交流输入电压 220V 或 380V 可 选 220V 或 380V 可 选 220V 或 380V 可 选 整柜最大功率整柜最大功率11200w12600w10800w 整柜最