超融合文字方案

超融合基础架构解决方案 项项目背景目背景 陕西通汇汽车物流有限公司由陕西重型汽车有限公司联合上海远行供应链管理有 限公司共同组建 是陕汽控集团 精益一体化物流 的总服务商 全面承担陕汽控股 集团的物流仓储配送 货物运输及各子公司的零部件集散运输 同时还承担了以陕重 汽物资供应平台为依托的省际闭环式运输及其它营运业务 通汇公司运用国际先进的 物流技术与管理理念 利用 WMS TMS CMS 物流信息管理网络 采用标准包装仓储运 作 JIT 拉动配送 闭环式运输方式等精益物流运作模式 为客户搭建起了一体化的物 流与供应链管理平台 使客户享受到了个性化的高效率 低成本的物流服务 数据中心作为保障公司各项业务正常运营的重要 IT 基础设施 承担着物流管理等 业务稳定运行和创新的重任 随着企业信息化程度越来越高 物流信息管理 供应链 管理 运输管理 仓储管理 核心数据库等信息化应用数量越来越多 运维管理越来 越复杂 数据中心需要更高效地支持后台业务和信息共享需求 同时要 24 小时不间断 的提供服务 支持多种服务手段 这对数据中心的资源整合 全面安全 高效管理和 业务连续性提出更高的要求 用用户户面面临临的挑的挑战战 随着业务的发展 企业数据中心的问题与日俱增 所面临的压力和挑战也越来越 大 业务的不断调整和改变让数据中心总体架构面临极大的压力 有限的物理空间让 数据中心扩展性和灵活性有所限制 虚拟化的欠缺让数据中心资源调配能力有限 复 杂多变的异构环境让数据中心管理效率异常低下 高居不下的耗电量让数据中心能源 成本迅速上升 这些问题与挑战让数据中心管理者迫切需要对数据中心进行整合和升 级 通过有效的整合让传统数据中心升级成为一个智能化 自动化 高效化的数据中 心 当前数据中心面临的问题 1 基于 SAN 架构的存储网络系统没有形成统一管理架构 形成了多个 SAN 孤岛 各类物流 财务系统软件平台数据分别存储在各个 SAN 孤岛 中 各类存储资源池 不能实现数据共享与自动迁移 资源存储的空间无法实现动态分配 造成了存储空 间的巨大浪费 2 大量各类应用软件平台以传统的方式运行在单个物理服务器上 导致对物理服 务器的需求数量巨大 并带来难题 如服务器购置成本和运维成本高昂 可用性不高 系统维护升级造成应用中断 可管理性 兼容性和数据安全性差 新服务器和应用的 部署时间长等 3 随着数据中心数据量的增加 数据类型的日益复杂 以及业务存储过于分散 数据中心的安全性和可靠性需要得到保证 特别是关键任务数据库需二十四小时不停 运转 需要可靠的容灾备份机制 对于不可抗力原因导致系统宕机 硬盘损坏或者遭 遇病毒侵害等问题 4 数据中心是一个庞大而复杂的系统 这些系统是一个有机的整体 牵一发而动 全身 数据中心可靠性的发挥有赖于每个设备的正常运行 有赖于这些设备的协调一 致 任何一个环节出现故障 都有可能造成巨大损失 因此 对整个系统的管理越来 越重要 而难度也越来越大 5 随着业务量的不断扩大 物流行业 IT 应用系统日益增长 IT 设备规模变得日 益庞大 带来了高能耗 空间紧张 IT 预算紧张等问题制约数据中心未来信息化的设 备扩展 需求分析需求分析 随着通汇公司物流信息化建设的深入 已出现设备集中统一管理 业务相对集中 的趋势 新业务系统会不断产生 数据中心的数据量会快速增长 对系统的性能与可 扩展性等方面的要求也会越来越高 根据系统的现状和未来规划 有必要引进合理的 适应未来增长的数据中心存储架构 服务器架构 以及先进的服务应用管理技术 以 加强对企业内各种数据资源的保护 共享 维护 管理 同时满足未来需求的系统扩 展能力 通过有效的整合让传统数据中心升级成为一个智能化 自动化 高效化的数 据中心 数据中心建设应达成以下目标 高可靠高可靠 应采用高可靠的产品和技术 充分考虑系统的应变能力 容错能力和纠 错能力 确保整个基础设施运行稳定 可靠 当今 关键业务应用的可用性和性能要 求比任何时候都更为重要 高安全高安全 基础设计的安全性 涉及到核心数据安全 应按照端到端访问安全 网 络分层安全两个维度对安全体系进行设计规划 采用软硬件安全设备 从局部安全 全局安全 智能安全 将安全理念参透到整个数据中心 先进性先进性 数据中心将长期支撑企业的业务发展 数据中心建设需要考虑后续的机 会成本 采用主流的 先进的技术和产品 建立高性能 大容量 易扩展的数据中心 架构 易扩展易扩展 随着信息化的发展 企业内通信网络的建立和全面覆盖 未来的业务范 围会更多更广 业务系调整与扩展再所难免 因此数据中心必须能够适应业务系统的 频繁调整 同时在性能上应至少能够满足未来 3 5 年的业务发展 对于设备的选择和 协议的部署 应尊遁业界标准 保证良好的互通性和互操作性 支持业务的快速部署 易管理易管理 数据中心是 IT 技术最为密集的地方 数据中心的设备繁多 各种协议和 应用部署越来越复杂 对运维人员的要求也越来越高 单独依赖运维人员个人的技术 能力和业务能力是无法保证业务运行的持续性的 因此数据中心需要提供完善的运维 管理平台 对数据中心 IT 资源进行全局掌控 减少日常的运维的人为故障 同时一旦 出现故障 能够借助管理工具直观 快速定位 超融合基础架构超融合基础架构数据中心数据中心 1 方案概述方案概述 我们建议通汇公司数据中心建设通过达沃时代 C One 超融合平台实现全新的资源 调度方式 统一规划设计 方便快捷地进行基础设施云的部署和管理 根据目标用户 以及应用范围 可以建立面向不同部门以及面向全局共享的私有化基础设施云 C One 超融合平台是达沃和 Citrix 合作的一款超融合产品 系统内核级集成 YeeSAN 作为存储系统 采用 XenServer XenCenter 进行虚拟化 通过 XenCenter 插件方 式提供 YeeSAN 存储管理工具 同时以 Web 管理界面 C One Web Console 来可视化管理 整个超融合系统 为用户提供一致的计算 存储 网络管理操作体验 通过 XenServer 虚拟化系统将计算 网络 存储资源进行资源池化 实现 数据中心智能调度系统 管理员将策略传递给数据中心 数据中心自动完成最经济 最有效的物理资源调度 并且对传统数据中心中的服务器 交换机等物理资源进行整 合 虚拟化等操作 让这些资源变成一个统一的资源池 智能调度系统通过相应的算 法 在资源池中切分以及组合资源 为用户提供虚拟机 存储是整个系统的关键基础架构 是系统所有数据的最终承载体 传统的磁盘阵 列式存储已经逐步被淘汰 不再是主流存储架构 要有效大量数据的访问 必须构建 具有极强扩展性和伸缩性的存储架构 通过达沃时代 YeeSAN 分布式弹性融合存储对公 司各个业务系统的动态扩展 资源的动态调配 系统的灵活部署等方面进行设计 使 之成为一个动态 灵活 具有弹性的 IT 基础架构 2 方案整体架构方案整体架构图图 如上图所示 系统中使用 3 台 X86 服务器构成硬件服务器集群 通过超融合技术 将 X86 服务器上的硬盘 网络和计算资源整合为存储 计算 网络资源池 在这个资 源池上创建 web 服务集群 业务虚机集群 数据服务集群 数据库集群和存储资源集 群 最终向各部门提供信息化服务 C ONE 超融合平台是可以将多种服务器虚拟化技术和存储虚拟化技术统一进行管 理调度的系统平台 支持多种服务器虚拟化技术 存储虚拟化技术使用达沃自研的 YeeSAN 作为超融合平台的存储层 C ONE 融合系统功能特点如下 服务器虚拟化 合理管理使用资源 C ONE 超融合系统支持多种虚拟化技术 深度集成 XenServer 和 XenCenter 支持 VMware ESXI 和 vCenter 支持 KVM 和 OpenStack 支持 Xen 和 CloudStack 在通用服 务器上部署关键的软件 云化资源管理 将所有服务器的 CPU 资源 内存等资源进行 统一管理 按需进行分配 扩展 回收 充分发挥了硬件资源的特性 也避免了资源 的闲置浪费 然后再在这些虚拟化资源的基础上部署应用 完成具体功能 高性能分布式存储 C ONE 集成高性能 YeeSAN 分布式存储 统一存储 同时提供文件 块存储 采用 弹性架构 按需扩展 稳定可靠 冗余机制确保数据安全 YeeSAN 分布式存储基于 YeeOS 核心存储引擎 支持高 IOPS 和低延时应用 ROWSTM 读写性能优化 C ONE 采用创新的 ROWS Read Optimally Write Sequentially 优化读 顺序 写 技术 实现读写分离设计 最大化利用 SSD 随机读性能 小 IO 聚合写入技术有效 提升 SATA 盘 IOPS 性能 同时 C ONE 充分利用 CPU 多核性能 Numa 架构中实现性能 明显提升 支持数据的 locality 特性 实现优先访问本地存储节点 缩短访问路径 降 低网络延时 强大的扩展能力 C ONE 同时支持横向纵向扩展功能 其中 纵向扩展有效提升单个节点的容量和 性能 横向扩展在线增加集群节点 实现性能容量同时提升 最大可扩展至 1024 个节 点 C ONE 允许用户以较简单的方式 通过添加服务器 来增加计算和存储资源 基 于独创的 SARD Server based Adaptive Redundant Distribution 基于服务器的适配 性冗余分布 调度算法 C ONE 把一个应用的逻辑数据划分为若干定长的逻辑块 每 一个逻辑块被均匀地分布到每一个服务器 当上层应用访问数据卷时 所有服务器都 参与到 I O 处理 这种并行 I O 的服务模式 使系统服务性能线性提升 当增减服务器 而使存储资源发生变化 或工作负载发生显著变化时 SARD 适配算法将自动重新调整 数据在服务器间的分布 保证系统 I O 的均衡性 数据重分布期间 无需用户干预 无需中断应用的运行 也不影响前端应用的性能 3 与与传统传统架构架构对对比比 传统数据中心架构的计算层和存储层是分离的 并通过专用的存储区域网络 NAS 或者 SAN 相连接 传统数据中心架构是许多企业数据中心的支柱 但现代虚拟化环境 的需求给其带来的压力越来越大 无法满足虚拟机爆炸式增长以及随之而来的企业 I O 需求 传统数据中心面临的问题包括 缺乏 IT 灵活性 为了满足未来几年内对于功能 性能和容量的要求 在数据 中心建设初期必须采购较高型号的存储设备 即便如此 随着技术发展也经 常出现基础设施与应用需求不匹配的情况 可护展性差 随着数据量增加 传统磁盘阵列只能通过扩充磁盘的方式增加 容量 在存储容量达到一定规模之后会出现性能瓶颈与安全隐患 性能低下 传统磁盘阵列通常只有 2 个控制器 设备的性能受制于控制上的 CPU 和内存资源 管理复杂 运维人员需要对各种专用的软硬件设备精通 不同品牌 型号设 备的管理方式亦不相同 在这样一种背景下 达沃致力于打造更为更简洁的融合基础设施 将服务器 虚 拟化 存储进行融合 基于最常用的 X86 服务器平台构建 轻松部署 稳定适配 C ONE 超融合系统是达沃时代在吸取国内外最前沿技术的基础之上 针对最广泛的中小 型企业用户的共性需求 自主开发的企业级别的超融合虚拟化系统 按需投入 数据中心建设前期最低只需要三台服务器 超融合软件即可搭建 一套包含虚拟化功能 计算资源 存储资源的超融合集群 后期可根据公司 业务发展情况按需增加服务器节点 来扩展数据中心内部资源和性能 灵活扩展 在系统扩容时 既可以纵向扩展主机内部资源 cpu 内存 硬盘 网卡等 也可以增加服务器的方式同时增加资源池的容量和性能 甚至还 可以将旧服务器改造后作为存储资源整合到系统中 扩展方式任意选择 性能均衡 每台服务器都作为集群内部一个功能完整的独立节点 所有节点 可协调工作 提高集群的整体性能 IO 吞吐率 避免了磁盘阵列的性能 瓶颈问题 管理简单 通过单一平台统一管理数据中心内部的计算资源 网络资源 存 储资源 自动化程度高 减轻运维人员工作压力 C ONE 超融合系统 4 超融合系超融合系统扩统扩展方式展方式 针对不同的需求 达沃 C ONE 产品有两种组网方式 包括标准融合组网和轻融合 组网 标准超融合组网标准超融合组网 针对大型企业 达沃推出 C ONE 传统融合平台 C ONE 标准融合由一系列的服务 器节点组成 通过万兆网交换机进行网络连接 支持横向扩展 其示意图如下 C ONE 传统融合 C ONE 传统融合特点 1 灵活随机扩展 支持横向扩展 支持 3 1024 业务规模 用户可以根据业务发 展需求 进行合理扩展工作 2 支持 1 6 副本的方式保护数据 3 分布式存储架构 性能线性叠加 轻融合组网轻融合组网 精简成为 IT 业界的共识 针对中小型企业 达沃推出业界独有的轻融合三节点架 构 简化基础设施 摒弃万兆交换机 采用万兆网线直连的方式 其示意图如下所示 C ONE 轻融合 C ONE 轻融合特点 1 精简架构 摒弃万兆交换机 减少网络管理维护 2 灵活扩展 三节点集群扩展 每个三节点集群之间采用千兆交换机进行通信的 方式进行扩展 集群与集群之间数据不共享 3 支持 3 副本的方式保护数据 5 方案配置方案配置 序号序号名称名称规格规格数量数量 1 服务器 3 2 超融合软件 小金刚轻融合平台软件 三节点包 含 Citrix XenServer 模块 C ONE 分布式存储子模块 已配置 C ONE 直连式网络模块 NAS 存储服务支持以及 自动容量均衡功能 可为虚拟化平台提供标准的 CIFS NFS POSIX 存储服务 支持 XenCenter 插件与 web Console 等方式管理 可根据要求扩展计算资源或 存储资源 性能与容量随融合节点数量增加而线性提 升 1 配置说明 解决方案整体配置清单 平台平台主要配置主要配置 CPU 型号6 颗 8 核心 E5 2630 v3 每节点 2 颗 1计算单元计算单元 CPU 品牌英特尔 内存192GB DDR4 每节点 64GB 2存储单元存储单元 裸存储容量 48TB 每节点配置 8 块 2T NL SAS 盘 每节点约 16TB 3网络网络网络控制器每节点配置双口万兆 双口千兆网卡 融合存储系统 采用集群和并行架构 支持海量数据及大规模并发 I O 应用 集先进的分布式存储系统和智能管理功 能于一体 4 调度管理调度管理 系统系统 虚拟化平台 具备数据中心物理资源池虚拟化功能 可按需为每 一套应用系统提供 IT 基础资源池 计算能力 存储 能力和网络功能的 弹性 资源分配能力 通过统一 的界面实现数据中心集中管理 5服务服务 三年原厂标准服务 原厂专业技服人员提供 7X24 小时在线技术支持服 务 通过远程控制 由专业技服人员提供的技术支持服务 5 X 9 小时通 过电话 由专业技服人员提供的语音支持服务 现场紧急故障救援服务 3 次 年 设备质保期内全年 7 24 小时的技术支持 3 年免费配件更换 本方案结合现状并考虑未来业务发展规模设计 通过整合 3 台 2 路 8 核心机架式 服务器 将底层存储打通 形成虚拟融合存储池 在此基础上进行虚拟计算 充分保 障数据安全性与业务的高可用 融合存储通过存储与计算的紧密结合实现高 IO 性能优 势 并可通过增加节点数量实现计算 存储 网络成线性增长 计算 共 6 颗 8 核心 CPU 192GB 内存 当宕机任一节点情况下 平台不会中断 服务 虚拟机自动故障迁移到可用节点 存储 每节点配 8 块 2TB NL SAS 硬盘 3 台裸存储容量 48TB 推荐通过 2 副本机 制保证数据安全 2 副本时可用存储约为 24TB 网络 集群整体划分两个网段 分为业务网络 存储网络和管理网络三部分 其他 通过超融合集群存储把所有机器上的本地盘融合成一个或者多个虚拟共享 存储池 提供对应的存储服务 单台服务器硬盘规划 操作系统池 2 块 300GB SAS 盘 存放操作系统 两个 SAS 盘做 Raid 1 提 供高可用操作系统 缓存存储池 2 块 400GB SSD 固态盘 用于存放读缓存和写缓存数据 数据存储池 8 块 2T NL SAS 盘 存放存储的所有数据盘 其中 1 块盘用于 元数据存储 存放元数据信息 包括文件系统元数据 NameNode AttrNode 信息 以及目录和回滚日志信息等 五 五 方案优势方案优势 1 简单经济简单经济 C ONE 超融合系统虚拟化服务器 集中管理服务器的所有 CPU 内存等资源 按 需分配使用虚拟服务器 充分发挥了硬件资源的特性 避免了资源的闲置浪费 降低 系统硬件投入成本 针对最广泛的中小型企业用户 C ONE 提供三节点轻融合技术 该技术使用网线 将 X86 服务器节点进行两两互联 无需万兆网交互机即可进行系统间通信 采用这种 组网 大大简化了系统架构 用户无需网络配置和管理维护 能简单便捷完成 C ONE 系统的快速部署和实施 经济适用 降低成本 C ONE 自带 NAS 共享存储 有效降低成本 C ONE 超融合系统通过将 NAS 共享存 储系统的功能集成到存储层的 YeeSAN 中 同时在整个虚拟化平台管理上增加 NAS 共 享存储的管理功能 保障 NAS 存储系统正常运行 C ONE 超融合系统自带的这种 NAS 共享数据功能 降低虚拟化系统对硬件环境的部署实施要求 提高存储系统的资源使 用率 通过提 NAS 共享存储系统给业务虚拟机降低了客户的采购成本 同时通过 YeeSAN 中的数据安全保障机制来提高虚拟化平台中的数据安全可靠程度 在 C ONE 超融合结构中 不再使用外置的陈列存储 以及连接阵列存储和服务器 的专用网络 降低采购成本和运营成本 2 高高扩扩展性展性 C ONE 同时支持横向与纵向扩展功能 其中 纵向扩展有效提升单个节点的容量 和性能 横向扩展在线增加集群节点 根据组网方式不同提供两种水平扩展方式 横 向与纵向扩展行为不会影响到现有服务和业务的运行 能保障服务和业务的连续性 C ONE 轻融合扩展是采用三节点一组集群 实现虚拟化 HA 和数据副本冗余 全部 节点与网络实现统一管理 其扩展示意图如下 C ONE 轻融合扩展模式 C ONE 轻融合扩展模式是针对最广泛的中小型企业用户 该类企业数据规模较小 且数据增长较慢 在轻融合扩展模式下 不需要万兆交换机 使用廉价的千兆交换机 实现三节点集群之间的通信 有效地降低系统搭建成本 同时减少用户对网络的配置 与管理工作 用户无需为超融合平台中的存储系统内部划分 VLan 较好地解决了小规 模网络情况下组网复杂 组网成本过高的问题 C ONE 标准融合针对大型或者超级型企业用户 采取增加万兆交换机 支持 3 1024 节点业务规模 能够很好满足业务数据的增长需求 C ONE 传统融合扩展模式 3 安全可靠安全可靠 C ONE 系统的数据保护工作主要在存储层展开 集成 YeeSAN 系统作为存储层 采 用该系统的数据保护技术 YeeSAN 的数据保护技术 是建立在分布式 节点间冗余的 基础上的 数据进入系统之后 被分成多个数据块 然后对每个数据块保存多份数据 副本 C ONE 的每一个服务器的写缓存也采取多副本技术 保证其是一个没有单点故 障的系统 系统可用度至少达 99 999 C ONE 不仅可以支持硬盘级的故障 而且可以支持节点级的故障 只要系统中同 时故障的节点数小于数据副本数目 系统就可以持续提供服务 通过数据重构过程 系统可以恢复出损坏的数据 恢复整系统的数据可靠性 C ONE 的存储层以卷和文件为单位设置数据的副本数目 不同的副本数目对应于 不同的保护级别和存储资源使用率 用户可以根据实际需求进行合理设置 对于关键 数据 建议设置三个或者三个以上的副本 保障它的安全性和可用性 对于非核心的 备份型数据 设置一个或者两个副本即可 可以有效节约占用存储资源和降低关键数 据的访问效率 C ONE 摒弃传统的 RAID 保护机制 以逻辑数据块为单位进行保护 C ONE 的存储 层对于数据的保护和传统的 RAID 保护机制不同 传统的 RAID 以硬盘为单位进行保护 但这会带来很多潜在的问题 硬盘损坏时 数据恢复的过程只能利用到单个硬盘的访 问性能 恢复过程极其缓慢 恢复造成对其它磁盘的访问压力增加 产生新的故障可 能性增加 C ONE 的存储层以逻辑数据块为单位进行保护 数据块的粒度非常小 在 产生故障时 几乎可以立即在其它存储资源上恢复出该数据块 即便是在整个硬盘都 故障的情况下 其数据的恢复也与 RAID 不同 C ONE 的存储层可以充分利用可用的存 储资源参与到恢复过程中 由于数据块在存储系统中的均衡性 所以恢复时 读取数 据的硬盘也是系统中的几乎所有可以利用的硬盘 这个恢复过程极大的提高了恢复数 据的性能 而且恢复的压力也转移到系统中的多数硬盘上去 减少恢复时间和平衡恢 复压力降低了恢复数据过程中产生新的故障的可能性 提高了数据的可靠性和系统的 可用性 C ONE 会实时监控系统中的存储资源 硬件 虚拟机等的使用情况和运行状况 当出现数据块或者存储资源发生故障时 系统会进行及时的警告 管理员可以及时处 理故障 这种及时处理 也可以加强数据的安全级别 4 卓越性能卓越性能 C