it基础架构新趋势--超融合架构下的虚拟化

技术白皮书 1、 2、 3、SMARTX ZBS 系统设计 4、SMARTX ZBS 功能亮点 摘要 SMARTX ZBS(“Z”Block Storage system),即ZBS分布式块存储系统，运行于商用X86服务器， 为虚拟化环境提供可水平扩展的存储服务。本文就ZBS的设计哲学、系统架构等核心技术展 开详述，通过和传统计算存储分离架构对比，让企业用户能够清晰地了解SMARTX ZBS超融 合架构的技术优势，为用户构建虚拟化数据中心提供参考。 背景介绍 当前 IT 数据中心面临的挑战 当下企业 IT 数据中心虚拟化是行业发展的趋势，更是未来的标准。利用 Hypervisor 将物 理服务器虚拟成多个虚拟机，把应用部署不同的虚拟中运行，为企业提供更高的运行密度 和更敏捷解决方案。在传统计算存储分离的体系架构下，虚拟机在计算服务器上被创建， 其后端存储通常采用 SAN/NAS。这种架构已经不能满足企业 IT 数据中心高速发展和变 化的需求，主要体现在： 扩展困难 传统存储 SAN/NAS 通过添加新的存储柜扩容升级（ Scale Up)，但是这种方法并不能带 来同倍的性能提升。存储访问性能并不能随着虚拟机数据量增加而线性增加，致使存储访 问性能最终成为数据中心性能和容量的瓶颈。 管理复杂 IT 管理员不仅需要同时管理计算和存储两套系统，还往往需要面对专有化设备的配置，非 常繁琐。传统网络存储架构 SAN/NAS 期初就是为静态负载场景设计，对于动态变化的负 载，其管理运维就会变得相对复杂。 性能问题 存储如果独立于虚拟化应用，则很难为其做性能优化并确保虚拟磁盘 QoS。虚拟化数据中 心中运行着大量不同的应用，这些应用通常对应不同的服务等级，利用现有存储很难适应 不同的应用负载。 硬件专有化，成本高 主流存储厂商使用自行设计的专有芯片去优化 I/O 路径，如利用专有芯片做数据压缩，去 冗等。这些专有化硬件带来的高额研发和生产成本必然会提升存储系统的总体拥有成本。 未来企业 IT 数据中心的问题，本质上都归结为存储系统的问题，Google、Amazon 这 样的顶级互联网公司多年前已遇到此类问题。它们发现任何商业存储产品都无法满足他们 高速增长的数据业务需求。于是这类公司通过软件的方式在商用服务器上搭建了自己的 IT 基础架构，这些系统大多采用分布架构：上层应用像访问本地资源一样使用分布式计算存 储资源，系统可以很容易的水平扩展，并且不受性能和价格的制约。 SMARTX 借鉴了 Google 这类互联网公司的软件架构的思想，结合当前数据中心虚拟化 的趋势，推出超融合架构的软硬件解决方案，在商用 X86 服务器上搭建可扩展的虚拟化 数据中心。 设计哲学 SMARTX ZBS 分布式存储系统的设计哲学涵盖四个方面： 组件分布式 ZBS 是一个对等的分布式集群。每一个数据节点都有能力承担另一数据节点的功能，节点 之间用 ZBS 内部的分布式协议完成相互协作和通信。这一特性是系统得以能水平扩展的 关键，系统中的任意组件都不会成为瓶颈。 系统冗余 ZBS 始终把可靠性作为系统设计的最高优先级。在真实环境下，硬件是无法达到 100%可 靠的，磁盘可能损坏，服务器可能宕机。为处理这些不可预期的硬件错误，保证数据的完 整，业务的连续性，ZBS 在软件的层面构建了许多“冗余”。例如：ZBS 使用了强一致的 分布式元数据服务器集群，即便一个元数据服务器停机，也完全不影响元数据服务；同一 份数据块也会复制到不同的物理数据节点，防止单点故障。 面向虚拟化 ZBS 是面向虚拟化环境设计的分布式存储系统，针对虚拟化环境优化。 例如： 1）ZBS 可以调度 VM 到离数据最近的节点，减少远程 IO 的访问； 2）充分挖掘 SSD 的高性能实现了智能的分层存储，用作 VM 的本地缓存； 3）实现 VM 重连机制，可在不停虚拟机的情况下给集群系统升级。 自动化管理运维 ZBS 设计的一大考量就是简化运维，从部署、日常管理、出错处理都力争做到自动化。 ZBS 集群的安装部署非常简单迅速，只需简单配置 IP 地址和服务器角色等信息就能在 1 小时内完成安装部署；当硬盘损坏，数据可靠性降低时，ZBS 会触发自动修复将数据复制 到健康的节点，整个过程无需人工参与。ZBS 也提供了 Web 可视化管理和丰富的分析功 能，可以采集和分析当前系统的多维指标，并设置预警，第一时间通知管理员。 系统架构 SMARTX ZBS 集群的每个节点都部署相同的 ZBS 分布式块存储系统，集群的每个节点 从用户的角度来看是等价的。ZBS 对外提供块设备接口，可以创建虚拟存储盘。ZBS 兼容 多种 hypervisor，通过简单配置和部署，即可形成超融合架构的计算存储平台。用户可以 在任意节点上启动 VM。这些 VM 像使用本地存储一样使用 ZBS 创建出的虚拟盘。 下图对比了计算存储分离的架构（左）和 SMARTX ZBS 超融合架构（右）。 ZBS分布式块存储特点 ZBS 提供最基本的块设备接口供虚拟使用机，同时具备以下功能特点。 高性能层次存储 ZBS 实现了智能 SSD 分层存储，并通过大量优化来提升虚拟机的 I/O 性能。整个集群 系统拥有 SATA 磁盘的大容量和低成本，却实现了接近 SSD 的性能。 SSD 智能缓存 ZBS 能够智能识别冷热数据，将经常访问的热数据提升到 SSD 里，将不常访问的冷数据 交换到 SATA 上。ZBS 采用了两级 LRU 队列，当数据块初次被访问的时候会提升到 SSD 的 Inactive 列表，如果继续被多次访问会提升到 Active 列表，只有 Inactive 列表 里的冷数据才会被换出到 SATA，实验表明该算法能够显著提高真实负载下 SSD 的 Cache 命中率，有效减少性能抖动。 IO 请求合并优化 ZBS 为写操作做了专门优化，通过将随机的小 I/O 写请求合并成一个大 I/O 写请求，然 后顺序写到 SSD 日志中，从而大大提升了 I/O 吞吐量。 全 SSD 存储池 ZBS 支持创建全 SSD 存储池，全闪存池里创建的虚拟盘上的数据不会被替换到 SATA 盘上，拥有更高 QoS 保障。用户可以将核心业务部署在全 SSD存储池中的虚拟盘上， 获得媲美昂贵的全闪存阵列方案。 水平扩展 ZBS 的水平扩展得益于合理的分布式架构。存储容量和性能都可以弹性水平扩展，而且扩 展后的 Rack 空间、容量和性能是可预估的，所以能极大帮助企业IT 选择最合适的软硬 件解决方案。日后只需要简单添置节点来扩容就能满足业务增长的需求。ZBS 的水平扩展 有以下几个特性： 自动负载均衡 扩展节点后，旧数据会自动迁移到新节点， 以此达到整个系统的负载均衡。避免单点过热 的情况出现。 扩展无需暂停业务 水平扩展只需要将部署了 ZBS 的新节点和原有集群连接到同一网络，然后在管理平台上 执行一条扩容命令。整个扩容过程不会影响任何服务，虚拟机无需停机。 即刻生效 节点被添加到集群，该新增节点的计算和存储资源会通过一轮“心跳”向集群汇报，集群 系统的整体容量和性能也随之线性扩展，此后新节点的资源就会被 ZBS 接管，被用于分 配或者回收。 数据高可靠 确保数据高可靠是 ZBS 非常重要的功能设计。 ZBS 不仅能对数据进行主动保护，而且还 会对丢失的数据进行自动修复。 弹性多副本 同一份数据可以有多个副本，副本会分布到不同的物理节点，即便一个节点损坏也不会影 响数据的可用性和可靠性 数据块校验 为防止数据的 silent 的损坏，ZBS 会对每个数据块做效验。 数据备份 ZBS 提供了一组外围的工具，能将数据备份到外部的存储，比如 HDFS、S3 等 智能数据恢复 ZBS 是一个能自我修复的系统。同一份数据可以有多个副本，副本会分布到不同的物理节 点，即便一个节点损坏也不会影响数据的可用性和可靠性，一旦发现某个数据块的可靠性 级别低于设定值，就会自动的触发只能恢复。例如用户设定某个虚拟盘副本数为三份，同 一份数据会复制到三个不同的物理服务器上，假使某台服务器损坏得数据副本数减少，ZBS 会及时发现这一事件，并将数据恢复到另一台健康的物理服务器，以确保三副本的数据可 靠性。 ZBS核心组件 ZBS 分布式存储集群里有两类物理服务器：Master 和 Storage。ZBS 有两个最重要的服 务 Meta 和 Chunk， Master 节点上会同时启动 Meta 和 Chunk 服务，在 Storage 节 点上只启动 Chunk。 Meta 服务 Meta 负责管理元数据，即维护了数据块到具体物理服务器的映射。在生产环境下，一个 集群通常部署多个 Meta 服务，组成一个 Meta 集群，它们之间实现了分布式强一致性协 议，来保证元数据的高可用、高可靠，解决了单点失效的问题。另外，ZBS 的 Meta 服务 还负责集群的负载均衡、数据主动恢复、垃圾回收等集群层面的策略任务。 Chunk 服务 Chunk 负责实际数据的存储。通常客户端在 Meta 查询元数据信息后，Meta 会将存放该 数据的物理服务器返回给客户端，此后客户端就和该存储服务器上的Chunk 交互，完成实 际数据的读写。Chunk 管理着单机的存储资源，包括 SATA和 SSD，并充分挖掘 SSD 的特性来优化本地 I/O 性能。Meta 和 Chunk 的组织架构如下图所示： 多个 Meta 组成高可用元数据集群集群。Chunk 之间也是完全互连，同一份数据块会分布 存放在多个 Chunk 节点。图中 Client 表示 ZBS 分布式存储系统客户端，在虚拟化场景， Client 即是虚拟机。数据通路描述： 1. Meta-Meta：元数据写入或者更新时需要同步到所有的 Meta 节点； 2. Meta-Chunk：Chunk 会定期的向 Meta 汇报服务状态； 3. Chunk-Chunk：Chunk 节点之间数据的迁移和恢复； 4. Client-Meta：元数据更新查询等操作，大部分管理命令的数据是通过该数据通路； 5. Client-Chunk：I/O 数据的实际通路。对于标准的 I/O 操作，Client 会首先查询元数 据，获取实际数据的 Chunk，之后对该 Chunk 进行读写，由于实际的 I/O 操作发生在 Chunk 端，并且 Chunk 会缓存从 Meta 返回的元数据，所以 Client 和 Meta 交互的频 率很低，不会成为集群的性能瓶颈。 SMARTX ZBS功能亮点 ZBS 的产品功能主要围绕企业 IT 最重要的三个方面：丰富的数据服务、业务的连续性、 简化 IT 管理。 丰富的数据服务 弹性可配置副本 应用场景不同，对数据的可靠性、可用性的要求也不同。ZBS 通过对存储盘副本数的配置， 满足不同场景的可靠性和可用性需求 智能数据恢复 当遇到物理磁盘损坏、存储节点掉电、网络连接失败等因素导致的数据可用性、可靠性下 降的事故，ZBS 存储系统会智能的在健康物理节点上重建数据，来保证数据的可靠性。同 时为了使得背景恢复任务不影响正常的数据读写性能，ZBS 会对恢复任务设置流量，并在 负载很轻的时候调度。 备份工具 ZBS 提供了一组工具会将数据备份到外部的存储，比如 HDFS、S3 等。多一个层面对数 据进行保护。 集群负载均衡 ZBS 能够智能的将数据均匀的分布到不同的物理节点，达成容量和性能的负载均衡。 瘦供给 集群级的全局瘦供给（Thin Provison）能允许用户分配出大于当前存储系统空间的存储盘。 存储盘只有被真正使用的时候才算作被消耗的存储资源。这项特性为公有云弹性存储“超 卖”提供了强力的支持，已成为公有云后端存储的标配。 秒级无依赖快照 创建快照在 ZBS 中是非常轻松高效的操作，快照创建均在 1ms 内完成。此外，快照之 间无依赖，方便快照管理。ZBS 使用了写时复制（Copy-on-write ）的技术来提升快照的 性能和体验，由于快照的真实数据只要在修改的时候才会被复制，所以快照操作实际上就 是简单的元数据操作。 业务连续性 不停机扩容 整个扩容升级过程无需暂停任何服务，用户虚拟机里的业务无需中断。 硬盘热插拔 当磁盘损坏需要更换的时候，无需停机断电，用好的磁盘替换损坏的磁盘即可，ZBS 可以 自动将顺坏磁盘的数据恢复出来。 虚拟机重连 网络分区在分布式系统里是很常见的错误，这类错误会导致分布式存储暂时不可用，ZBS 支持虚拟机重连的机制，使得虚拟机 I/O 不会受短暂网络错误影响。 VM 热迁移 虚拟机热迁移允许在不关闭虚拟机的情况下，将其转移到另一台物理服务器上运行。ZBS 在存储层面支持