超融合和企业存储的那些事

1、白鸽学吧 技术原创 超融合和企业存储的那些事超融合与SDS超融合架构 (HCA) 和软件定义存储 (SDS) 是数据中心领域最热议的两股趋势，两者的势头都非常强劲。对IT规划者而言，拨开供应商关于这两种技术的宣传迷雾，判断最适合他们企业的技术，需要费一番脑筋。超融合架构本身就包含SDSHCA的一个核心组成部分就是SDS。大多数HCA解决方案是经SDS解决方案扩展而来，运行在虚拟机管理程序集群的各个节点上。它们聚合各个节点中的存储，形成一个共享存储池，供集群中的所有虚拟机访问。HCA的价值在于它摒弃了专用存储网络，正因为不需要专门的共享存储系统，大大降低了存储成本。与SDS解决方案类似，HCA解

2、决方案提供了大部分必要的存储服务（如快照和克隆），但大多缺乏数据保护和复制等关键数据服务。对于小型企业而言，HCA方案或许能满足整个企业的需求。超融合架构面临的挑战HCA也有薄弱之处。HCA解决方案面临的第一个挑战在于，这些系统几乎都不能支持数据中心中原有的外部既有存储。HCA假定这些陈旧的既有存储会被所创建的共享虚拟卷取代。但很少有数据中心愿意这么做。结果就是，HCA会变成数据中心抵御存储蔓延过程中的又一存储孤岛。数据中心的存储性能一直令人担忧，而其中最令人担忧的就是性能的可预见性。对于存储系统而言，应用程序和用户最担心的就是是否拥有始终如一的性能。因此，HCA的第二个挑战在于性能的难以预测

3、性。这种性能不确定性来源于这一架构“共享一切”的性质。作为HCA解决方案核心的存储软件会将HCA的处理能力、内存和网络共享给虚拟机管理程序集群中的所有其他进程。如果某个应用资源需求骤升，造成其中一项资源“枯竭”，就可能会影响存储性能，进而在整个基础架构中产生涟漪效应。数据中心规模越大，这一担忧就越可能成真。独立的存储基础架构具有专用处理器和网络的优势，有助于提供可预测的性能。第三个挑战在于扩展。HCA天生具有一定的扩展能力。数据中心需要更多计算能力时，自然会通过增加物理服务器的方式来确保足够的容量。而后，现有的存储卷会将这一新容量添加到聚合之中。这种类型的扩展有两个缺点：第一，计算能力、存储性

4、能和存储容量的增加是紧密相连的，但这些资源的扩充需求很少会步调一致。第二，随着为虚拟卷提供存储的节点数量的增加，网络的重要性也会上升。当节点数达到两位数时，HCA“共享一切”的架构可能会变得相当复杂。SDS的优势当SDS不处于超融合状态时，能够为大型环境提供可行的替代方案，可以在降低存储成本的同时，还能维持灵活的扩展能力。正如Storage Switzerland在“The Three Problems with Software Defined Storage”（软件定义存储的三个问题）一文中所述，SDS解决方案能够为环境中的传统存储提供SDS价值。这些价值中包括单一管理和统一存储功能集。此

5、外，由于SDS可以利用用户现有的存储架构，因此能够充分发挥专用存储网络和存储计算的功用。换言之，它们不仅具有“共享一切”环境的管理简便性，而且能避免性能的不可预测性，也不需要重新购买额外的存储。超融合与传统存储在虚拟化及云计算技术大规模应用于企业数据中心的科技浪潮中，存储性能无疑是决定企业核心应用是否能被虚拟化、云化的关键考量指标之一。传统的做法是升级存储设备，从低端、中端到高端存储，但这没解决根本问题，性能和容量不能兼顾，并且不能很好的解决异构设备利旧和架构扩展的问题。因此，企业需要一种大规模分布式存储管理软件，能充分利用已有硬件资源，在可控成本范围内提供最佳的存储性能，并能根据业务需求变化

6、，从容量和性能两方面同时快速横向扩展。这也是当今软件定义存储兴起的现实基础。超融合架构（Hyperconvergence Infrastructure， 简称HCI）将虚拟化计算和存储整合到同一个系统平台，通过软件来统一管理。简单的说就是物理服务器上运行虚拟化软件（Hpyervisor），通过在虚拟化软件上运行分布式存储服务供虚拟机使用。分布式存储可以运行在虚拟化软件上的虚拟机里也可以是与虚拟化软件整合的模块。广义上，除了虚拟化计算和存储，超融合架构还可以整合网络以及其它更多的平台和服务，为企业实现可扩展的 IT 基础架构。历史经验一再表明，由技术进步推动的变革往往以超乎人们想象的速度和烈度发

7、生。面对新的变革和潮流，在追逐新技术新潮流变化的同时，我们还需冷静思考可能带来的问题。在企业级数据中心，如何正确认识超融合和传统存储？如何能提高性能和降低成本，并可控风险？这些都需要我们从实际出发，辩证和客观的去看待。问题一、企业传统存储与超融合差别在哪里？企业传统存储架构最大的问题有如下几个方面：1，存储资源集中化，很难随着计算资源扩展而扩展，无法适应数据中心的这种可灵活扩展的需求。2，采用存储与计算分离的这种架构，需要独立的网络、独立的存储与独立的计算。为了提高系统可用性，需要通过资源冗余的方式达到设计目标。因此，网络、存储控制器（双控或多控）都会进行多份冗余，增加了数据中心的投资。3，多

8、种不同的存储系统在数据中心中进行部署无疑增加了数据中心的管理复杂度。尤其是后端多种类型的存储设备，增加了数据中心的管理成本。采用超融合架构，则有明显的优点就是易于扩展，最小部署，按需扩容。具体表现有：1、完全软件定义。独立于硬件，采用商业通用标准硬件平台（如X86），完全采用软件实现计算、存储、网络等功能。2、实现统一管理。以虚拟化计算为中心，计算、存储、网络均由虚拟化引擎统一管理和调度，软件定义屏蔽了以往异构设备的复杂性。3、完全分布式，去中心化。横向扩展的分布式系统，计算、存储、网络按需进行动态扩展，系统不存在任意单点故障，采用分布式存储可实现去中心化。问题二、传统存储与超融合在数据一致性

9、方面的区别数据一致性是指关联数据之间的逻辑关系是否正确和完整，可以理解为应用程序自己认为的数据状态与最终写入到磁盘中的数据状态是否一致。在企业核心应用高并发业务场景下，数据一致性的保障可大大提高系统的可靠性和容错性。 引起数据一致性问题的一个主要原因是位于数据I/O路径上的各种Cache或Buffer（包括数据库Cache、文件系统Cache、存储控制器 Cache、磁盘Cache等）。由于不同系统模块处理数据IO的速度是存在差异的，所以就需要添加Cache来缓存IO操作，适配不同模块的处理速度。 这些Cache在提高系统处理性能的同时，也可能会滞留IO操作，带来一些负面影响。如果在系统发生故

10、障时，仍有部分IO滞留在IO操作中，真正写到磁盘中的数据就会少于应用程序实际写出的数据，造成数据的不一致。当系统恢复时，直接从硬盘中读出的数据可能存在逻辑错误，导致应用无法启动。首先从缓存管理上看，传统存储和超融合的分布式缓存管理是不一样的。首先传统存储是集中式缓存一致性管理。在这种缓存管理模式下，集群中所有节点均不维护本地缓存，而是所有节点共享访问一个集中存放的缓存，数据在缓存中只有一份副本，不会也不可以出现多份副本。该缓存管理架构的优点是天然的缓存一致性，因为不存在多个副本，不需要特殊过程来维护缓存一致性。对于高端存储系统而言，该设计的劣势则是缓存需要集中放置，需要使用某种外部网络来连接集

11、中的缓存，而且提供异步化的类似IO的访问方式，编程复杂，难以掌控和优化，需要投入大量成本。 而超融合分布式的缓存管理则是集群中的每个节点都有自己独享的缓存，这种情况会给缓存一致性管理上带来极大的复杂性，当然，所获得的收益便是一旦命中则性能会非常好。所谓对称式指的是集群中所有节点在缓存管理的地位上是均等的，都可以自行控制管理各自的缓存。所谓任意关联，则是指任意节点均可以缓存任意数据块，数据块大小视不同产品设计灵活而定。因为可以任意缓存，所以会导致多个集群节点同时缓存有同一个数据块的多个不同版本的副本，从而导致一致性问题。 解决的办法则是效仿多CPU缓存一致性管理方面的思路，采用MESI一致性基本

12、协议及其变种，可以在尽量减少广播通信的前提下实现任意关联分布式缓存一致性。该设计的优点则是可以充分利用缓存空间，劣势则是成本高，因为需要一个低时延的网络来实现MESI协议流量，否则性能将很差；另外，需要一个高速搜索算法来搜索对应目标数据块在缓存中的位置，必要时引入硬加速比如TCAM等，成本再次增加。还有就是分布式的系统常常受制于CAP定律。CAP定律说的是在一个分布式计算机系统中，一致性、可用性和分区容错性这三种保证无法同时得到满足，最多满足两个。众所周知，分布式事务一般采用两阶段提交策略来实现，这是一个非常耗时的复杂过程，会严重影响系统效率，在实践中我们尽量避免使用它。在实践过程中，如果我们

13、为了扩展数据容量将数据分布式存储，而事务的要求又完全不能降低。那么，系统的可用性一定会大大降低，在现实中我们一般都采用对这些数据不分散存储的策略。从以上分析来看，传统存储与超融合分布式的数据一致性还是有明显区别的，在具体业务场景中，需要综合成本、性能、稳定性方面来综合考量和选择。问题三、企业级数据服务的高级功能目前在大多数超融合系统以及SDS系统都具备了核心的企业级功能，包括数据冗余、自动精简配置、快照、克隆、SSD Cache/Tier、数据自动重建、高可用/多路径等数据功能，但有些高级功能例如重复数据删除、数据加密、数据压缩等还是缺失的。 相对于高端存储系统，如果超融合架构要承载核心关键应

14、用，还有一些差距，包括但不限于QoS控制、数据保护、数据迁移、备份容灾、一致性的高性能。核心存储系统应该遵循RAS-P原则，先做好稳定可靠性，其次是企业数据功能完备性，最后才是高性能，这个顺序不能乱，光有高性能是不行的。目前超融合架构中，许多两副本和三副本的解决方案也是在同一个数据中心内或同一POD里，跨数据中心的容灾几乎没有。还有就是存储双活和仲裁，目前VSAN支持存储双活，还引入了WITNESS组件。但其他超融合解决方案还没有支持应用双活的案例。对于超融合来说如果缺少完整可靠的数据服务能力则意味着采用这个解决方案的客户仍然需要购买额外的存储系统来填补其解决方案所缺少的功能。目前，核心关键业

15、务系统还不太敢往超融合架构上迁移，主要还是从非核心业务开始检验，毕竟超融合出现时间还比较短，需要更多的时间和实践验证。但是，我们有理由相信未来超融合必定是可以支持核心关键业务的主流架构。问题四、如何进行数据生命周期管理？随着企业业务发展以及各种平台、系统的建立也意味着需要管理的数据量越来越庞大，资源维护成本越来越高，效率越来越低。那么面对企业对数据的不同时效、不同访问频率、不同重要性等要求，如何降低数据存储和使用维护成本，对不同数据进行生命周期管理是非常有必要的。结合业界的相关标准规范，对企业IT系统的数据进行必要的归类。目前根据系统的业务特点，比较流行的数据归类包括：生产交易型数据、服务支撑

16、型数据与系统日常数据三部分。根据数据归类，不同类别的数据应匹配不同的数据存储策略。数据存储策略就是将不同的数据存放在指定的存储设备上。目前主要的存储设备主要分成在线存储、近线存储、离线归档存储，三种常用存储。在传统企业存储中， 通过分级存储策略，根据数据不同的重要性、访问频次等指标把数据分别存储在不同性能的存储设备上，采取不同的存储方式。这样一方面可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。对于超融合分布式存储来说，目前还未充分考虑到数据生命周期的管理，对于冷热数据虽然也有存储区域上的区分，但基本都是拿闪盘来做缓存加速，还不能有效做到分级存储，来满足企业对于大

17、量不同数据的精细化管理和生命周期管理。问题五、企业传统存储与超融合是对立还是共存互补？传统企业的IT一般都经过了若干年的发展，形成了自己特有的基础架构和硬件设施。企业采购的服务器、存储等IT资源都是固定资产，往往希望将淘汰或过保的这些资源进行利旧，从而达到保护投资的目的。而且在企业中，还有相当一部分的传统IT应用仍然运行在物理服务器和传统存储系统之上。 我们可以乐观地认为没有哪一种应用程序不能被部署在超融合基础架构上，但是考虑到运行效率、硬件依赖性以及和虚拟化环境兼容性等因素，很多IT应用最好还是继续保持运行在物理硬件架构，比如关键数据库应用、实时控制系统以及大量遗留IT系统。当然许多业务场景

18、，需要灵活的扩展性和弹性配置，也非常适合超融合的架构，我们也会根据需求来决定是否采用超融合解决方案。大多数的超融合解决方案都希望数据中心可以完全投入，即用超融合解决方案自带的基础架构和流程替换数据中心现有的存储硬件、基础架构和流程。他们通常希望数据中心摒弃共享式集中存储硬件，而支持商业化的超融合架构。这种想法有点激进，容易让超融合站在传统存储的对立面，而又不能解决实际的问题。 企业级数据中心的演变一定是一个渐变的过程，所以企业传统存储与超融合不是对立的关系，而是共存和互补的关系，只有面对企业现实场景和具体问题，各自发挥自己的优势和特长，解决问题才是真正的和谐与共赢。问题六、与同类厂商比，缺少合理的计价模式超融合解决方案大部分按照容量包获得许可。许多软件还针对高级功能收取额外费用。这就造成了一个问题，因为大部分数据中心从来都不能确定自己合适的容量限点来充分利用容量打包价格的优势。例如，一个初级容量包可提供5-10TB的存储服务，更高一级的容量包则支持10-25TB。如果企业需要12TB存储容量怎么办？这就意味着企业为了支持多出的2TB的容量，必须升级到25TB的容量许可。其实根据容量来算多少钱，这个方法并不公平。如果按能提供多少个IO