想超融合AIO-H3000技术白皮书V10

联想超融合存储平台企业存储重定义联想超融合技术白皮书软件定义数据中心软件定义数据中心（SDDC）是一个统一的数据中心平台，融合计算、存储和网络层，提供了前所未有的自动化、灵活性和效率，改变了IT的交付方式。计算、存储、网络和可用性服务被池化、汇总、以软件形式交付，并受到策略驱动的智能软件的管理。SDDC以两种方式重新定义了效率的概念。首先，它利用现成的标准通用硬件来减少资本支出（CAPEX）。其次，通过融合计算、存储和网络，消除了当今相互独立的不同物理实体构成的世界中过度配置的处理器、内存、存储和网络资源。以全球统一的方式来管理这些资源可以显著提高利用率和效率。在SDDC中，所有资源均由应用团队以集成方式来指定和提供。这反过来，大大简化了IT操作，降低了运营成本（OPEX）。虚拟数据中心的数据存储挑战在计算方面，VMware及其它企业已经兑现了发布软件定义服务器范例的大部分承诺。服务器虚拟化聚集计算资源（中央处理器、内存），利用通用硬件搭建出高效的基础设施，提供弹性扩展。因此，服务器虚拟化已经通过大幅提高计算简单性、灵活性、敏捷性、可扩展性和可用性重新定义了计算模式，从而降低了资本和运营费用。遗憾的是，存储技术在过去十年中只取得了渐进式的创新，并没有跟上计算技术的前进步伐。共享存储是利用服务器虚拟化的虚拟机迁移、动态负载平衡、高可用性和灾难恢复等诸多好处的一个先决条件。目前，应用最广泛的共享存储形式是SAN或NAS网络化存储。网络化存储解决方案比其它存储形式昂贵许多，需要专门的存储技巧来配置存储和管理卷、LUN、文件系统和RAID等存储结构。此外，由于存储结构（例如，LUN、卷、文件系统）与虚拟化结构（虚拟机或VM）之间的不匹配，服务器虚拟化增加了网络存储管理的复杂性以及单独管理服务器和存储系统的需要。而当虚拟机的配置需要几分钟而不是几秒钟才能完成时，配置存储和相关的存储结构，使之与虚拟机相匹配就可能需要更长的时间和更多的专业知识。闪存的出现以显著提高存储性能，甚至在某些情况下，降低每I/O成本（每IOPS美元数）惠及大众。许多厂商都将全闪存阵列或服务器端闪存作为解决所有存储问题的方法。遗憾的是，他们没有解决存储结构和服务器虚拟化结构或闪存相对高的存储容量成本（每GB美元数）之间的差异。近年来，虚拟存储设备（VSA）和分布式文件系统等网络化存储的替代方法纷纷涌现出来。然而，这些方法在未能改善存储管理的同时，在可扩展性和性能方面也作用有限。因此，在大多数情况下它们不能成为网络存储的替代方案。而大数据环境和特定存储工作负荷还产生出Hadoop等其它网络存储替代方案。但是，这些替代方案均不适合一般用途下的虚拟化环境和相应的存储工作负荷。软件定义存储：通过利用通用组件，完全以软件形式来实现存储功能，软件定义存储（SDS）可以应对在虚拟化环境中的上述挑战。该软件与服务器虚拟化管理程序运行在同一物理服务器上。它将存储资源抽象出来，使分散的服务器端物理存储资源汇聚并池化，支持以虚拟机为中心的虚拟存储资源的按需分配。通过优化数据放置和利用数据复制，虚拟存储到物理存储的映射提供了高层次的性能、可扩展性和可用性。以虚拟机为中心的存储分配彻底消除了存储结构和服务器虚拟化结构之间的差距，形成了 一个与虚拟化计算同样敏捷的存储层：集中、灵活、高效，并具有弹性扩展能力。在过去的几年中，采用“软件定义存储”或SDS已经成为时尚，许多供应商都选择它来定义自己的产品。那么如何才能确定一个软件定义数据中心的重要组成部分是否是真正的SDS呢？下面的例子展示出对SDS概念的“扩展”：只适用于单一供应商的硬件或非常有限的硬件配置集合的存储软件工作在网络化存储“盒子”或存储阵列中，而与虚拟化管理程序不在同一台服务器上的存储软件可以提升存储阵列的性能，但还需要某种形式的共享存储来提供存储功能的软件要成为真正的SDS，计算和存储均需配置在同一符合行业标准的非定制硬件池上。在SDS中，存储层以运行在虚拟机中的软件形式存在，使用符合行业标准的、成本有效的服务器和SSD、带PCI的闪存和磁盘驱动器等存储设备池。资源有效性来源于数据中心所有资源（处理器、内存、存储）的池化和共享能力。操作有效性来源于管理集成的（融合的计算与存储）软件实体，而非孤立的硬件资源。敏捷性是通过对新需求的快速反应能力来体现的。所需的存储资源是作为其工作流程的一个组成部分由应用团队动态指定的。无需与单独的存储管理团队来协调或协商存储资源，也不需要预测和管理不同的物理存储资源池。在过去的10年中，软件定义服务器已经完全重新定义了我们对计算的思考。如今，服务器虚拟化得到了彻底的简化（x86机器上所有工作负荷的58%运行在虚拟机中）。同样的这些概念被应用到存储领域中，补充了软件定义数据中心缺失了的关键部分。简介联想超融合现已发布开创性的高弹性、可扩展、分布式软件定义虚拟存储平台（LenovoHS），完全实现IT虚拟数据中心的愿景。联想超融合将应用、服务器虚拟化和存储整合到通用服务器上，从而消除了对存储阵列的需要，并实现了软件定义数据中心的愿景。LenovoHS作为无关虚拟化管理程序的软件实现，提供了虚拟机级别的存储抽象和与服务器虚拟化用户界面的完全集成。它能够独立按需扩展服务器虚拟化和存储，在无需过多资源的情况下一次扩展一台标准服务器。LenovoHS提供的是虚拟机级别的存储抽象，而不是块或文件级抽象。它消除了配置和管理LUN和卷等低级别存储结构的需要，大幅简化IT操作。LenovoHS提供以虚拟机为中心的企业级数据服务，以支持先进的虚拟机实时迁移、动态负载均衡、高可用性、数据保护和灾难恢复等功能。LenovoHS利用磁盘和闪存技术的任意组合，以诱人的价格为虚拟化环境中的各种存储工作负荷提供有竞争力的性能和高容量。LenovoHS将虚拟机智能地映射到存储资源，优化虚拟工作负荷的数据布局，并利用各种形式的闪存技术来读/写缓存。它拥有优化的闪存性能和硬盘容量，使得数据中心能够在标准服务器上部署，IT管理人员也无需在性能和成本之间进行艰难的取舍。总之，LenovoHS大幅简化IT操作，提高IT效率并显著降低资本和运营支出。联想超融合平台体系架构LenovoHS的创新的对等体系结构汇聚了多台服务器的存储资源，同化形成一个全局命名空间，创建出联想超融合存储池。在虚拟化集群中的每台服务器上均安装有LenovoHS软件的一个实例。存储资源可以是磁盘和固态硬盘的任意组合。运行LenovoHS软件的所有服务器均可访问汇聚的联想超融合存储池。然而，它并不要求所有服务器均拥有自己的存储资源，或向超融合存储池贡献其存储资源；也不要求向超融合存储池贡献资源的服务器具备相同类型（例如固态硬盘、带PCI的闪存、SATA磁盘、SAS磁盘）或容量的存储资源。LenovoHS实例之间的通信是通过私有或共享以太网。强烈建议使用至少1GbE的私有网络，以避免由于联想超融合数据流量的影响而出现虚拟机/应用的性能退化。运行LenovoHS软件的服务器可以向联想超融合存储池贡献（“计算/存储融合服务器”）或不贡献（“纯计算服务器”）其存储。特定服务器的硬件要求取决于该服务器是“计算/存储融合服务器”还是“纯计算服务器”。通过以下方式“纯计算服务器”可以升级为“计算/存储融合服务器”：a) 改变角色定义（如果“纯计算服务器”满足“计算/存储融合服务器”的硬件要求）或者b) 改变角色定义并升级服务器（如果“纯计算服务器”不满足“计算/存储融合服务器”的硬件要求）联想超融合体系结构提供的是虚拟机级别的存储抽象，而不是块或文件级抽象。它消除了对于配置和管理LUN、卷、文件、RAID、ACL和存储网络（分区）等低级别存储结构的需要；将存储管理完全集成到服务器虚拟化用户界面中。此外，所有数据服务均无缝集成到虚拟化用户界面中，消除了使用多个管理/用户界面的不一致性和开销，进一步现代化和简化IT了操作。再者，所有数据服务都是在虚拟机级别上提供，使得虚拟化结构与存储结构完全匹配。存储在联想超融合中的所有数据均受到强大校验和检查的保护，并被镜像到至少2台物理服务器上来提供高级别的数据完整性和可用性。每台物理服务器内部还配置有其它级别的镜像。凭借极其快速和高效的虚拟机级别快照、零拷贝克隆、本地和远程复制，LenovoHS提供了虚拟机的灵活性、数据恢复、可用性和保护。通过将这些与自动精简配置、在线压缩和在线去重等容量优化技术相结合，该平台提供了显著的存储效率。LenovoHS提供了独立按需扩展计算和存储的灵活性，在无需过多资源的情况下一次扩展一台标准服务器。此外LenovoHS可与其它存储解决方案和谐并存，为客户提供投资保护。LenovoHS的主要组件有：联想超融合分布式文件系统（LeFS）联想超融合管理服务器NFSv3服务器联想超融合分布式文件系统（LeFS）：虚拟化集群中的每台服务器上均运行着一个LeFS的实例。LeFS支持创建全局命名空间，提供高可用性和可扩展性。LeFS利用高度可用的元数据和逻辑来同步LeFS实例之间的操作，并消除脑裂场景（例如，由于多台服务器在运行时网络出现故障，每台均相信自己是唯一还在运行的服务器所造成的数据不一致）。联想超融合管理服务器：在运行LenovoHS实例的服务器上，管理服务器被部署为一个服务，将在其中一台服务器上被激活，而在其它服务器上处于待机模式。在激活了管理服务器的服务器出现故障的情况下，管理服务器将自动切换到另一台运行LenovoHS实例的服务器上。管理服务器利用RESTful API来辅助管理和配置LenovoHS。这些API还提供了将用户界面集成到虚拟化用户界面的基础。NFSv3服务器：联想超融合存储平台实现NFSv3服务器的功能。在虚拟化集群中，跨越运行LenovoHS实例的所有服务器的同化存储将作为一个单一的联想超融合存储池，通过NFS协议展现给虚拟化集群中的所有管理程序实例。联想超融合存储池可与现有存储阵列的存储共存，无需剥离和更换现有的存储基础设施。LenovoHS数据布局LenovoHS为虚拟工作负荷优化数据布局，使管理员不必在成本和性能之间进行艰难的取舍，简化了他们的工作。既然虚拟服务器上多个虚拟机的存储工作负荷混合在一起，形成一个单独的混合存储工作负荷，那么从本质上来讲，虚拟环境中的读/写操作主要为随机模式。因此，从存储的角度来看，与单个虚拟机产生的单个存储工作负荷无关，该混合存储工作负荷总是表现出随机性（此现象有时也称为“输入/输出混合器”）。LenovoHS以基于日志的布局方法加速了随机写操作。该布局非常类似于日志结构的文件系统布局。为将数据块映射到其存储位置，LenovoHS维护着一组高度可用的元数据。LenovoHS使用固态硬盘来读写缓存。写操作是首先以串行方式写入固态硬盘，并同步复制到辅助服务器的固态硬盘上，以确保数据可用性；随后，以串行方式周期性写入磁盘。通过保持以串行方式写入固态硬盘和磁盘，输入/输入性能和固态硬盘的耐久性获得了最大化。元数据与频繁访问的数据（“热数据”）缓存在固态硬盘中以加速读取操作。采用固态硬盘作为元数据缓存和读取缓存提高了随机读操作的性能。对于频繁访问的数据和元数据，虚拟化管理程序利用RAM作为固态硬盘之前的更高层缓存，而固态硬盘缓存因其容量远远大于RAM，可以支持更大规模的工作集，并且能够提供回写缓存，则可以显著改善性能。请注意：尽管联想超融合的首选配置是通过高密度、低每GB成本磁盘和（包括SAS/SATA或PCI的）高性能固态硬盘来优化成本和性能，但是为满足极端性能要求还是可能使用全固态硬盘配置。LenovoHS对虚拟机到存储资源的映射进行了智能优化。在大多数情况下，给定虚拟机使用的是其所在服务器的本地存储。正常运行时，读写操作都是由托管该虚拟机的服务器来完成的。在软件中引入智能是为了尽量减少虚拟机及其相关存储被部署在分离服务器上的可能性。这消除了未对虚拟机数据放置进行优化的分布式存储系统所带来的网络往返延迟。数据的完整性、弹性、可用性和保护数据完整性和弹性LenovoHS提供一流的端到端数据完整性。LenovoHS可以自动检测并修复由于硬件故障造成的数据完整性问题，防止静默数据遭到损坏，LenovoHS为每个数据块维护一个独立的校验和。数据被读取后，将根据其校验和对每个数据块进行验证。LenovoHS不仅验证该块内数据的一致性，还验证服务器读取的块是否是正确的数据块。此外，一旦检测到数据块的不一致，LenovoHS将尽可能地进行自我修复。LenovoHS提供无单点故障的顶级数据弹性。LenovoHS支持在服务器本地和服务器之间同步复制数据。这样能够保证在任意3块磁盘故障情况下不丢失数据或丧失对数据的访问能力。数据可用性LenovoHS体系结构中内置的高可用性功能解决了多个故障场景的问题，提供业务连续性。所有写入操作均被同步复制到虚拟化集群中的辅助服务器上。这保护了应用不受磁盘和服务器故障的影响。LenovoHS可选提供在服务器内本地同步复制数据的能力。这就避免了在磁盘故障时通过网络重建数据的操作，缩短重建时长，并最大限度地减少网络流量。LenovoHS的高可用性功能与虚拟机管理程序的高可用性功能无缝集成，实现了虚拟机和相关存储的自动故障转移，最小化停机时间和管理错误。数据保护LenovoHS提供多种功能来确保您的应用简单而有效。LenovoHS提供无限的时间、性能和容量高效的虚拟机级别的快照和零拷贝克隆。此外，可以从虚拟化用户界面在虚拟机级别，而不是从存储特定的用户界面在存储级别来配置和管理快照和零拷贝克隆。这使得虚拟机管理员无需具备存储和供应商特定的专业知识就能够自如使用先进的存储功能。快照或克隆的源可以是一个虚拟机、另一个快照，或者另一个克隆。LenovoHS使用基于日志的布局方法来放置数据，使用元数据来将数据块映射到其存储位置。因此，一旦更新，数据块的新镜像并不会“就地”存储到其之前镜像所在的相同存储位置。相反，新镜像被写入到一个新的存储位置，并且元数据也被更新，以反映数据块存储位置的变化。通过这种方法，创建快照/克隆只不过是创建快照/克隆的元数据，并指向与源相同数据块。一旦虚拟机或克隆更新了一个数据块，虚拟机或克隆各自的元数据也将被更新，以反映新镜像的存储位置，而该虚拟机或克隆的所有快照和克隆的元数据将保持不变。不论源的容量是多大，创建快照或克隆只需不到一秒的时间。创建快照或克隆时无需预留一定的存储空间。除非数据被修改，快照和克隆不会消耗任何容量。创建快照和克隆也不会影响虚拟机的性能。所有快照和克隆都是崩溃前后保持一致的。在提供了应用一致快照的适当工具（例如，VSS停顿）的环境中LenovoHS还实现了应用一致的快照。一致性组可以为跨多个虚拟机的应用拍摄一致性快照或克隆。在不牺牲性能或容量的情况下，快照提供了第一层的数据保护。在需要恢复时，快照可以被克隆，并作为（之前某个时间点的）一个已恢复的虚拟机即刻启动。快照快照快照异步复制大大简化了应用程序的灾难恢复。通过提供从虚拟化用户界面在虚拟机级别上设置复制策略的能力，复制的配置得到了大幅简化。LenovoHS的一致性组特性能够为跨多个虚拟机的应用提供全面的可恢复性。仅复制不同副本之间的变化增量可以最大限度地减少网络带宽占用。此外，在复制到灾难恢复站点之前对变化增量应用在线压缩和去重等容量优化技术节省了大量容量和带宽。简化IT管理通过消除对卷、LUN、文件系统、RAID、ACL等存储配置和管理的需要，LenovoHS大幅简化了存储管理。这避免了在虚拟机和LUN或卷等存储结构之间的映射操作，将管理错误最小化。在标准服务器上融合计算与存储免去了分区等存储网络化的任务，从而进一步简化了存储管理。LenovoHS无需单独的存储用户界面并将所有功能包含进虚拟化用户界面，为虚拟机和存储管理提供了一个单一的虚拟管理界面，最大限度地缩短了学习曲线和管理时间。一旦LenovoHS安装完毕，在创建虚拟机的过程中，管理员只需在虚拟化用户界面上选择联想超融合存储池，LenovoHS将会自动执行所有操作步骤来为新的虚拟机优化设置并分配资源。LenovoHS的安装和配置只需几分钟，所有的系统/虚拟机管理员均可安装和管理存储。一步一步的过程将引导管理员走完安装过程。在安装过程中，LenovoHS将集群中所有服务器的存储汇聚起来，展现为LenovoHS存储池，并提供一个用于配置虚拟机存储的全局命名空间。LenovoHS不会向联想超融合存储池中添加任何已分配给现有数据存储区的存储。还可以从联想超融合存储池中有选择地排除任何存储设备。安装程序将自动安装和配置所需的全部必备软件，为虚拟机和存储管理提供了一个单一的虚拟管理界面。此外，安装程序会确定安装LenovoHS的最低软硬件要求，引导用户通过该确定流程，以满足最低要求。LenovoHS虚拟机级克隆功能允许采用预定义的配置信息瞬间配置无限数量的虚拟机。这种新虚拟机的快速配置能力进一步提高了IT的灵活性和效率。最大限度地节约资本支出和运营成本LenovoHS利用服务器端的固态硬盘和内部磁盘或连接到标准服务器的磁盘束（JBOD）提供软件形式的存储阵列。在不影响性能或可扩展性的情况下，LenovoHS通过利用通用组件在标准服务器上融合计算与存储资源，节约了大量的资本支出。LenovoHS利用通用磁盘和闪存技术的任意组合，以诱人的成本为虚拟化环境中的所有存储工作负荷提供有竞争力的性能和高容量。LenovoHS消除了所有存储配置操作，大大简化了从快照恢复虚拟机、使用克隆快速创建新虚拟机等日常的数据管理活动。此外，LenovoHS消除了改变RAID参数或存储层管理等存储管理任务，使管理员能够专注于关键性的任务。通过在标准通用服务器上融合计算和存储资源并消除存储阵列，LenovoHS显著降低了对电力、冷却和占地空间的需求。容量优化LenovoHS提供自动精简配置、在线压缩和在线去重等容量优化功能，显著提升存储效率。自