数据中心存储架构论述

1、数据中心存储架构存储系统是数据中心IT环境的核心基础架构，是数据中心数据访问的最终 承载体。存储在云计算、虚拟化、大数据等相关技术进入后已经发生了巨大的改 变，块存储、文件存储、对象存储支撑起多种数据类型的读取;集中式存储已经 不再是数据中心的主流存储架构，海量数据的存储访问，需要扩展性、伸缩性极 强的分布式存储架构来实现。在新的IT发展过程中，数据中心建设已经进入云计算时代，企业IT存储环 境已经不能简单的从一般性业务运营需求来构建云计算的数据中心存储环境。云 计算数据中心的建设不是为了满足某一个业务系统的特殊目标，是为了实现所有 业务系统在云平台上能够实现灵活的资源调度、良好的伸缩性、业务

2、扩展的弹性 以及快速交付性。因此，是一种自下而上的建设模式（如图1所示），基于云计算 平台的建设先于应用系统需求，并不再与具体的业务捆绑，应用系统的建设、扩 容、升级主要以软件为主，硬件物理资源向资源池申请，存储系统成为云数据中 心的可分配、可调度的资源，在这种情况下，有助于消除瓶颈、提高处理速度， 使得业务系统稳定、高效、持久运行。Eft图1数据中心的系统建设发展一、数据中心存储架构的演进随着数据中心从最初的孤立系统企业级应用，发展到互联网化阶段的大规模 云计算服务，其存储架构也不断发展（如图2所示）。从满足关键系统的性能与容 量需求，到以虚拟化架构来整合数据中心存储资源，提供按需的存储服务

3、和自动 化运维，并进一步向存储系统的智能化、敏捷化演进，应用需求的变化是存储架 构不断改进提升的驱动力，竖井式、虚拟化、云存储三种架构并存是当前现状， 软件定义存储架构的出现则是后云计算时代的存储发展阶段。图2存储系统系统架构和管理演进n*岸1竖井式架构对于早期的系统，在主机架构下，数据和逻辑是一体的，采用面向过程的设 计方法，每个应用是一个孤立的系统，维护相对容易，难于相互集成；客户机/ 服务器架构将逻辑与数据进行了分离（不论C/S还是B/S模式，本质都是客户机/ 服务器架构），同样采用面向对象的设计方法，每个应用是一个孤立的系统，提 供了一定后台集成的能力。这种架构的存储也随着系统的建设形

4、成了自身的独立 性，业务平台的硬件设备按照规划期内最大用户数来配置，而在业务初期和业务 发展情况难预测的情况下，无法真实评估存储的规模与性能要求，这往往会浪费 不少硬件设备资源和空间、动力等资源，并且硬件资源不能灵活调度。每个业 务上线都需要经过软件选型、评估资源、硬件选型、采购和实施等环节，业务上 线流程长、时间跨度大，不利于业务发展。存储虚拟化随着业务发展，数据中心存储不可避免形成大量的异构环境，标准化的管理 流程难以实施。存储虚拟化架构实现对不同结构的存储设备进行集中化管理，统 一整合形成一个存储池，向服务器层屏蔽存储设备硬件的特殊性，虚拟化出统一 的逻辑特性，从而实现了存储系统集中、统

5、一而又方便的管理。使得存储池中的 所有存储卷都拥有相同的属性，如性能、冗余特性、备份需求或成本，并实现自 动化（如LUN管理）以及基于策略的集中存储管理。同时，存储资源的自动化管理为用户提供更高层次策略的选择。在存储池中 可以定义多种存储工具来代表不同业务领域或存储用户的不同服务等级。另外， 还允许用户以单元的方式管理每一存储池内部的存储资源，根据需要添加、删除 或改变，同时保持对应用服务器业务系统的透明性。基于策略的存储虚拟化能够 管理整个存储基础机构，保持合理分配存储资源，高优先级的应用有更高的存储 优先级，使用性能最好的存储，低优先级的应用使用便宜的存储。云存储架构云存储架构伴随着大规模

6、云计算的数据时代的到来，将存储作为云的服务提 供，不论是企业私有云还是公有云的存储，都着重于大量存储数据的创建和分布， 并关注快速通过云获得数据的访问。云存储架构需要支持大规模的数据负载的存 储、备份、迁移、传输，同时要求巨大的成本、性能和管理优势。云存储的技术部署，通过集群应用或分布式文件系统等功能，网络中大量各 种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储 和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。在大规模系统支撑上，分布式文件系统、分布式对象存储等技术，为云存储 的各种应用提供了高度可伸缩、可扩展和极大的弹性支撑和强大的数据访问性 能，并且因为

7、这些分布式技术对标准化硬件的支持，使得大规模云存储得以低成 本的建设和运维。云存储不是要取代现有的盘阵，而是为了应付高速成长的数据量与带宽而产 生的新形态存储系统，因此云存储在构建时重点考虑的三点：扩容简便、性能易 于增长、管理简易。4.软件定义存储软件定义存储当前还未有确切的定义，但软件定义存储代表了一种趋势，即 存储架构中软件和硬件的分离，也就是数据层和控制层的分离。对于数据中心用 户而言，通过软件来实现对存储资源的管理和调度，如灵活的卷迁移等而无需考 虑硬件设备本身。通过软件定义存储实现存储资源的虚拟化、抽象化、自动化，能够完整的 实现数据中心存储系统的部署、管理、监控、调整等多个要求，

8、使得存储系统具 备灵活、自由和高可用等特点。二、数据中心存储的技术架构1.数据类型数据中心的存储数据类型发生了很大的变化，按照结构化程度来分，可以大 致分为以下三种。1）结构化数据的存储及应用。这是一种用户定义的数据类型，它包含了一 系列的属性，每一个属性都有一个数据类型，存储在关系数据库里。一般的业务 系统都有大量的结构化数据，一般存储在Oracle或MySQL的等的关系型数据库 中，在企业级数据中心，一般在集中存储架构中保存，或成为主存储系统，以块 存储访问为主。2）非结构化数据的存储及应用。相对于结构化数据而言，不方便用数据库 二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公

9、文档、文本、 图片、XML、HTML、各类报表、图像和音频/视频信息等等，分布式文件系统是实 现非结构化数据存储的主要技术。3）半结构化数据的存储及应用。介于完全结构化数据（如关系型数据库、面 向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据， 半结构化数据模型具有一定的结构性，但较之传统的关系和面向对象的模型更为 灵活。半结构数据模型完全不基于传统数据库模式的严格概念，这些模型中的数 据都是自描述的。由于半结构化数据没有严格的语义定义，所以不适合用传统的 关系型数据库进行存储，适合存储这类数据的数据库被称作NoSQL 数据库。块、文件、对象2.1块存储对于存储系统，块

10、读写一般是在存储介质上的数据概念，对于磁盘来说，块 数据的存储单元是一个或多个磁盘扇区。因此块级数据的读写，是面向最底层的 物理层的，数据操作基于起始扇区编号、操作码（读、写等）、连续扇区数量等， 块数据访问接口是SCSI接口。有两种常用的两种块存储方式。1）DAS（Direct Attach STorage）。是直接连接于主机服务器的一种储存方 式，每一台主机服务器有独立的储存设备，每台主机服务器的储存设备无法互通， 需要跨主机存取资料时，必须经过相对复杂的设定，若主机服务器分属不同的操 作系统，要存取彼此的数据，更是复杂，有些系统甚至不能存取。通常用在单一 网络环境下且数据交换量不大，性能

11、要求不高的环境下，是早期的技术实现。2）SAN（Storage Area Network） o是一种用高速网络联接主机服务器与存储 设备的一种储存方式，存储系统会位于主机群的后端，它使用高速I/O网络联结 方式，以FC、iSCSI、FCOE为当前主流形式。一般而言，SAN应用在对网络速度 要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境 中，特点是代价高，性能好。它采用SCSI块I/O的命令集，在SAN网络级的数 据访问提供高性能的随机I/O和数据吞吐率，具有高带宽、低延迟的优势，但是 由于SAN系统的价格较高，且不具备大规模可扩展性，不能满足大型云计算数据 中心的存储需

12、求。,m4 if fcilAT.rtdI.ttt-L降JUL* *1*1岗。曹6帝.KMthMOC. 4IIHALk!|.riii,3.%ir，rnrEHF12xnIJLMtS：HRFl 扯p-lqjiDkh.垃tAWfm t ie_ 申书 L-IIFIEW PMWH niHWg. HimL素r 血桃1旗前ITWhl i, Na.的一VrMM.*MLN I.mg表1几种文件系统ia-U|WC Can；2.2文件存储RUblflM ft Kk厨、J对于文件，是按名存，Jit H- F- 1i uHa mIII 41uHjEJFfr.胥r KJT *hL. tim能码i斗7 K7八上各个不同的文件

13、，需要给每个文件取一个确定的名字，称为文件名，它用来表示磁盘上的文件，以便于在磁盘 上能够按名查找这些文件。文件的数据操作基于文件名、偏移量、读写字节数 等，但是文件本身并无文件自身的属性、元数据信息。基于对不同环境的文件存 储发展了多种形式的文件系统（如表1所示）。对象存储对象是自完备的，包含元数据、数据和属性，可以进行自我管理，对象本身 是平等的。也就是说，对象分布在一个平坦的空间中，而非文件系统那样的树状 逻辑结构之中，对象存储以ID为基础，根据ID可以直接访问数据，核心是将数 据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储设备（Object -based Storage

14、 Device，OSD）构建存储系统，每个对象存储设备具有一定的智 能，能够自动管理其上的数据分布。典型代表：Swift、CEPH从设备级别看块、文件、对象存储（如表2所示）唆川陞。1AM书晚ilmtmmin用捐母It件罩曲部厂畔知件伽用叫盅作尽趣滞户盼texkititismiiigm院吞场没普XPTWtfit*嘲富存U迁叫叫粗EAMHLIN.hJbt 点“ 收山小的，陷辟巨M的肝山 朔折H林队株ttltftJ翌虹的浙 段世普1?邮 普1：皿*5鼻4的.I*攵点取健步也朗帆弟-HHHSitiw- rrtiUA*事七也ML*古船由坪用盅上1419 ft,口沏卑世养花帏rmfif寡 的HJHS亢的

15、曹单!t昨 URNifif 恃tL表2块、文件、对象存储的设备级访问比较主存储架构主存储是数据中心的重要存储系统，通常称为Tierl存储，用于存储活动数 据（经常需要访问的数据）以及要求高性能、低延迟、高可用性的数据。主存储通 常用于支撑数据中心关键任务程序（如数据库、电子邮件和事务处理）。大多数重 要程序采用随机数据访问模式，具有不同的访问要求，但是都能产生大量数据， 企业可以利用这些数据完成业务。即使在虚拟领域中出现越来越多的新的数据存储技术，传统的主存储系统仍 然普遍。DAS是最早的主存储架构，但SAN已经成为当前使用最广泛、也最为主 流的存储架构。而NAS则在数据中心用于文件共享应用，

16、并且也在后端采用了 S AN的扩展。在数据中心领域，绝大多数厂商也均以SAN架构来部署面向高级用 户的主存储解决方案，以及在此基础上相关的容灾备份方案和存储虚拟化方案。SAN的特点是性能高、稳定性强、价格高。在一些需要集中存储的数据库等 实时服务要求高的重要应用领域，依然是当前的主流的技术，在存储应用中，需 要集中存储的高端应用由SAN来承担，基于文件的小规模应用由NAS承担更合适， 使得SAN与NAS成为互补存储架构出现。最初的数据中心，大部分数据都是主数据。随着数据的存在时间增长，大量 数据会通常移动到次级和三级存储。因此，随着存储各方面技术发展和业务的成 熟，数据中心逐步开始寻求能够减少

17、主存储的途径，以充分利用容量，降低整个 数据生命周期的成本。分布式文件存储架构分布式文件系统主要的功能是用于存储文档、图像、视频之类的非结构化数 据，该系统建立在网络之上的，以全局方式管理系统资源，它可以任意调度网络 中的存储资源，并且调度过程是透明的。分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负 荷，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效 率，还易于扩展。以高性能、高容量为主要特性的分布式存储系统。HDFS（Hadoop Distributed File System）是开源项目 Hadoop 的家族成员， 是谷歌文件系统GoogleFS（Go

18、ogle File System）的开源实现，以下仅简单介绍H DFS工作模式。HDFS被设计成适合运行在通用硬件上的分布式文件系统，是一个高度容错 性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常 适合大规模数据集上的非结构化数据、半结构化应用。运行在HDFS之上的程序 有很大量的数据集，典型的HDFS文件大小是GB到TB的级别，因此，HDFS被调 整成支持大文件。一个HDFS集群是有一个Namenode和一定数目的Datanode组 成（如图3所示）：NameNode（名称节点）是一个或一组中心服务器，是HDFS的中枢，负责管理 文件系统的目录名字空间信息（name

19、space）和客户端对文件的访问，并且管理所 有的 DataNode;DataNode（数据节点）在HDFS中负责管理本节点上附带的存储Block（数据 块）。在HDFS内部，文件不是放在一块磁盘上，一个文件其实分成多个block（数 据块），这些block存储分散在Datanode组成的集群中，NameNode记录block 对应在不同的DataNode上的映射关系。NameNode接受客户端的元数据请求，然后对DataNode发出Block Ops（块操 作）指令，文件的创建、删除和复制操作，同时决定block到具体Datanode节点 的映射。Datanode在Namenode的管理下进

20、行block的创建、删除和复制。1 Aiclitlcrture图3 HDFS经典体系架构图示HDFS可靠性和性能主要通过数据块的副本来实现，并且HDFS采用一种称之 为Rack-aware（机架感知）的策略来改进数据的可靠性、有效性和网络带宽的利 用。在通常副本数为3的情况下，HDFS的策略将一个副本存放在本地机架上， 一个副本放在同一个机架上的另一个节点，最后一个副本放在不同机架上的一个 节点。在读取时，为了降低整体的带宽消耗和读延时，如果客户端同一个机架上 有一个副本，那么就读该副本。HDFS依然是主从结构，Namenode成为整个系统的瓶颈和关键故障点，因此， 众多使用分布式文件系统的用

21、户均在此基础上不断完善其高可用性，比如发展出 无中心存储架构。分布式对象存储架构在对象存储中，存储的不仅是数据，还有与丰富的数据相关的属性信息。系 统会给每一个对象分配一个唯一的OID(Object ID)。对象本身是平等的，所有 的OID都属于一个平坦的地址空间，而并非文件系统那样的树状逻辑结构。对象 存储空间访问对象只通过一个唯一的OID标识即可，不需要复杂的路径结构，没 有路径他文件夹的概念。对象存储架构有以下组成部分。5.1对象对象是系统中数据存储的基本单位。一个对象实际上就是文件的数据和一组 属性信息(Meta Data)的组合，这些属性信息可以定义基于文件的RAID参数、数 据分布

22、和服务质量等;而传统的存储系统中用文件或块作为基本的存储单位，在 块存储系统中还需要始终追踪系统中每个块的属性，对象通过与存储系统通信维 护自己的属性。在存储设备中，所有对象都有一个对象标识，通过对象标识命令 访问该对象。通常有多种类型的对象，存储设备上的根对象标识存储设备和该设 备的各种属性，组对象是存储设备上共享资源管理策略的对象集合等。对象存储设备(OSD，Object Storage Device)OSD有自己的CPU、内存、网络和磁盘系统，和块设备的区别不在于存储介 质，而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问，目 前国际上通常采用标准化计算单元结构实现对象存

23、储设备。OSD执行从对象到块 的映射，这个动作允许本地实体以最佳方式决定怎样存储一个对象，OSD存储节 点不仅具备存储功能，还包括智能化的高级能力。传统的存储驱动只是作为Tar get响应客户端的I/O请求，而对象存储设备是智能设备，它能同时执行Targe t和Initiator的功能，支持与其他对象存储设备的通信和协作，如数据分配、 复制与恢复。元数据服务器(MDS ，Metadata Server)元数据服务器的工作就是管理文件系统的名称空间、控制客户端与OSD对象 的交互，缓存和同步分布式元数据。虽然元数据和数据两者都存储在对象存储集 群，但两者分别管理，支持可扩展性。5.2对象存储系统