vmp4.年度渠道高级认证培训存储分类和虚拟存储介绍

1、SANGFOR aDesk存储分类和虚拟存储介绍存储分类介绍虚拟存储维护SANGFOR 虚拟存储介绍存储硬件配置培训内容培训目标存储分类介绍1、了解存储性能的评估参数2、了解常见的存储分类和优缺点虚拟存储介绍1、了解虚拟存储的原理2、掌握虚拟存储的副本和存储私网虚拟存储维护1、掌握虚拟存储的故障处理方法2、掌握虚拟存储的扩容方法存储硬件配置1、了解一体机的硬件要求2、了解第三方服务器的硬件要求4存储分类介绍存储分类介绍存储评估参数容量：存储数据可用的空间大小。读写速度：数据读取、写入的速率IOPS/IO DepthIOPS，每秒进行读写操作的次数，衡量存储的随机访问性能。IO Depth，IO

2、队列长度，即同时提交给磁盘执行读写操作的指令队列长度，能够衡量存储的吞吐量和整体响应时间。磁盘的IOPS取决于队列长度/平均IO响应时间。寿命：存储磁盘的生命周期，数据的安全期。成本：性价比等因素。存储分类介绍本地存储（Local Storage）计算机内部安装的存储介质。只有当前计算机操作系统能够读写，其他主机只能通过当前操作系统上面开放共享后通过网络访问。存储分类介绍本地存储（Local Storage）按存储介质分类机械硬盘(HHD, Hard Disk Drive)通过电磁的正负极性来存储由0和1表示的数据。机械硬盘主要由圆形磁碟、高速马达、可移动磁头组成，数据储存在磁碟的扇区里。固态

3、硬盘(SSD, Solid State Drives)一般采用Flash作为存储介质，DRAM作为缓存，通过主控芯片进行读写控制。存储分类介绍本地存储（Local Storage）存储分类介绍本地存储（Local Storage）SSDHDD主流容量128GB/256GB/512GB1TB/2TB/4TB读写速度约550MB/s约130MB/s尺寸2.5英寸2.5/3.5英寸优点轻便、抗震防摔、低功耗、无噪音容量大、使用周期长、性价比高缺点寿命短、售价高不经摔、噪音高存储分类介绍本地存储（Local Storage）按接口分类SATA(Serial ATA)常用于普通机械硬盘、固态硬盘接口理论

4、传输速度6Gbps(SATA-III)SAS(Serial Attached SCSI)常用于企业级机械硬盘向下兼容SATA接口理论传输速度6Gbps-12GbpsPCI-Express常用于高速固态硬盘或外部存储扩展存储分类介绍外置存储(External Storage)拥有若干存储资源的硬件设备，运行专用的存储管理系统，对外提供数据存储服务。通用存储系统FreeNAS、Microsoft Storage Server专业存储华为Ocean Storage惠普HP 3PARIBM XIV 等存储分类介绍外置存储(External Storage)按访问方式分类DAS(Direct Attac

5、hed Storage)直接连接存储将存储设备通过SAS/SCSI等接口直接连接到一台计算机上，点对点传输。NAS(Network Attached Storage)网络连接存储将存储设备通过标准的网络拓扑结构（例如以太网）连接到多个计算机上，使用iSCSI等协议一对多传输。SAN(Storage Area Network)存储区域网络使用光纤通道(Fiber Channel)和FC交换机进行组网，连接存储阵列和计算机，建立专用于数据存储的区域网络。存储分类介绍外置存储(External Storage)按访问方式分类DAS（Direct Attached Storage）直接连接存储，将存储

6、设备通过SAS/SCSI等接口直接连接到一台计算机上，点对点传输。存储分类介绍外置存储(External Storage)按访问方式分类NAS(Network Attached Storage)网络连接存储，将存储设备通过标准的网络拓扑结构（例如以太网）连接到多个计算机上，使用iSCSI等协议一对多传输。存储分类介绍外置存储(External Storage)按访问方式分类SAN(Storage Area Network)存储区域网络，通常使用光纤通道(Fiber Channel)和FC交换机进行组网，连接存储阵列和计算机，建立专用于数据存储的区域网络。存储分类介绍外置存储(External

7、Storage)iSCSI协议SCSI (Small Computer System Interface)是一个通用接口标准，用于计算机和外部设备（硬盘、光驱、打印机、扫描仪等）之间的系统级接口标准。iSCSI协议将硬件设备调用的SCSI指令集进行封装并在IP网络上进行传输，实现基于网络的存储数据交换。存储设备与客户机之间使用iSCSI协议建立连接，通过以太网协议来发送SCSI命令、响应和存储数据，形成SAN存储区域网络，即基于高速网络实现的数据块级别的数据存储。存储分类介绍外置存储(External Storage)iSCSI关键字Target:存储设备使用iSCSI协议提供的存储资源Ini

8、tiator:发起iSCSI连接访问存储资源的客户端LUN(Logical Unit Number): iSCSI存储设备可以划分出若干个逻辑存储单元，可以使用LUN来标识，也可以使用target ID来标识IQN(iSCSI Qualified Name) :initiator和target是通过名字进行识别的，每一个iSCSI节点（即initiator）必须拥有一个唯一的iSCSI名称，通常使用IQN来唯一标识initiator。存储分类介绍外置存储(External Storage)存储分类介绍外置存储(External Storage)iSCSI客户端Windows系统自带iSCSI

9、Initiator客户端程序存储分类介绍外置存储(External Storage)FC存储FC（Fiber Channel，光纤通道）协议是SAN（Storage Area Networks，存储区域网络）中使用的一种数据传输协议。FC SAN采用高速的光纤通道作为传输载体， 以SCSI-3协议作为存储访问协议，将存储系统网络化，形成高速共享存储。存储分类介绍外置存储(External Storage)FC存储WWN （World Wide Name，全球名字）FC SAN网络中，服务器和磁盘设备都统称为Node（节点），每个节点使用一个64位的地址来唯一标识，称为WWN（World Wid

10、e Name，全球名字）。FC的上层的SCSI协议通过WWN识别节点并相互通信。存储分类介绍外置存储(External Storage)FC存储访问控制：为了保证FC存储服务的安全性，通常会将物理上连通的FC SAN网络划分为多个VSAN，实现不同服务器之间的隔离访问。同时一个VSAN内的磁盘资源，又可以进一步划分为多个Zone，分别指派给不同的Port，达到访问控制的目的。存储分类介绍外置存储(External Storage)FC存储HBA卡(Host Bus Adapter)HBA卡是一种专门用于FC存储通信的网卡，通常拥有光纤接口(SFP或GBIC)。每个HBA是一个FC交换对象，拥有

11、一系列特殊的属性，包括HBA ID、Node WWN、Port WWN等参数信息。服务器如果需要连接到FC SAN使用存储资源，需要配置至少一块FC HBA卡。HBA卡通常插在服务器的PCI或PCI-E插槽上，然后通过光纤连接到FC存储或FC交换机。存储分类介绍外置存储(External Storage)FC存储HBA卡(Host Bus Adapter)存储分类介绍外置存储(External Storage)FC存储FC存储组网方式直连组网：存储设备通过FC线路直接连接主机（点对点）交换组网：存储设备和主机都通过FC线路连接到FC交换机，通过FC交换机进行通信（多对多）FC多路径(Multi

12、-Path)通过在存储设备和主机之间建立多条传输路径的方式，避免单条线路故障造成存储不可用。当一条路径发生故障后，主机I/O通信可以使用另一条路径。存储分类介绍外置存储(External Storage)FC存储存储分类介绍外置存储(External Storage)28虚拟存储介绍虚拟存储本地存储通过RAID增加冗余以提升数据可靠性主机之间磁盘不共享，无法跨主机访问IO和容量瓶颈，无法平滑扩容外置存储需要第三方存储设备，成本非常高存储部署复杂，维护困难存在兼容性问题虚拟存储分布式存储分布式文件系统（Distributed File System）是指将同一网络中的不同计算机管理的物理存储资源

13、（本地存储）通过网络组织起来，形成一个统一的共享文件系统。分布式文件系统的设计基于C/S架构模式。客户端在访问文件时不需要知道它们的实际物理存储位置，即分布在多个计算机上的文件在用户面前就像使用本地存储一样。虚拟存储分布式存储特性透明性：物理存储位置和底层操作过程对用户透明开放性：提供标准访问接口，可操作，可移植可扩展性：基于分布式设计，可平滑扩容可用性：有数据冗余保障一致性：防止通信故障导致存储系统脑裂虚拟存储分布式存储开源代表Google File SystemGoogle为了存储海量搜索数据而设计的专用文件系统。Hadoop Distributed File System由Apache支

14、持的开源分布式文件系统，具有高度容错性，提供高吞吐量的数据访问，适合大规模数据集上的应用，用于支持分布式计算。GlusterFS应用在集群系统中，具有很好的可扩展性。模块化设计，易于扩展和配置。虚拟存储虚拟存储存储虚拟化(Storage Virtualization)对硬件存储资源进行抽象化实现，屏蔽底层硬件的复杂性，对上层应用提供标准的存储访问接口。虚拟化的存储资源就像是一个巨大的“存储池”，用户不会看到具体的磁盘，也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。虚拟存储虚拟存储深信服虚拟存储基于GlusterFS分布式文件系统开发的面对存储虚拟化趋势的一款产品。模块化集成在虚拟

15、化管理平台（桌面虚拟化VMP，服务器虚拟化aSV）上，通过网络整合管理VMP/aSV集群内所有服务器的硬盘（系统盘除外）。虚拟存储深信服虚拟存储将多台主机的物理硬盘组成存储池，统一调度分配。系统盘缓存盘数据盘数据盘热备盘系统盘缓存盘数据盘数据盘热备盘系统盘缓存盘数据盘数据盘热备盘存储池化IP网络IP网络虚拟存储深信服虚拟存储以VMP/aSV集群为依托，基于分布式存储架构，可进行横向扩展。 VMP/aSV集群主机DiskDiskDiskDisk主机DiskDiskDiskDisk主机DiskDiskDiskDiskVSFileFile虚拟存储深信服虚拟存储存储通信网络虚拟存储是基于网络的分布式存

16、储，需要将所有主机通过IP网络（二层、组播）进行连接，组建存储通信网络。基本要求：通信稳定：延时不超过5ms，无丢包带宽足够：千兆或万兆局域网连接虚拟存储深信服虚拟存储存储通信网络复用管理口使用VMP/aSV管理口（默认ETH0）进行存储通信优点：部署简单，无需额外使用物理网口缺点：业务数据和存储数据之间容易出现带宽抢占注意：有多余网口的情况下，不能复用管理口虚拟存储深信服虚拟存储存储通信网络复用管理口虚拟存储深信服虚拟存储存储通信网络无链路聚合每台主机使用一个单独的网口互联，组建存储私网优点：业务数据和存储数据隔离缺点：存储私网没有冗余，链路故障时会导致存储不可用注意：两台主机部署时，可以用

17、网线将存储通信网口直连起来。超过2台主机，需要用千兆交换机互联，如果跟其他网络使用同一个交换机，务必使用VLAN进行隔离。虚拟存储深信服虚拟存储存储通信网络无链路聚合虚拟存储深信服虚拟存储存储通信网络单交换机链路聚合每台主机使用两个单独的网口组建存储私网存储通信网口全部接入到同一个二层交换机（千兆以上）VMP/aSV主机间自动进行聚合，无需在交换机上配置聚合优点：双倍带宽，且具有链路冗余缺点：存在交换机单点故障风险虚拟存储深信服虚拟存储存储通信网络单交换机链路聚合虚拟存储深信服虚拟存储存储通信网络双交换机链路聚合每台主机使用两个单独的网口组建存储私网存储通信网口分别接入到两个二层交换机（千兆以

18、上）VMP/aSV主机间自动进行聚合，无需在交换机上配置聚合优点：双倍带宽，且链路和交换机都有冗余虚拟存储深信服虚拟存储存储通信网络双交换机链路聚合虚拟存储深信服虚拟存储副本VMP/aSV平台上的虚拟机以qcow2文件的形式存储，文件在物理磁盘上保存的份数，称为“副本”。虚拟存储支持13个副本通过多副本技术，增加数据冗余，避免磁盘或主机故障导致数据不可用。副本数量、副本保存的位置对虚拟存储上层的应用不可见副本数在虚拟存储初始化完成后，使用过程中不能再修改虚拟存储深信服虚拟存储副本分布卷虚拟存储对上层应用可见的逻辑卷，VMP/aSV读写文件是对分布卷进行操作的，由分布卷组成分布式存储。数据写入时

19、先进行分布，分散到各个主机。复制卷复制卷将文件写入具体磁盘，通过副本间的同步复制实现数据冗余。每个复制卷包含的物理磁盘个数跟副本数量相同，一个复制卷下每个物理磁盘的数据内容完全一致。复制卷的最小组成单位是物理磁盘，即同一文件的不同副本只能保存在不同的物理磁盘上。虚拟存储深信服虚拟存储副本多副本虚拟存储深信服虚拟存储1副本类似RAID 0的实现方式，仅用于容量累积。优点：可利用空间最多，VS存储空间与磁盘总容量相同。缺点：数据无冗余，磁盘故障或主机故障时，数据丢失。虚拟存储深信服虚拟存储1副本每一个物理磁盘都是一个独立的复制卷。A4A3A2A1单主机A7A5A3A1A8A6A4A2多主机虚拟存储

20、深信服虚拟存储2副本类似RAID 0+1的实现方式优点：可承受单个磁盘故障，或多主机时单台主机离线。虚拟存储深信服虚拟存储2副本多主机2副本时，同一复制卷下的2个磁盘自动选择不同主机进行分布。A2A1A2A1单主机A4A3A2A1A4A3A2A12主机A5A4A2A1A6A4A3A1A6A5A3A23主机+虚拟存储深信服虚拟存储3副本要求至少3台主机，冗余度最高。缺点：可用存储空间仅为总磁盘容量的1/3虚拟存储深信服虚拟存储3副本A4A3A2A1A4A3A2A1A4A3A2A13主机+虚拟存储深信服虚拟存储写入qcow2文件时，同时写入每一个副本，正常情况下副本数据会始终保持一致。读取qcow

21、2文件时，采用就近原则，优先从当前主机读取副本，当前主机不存在副本，即跨主机时通过存储私网读取。虚拟存储深信服虚拟存储缓存盘借助SSD的高速读写优势，提升存储整体IO水平数据盘虚拟存储底层数据的硬件载体，一般采用大容量、高可靠性的企业级机械硬盘。数据盘数量是副本数量的整数倍。热备盘作为备用的数据盘，当数据盘出现故障时，自动替代故障磁盘使用。虚拟存储深信服虚拟存储缓存盘读缓存场景：一个虚拟机频繁读取相同数据。派生虚拟机共用同一个模板，基于同一个qcow2文件，不同虚拟机读取相同的数据块的概率很大。刚写入磁盘的数据，未来被读取的概率较大。注意：缓存的最小单位是数据块（Block）虚拟存储深信服虚拟

22、存储缓存盘VDSSSDHDDHDDHDDVMPVM1VM2VM3BlockBlock读文件请求未命中缓存读相同文件命中缓存虚拟存储深信服虚拟存储缓存盘写缓存场景：存储通信网络带宽瓶颈，复制卷通过网络写入每个副本，会收到带宽限制，写入操作频繁时，复制卷无法实时写入每个硬盘。虚拟存储深信服虚拟存储缓存盘上层写入数据请求到达SSD 写缓存模块；SSD 写缓存模块把数据写入到SSD 磁盘，并获得返回值；SSD 写缓存模块在确定数据写入SSD 磁盘后，即立即返回上层模块写入成功；SSD 写缓存模块在缓存数据累计到一定量后，从SSD 磁盘读出数据；SSD 写缓存把从SSD 磁盘读出的数据批量回写到机械磁盘

23、。61虚拟存储维护虚拟存储维护故障处理磁盘故障处理主机故障处理主机、磁盘离线重建存储扩容磁盘扩容主机扩容扩容后数据平衡虚拟存储维护磁盘故障处理替换磁盘当虚拟存储磁盘被误拔出时，会显示磁盘离线，此时立即插回，数据可以自动修复。当磁盘故障、不可用时，会显示磁盘故障，需要在集群内插入容量相同（或更大）的新磁盘，然后进行磁盘替换操作。虚拟存储维护磁盘故障处理替换磁盘系统盘缓存盘数据盘数据盘数据盘系统盘缓存盘数据盘数据盘数据盘复制卷数据盘1. 磁盘发生离线或故障2. 使用新磁盘进行替换3. 副本自动重建修复虚拟存储维护磁盘故障处理替换磁盘可以拔出故障磁盘并在原磁盘位置插入新磁盘，或者在其他盘位插入新磁盘

24、。插入新磁盘后，点击“更换磁盘”，然后根据向导提示，对新磁盘进行初始化。替换完成后，副本会需要一段时间来自动重建。虚拟存储维护磁盘故障处理热备盘如果虚拟存储初始化时有预留“热备盘”，则当存储中有数据盘发生故障时，会自动使用“热备盘”来替换故障磁盘。自动替换后，原故障磁盘仍然显示离线状态，需插入新磁盘按向导进行替换，替换完成后的新磁盘作为“热备盘”使用。虚拟存储维护磁盘故障处理热备盘系统盘缓存盘数据盘数据盘热备盘系统盘缓存盘数据盘数据盘热备盘复制卷热备盘数据盘1. 磁盘发生离线或故障2. 副本自动在热备盘上重建3. 替换故障磁盘自动称为热备盘虚拟存储维护主机故障处理替换主机集群内有主机离线或故障

25、时，可以使用新的主机替换故障主机。新主机的版本必须和故障主机保持一致。硬件配置不可低于故障主机，包括CPU、内存、磁盘个数、磁盘容量、网口个数等。虚拟存储维护数据重建当磁盘离线或主机故障，在指定时间范围内无法及时恢复，如果再次发生其他故障，则可能导致数据丢失。数据重建是在2副本以上场景，复制卷的其中1个副本离线，不能及时恢复时，自动占用其他复制卷的可用空间，进行副本重建并同步。注意：重建会占用其他复制卷的磁盘，可能导致磁盘可用容量降低。同时重建过程会影响虚拟存储性能。虚拟存储维护数据重建系统盘缓存盘数据盘数据盘数据盘系统盘缓存盘数据盘数据盘数据盘复制卷数据盘1. 磁盘发生离线或故障2. 超过指

26、定时间没有替换3. 副本自动选择空余磁盘重建修复虚拟存储维护磁盘扩容当主机上空闲盘位插入新磁盘时，可以将其加入虚拟存储，进行磁盘扩容。扩容的磁盘数量必须是副本数的整数倍。如果是多台主机做集群，应把扩容新增的磁盘平均分配到各台主机。虚拟存储维护主机扩容当主机性能不足，或没有空余盘位来扩充存储时，可以增加主机进行扩容。主机扩容时，先将新主机加入当前集群，同时将新主机上的磁盘加入虚拟存储，进行初始化。虚拟存储维护主机扩容系统盘缓存盘数据盘1数据盘2数据盘3系统盘缓存盘数据盘1数据盘3复制卷系统盘缓存盘数据盘2数据盘4数据盘4热备盘1. 新增主机加入集群，磁盘加入虚拟存储2. 现有复制卷的副本会部分迁

27、移到新磁盘3. 新的复制卷会分到不同主机上产生4. 如果有剩余的磁盘，可以作为热备盘虚拟存储维护主机扩容系统盘缓存盘数据盘1数据盘2数据盘3系统盘缓存盘数据盘1数据盘2数据盘3复制卷系统盘缓存盘数据盘4数据盘5数据盘6系统盘缓存盘数据盘4数据盘5数据盘6复制卷如果一次性新增副本倍数台主机，则直接在新主机上产生新的复制卷。 虚拟存储维护数据平衡计划扩容之后，数据依然存在原磁盘上，数据读写的压力都集中在原磁盘上，新磁盘无法及时充分利用，导致资源浪费。通过数据平衡，可以将原磁盘上的部分数据迁移到新磁盘上（从原复制卷迁移到新复制卷），达到充分利用磁盘和主机资源的目的。只能对未在使用的文件进行平衡，正在使用的文件不会被平衡，如虚拟机已开机，其虚拟磁盘文件是不会被平衡的。数据平衡会消耗磁盘IO性能。虚拟存储维护数据平衡计划系统盘缓存盘数据盘1数据盘2数据盘3系统盘缓存盘数据盘1数据盘3复制卷系统盘缓存盘数据盘2数据盘4数据盘4热备盘假如数据盘1的使用率达到80%，新增主机后数据盘4