存储系统概述PPT

1、存储系统概述,存储系统概述,1,了解存储技术的发展、现状和趋势 了解基本存储介质以及硬盘的知识 熟悉常用RAID级别原理与特点 熟悉SAN网络基础知识,目标,2,2020/7/29,什么是存储？,用于存放数据信息的设备和介质 存储是一个系统 是计算机技术发展的结果,3,2020/7/29,存储对企业的影响和价值,德州大学报告显示,灾难性数据丢失导致公司倒闭：,4,2020/7/29,一、存储介质与存储系统,信息存储介质 信息存储系统,5,2020/7/29,存储介质,硬盘,磁带,光盘,硬盘：是电脑主要的存储媒介之一，由一个或者多个铝制或者玻璃制的碟片组成 磁带：是一种用于记录声音、图像、数字或

2、其他信号的载有磁层的带状材料，是产量最大和用途最广的一种磁记录材料 光盘：光盘以光信息做为存储物的载体 Flash存储：一种不挥发的内存器件,软盘,Flash存储,6,2020/7/29,存储设备,磁带库,虚拟磁带库,磁带机,存储系统,7,2020/7/29,硬盘的组件,主控芯片,高速缓存芯片,数据传输芯片,8,2020/7/29,硬盘的柱面、磁面、磁道与扇区,磁面,磁道,扇区,柱面,9,2020/7/29,硬盘的分类,按照接口类型 按照硬盘形态 机械硬盘 固态硬盘,硬 盘 接 口,IDE/ATA,SATA,FC,SAS,SCSI,10,2020/7/29,市场主流硬盘,目前市场上主流硬盘厂商

3、包括Seagate(希捷)、WD（西部数据）、HITACHI(日立)等。,11,2020/7/29,硬盘接口比较,12,2020/7/29,13,2020/7/29,VS,SSD硬盘：读写机制决定读写效率,SSD在随机读取方面的效率要比硬盘驱动器高得多，无寻道到时间和旋转延迟，适合small block size读写,14,2020/7/29,硬盘寻道机制,容量 硬盘容量=柱面数磁头数扇区数512Bytes 转速 盘片转动圈数 / 分钟(rpm) 平均访问时间=平均寻道时间+平均潜伏时间 数据传输率 外部数据传输率 内部数据传输率,磁头读取盘片,硬盘缓存,15,2020/7/29,目录,信息存

4、储介质 信息存储系统,16,2020/7/29,存储系统产生的背景,传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散，难以共享 可扩展性不够 总线结构，而非网络结构 可连接的设备受到限制增加容量时，需停机,CPU,硬盘,传统计算机存储系统,RAM,17,2020/7/29,存储设备的组成,硬件组成一般包括： 框 控制器 BBU 风扇 电源 接口卡 另。硬盘（硬盘框）,18,2020/7/29,存储设备的架构,硬件组成一般包括： 前端、高速缓存、后端、磁盘,19,2020/7/2

5、9,主机操作系统,windows操作系统,Windows2003windows2008,linux操作系统,Suse linux91011 、 Redhat linux456,Vmware esx,Esx 45,aix,aix 456,solaris,Solaris 910,hp-ux,hp-ux 11,20,2020/7/29,主机文件系统,Windows下常见的文件系统：FAT32、NTFS Linux下常见的文件系统：ext3、jfs、Reiserfs、xfs 其它文件系统:ZFS、HFS、VMFS、UFS、GFS,21,2020/7/29,RAID基本概念与技术原理 RAID技术与应用

6、 RAID特点及不同场景下应用 RAID与LUN,二、RAID技术,22,2020/7/29,RAID概念与实现方式,RAID（Redundant Array of Independent Disks）：独立冗余磁盘阵列，简称磁盘阵列。RAID是按照一定的形式和方案组织起来的存储设备，它比单个存储设备在速度、稳定性和存储能力上都有很大提高，并且具备一定的数据安全保护能力。,RAID,更有效的数据组织条带、并行,数据安全保护功能校验、热备,RAID 的主要实现方式分为硬件RAID 方式和软件RAID 方式 硬件RAID：利用集成了处理器的硬件RAID适配卡来对RAID任务进行处理，无须占用主机C

7、PU资源。 软RAID：通过软件技术实现，需要操作系统支持，一般不能对系统磁盘实现RAID功能。,23,2020/7/29,RAID的数据组织方式,D7,D4,D1,驱动器2,D6,D3,D0,驱动器1,D8,D5,D2,驱动器3,条带2(strip),条带1(strip),条带0(strip),磁盘上的数据分块,磁盘上的数据分块,磁盘上的数据分块,分块：将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。它是组成条带的元素。 条带（Striping）：同一磁盘阵列中的多个磁盘驱动器上的相同位置构成条带，提高同时读写性能,分条深度,24,2020/7/29,RAID数据保护机制-热备,

8、热备（Hot Spare）：当冗余的RAID阵列中某个磁盘失效时，在不干扰当前RAID系统正常使用的情况下，用RAID系统中另外一个正常的备用磁盘顶替失效磁盘。 热备通过配置热备盘实现，热备盘分为全局热备盘和局部热备盘,25,2020/7/29,RAID数据保护机制-重构,重构：镜像阵列或者RAID阵列中发生故障的磁盘上的所有用户数据和校验数据的重新构建（rebuild）过程，或者将这些数据写到一个或者多个备用磁盘上的过程。,D5,D3,D1,驱动器2,D4,D2,D0,校验驱动器,D0,D1,D2,D3,D4,D5,P3,P2,P1,热备盘驱动器,D0,D2,D4,驱动器1,26,2020/

9、7/29,RAID的几种状态,27,2020/7/29,目录,RAID基本概念与技术原理 RAID技术与应用 RAID特点及不同场景下应用 RAID与LUN,28,2020/7/29,常用RAID级别与分类标准,RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，提高了硬盘的读写性能和数据安全性，根据不同的组合方式可以分为不同的RAID级别。,29,2020/7/29,RAID 0实现方式,D4,D2,D0,驱动器1,D6,D5,D3,D1,驱动器2,D0,D1,D2,D3,D4,D5,条带2,条带1,条带0,各磁盘上的数据块,各磁盘上的数据块,无差错控制的条带化阵列,D2,D1,

10、D0,D5,D4,D3,D0,逻辑磁盘,30,2020/7/29,RAID 0数据写入,D0,D1,D2,D3,D4,D5,逻辑磁盘,写入数据块D0,写入数据块D1,写入数据块D2,D3,驱动器1,驱动器2,D0,D1,D2,D3,D4,D5,31,2020/7/29,RAID 0数据读取,读取数据块D1,逻辑磁盘,驱动器1,驱动器2,D0,D1,D2,D3,D4,D5,D0,D2,D4,D5,D3,D1,读取数据块D2，D3,读取数据块D0,32,2020/7/29,RAID 0数据丢失,驱动器1,驱动器3,D0,D1,D2,D3,D4,D5,D6,D7,D8,阵列中某一个驱动器发生故障，将

11、导致其中的数据丢失。,33,2020/7/29,RAID 1的工作原理,镜像结构的阵列,D2,D1,D0,D2,逻辑磁盘,D2,D1,D0,驱动器1,驱动器2,D0,D1,D2经过镜像器,D2,D1,D0,34,2020/7/29,RAID1 数据写入,驱动器2,D0,D1,D2,D2,D1,D0,写入数据块D0,D2,D1,D0,D2,逻辑磁盘,驱动器1,D2,D1,D0,写入数据块D1,写入数据块D2,35,2020/7/29,RAID1 数据读取,驱动器2,D0,D1,D2,D2,D1,D0,读取数据块D0,D2,D1,D0,D2,逻辑磁盘,驱动器1,D2,D1,D0,读取数据块D1,读

12、取数据块D2,36,2020/7/29,RAID 1的数据恢复,驱动器2,D0,D1,D2,D2,D1,D0,磁盘损坏,读写备份磁盘,更换/恢复磁盘,复制备份磁盘数据,D0,驱动器1,D1,D2,37,2020/7/29,RAID 5的工作原理,分布式奇偶校验码的独立磁盘结构,D4,P1,D1,驱动器2,P2,D2,D0,驱动器1,D5,D3,P0,驱动器3,D0,D1,D2,D3,D4,D5,38,2020/7/29,RAID 5数据写入,D2,D1,D0,D5,D4,D3,逻辑磁盘,D0,D1,D2,D3,D4,D5,D5,D3,P0,驱动器3,P2,D2,D0,驱动器1,D4,P1,D1

13、,驱动器2,39,2020/7/29,RAID 5数据读取,D2,D1,D0,D5,D4,D3,逻辑磁盘,D0,D1,D2,D3,D4,D5,D5,D3,P0,驱动器3,P2,D2,D0,驱动器1,D4,P1,D1,驱动器2,40,2020/7/29,RAID 5数据恢复,D2,D1,D0,D5,D4,D3,逻辑磁盘,D0,D1,D2,D3,D4,D5,D5,D3,P0,驱动器3,P2,D2,D0,D4,P1,D1,磁盘失效,数据恢复,驱动器2,驱动器1,41,2020/7/29,RAID组合-RAID 10,RAID 10是将镜像和条带进行组合的RAID级别，先进行RAID 1镜像然后再做R

14、AID 0。RAID 10也是一种应用比较广泛的RAID级别。,D0,D2,D4,D0,D2,D4,D1,D3,D5,D1,D3,D5,磁盘镜像器,磁盘镜像器,D0,D1,D2,D3,D4,D5,读取数据,RAID 1,RAID 1,RAID 0,物理磁盘1,物理磁盘2,物理磁盘3,物理磁盘4,42,2020/7/29,目录,RAID基本概念与技术原理 RAID技术与应用 RAID特点及不同场景下应用 RAID与LUN,43,2020/7/29,常用RAID级别的比较,44,2020/7/29,RAID 典型应用场景,45,2020/7/29,目录,RAID基本概念与技术原理 RAID技术与应

15、用 RAID特点及不同场景下应用 RAID与LUN,46,2020/7/29,RAID级别选择,从可靠性、性能和成本简单比较各RAID级别的优劣（相对而言），供在实际项目中选择时参考。,47,2020/7/29,LUN(Logical unit number),RAID由几个硬盘组成 ，从整体上看相当于有多个硬盘组成的一个大的物理卷 在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元，这些逻辑单元称作LUN,可以做为映射给主机的基本块设备,RAID10,RAID5,物理卷,物理卷,逻辑卷,逻辑卷,单个物理卷上创建1个逻辑卷,单个物理卷上创建2个逻辑卷,LUN2,LUN3,48,2020/7

16、/29,三、存储网络,存储网络的产生与发展 存储系统技术 FC-SAN技术 IP-SAN技术 FC-SAN与IP-SAN融合 NAS技术 主机多路径技术 FC交换机/HBA卡/光纤,49,2020/7/29,存储网络出现与发展,50,2020/7/29,存储网络形态,存储网络几种常见类型 DAS (Direct Attached Storage) NAS (Network Attached Storage） SAN (Storage Area Network),51,2020/7/29,目录,存储网络的产生与发展 存储系统技术 FC-SAN技术 IP-SAN技术 FC-SAN与IP-SAN融合

17、 NAS技术 主机多路径技术 FC交换机/HBA卡/光纤,52,2020/7/29,存储系统基本组成,存储软件 存储管理软件 快照、镜像软件 License 备份软件,存储硬件 外置存储系统 磁盘阵列 NAS 存储连接设备 FC HBA卡 FC交换机 以太网交换机 连接线缆,存储方案 备份、容灾,53,2020/7/29,Storage Area Network,SAN 存储区域网络，存在于主机和存储设备之间，与DAS相比打破了主机和存储设备之间的紧耦合，提升了系统的扩展性,54,2020/7/29,SAN Protocols,Fiber Channel SAN 基于FC协议 IP SAN 在

18、IP网络上运行SCSI协议,55,2020/7/29,目录,存储网络的产生与发展 存储系统技术 FC-SAN技术 IP-SAN技术 FC-SAN与IP-SAN融合 NAS技术 主机多路径技术 FC交换机/HBA卡/光纤,56,2020/7/29,FC协议简介,FC-0 ：物理层，定制了不同介质，传输距离，信号机制标准，也定义了光纤和铜线接口以及电缆指标； FC-1 ：定义编码和解码的标准； FC-2 ：定义了帧、流控制、和服务质量等； FC-3 ：定义了常用服务，如数据加密和压缩；,FC协议,FC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协 议，HBA

19、的驱动提供了FC-4 的接口函数，FC-4 支持多协议，如：FCP-SCSI，FC-IP，FC-VI。,57,2020/7/29,FC交换机相关概念,光纤通道交换机，它使用光纤网络路由直接连接的方式，发起者和目标设备可以通过光纤通道交换机中的路由软件建立直接的连接以独享光纤的所有带宽。 与以太网交换机相比，一个用于构建光纤网络，一个用于构建以太网络；光纤交换机中使用的是FC协议，以太网交换机使用的是TCP/IP协议。,光纤通道交换机,58,2020/7/29,FC交换机,MDS-9148,59,2020/7/29,WWN,WWNN（World Wide Node Name）：全球惟一节点名字，

20、由光纤通道进行映射的分配给每一个上层节点一个全球惟一的64 位标识符，一个HBA上的所有端口共享一个WWNN。在计算机处理中，一个WWNN被分配给一个接入到光纤网中的节点（一个端点，如，一个设备）。WWNN可以被一个或者多个不同的端口（每个端口拥有不同的WWPN，并且属于同一个节点）共同使用。 WWPN（World Wide Port Name）：全球惟一端口名字，分配给每一个光纤通道端口的全球惟一的64 位标示符，每个WWPN被该端口独享。WWPN在存储区域网络中的应用就等同于MAC地址在以太网协议中的应用。,链接,输入,输出,P2P FC-AL FC-SW,WWPN,WWNN,FC网络,6

21、0,2020/7/29,HBA卡,HBA（Host Bus Adapter）：主机总线适配器，就是连接主机I/O总线和计算机内存系统的I/O适配器。HBA分为FC HBA、SCSI HBA、SAS HBA、iSCSI HBA等。 用途：用于服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯 。 EMULX BROCADE QLOGIC,各类 HBA卡,61,2020/7/29,WWNN和WWPN,62,2020/7/29,HBA WWN,63,2020/7/29,FC交换机端口,节点,N_Port,F_Port,F_Port,E_Port,E_Port,节点,N

22、_Port,FC交换机2,FC交换机,N_Port:Fabric上的末端端口，与FC交换机连接的主机端口,F_Port:与N端口连接的交换机端口,E_Port:FC交换机之间连接的端口,64,2020/7/29,FC-SAN典型组网,FCSAN典型组网方式有以下几种：,应用服务器,光纤卡,存储设备,应用服务器,应用服务器,应用服务器,应用服务器,光纤交换机,光纤交换机,光纤交换机,存储设备,存储设备,直连,单交换,双交换,65,2020/7/29,FC-SAN的组件,服务器,FC HBA 接口卡,存储设备,LAN,用户A,用户B,服务器,FC HBA 接口卡,存储设备,光纤通道光纤网络,66,

23、2020/7/29,FC拓扑结构与应用,点对点,只能连接 2个设备 (直接连接),交换式 Fabric,最多支持1千6百万个设备 (光纤通道交换机),Arbitrated Loop (仲裁环),最多支持127个设备 (光纤集线器),普及!,67,2020/7/29,FC与SCSI协议,FC与SCSI协议的关系 FC通道并不是SCSI的替代，FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。 SCSI是位于光纤通道协议栈FC4的上层协议，SCSI是FC协议的子集。,68,2020/7/29,目录,存储网络的产生与发展 存储系统技术 FC-SAN技术 IP-SAN技术 FC-SAN与IP

24、-SAN融合 NAS技术 主机多路径技术 FC交换机/HBA卡/光纤,69,2020/7/29,70,2020/7/29,IP-SAN典型组网,IPSAN典型的组网方式有以下几种：,应用服务器,以太网卡,存储设备,应用服务器,应用服务器,应用服务器,以太网交换机,存储设备,存储设备,直连,单交换,双交换,以太网交换机,应用服务器,以太网交换机,71,2020/7/29,iSCSI连接方式,硬件TOE网卡+initiator软件方式,以太网卡+Initiator软件方式,iSCSI HBA卡实现方式,IP-SAN根据主机与存储的连接方式不同，可以分为三种,72,2020/7/29,IQN,iSC

25、SI Qualified Name (IQN) 格式：iqn.yyyy-mm.reversed domain name Example: Iqn.1992-.emc.cx:fcntr00130702376.a4,73,2020/7/29,EUI,Extended Unique Identifier (EUI) 格式： eui (e.g.eui.02004567A425678D),74,2020/7/29,目录,存储网络的产生与发展 存储系统技术 FC-SAN技术 IP-SAN技术 FC-SAN与IP-SAN融合 NAS技术 主机多路径技术 FC交换机/HBA卡/光纤,75,2020/7/29,

26、FC-SAN与IP-SAN比较,76,2020/7/29,FCoE连接方式,Converged Network Adapter- CNA（聚合网卡）,77,2020/7/29,FCoE网络架构,FCoE典型的组网方式有以下几种：,应用服务器,以太网卡,存储设备,应用服务器,应用服务器,应用服务器,增强型以太网交换机,存储设备,存储设备,直连,单交换,双交换,增强型以太网交换机,应用服务器,增强型以太网交换机,78,2020/7/29,FC-SAN与IP-SAN融合协议融合,目前FC与TCP/IP协议的真正融合主要有两种趋势： TCP/IP网络承载FC信道 iFCP FCIP FCOE 以FC信道承载TCP/IP数据 IPFC,79,2020/7/29,目录,存储网络的产生与发展 存储系统技术 FC-SAN技术 IP-SAN技术 FC-SAN与IP-SAN融合 NAS技术 主机多路径技术 FC交换机/HBA卡/光纤,80,2020/7/29,NAS的产生与发展,非结构化数据的需求 共享的需求 成本的需求 扩展性的需求 支持协议的需求 支持业务类型的需求（随机高并发小IO ）,Linux/Unix用户,Windows用户,文件服务器,应用服务器,NAS存储设备,TCP/IP网络,NFS协议,CIFS协议,81,2020/7/2