存储协议简介PPT

1、存储培训教材 存储协议中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 学习目标学习目标 了解各种存储协议了解各种存储协议的主要区别 iSCSI协议是存储未来的发展之路中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 各种存储协议简介各种存储协议简介中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 主机适配器SCSI ID 7SCSISCSI总线总线SCSI 阵列阵列ID 0SCSI 阵列阵列ID 5LUN 0LUN 0LUN 1LUN 1LUN 2LUN 2LUN 0LUN 0LUN 1LUN 1数据/地址总线控制信号常见SCSI接口有50、68、80针SCSISCSI（Smal

2、l Computer System InterfaceSmall Computer System Interface，小型计算机系统接口），小型计算机系统接口）是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。SCSI SCSI 的定义的定义中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 SCSI-3SCSI-3是所有存储协议的基础，其它存储协议都用到是所有存储协议的基础，其它存储协议都用到SCSISCSI的指令集的指令集lSCSI-1SCSI-11986年ANSI标准，采纳了SASI接口（1979）；定义了硬盘、磁带

3、和其它存储设备的物理接口、传输协议和标准指令集；lSCSI-2SCSI-21994年ANSI标准，SCSI-1的后续接口；提高了速度和总线带宽，支持多线程指令，增加了更多存储设备类型指令集；lSCSI-3SCSI-3更高的速度类型：Ultra-2/Ultra-160/Ultra-320；物理接口、传输协议和SCSI指令集分层。SCSI SCSI 历史历史中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 SCSISCSI架构模型架构模型特定设备指令集：包括磁盘设备的“SCSI块指令(SCSI Block Commands)”等基础指令集：所有SCSI设备都必须实现的“基础指令(SCSI Pr

4、imary Commands)”SCSI传输协议：譬如iSCSI，FCP物理连接：譬如光纤通道，internet架构模型：定义了SCSI系统模型和各单元的功能分工特定设备指令集特定设备指令集基础指令集基础指令集SCSISCSI传输协议传输协议物理连接物理连接架构模型架构模型中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 SCSI SCSI 标准框架标准框架Block Commands(e.g., disk drive)(SBC, SBC-2) Reduced Block Commands (e.g., disk drive)(RBC) Stream Commands (e.g., tap

5、e drive) (SSC, SSC-2, SSC-3) Media Changer Commands (e.g., jukebox) (SMC, SMC-2) Multi-Media Commands (e.g., DVD) (MMC, MMC-2, MMC-3, MMC-4)Controller Commands (e.g., RAID) (SCC-2)Object-Based Storage Device(OSD)ManagementServer Commands(MSC)Primary Commands (for all devices)(SPC, SPC-2, SPC-3)Archi

6、tecture Model (SAM, SAM-2, SAM-3)SCSI Parallel Interface(SPI-2, SPI-3, SPI-4, SPI-5Related standards and technical reports (SDV, PIP, SSM, SSM-2, EPI)Serial Bus Protocol (SBP-2, SBP-3)IEEE 1394Fibre Channel Protocol (FCP, FCP-2, FCP-3) Fibre Channel (FC)SSA SCSI-3 Protocol (SSA-S3P) SSA-TL2 SSA-PH1

7、or SSA-PH2SCSI RDMA Protocol (SRP, SRP-2)InfiniBand (tm)iSCSIInternetSerial Attached SCSI (SAS, SAS-1.1)Enclosure Services (SES, SES-2)特定设备指令集特定设备指令集共享指令集共享指令集架构模型架构模型传输协议传输协议物理接口物理接口中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 SCSI-3SCSI-3物理接口物理接口SCSI-3Class Driver(Tape Device Driver) SCSI-3Class Driver(Disk Device

8、Driver) Interface-Independent Software Programming Interface (Miniport Interface, CAM, ASPI, IO)SCSI-3 FCPPort DriverSCSI-3 ParallelPort DriveriSCSI IPPort DriverSASPort DriverSCSI Serial Bus Protocol (SBP-2)Port DriverFibre ChannelPortSCSI ParallelPortEthernetPortSAS SerialPortIEEE-1394(Firewire)Po

9、rtFibre ChannelPhysical I/FSCSI BUSFast/Wide/Ultra/etc.EthernetSerial Attached SCSIPhysical I/FFireWirePhysical I/FInitiator I/O System物理接口物理接口中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 SCSI应用应用SCSI传输协议传输协议SCSI物理连接物理连接SCSI应用应用SCSI传输协议传输协议SCSI物理连接物理连接Initiator Initiator 设备设备Target Target 设备设备互连协议应用协议传输协议传输服务接口互连服务接口

10、应用层应用层传输协议层传输协议层互连层互连层SCSISCSI发起端发起端- -目标器模型目标器模型中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 特 点描 述优点与主机无关工作在逻辑层而不是在设备层：支持数据块类型的逻辑地址；数据以字节为单位进行传送；采用通用指令集取代了专用的控制线多设备并行具有总线仲裁、设备选择功能，设备与设备、设备与主机之间是一种双向对等关系，不是主从关系；对多任务操作系统如Unix、Linux、Windows NT，可以获得更高性能高带宽目前最快可以提供320MB/s的带宽低系统开销具有独立处理芯片，占用CPU资源的比例相当小缺点单I/O控制器两个和多个I/O控制

11、器无法共享一条SCSI总线，不能实现多链路聚合，存在单一故障点地址短缺SCSI总线地址只有8或16个，无法接入更多的设备传输距离短单端SCSI传输距离6米，差分SCSI传输距离25米。所有连接设备只能放在统一地点SCSISCSI的特点的特点中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 SCSISCSI允许连接设备数量较少允许连接设备数量较少SCSISCSI连接设备距离非常有限连接设备距离非常有限基于网络的基于网络的SCSISCSIFC SANFC SANIP SANIP SANFCPFCPiSCSIiSCSI如何解决如何解决基于网络的基于网络的SCSISCSI中科蓝鲸中科蓝鲸 存储服务

12、存储服务 随需应变随需应变 公共服务公共服务传输协议（编传输协议（编/ /解码）解码）信号协议和连接服务信号协议和连接服务介质和接口介质和接口FC-1FC-1代码层代码层FC-0FC-0物理层物理层FC-2FC-2协议层协议层FC-3FC-3服务层服务层FC-4FC-4映射层映射层IPI3IPI3SCSISCSIHIPPIHIPPIIPIPSBCCSBCCS S802.802.2 2ATMATM通道通道网络网络光纤通道是构建FC SAN的基础，是FC SAN系统的硬件接口和通信接口。FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。FCFC（光纤通道）（光纤通道）中科蓝鲸中科蓝鲸 存

13、储服务存储服务 随需应变随需应变 FCFC的三种拓扑结构的三种拓扑结构点对点点对点只能连接只能连接 2个设备个设备(直接连接直接连接)交换式交换式 Fabric最多支持最多支持1千千6百万个设备百万个设备(光纤通道交换机光纤通道交换机)Arbitrated Loop (仲裁环仲裁环)最多支持最多支持126个设备个设备(光纤集线器光纤集线器)普及普及!中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 Fabric节点 N_PortF_PortF_PortE_PortE_PortFL_Port 节点N_Port交换机交换机 2交换机交换机 1 节点NL_Port 节点NL_PortG_Port

14、FCFC端口类型端口类型服务器或存储设备：服务器或存储设备：N N端口端口NLNL端口端口FCFC交换机：交换机：F F端口端口FLFL端口端口E E端口端口GG端口端口中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 FCFC特点特点不足不足构建维护成本高，时间长互操作性不强，FC协议具体实现上各个厂商有所不同FC SAN缺少统一管理标准FC理论上最长传输距离10公里左右，在互联网存储应用中会形成信息孤岛优势优势连接设备比SCSI多高带宽，低时延实现光纤和铜缆的无缝连接连接距离远远超出并行SCSI存储设备中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 SCSI应用（文件系统、数据库

15、）应用（文件系统、数据库）SCSI块指令块指令SCSI流指令流指令其他其他SCSI指令指令SCSISCSI指令、数据和状态指令、数据和状态iSCSI TCPIP以太网等以太网等iSCSIiSCSI协议栈协议栈liSCSI （Internet SCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输liSCSI作为SCSI的传输层协议，基本出发点是利用成熟的IP网络技术来实现和延伸SANiSCSIiSCSI中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 iSCSI iSCSI 发起端发起端- -目标器模型目标器模型l发起端（发起端（InitiatorInitiator）SCSI层负

16、责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSI PDU（协议数据单元），并通过IP网络将PDU发给targetl目标器（目标器（TargetTarget）iSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应iSCSITCPSCSIIPLinkiSCSITCPSCSIIPLinkInitiatorT中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 iSCSIiSCSI的报文格式的报文格式以太网头(14)IP头(20)TCP头(20)iSCSI（TCP数据）FCS源端口目的端口序列号确认号首部长度保留A P R SF窗

17、口大小校验和紧急指针基本报头段(BHS，48字节)附加报头段（若有）头部校验（若有）数据段（若有）数据校验（若有）U中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 iSCSIiSCSI优点优点高可靠高可靠高扩展高扩展良好的标准化良好的标准化易管理，易管理，IPIP技术成熟，具备技术成熟，具备IPIP知识的专业技术人员多知识的专业技术人员多很低的安装成本和维护费用：建立在很低的安装成本和维护费用：建立在TCP/IPTCP/IP上上减少了异构网络和电缆：不需要特殊的减少了异构网络和电缆：不需要特殊的FCFC交换机交换机无距离限制，远程存储：异地数据交换、备份及容灾无距离限制，远程存储：异地数

18、据交换、备份及容灾灵活的安全性和灵活的安全性和QoSQoS保证保证中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 FC SANFC SAN孤岛如何连接，孤岛如何连接，并跨越并跨越WANWAN通过通过IP IP 网络网络 隧道方案隧道方案 FCP FCP 路由方案路由方案FCIPFCIPiFCPiFCPFC SANFC SAN的连接的连接中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 l应用场合两个FC SAN孤岛通过IP连接成一个大的FC SANl特点基于IP的FC隧道协议，将FC帧封装在TCP/IP上FCIP连接对IP网络是透明的，整个传输中只有FCIP网关需要知道FCIP的封装

19、FCIPFCIP报文报文IP头TCP头TCP数据FCSSOFFC帧头SCSI数据CRC EOFFCIP头封装FCIP FCIP （FC over IPFC over IP）中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 l应用场合光纤通道设备（无FC交换机）将该设备直接连接到IP网络上l特点FC消息和路由服务在iFCP网关处终结。网关将每个FC地址映射到一个IP地址具有故障隔离功能部署时需要iSNS服务器（通常集成在iFCP网关上）iFCPiFCP报文报文IP头TCP头FCSSOFFC帧头SCSI数据CRC EOFiFCP头映射FCFC地址映射到地址映射到IPIP地址地址iFCP (In

20、ternet FC)iFCP (Internet FC)中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 FCIPFCIPFCIPFCIP隧道隧道iFCPiFCPiFCPiFCP多个多个SAN FabricSAN Fabric单个单个SAN FabricSAN FabricFCIPFCIP和和iFCPiFCP比较比较中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 EthernetEthernet头头IPIP头头 TCPTCPFCIPFCIP头头S SOOF FFCFC帧头帧头Payload: SCSI Command in IUPayload: SCSI Command in IUC

21、CR RCCE EOOF FF FCCS SFCIPFCIPS SOOF FFCFC帧头帧头Payload: SCSI Command in IUPayload: SCSI Command in IUCCR RCCE EOOF FSCSI- FCPSCSI- FCPEthernetEthernet头头IPIP头头 TCPTCPiFCPiFCP头头S SOOF FFCFC帧头帧头Payload: SCSI Command in IUPayload: SCSI Command in IUCCR RCCE EOOF FF FCCS SiFCPiFCPEthernetEthernet头头IPIP头头

22、TCPTCPiSCSIiSCSI头头FCFC帧头帧头Payload: SCSI Command in IUPayload: SCSI Command in IUF FCCS SiSCSIiSCSI几种存储协议报文结构比较几种存储协议报文结构比较中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 iSNS，即Internet存储名称服务，将光纤通道的即插即用功能引入到IP存储网络中，可以容易地在TCP/IP网络上实现iSCSI和光纤通道设备的自动发现、管理和配置。存储资源发现存储资源发现发现域和登录控制服务发现域和登录控制服务状态变化通知服务状态变化通知服务光纤通道和光纤通道和 iSCSI i

23、SCSI 设备开放映射设备开放映射iSNS主要功能iSNS协议协议iSNSiSNS客户机客户机iSNSiSNS服务器服务器iSNSiSNS数据库数据库iSNS组成结构iSNSiSNS中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 其它存储协议其它存储协议InfiniBandInfiniBandAoEAoE 其它存储协议其它存储协议中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 InfiniBandInfiniBand诞生背景诞生背景传统的集群系统以计算节点为核心，性能差，结构复杂，扩展能力差需要一种开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的以交换为核心的体系架构Infi

24、niBand InfiniBand 应运而生应运而生磁带库磁带库FC FC 磁盘阵列磁盘阵列以太网交换机以太网交换机管理管理LANLAN服务器集群服务器集群InfiniBandInfiniBand交换机交换机光纤通道交换机光纤通道交换机磁带库磁带库以太网交换机以太网交换机管理管理LANLAN服务器集群服务器集群FC FC 磁盘阵列磁盘阵列中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 InfiniBandInfiniBand发展历程：两次浪潮发展历程：两次浪潮19991999首次提出首次提出20042004年调整定位年调整定位得到主流服务器生产链上厂商的一致追捧 ，但由于协议、软件支持、

25、最初定位问题等，导致应用受到限制，包括Intel等厂商一度撤出投资调整定位于存储网络、计算网络的应用，软件方面成立开源的OpenIB组织，甚至推出了IP over InfiniBand的协议转换，InfiniBand又开始得到欢迎中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 InfiniBandInfiniBand体系架构体系架构lInfiniBand标准定义了一套用于系统通信的多种设备，包括信道适配器、交换机和路由器l信道适配器用于同其它设备的连接，包括主机信道适配器（HCA）和目标信道适配器（TCA）l交换机是 InfiniBand结构中的基本组件l点到点的交换结构：解决了共享总线

26、、容错性和可扩展性问题l具有物理层低功耗特点和箱外带宽连接能力CPUCPU链路链路网络网络链路链路链路链路链路链路链路链路目标目标TCATCA交换机交换机内存内存控制器控制器系统系统内存内存主机内部互联主机内部互联CPUCPUTCATCA目标目标HCAHCAxCAxCA路由器路由器xCAxCA路由器路由器CPUCPUxCA= HCA xCA= HCA 或或TCATCA中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 InfiniBandInfiniBand协议分层结构协议分层结构物理层：定义了多种速率的连接，目前已有产品信号传输速率最高达60Gb/ s链路层：链路层与传输层处在 IBA的核

27、心位置。提供了局部子系统中的信息包设计、点到点连接操作以及包交换等功能网络层：提供了信息包从一个子结构到另外一个子结构的路由机制传输层：传输层主要负责信息包的按序分发、分割、通道多路技术以及传输服务等；也负责处理数据包分段的发送、接收和重组物理层物理层链路层网络层网络层传输层传输层应用层应用层5 5层结构层结构中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 l基于标准的协议由InfiniBand Trade Association共同设计了该开放标准l高速度目前Infiniband主流技术为DDR技术，所支持的吞吐量为5、20或60Gbps。下一代采用QDR，带宽最高可达120Gbps

28、l远程直接内存存取功能该功能对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。 l传输卸载远程直接内存存取能够帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担InfiniBandInfiniBand的特点的特点中科蓝鲸中科蓝鲸 存储服务存储服务 随需应变随需应变 AoEAoEATA-Over-EthernetATA-Over-Ethernet：利用标准的以太网传输：利用标准的以太网传输ATAATA磁磁盘命令。目前主要处于实验应用阶段，未商业化。盘命令。目前主要处于实验应用阶段，未商业化。只需要三层协议栈只需要三层协议栈优势：优势：存储费用低廉传输效率比较高不足：不足：安全性差只能在LAN环境内使用，没有路由能力PHYPHYEthernetEtherne