存储基础知识2-SCSI和网络存储

存储基础知识(二）SOUL产品部2010.05目录存储介质1阵列技术2SCSI技术3网络存储4存储应用5OS与存储6SCSI技术SCSI技术SCSI基础SCSI是:标准？总线？协议？SCSI基础SCSI的定义主机适配器SCSIID7SCSI总线SCSI阵列ID0SCSI阵列ID5LUN0LUN1LUN2LUN0LUN1数据/地址总线控制信号SCSI（SmallComputerSystemInterface，小型计算机系统接口）是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。SCSI历史SCSI-3是所有存储协议的基础，其它存储协议都用到SCSI的指令集SCSI-11986年ANSI标准，采纳了SASI接口（1979）；定义了硬盘、磁带和其它存储设备的物理接口、传输协议和标准指令集；SCSI-21994年ANSI标准，SCSI-1的后续接口；提高了速度和总线带宽，支持多线程指令，增加了更多存储设备类型指令集；SCSI-3更高的速度类型：Ultra-2/Ultra-160/Ultra-320；物理接口、传输协议和SCSI指令集分层。SCSI术语Initiator: ASCSIdevicethatrequestsanoperationtobeperformedbyanotherSCSIdevice.发起操作请求的SCSI设备HostAdapter: AControllerBoardthattranslateshostI/OrequestsintoSCSIrequests.将操作系统I/O请求转为SCSI命令Target:ASCSIdevicethatperformsanoperationasrequestedbyaninitiator.响应执行操作请求的SCSI设备LogicalUnit: APhysicalorVirtualdeviceaddressablethroughatarget.SCSI逻辑单元LUN: LogicalUnitNumber.Anencodedthree-bitidentifierforthelogicalunit.逻辑单元号。SCSI总线上可挂接的设备数量是有限的，一般为6个或者15个TargetID或SCSIID来描述这些设备。而实际上我们需要用来描述的对象，是远远超过该数字的，于是引入LUN的概念，也就是说LUNID的作用就是扩充了TargetID，每个Target下都可以有多个LUNdevice，通常简称LUNdevice为LUN。SCSIConfigurationInitiatorSCSIBusTarget1TargetnTarget0InitiatorTInitiatorSCSIBusTarget1TargetnTarget0SCSIBusTerminatorInitiatorSCSIBusLUN0TargetLUN1LUN2MultipleInitiators,MultipleTargetsSingleInitiator,MultipleTargetsSingleInitiator,SingleTargetTTT网络存储SAN存储区域网iSCSINAS网络存储网络存储基于网络的SCSISCSI允许连接设备数量较少SCSI连接设备距离非常有限

？基于网络的SCSIFCSANIPSANFCPiSCSI如何解决WhatisaSAN?StorageDevicesBlockAggregationFile/RecordSubsystemDeviceInterconnectStorageInterconnectDiskArrayVirtualArrayTapeDiskArrayTapeLibrarySANHP/UXLinuxAIX/MontereyWindowsNT/2000SolarisSANServicesSource:SNIA常见存储架构DAS直连存储NAS附加网络存储SAN存储区域网FCSANIPSANDAS的局限–存储需要网络化LAN直接附加内置存储磁带库JBODJBODSCSIFCSCSIFCRAIDRAIDDAS的缺点：每台服务器都有其自己的存储部件($$)管理困难，降低了生产效率备份很昂贵浪费的存储空间难于共享数据NAS基于文件的网络存储提供网络文件共享功能支持的协议包括CIFS，NFS异构平台文件数据的共享安装和使用较简单LAN网络服务(TCP/IP)卷管理文件系统CIFS/NFSRAID控制器disks管理NASSAN存储区域网计算（主机）、传输（交换机）、存储（RAID/Tape）分离主机可以访问任何存储设备，存储设备之间可以互访主机、存储设备可以独立扩展SAN磁带库存储阵列存储阵列LANNAS&SANSAN偏指计算平台和存储平台间采用数据块进行传递的网络模型，而NAS狭义地定义计算平台和存储平台间采用文件的方式进行数据传递的网络模型。iSCSI的诞生更加说明了网络模型的实现究竟使用光通道协议还是以太网协议是相对次要的环节。这只是承载数据块的工具而已。因此，SAN和NAS的区别在于传递的内容是数据块还是文件，更根本上来说是文件系统所处的位置。DAS、NAS、SAN剖析

主机DASFCSAN应用文件/操作系统I/O重定向器TCP/IP协议栈NFS/CIFS网络接口卡

主机文件处理I/ONASIPNetwork网络接口卡TCP/IP协议栈NFS/CIFS文件系统+逻辑卷管理器数据管理系统RAID块处理I/O设备驱动应用逻辑卷管理器裸卷SCSI设备驱动块处理I/OIPSAN应用逻辑卷管理器裸卷iSCSILayerTCP/IPStack网络接口卡

主机块处理I/O块处理I/OIPNetworkFCNetwork网络接口卡TCP/IP协议栈数据管理系统RAID块处理I/OFC总线卡FC协议栈数据管理系统RAID块处理I/O应用逻辑卷管理器裸卷SCSI设备驱动FC协议栈FC总线卡设备驱动设备驱动SCSI设备驱动

主机文件/操作系统数据库文件/操作系统数据库文件/操作系统数据库RAIDSCSI/FC总线卡FCSAN并行与串行接口之间的比较光纤通道基于核心SCSI协议设计，光纤通道通过将并行接口转换为串行接口极大的提高了SCSI的性能Data1Control1Data2Control2Data3Control3SCSI的并行接口多条连接线光纤通道的串行接口Data3Control3Data2Control2Data1Control1单连接线并行总线难以保证在远距离上数据的传输顺序(电磁干扰)光纤通道的优点为上层协议(SCSI，IP等)提供一个通用硬件传输平台。高速:现在可以提供4Gbit(400MB)/秒的数据传输速率，全双工专有连接，未来可升级至10Gbit/秒无阻塞数据传输最大10公里连接距离(通过扩展器可连接上千公里，非常适于灾难恢复应用)先进的流控制系统保证数据按顺序传输.不存在无线电信号散射(RFI)，从而消除了电磁信号串行数据传输，每传输一位需要0.94纳秒(极小的时间延迟)使用8b/10b编码方式将8位转换为10b格式进行串行传输

(内置时钟信号)最多可以连接1千6百万个节点(交换Fabric模式)强大的错误更正能力(位错误率=1x10-12)，比原有铜连接网络强大1000倍光纤通道网络–SAN魔术般的扩展能力SAN及数据管理SAN应用SAN网络级联SAN信息基础结构WAN配置灵活的拓扑结构点对点只能连接2个设备(直接连接)交换式Fabric最多支持1千6百万个设备(光纤通道交换机)ArbitratedLoop

(仲裁环)最多支持126个设备(光纤集线器)光纤通道主机接口卡(HBA)为服务器或客户机内部总线(PCI和SBUS等)提供与光纤通道网络的接口HBA软件驱动为操作系统提供所须存储信息对I/O进行操作I/O同时对正常请求进行控制铜/光介质支持(可能是双接口卡)光纤线多模光纤

纤芯直径为50~62.5μm

包层外直径125μm

传输距离几公里单模光纤

芯径一般为9或10μm

包层外直径125μm

传输距离50Km-100Km光纤常见接头FC圆型带螺纹(配线架上用的最多)ST卡接式圆型(配线架上用的最多)SC卡接式方型(路由器交换机上用的最多)LC卡接式方型（路由器常用）

MT-RJ方型,一头双纤收发一体(华为8850上有用)

光纤通道交换机连接多个端口(8，16，32，64，128口)支持交换Fabric和传统loop设备2Gbit/秒和4Gbit/秒传输速率(自适应)全双工性能，使用cut-through路由算法交换机间提供8Gbit/秒逻辑干线合并拓扑结构自动协调，自动配置(自恢复)端到端性能监控光纤网络通道端口类型Fabric节点N_PortF_PortF_PortE_PortE_PortFL_Port节点N_Port交换机2交换机1节点NL_Port节点NL_PortU_Port设备(节点)端口N_Port=Fabric直接连接设备NL_Port=Loop连接设备

交换机端口E_Port=扩展端口(交换机到交换机)F_Port=Fabric端口FL_Port=FabricLoop端口G_Port=普通(Generic)端口—可以转化为E或F”U_Port=通用(Universal)端口(用于描述自动端口检测的术语)光纤通道的帧格式帧SOF4数据载荷最大2112EOF4CRC4帧头242148字节一个帧是在光纤通道连接中数据包的最小单位(上层协议不可见).FibreChannelFrameSCSIRequestIPRequestSAN网络的逻辑管理单元Zone节点N_PortFabric节点N_PortF_PortF_PortE_PortE_PortU_Port节点N_Port交换机2交换机1F_PortZone1Zone2分区单独的逻辑管理单元可以使用WWN和端口作为成员可以跨多个域/区/端口可以包含Fabric内任意数量的交换机支持相互交叉与E_Port无关Zone的好处NTSolarisDisksHP-UXNTDisksHP-UXDisksSolaris分区满足SANFabric任意连接的要求真正支持异构平台的SANIPSAN什么是IPSAN？FC-SANIP-SANServerInitiatorHBAFCSwitchTargetDevicesTargetHBAServerInitiatorHBATargetDevicesTargetHBAGigSwitchiSCSIFiberChannelFibreChannelEthernetIPSAN是采用iSCSI协议构建的SAN存储区域网：优点：低成本

iSCSI协议本身没有距离限制 灵活的拓扑结构 易于使用和扩展

10Gb时代很快到来（iSCSI通道速率将超过FC）iSCSISCSI应用（文件系统、数据库）SCSI块指令SCSI流指令其他SCSI指令SCSI指令、数据和状态iSCSITCPIP以太网等iSCSI协议栈iSCSI（InternetSCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输iSCSI作为SCSI的传输层协议，基本出发点是利用成熟的IP网络技术来实现和延伸SANiSCSIInitiator&TargetUserlayerKernellayeriSCSITargetiSCSIInitiatorFileSystemSCSIDriveriSCSIInitiatorDriverDiskTransportNetworkNetworkStackNetworkStackSCSIDriveriSCSITargetDriverSCSIHBADriver/RAIDControllerUserApplication发起端InitiatorSCSI层负责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSIPDU（协议数据单元），并通过IP网络将PDU发给target目标器TargetiSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应iSCSI优点高可靠高扩展良好的标准化易管理，IP技术成熟，具备IP知识的专业技术人员多很低的安装成本和维护费用：建立在TCP/IP上减少了异构网络和电缆：不需要特殊的FC交换机无距离限制，远程存储：异地数据交换、备份及容灾灵活的安全性和QoS保证FCSAN的远程扩展FCSAN孤岛如何连接，并跨越WAN？通过IP网络隧道方案FCP路由方案FCIPiFCPFCIP（FCoverIP）应用场合两个FCSAN孤岛通过IP连接成一个大的FCSAN特点基于IP的FC隧道协议，将FC帧封装在TCP/IP上FCIP连接对IP网络是透明的，整个传输中只有FCIP网关需要知道FCIP的封装FCIP报文IP头TCP头TCP数据FCSSOFFC帧头SCSI数据CRCEOFFCIP头封装iFCP(InternetFC)应用场合光纤通道设备（无FC交换机）将该设备直接连接到IP网络上特点FC消息和路由服务在iFCP网关处终结。网关将每个FC地址映射到一个IP地址具有故障隔离功能部署时需要iSNS服务器（通常集成在iFCP网关上）iFCP报文IP头TCP头FCSSOFFC帧头SCSI数据CRCEOFiFCP头映射FC地址映射到IP地址几种块存储协议报文结构比较Ethernet头IP头TCPFCIP头SOFFC帧头Payload:SCSICommandinIUCRCEOFFCSFCIPSOFFC帧头Payload:SCSICommandinIUCRCEOFSCSI-FCPEthernet头IP头TCPiFCP头SOFFC帧头Payload:SCSICommandinIUCRCEOFFCSiFCPEthernet头IP头TCPiSCSI头FC帧头Payload:SCSICommandinIUFCSiSCSINAS介绍以太网文件系统存储区域网NASNAS（NetworkAttachedStorage）网络存储，简单的说，NAS是通过TCP/IP以太网络连接的存储设备。NAS存储设备通过标准的网络拓扑结构（Ethernet）连接到一群计算机或者服务器上，而不象FCSAN那样需要昂贵复杂的光纤交换机，NAS使用普通的以太网络交换机，即插即用。NAS所使用的是存储设备自己的文件系统，数据传输协议是TCP/IPoverGbE，交换机是Eth