存储产品技术基础 技术交流.ppt

存储产品技术基础,issue 5.1,日期：,杭州华三通信技术有限公司 版权所有，未经授权不得使用与传播,网络存储技术,主要内容,网络存储概述 ip san存储技术基础 ip san基本组网介绍,引言 网络存储行业应用 存储体系架构 网络存储技术趋势,网络存储概述,引入,“以计算为中心”向“以数据为中心”发生转变 数据存储、管理方式从以服务器为中心向以网络为中心发生转变，“数据持续时间增加” 积累的数据越来越多，呈现“爆炸性的增长 ” 多样化、孤立、分散、难以管理的海量数据是 “应用的巨大障碍” 关键业务的数据丢失对企业带来“毁灭性打击” 业务连续性、数据共享、数据备份恢复、信息生命周期管理等需求推动存储技术巨大发展,信息数据是人类“最为重要的财富”,引言,网络存储将存储设备从应用服务器中 分离出来，进行集中管理,信息数据是人类“最为重要的财富”,网络存储行业应用,数字化校园、图书馆,平安工程（监控） 省会城市每月3pb,十二金工程 各级数据中心,容灾系统 国家标准,媒体行业 （电视台节目编辑）,气象、勘探、高性能计算,idc 整合优化,中小企业,医疗pacs,网络存储行业应用,对数据安全性要求很高的企业 典型行业: 电信、金融和证券 典型业务: 计费 对数据存储性能要求高的企业 典型行业: 电视台、交通部门和测绘部门 典型业务: 音频/视频、石油测绘和地理信息系统等 在系统级方面具有很强的容量(动态)可扩展性和灵活性的企业 典型行业: 各中大型企业 典型业务: erp系统、crm系统和决策支持系统 具有超大型海量存储特性的企业 典型行业: 图书馆、博物馆、税务和石油 典型业务: 资料中心和历史资料库,对具有本质上物理集中、逻辑上又彼此独立的数据管理特点的企业 典型行业:银行、证券和电信 典型业务:银行的业务集中和电信的运营支撑系统(boss)集中 实现对分散数据高速集中备份的企业 典型行业:各行各业 典型业务:企业各分支机构数据的集中处理 数据在线性要求高的企业 典型行业:商业网站和金融 典型业务:电子商务 实现与主机无关的容灾的企业 典型行业:大型企业 典型业务:数据中心,网络存储行业应用,das ： direct attached storage，直接连接存储 （以服务器为中心） nas ： network attached storage，网络附加存储 （以数据为中心） san ： storage area network，存储区域网络 （以网络为中心）,存储体系架构,存储体系架构-das,概念：通过ide、scsi以及光纤（fc）接口或线缆与服务器直接相连，以服务器为中心。 优点： 磁盘与服务器分离，便于统一管理 缺点： 1.每个服务器都需要独立的存储设备 2.连接距离短，连接数量有限 3.数据分散，共享、管理困难 4.存储资源利用率低，单位成本高 5.扩展性差 ,新增服务器需单独配置存储设备,direct attached storage（das）,（以服务器为中心）,存储体系架构-nas,network attached storage（nas）,概念：使用一个专用存储服务器与网络直接相连，通过nfs或cifs对外提供文件级访问服务。 优点： 1.基于nfs、cifs文件级共享存取，支持http和ftp 2.存储设备功能上独立于网络中的主服务器，不占用服务器资源 3.扩展较容易，广泛支持操作系统及应用，安装简单方便 4.即插即用 缺点： 1.相比san架构，存取速度慢 2.访问需要经过文件系统格式转换，不适合block级应用 3.数据备份及恢复占用网络带宽,（以数据为中心）,存储体系架构-san,storage area network （san）,（以网络为中心）,概念：将存储系统、服务器和客户端都通过网络相互连接的架构。 优点： 1.设备整合，多台服务器可以通过存储网络同时访问后端存储系统 2.数据集中，易管理 3.高扩展性，存储硬件功能的发挥不受lan的影响 4.高可用性，复制、备份、恢复数据和安全的管理，容错能力强 5.适用于存储量大的block级应用 缺点： 1.系统的安装和升级方面效率不高 2.相比nas成本较高,存储体系架构-san,fc san,ip san,fc san,光纤网络和光纤协议,fc switch,san-提高企业信息的可用性,存储区域网络(san),直接连接存储(das),nt,unix,nt,“让我们的存储设备发挥更大作用”,需超过50%的备用空间 存储容量不易扩展 管理成本5至6倍于购买成本,仅需20%的备用空间，有效减少备用空间 可立即按需提供存储容量 整和unix与nt存储增长需求,san-提高企业信息的可用性,存储区域网络(san),直接连接存储 (das),信息的可用能力保障业务的正常运行,nt,unix,lan,lan,nt,unix,备份服务器,备份服务器,备份传输堵塞企业局域网 备份/恢复时间冗长 在备份/恢复期间，服务需要中断,与基于网络或直接连接式的备份，san可令备份操作更快完成 企业应用程序可更快速恢复服务 缩短意外服务中断时间，尽快恢复遗失或损坏的数据 提高企业生产力,san-提高对应用系统的保护,存储区域网络 (san),直接连接存储 (das),降低高可用关键业务应用的构建成本,p,p,p,s,三台重要应用软件服务器需要三台备用服务器 1:1故障切换，成本高昂,基于san群集提供高可用解决方案，明显降低成本 一台备用服务器可支持多台工作服务器 n:1切换 减少维护开支,存储体系架构的发展,direct-attached storage (das),network-attached storage (nas),intelligent ip storage,fc storage area network (san),存储体系架构的融合,应 用,存储体系架构的融合,nas和san资源共用同一存储池,通过ip san供给san资源，通过cifs和nfs共享nas资源 最大限度利用存储资源，在同一存储池中同时分配san 和 nas 资源 为san和nas同时提供存储服务 镜像、快照、复制、时间标记及动态容量申请等存储功能 统一的硬件和软件的管理,san网络,san和nas的统一,san 和 nas的融合解决方案,存储体系架构的融合,data center,ip san,ip san 和 fc san 融合解决方案,fc san,ip san extension,网络存储技术趋势,第一代 das 连接方式：服务器直连,第二代 fc san 连接方式：fc网络,第三代 ip san 连接方式：ip网络,经历fc的痛苦，业界再次选择了ip！,1986scsi协议,1997fc协议,2003iscsi协议,标准化是存储发展的方向！,网络存储技术趋势,san和nas的比较,体系架构发展主线： das-san(各厂家兼容性差)-opensan(各厂家互为兼容)-soip(iscsi/fcip/ifcp/ip/ethernet) 我司目前专攻ip san 解决方案,存储管理的自动化与智能化 提高存储效率 减少总体拥有成本(tco)，增加投资回报(roi),网络存储技术趋势,ip san标准、技术的支持 scsi技术 iscsi技术 raid技术,ip san存储技术及协议标准,存储网络的体系结构,存储网关设备需要支持物理层是光纤通道物理接口及以太网的技术体系。,ip san标准、技术的支持（一）,ip存储技术包含：iscsi、fcip、ifcp等，光纤通道技术包含fc-ph、fcp、fc-sw、fc-fs、fc-fg等。 fcip（ fibre channel over ip）：是ietf与ansi共同提出的基于ip的光纤通道方案，采用这种模式，光纤通道数据帧被压缩为ip帧传输,在两个san之间通过ip网络建立点到点的隧道，构成一个统一的san环境。,fcip 帧封装,sof（帧起始定界符）、eof（帧终止符）,ip san标准、技术的支持（二）,ifcp 帧封装,ifcp：在fc与ip之间建立网关到网关的连接，使fc帧可以路由到正确的目的地址，为tcp/ip网络上的fc端设备提供fc网络服务，也就是可以实现端到端的ip连接。它可以允许每一个互联的san都拥有自己独立的命名空间。实现起来也比fcip复杂。,ip san标准、技术的支持（三）,iscsi （internet small computer systems interface） ：一种纯粹意义上的ip存储网络技术，它不包含任何fc的内容，ietf提出的基于ip协议的技术标准，scsi 命令和数据帧压缩为ip帧传输，实现了scsi和tcp/ip协议的连接（scsi在tcp/ip上的传输）。,iscsi 帧封装,ip san标准、技术的支持（四）,三种ip网络存储技术对比表：,scsi概述,scsi：small computer system interface 小型计算机系统接口 scsi是客户端-服务器架构 在scsi术语里，客户端叫initiator，服务器叫target initiator通过scsi通道向target发送请求，target通过scsi通道向initiator发送响应 scsi通道连接的是scsi port，scsi initiator port和scsi target port initiator至少必须包括一个scsi port，和一个能发起请求的客户端 target也需要包括一个scsi port ，以及任务分发器和逻辑单元，,scsi通信,initiator用一种叫做cdb 的数据结构封装请求(command descriptor blocks) initiator的应用层封装好scsi cdb后，调用scsi传输协议接口 target的应用层收到scsi cdb后，根据cdb内容进行相应处理，封装好scsi 响应后，调用scsi传输协议接口 iscsi正是scsi传输协议的一种,iscsi概述,由ibm，cisio，hp发起；2000-2为ietf草案，2004-4作为正式的ietf标准 现在的iscsi协议对应sam2，而最新的sam是sam4，sam5 主要由rfc3720描述 涉及的rfc还有：3721（isns），3722（命令规范），3723（安全），3347（设计），3783（ip上的有序命令传送），3385（错误估计） 用tcp/ip作为san的基础设施 iscsi构建在tcp之上，不是ip；是面向连接的，不是无连接的。（一个iscsi命令可能分在几个ip报文中） iscsi命名规范 iscsi的主要功能是在tcp/ip上封装，并可靠的传输scsi命令及数据,iscsi协议栈,initiator scsi层负责生成cdb，将cdb传给iscsi iscsi层负责生成iscsi pdu（含cdb），并通过ip网络将pdu发给target。注意，iscsi层并不知道cdb的内容，只是简单的将整个cdb封装在pdu中。 target iscsi层收到pdu，将cdb传给scsi层 scsi层负责解释cdb的意义。必要时发送响应。,iscsi报文封装,iscsi报文格式,iscsi会话,两种会话类型（一） dicovery session 用于发现target，只支持三种iscsi报文 login req / rsp textreq(send target) / rsp logout req / rsp 建立tcp连接 报文1，2，3；三路握手 拆除tcp连接 报文12，13，14，15；四次握手,iscsi会话,两种会话类型（二） normal session 登录阶段 初始化登录阶段 安全认证阶段 操作协商阶段 完整功能阶段