第1章 网络存储规划

第1章网络存储规划主讲人高延增老师介绍联系方式：QQ：276470905手机章内容31网络存储背景3233网络需求分析网络存储方式选择34制定网络存储方案1.1网络存储背景数据在现代信息社会中的作用和地位越来越突出，数据在迅速的不断增长中，对于海量数据的存储和备份则成为网络管理的重要组成部分之一。在当前网络中，各种数据库、模型库、知识库，以及其他重要数据是其核心数据，对这些重要数据的存储与备份具有极其重要的意义。1.2网络需求分析网络有各种服务器系统，包括文件发布系统、Web服务器系统、E-Mail系统、服务器群集技术等。对存储系统有各种需求，包括需要高性能的服务器群集技术系统、简单文件共享的文件发布存储系统、安全性要求较高的文件存储系统等。如果使用单一的存储系统，显然是无法满足需要，因此，需要规划一种可行的综合性存储系统。1.3网络存储方式选择1.3.1DAS特点与适用1.3.2SAN特点与适用1.3.3iSCSI特点与适用1.3.1DAS特点与适用DAS具有以下优点：实现大容量存储。将多个磁盘合并成一个逻辑磁盘，满足海量存储的需求。可实现应用数据和操作系统的分离。操作系统一般存放本机硬盘中，而应用数据放置于阵列中。提高存取性能。操作单个文件资料，同时有多个物理磁盘在并行工作，运行速度比单个磁盘运行速度高。实施简单。无须专业人员操作和维护，节省用户投资。1.3.1DAS特点与适用DAS方式实现了机内存储到存储子系统的跨越，但是缺点依然有很多。主要包括：扩展性差。资源利用率低。可管理性差。异构化严重。1.3.1DAS特点与适用DAS适用于以下环境中：服务器在地理分布上较为分散，利用SAN或NAS在进行互连时非常非常困难时（银行在各地区的分行以及大型连锁超市是较为典型的例子）。存储系统必须被直接连接到应用服务器上时。包括许多数据库应用和应用服务器在内的应用，都需要直接连接到存储器上。1.3.2SAN特点与适用SAN具有以下优点：设备整合数据集中高扩展性总体拥有成本低具有无限的扩展能力更高的连接速度和处理能力SAN也有以下缺点：SAN各个客户端的存储空间是分离的，通过光纤实现连接，许多设备价格高昂，因此，SAN的实现需要相当高的费用网络维护也需要相当的开销1.3.2SAN特点与适用SAN对于以下应用来说是理想的选择：关键任务数据库应用，其中可预计的响应时间、可用性和可扩展性是基本要素。集中的存储备份，其中性能、数据一致性和可靠性可以确保企业关键数据的安全。高可用性和故障切换环境可以确保更低的成本、更高的应用水平。可扩展的存储虚拟化，可使存储与直接主机连接相分离，并确保动态存储分区。改进的灾难容错特性，在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距离（达到150公里）。1.3.2SAN特点与适用1.3.3iSCSI特点与适用IP网络的优势可以概括为以下几点：用于管理、安全和服务质量（QoS）的网络协议和中间件的通用性。将在IP网络的设计和管理中获得的经验用于IP存储局域网。经过培训的、经验丰富的IP网络管理人员可以安装和管理这些网络。通过在整个企业中使用一套标准的IP基础设施、产品和服务而获得经济效益。iSCSI

与现有的IPLAN和WAN基础设施兼容。传输距离只受应用性能要求的限制，而不受IP协议的限制。1.4制定网络存储方案1.4.1在制定网络存储方案应遵循的原则1.4.2选择存储产品1.4.1在制定网络存储方案应遵循的原则网络存储的核心——数据要产品也要技术需求为主长远考虑，打好基础1.4.2选择存储产品容错能力性能容量连接性管理性附加功能DAS、SAN与ISCSI比较项目DAS特点SAN特点iSCSI特点设计理念存储设备存储网络存储网络适配器SCSI适配器光纤通道适配器以太网适配器传输单位块I/O块I/O块I/O网络连接协议SCSIFC（光纤通道）TCP/IP管理方式在服务器上管理在服务器上管理在服务器上管理性价比性能低成本低性能高成本高性能高成本适中补充：存储基本知识目录123456第一节信息存储的发展第二节信息存储介质第三节信息存储系统第四节主机服务器系统第五节数据备份技术第六节容灾技术新摩尔定律什么是存储？用于存放数据信息的设备和介质等同于计算机系统中的外部存储存储是一个系统是计算机技术发展的结果存储的基本概念存储的特征：它是数据临时或长期驻留的物理媒介它是保证数据完整安全存放的方式或行为存储的历史汞延迟线磁带磁鼓纳米储存光盘磁芯磁盘存储的现状和趋势存储体系结构——当前存储的主要体系结构有三种：DAS、 NAS、SAN存储发展趋势——复数据删除——SSD固态磁盘——云存储——虚拟化环境的保护——一体化应用存储设备——非结构化数据存储与管理——备份容灾存储介质硬盘：是电脑主要的存储媒介之一，有一个或多个铝制或者玻璃制的碟片组成磁带：是一种用于记录声音、图像、数字或其他信号的再有磁层的带状材料，是 产量最大和用途最广的一种磁记录材料光盘：光盘以光信息做为存储物的载体软盘：软盘的读写通过软盘驱动器完成Flash存储：一种不挥发的内存器件存储设备磁带机磁带库虚拟磁带库OceanspaceS2600OceanspaceS25000OceanspaceS5000T存储的组件存储组件——存储方案磁盘的组件接口磁盘片主轴组件浮动磁头组件磁头驱动机构前驱控制电路数据传输芯片主控芯片高速缓存芯片存储的组件存储的组件硬盘的柱面、磁面、磁道与扇区磁面磁道扇区柱面磁道磁面硬盘工作原理硬盘工作由马达带动磁盘，然后磁头在磁盘表面以二进制的形式读写数据，读取的数据储存在硬盘的flash芯片中，最后传到程序中运行；硬盘在一定的硬件条件下转速越快，读写能力越强，但最终读写能力受内部硬件带宽限制。硬盘的分类按照接口类型按照硬盘形态机械硬盘固态硬盘硬盘接口IDE/ATASCSISATASASFC市场主流硬盘目前市场上主流硬盘厂商包括Seagate(希捷)、WD（西部数据）、HITACHI(日立)等。硬盘的参数容量硬盘容量=柱面数×磁头数×扇区数×512Bytes转速盘片转动圈数/分钟(rpm)平均访问时间平均寻道时间平均潜伏时间数据传输率外部数据传输率内部数据传输率CPU硬盘缓存磁头读取盘片硬盘缓存硬盘接口比较接口IDESATASCSISASFC接口类型并行串行并行串行串行主流接口速率100MB/S133MB/S300MB/S600MB/S320MB/S3GB/S6GB/S2GB/S、4GB/S、8GB/S拓扑结构总线点对点总线用扩展器实现的点对点点对点、环路、交换式双工半双工半双工半双工全双工全双工最大连接设备数21or15withportmultiplier1616256127-loop1600万fabric线缆长度0.4m1m12m6m30m(铜轴电缆)10km(光纤)应用普通PC机低端工作站中高端工作站中高端工作站高端工作站硬盘操作注意事项现场硬盘操作、接触时，必须正确佩戴防静电手腕或防静电手套；硬盘存放和运输前必须采用防静电材料进行包装；硬盘在现场搬运时需要采用原包装材料进行包装，在运输过程选择平滑地段，遇到台阶，必须轻抬轻放；硬盘轻拿轻放，切勿堆积或在没有防静电措施情况下随意摆放（现场没有防静电垫子，可以考虑利用设备或硬盘防静电包装材料）；硬盘单元热拔出时，向外拉出硬盘单元2厘米左右，让硬盘和背板连接器完全断开，停留10S左右，保证硬盘电机停转；再依次完全拔出各硬盘单元；故障硬盘需要用防静电材料和缓冲材料包装好后邮寄，硬盘上建议写明局点、客户和故障现象；SSD硬盘：读写机制决定读写效率SSD在随机读取方面的效率要比硬盘驱动器高得多，这是因为它没有必须悬在硬盘上方来读取数据的读写头(类似电唱机的针头)。存储系统产生的背景传统计算机存储系统的局限性：硬盘成为整个系统的性能瓶颈有限的硬盘槽位，难满足大量容量需求单个硬盘存放数据，数据可靠性难以保证存储空间利用率低本地存储，数据分散，难以共享

—可扩展性不好

—总线结构，而非网络结构

—可连接的设备受到限制增加容量时，需停机传统计算机存储系统CPU硬盘RAM存储网络的产生存储网络的基本形态DAS（DirectAttachedStorage存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器；传统的、最常见的连接方式，容易理解、规划和实施；没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储；单个DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少；NAS（NetworkAttachedStorage）NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络带宽。SAN（StorageAreaNetwork）高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并且具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络，SAN关注磁盘、磁带以及联接它们的可靠的基础结构；存储网络的三种形态比较存储设备的组成硬件组成一般包括：框控制器BBU风扇电源接口卡硬盘（硬盘框）RAID技术RAID是一种把多块独立的硬盘（物理硬盘）按不同的方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据备份技术。RAID全称RedundantArrayofIndependentDisks；即独立磁盘冗余阵列。RAID优势：容量易扩展、分块提高性能、可用性提高及可靠性提高。RAID级别的选择不同的RAID级别代表着不同的性能、数据安全性和存储成本。RAID常用级别：RAID0、RAID1、RAID10、RAID5、RAID6。主机服务器类型服务器形态包括塔式服务器、机架服务器、刀片服务器刀片服务器机架服务器塔式服务器服务器的硬件组成机箱电源风扇处理器内存主板RAID卡本地硬盘主机操作系统windows操作系统Windows2003\windows2008linux操作系统Suselinux9\10\11、Redhatlinux4\5\6VmwareesxEsx4\5aixaix4\5\6solarisSolaris9\10hp-ux11hp-ux主机文件系统Windows下常见的文件系统：FAT16、FAT32、NTFSLinux下常见的文件系统：ext3、jfs、Reiserfs、xfs其它文件系统:ZFS、HFS、VMFS、UFS、GFS主机服务器应用应用系统：数据库主流数据库：DB2、Oracle、Informix、Sybase、SQLServer、内存数据库等应用系统：邮件邮件服务器构成了电子邮件系统的核心，管理邮件的收发应用系统：文件文件服务器负责共享资源的管理和传送接收，管理存储设备中的文件，为网络用户提供文件共享服务，也称文件共享服务器应用系统：集群服务器集群就是指将很多服务器集中起来一起进行同一种服务，在客户端看来就象是只有一个服务器，集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行备份的基本概念数据备份是将数据以某种方式加以保留，以便在系统遭受破坏或其他特定情况下重新加以利用的一个过程。数据备份的核心是恢复，一个无法恢复的备份对于任何系统来说都是毫无意义的。备份原则稳定性容灾考虑操作简单高性能自动化全面性备份系统的组成部分备份客户端备份服务器备份存储单元备份管理软件备份组网LAN-BASE备份LAN-FREE备份数据备份的类型全备份：备份系统中的所有数据优点：恢复时间最短，最可靠，操作最方便缺点：备份的数量大，备份所需时间长增量备份：备份上一次备份以后更新的所有数据优点：每次备份的数据少，占用空间少，备份时间短缺点：恢复时需要全备份及多份增量备份差量备份：备份上一次全备份以后更新的所有数据优点：数据恢复时间短缺点：备份时间长，恢复时需要全备份及差量备份什么是灾难自然灾难：地震、水灾、雷电等社会灾难：战争、