网络存储技术复习要点

1、网络存储技术复习要点 第一章信息存储与管理简介 1.数据数据是原始事实的集合，从中可以获得有用的结论。 2.数据被转换成更便捷的形式（即可被计算机识别的数据）数字化的数据。 3.数字数据增长的原因：数据处理能力的提升 数字存储的低成本 可负担的和更快的通信技术。 4数据的分类：结构化数据：通常使用数据库管理系统存储，按行列存储。 非结构化数据：不是按行或者按列存储的数据。 信息：信息是从数据中提取出来的智慧和知识。 5.信息对于企业的价值： 商业应用分析原始数据以找出有意义的趋势，基于这些基本趋势来制定或者修改策略。 有效的数据分析不仅给现有的商业应用带来利益，而且通过采用创造性方式使用数据还

2、能创造出潜在的、新的商业机会。 6.智能络存储技术特点： 冗余磁盘阵列（redundant array of independent disks，raid）：这种技术是用来解决数据的存储成本、 性能和可用性等问题。 直连存储（direct-attached storage，das）：存储设备直接连接到服务器或是集群中的服务器组。存储设备可以在服务器的内部或者外部，外部的das缓解了内部存储的容量限制。 存储区域（storage area network，san）：这是一个专用的、高性能的光纤通道（fc）络，用来完成 服务器和存储设备之间块级别的通信。存储设备被分区并指定给不同服务器，从而被分别

3、访问。相比于das， san提供了更好的可扩展性、可用性、性能和更低的成本。 络互联存储（network-attached storage，nas）：这是一个专用于文件服务类应用的存储设备。它不像 san，而是通过现有的通信络（lan）连接，并为不同的客户提供文件访问。 ip存储络（internet protocol san，ipsan）：ipsan是存储架构里的一个最新发展，是san和nas技术 的集成，ipsan提供了在局域和广域上的块级别传输，从而具有更高的数据融合性和可用性。 7.数据中心的5个核心要素： 应用（application）：提供了计算操作逻辑的计算机程序。 数据库（dat

4、abase）：数据库管理系统提供了一种结构化的方式，把数据存储成具有关联关系的逻辑表。 服务器和操作系统(server and operating system)：指运行应用和数据库的计算平台。 络（network）：指介于客户端和服务端之间或是服务器和存储之间的一个数据通路。 存储阵列（storage array）：永久存储数据以供后续使用的设备。 8.数据中心核心要素的七个关键要求： 可用性 安全性 完整性 性能 可扩展性 容量 可管理性 9.管理的任务：监控 报告 供应 10.信息管理面临的关键挑战：数字世界的爆炸 对信息依赖的上升 信息价值的改变 11.信息生命周期管理（informa

5、tion lifecycle management，ilm）策略特征： 以业务为中心（business-centric）：与关键的业务处理流程结合，满足当前和未来的需求 集中式管理（centrally managed）：实现统一管理 基于策略的（policy-based）：为不同部门制定不同的策略 异构的（heterogeneous）：考虑各种平台和操作系统 优化的（optimized）：根据需要进行调整存储级别 12.信息生命周期管理过程ilm：分类 实现 一体化管理 组织协调 13.ilm的优点： 更高的资源利用率：使用分层存储平台。 简化的管理：处理流程和接口与工具集成，自动化 简单的备

6、份和恢复：有更多的备份和恢复的选择来满足业务连续性。 维护约定：了解哪些数据需要保护多长时间。 更低的总拥有成本：通过匹配与信息价值相关的存储基础设施和管理开销可以有效降低总拥有成本。 第二章存储系统环境 1.存储系统环境（storage system environment）：数据流从应用程序到存储设备，中间所经过的各个部件被统称为“存储系统环境”。 2.存储系统环境组成：主机 连接 存储设备。 3.主机：运行应用程序（用户通过应用程序来存储、检索数据）的计算机被称为主机。 主机类型广泛：包括笔记本到服务器集群的多种形式。 主机的物理组件：cpu 存储设备（内存、磁盘） 输入输出设备：主机之

7、间的接口：络接口卡（nic） 主机到存储器：主机总线适配器（hba） 主机的逻辑部件： 应用程序：三层结构用户界面 控制逻辑 底层数据库 用户存取数据的方式： 块级别存取：指定lba（logical block addressing，逻辑块寻址模式） 文件级别存取：指定文件名及其路径 操作系统：介于应用程序和系统硬件设备之间，控制整个运行环境。 卷管理器：逻辑卷管理（lvm，logic volume management）负责创建及存储主机层面的逻辑 存储：将物理视图映射为逻辑视图；将逻辑块映射为物理块。 逻辑卷管理器由操作系统活第三方主机软件实现。 lvm构成：物理卷；卷组；逻辑卷。 物理卷

8、（pv）：每一个连接到主机系统的物理磁盘都是一个物理卷（pv）。 卷组（vg）：卷组由一个或多个物理卷构成。lvm将卷组作为单个实体来管理。物理 卷可以跟据需要从卷组中动态添加或者移除。物理卷通常被划分为同样大小的磁盘块。 主机总是为操作系统保留至少一个专用的磁盘组。 逻辑卷（lv）：是在给定的卷组中创建的。 lvm的分割（将一组连续的柱面分配给一个分区）和串接（把若干个小的物理磁盘合 起来）。 设备驱动程序：实现设备的识别；实现设备的访问控制；解决硬件依赖性和操作系统的特殊性问题。 文件系统：文件是一组相关记录或数据的全体。 -以层次化的方式把文件组织起来（hierarchical stru

9、cture）成为文件系统，如：ntfs unix fs，ext2/3等。 4.连接（connectivity）： *连接的类型： -“主机-存储设备”互连 - “主机-主机”互连 *构成“主机-存储设备”连接的物理部件：总线 端口 线缆 5.连接协议 *协议：发送设备与接收设备之间预先定义的通信格式。 紧密连接实体：cpu与内存，pci连接 直接连接实体：主机与存储，ide/ata 络连接实体：络主机或者nas或者san，scsi/fc 6.pci:用于计算机内部的本地总线系统，是处理器与附属设备的接口，即插即用（pnp），总线位宽是32/64，吞吐量为：133mb/sec。 pci expr

10、ess（x1，x4，x8, x12, x16）增强型pci总线。 7.ide/ata: ide(integrated device electronic，电子集成驱动器)和ata（advanced technology attachment，高级技 术附加装臵）广泛用于硬盘存储设备，高性价比，低成本的存储互连，主要用于主机内部的连接。 sata（serial advanced technology attachment,串行ide/ata）支持热插拔，增强版总线可以提供高达6gb/s 带宽。 8.scsi（small computer system interface）： 并行scsi ,服务

11、器上用得最多的硬盘接口，成本高于ide/ata，同时支持多路数据访问，主要用于高端环境， scsi ultra传输速率320mb/s。 串行scsi（serial attached scsi，sas）传输速率3gb/s。 9.存储介质 磁带 -大容量、低成本解决方案，适合长期的数据保存。 -顺序访问，每次只允许一个应用程序访问 -存在物理磨损以及存储访问开销 光碟 -作为发行介质，广泛用于小型、单用户的计算环境 -一次写多次读 -容量和访问速度受限 磁盘驱动器 -应用范围最广，大容量 -随机读写访问 10.磁盘驱动器 磁盘的核心部件包括盘片，主轴，读写头，驱动臂装臵以及控制器。 磁盘驱动器逻辑

12、块寻址（lba），使用线性地址访问物理块数据，磁盘控制器将lba地址转换成chs（柱面，磁头，扇区的编号）地址进行访问。 磁盘服务时间（disk server time）完成一次i/o读写请求需要的时间 影响磁盘服务时间的因素： -寻道时间 -转动延迟 -数据传输效率 数据传输速率：单位时间传输的平均数据量。 内部传输率：数据从磁道转移到磁盘内部缓冲区的速度 外部传输率：对外公开的接口速率 11.磁盘性能基本定律： ? 利特尔定律(littles law) 描述队列中的服务请求数与相应时间的关系 n = a r ? “n” 请求的总数 ? “a” 代表到达率(arrival ral 当平均队列

13、长度很短时，响应时间一直很快，当队列负载增加时，响应时间也增大，当利用率超过70%时，响应时 间成指数增长。 12企业级flash盘 -基于flash的固态存储器技术 ：.高性能、低延迟 .非易失性存储器 .存储单元分为：slc（单层单元）和mlc（多层单元） slc（singlelayercell）：每个单元1bit，成本高，容量小，速度快 mlc（multiplelayercell）：每个单元2bit，成本低，容量大，速度慢 -企业级flash盘采用4gb的光纤接口 13企业级flash盘的优点： 访问速度更快：每秒iops提高最多30倍 耗电更小：每tb耗能减少38%，每次i/o操作耗能

14、减少98% 可靠性更高：没有移动部件，raid rebuild更快 14.企业级flash盘-“tier-0”应用 ? 作为高标准环境下的高性能选项适用于 低延迟应用, 也称为 “tier-0” 应用 ? ? ? 标准尺寸和容量设计，更便于集成 高性能、低功耗，符合行业绿色倡议 目标客户和市场包括 高性能低耗能的耦合解决方案 某些具有特殊功能需求的oracle数据库客户 金融交易 oltp（在线事务处理）数据库 tier -0 对于高性能需求以及关键应用的服务进行存储性能优化和智能管理。 15.练习： ? 某应用的存储空间需求1tb，iops需求4900次/秒 每次i/o 字节数为4kb 关键

15、性业务，响应时间需限制在允许范围内 ? 可用的硬盘参数: 硬盘容量 = 73 gb 转速=15,000 rpm (revolutions per minute) 平均寻道时间=5 ms 传输率=40 mb/sec 根据上述要求及硬盘参数，计算该应用需要配臵的硬盘数? 解： 计算每次i/o消耗的时间 = 寻道时间+ (转动延迟)/转速 + (块字节数/传输率) = 5 ms + 0.5 /(15000/60) + 4k/40mb = 7.1 msec 计算iops最大值 1 / 7.1 ms = 140 iops 在容许的响应时间内，硬盘控制器的使用率应不超过70% 140 x 0.7 = 98

16、 iops 为满足该应用的 性能要求，需配臵硬盘 4900/98 = 50个 容量要求，需配臵硬盘 1tb/ 73 gb=14 个 需配臵的硬盘数= max (容量配臵数目,性能配臵数目) = 50 第三章数据保护：raid 1.采用raid原因： 硬盘存在性能上限 单个硬盘的寿命有限 ：用mtbf（mean time between failure，平均故障间隔时间）度量 raid的目的在于缓解或者消除上述问题。 raid能够：扩大存储容量，增强可用性，提高性能。 2.raid的实现：硬件raid和软件raid ? 基于硬件的实现 通常采用专用的硬盘控制卡 负责控制所连接的硬盘 对主机操作系

17、统而言，磁盘阵列类似于一个常规的硬盘 配备有管理软件 ? 基于软件的实现 作为主机操作系统的一部分 对主机的cpu负荷产生影响 不能兼容所有的raid 级别 3.raid阵列指的是一个由许多硬盘以及支撑raid功能的相关软硬件所组成的封闭模块。 raid阵列中的所有硬盘通常被划分为一个个独立的子模块，称为物理阵列。 raid阵列中若干硬盘所组成的子集可以构成逻辑上的联合，称为逻辑阵列，也叫做raid集或raid组。 4.raid级别 各种级别的raid是根据分条，数据镜像以及奇偶校验技术的不同而定义的。 分条（striping）：磁盘上一块由若干地址连续的磁盘块构成的、大小固定的区域定义为条带

18、（strip），位于raid集上相同位臵的条带构成了分条。条块化是把连续的数据分割成相同大小的数据块，把每段数据分别写入到阵列中不同磁盘上的方法。 数据镜像：镜像技术将同一数据存储在两块不同的硬盘上，从而产生该数据的两个副本。 奇偶校验：奇偶校验是一种既能为分条raid提供数据保护，又能避免镜像所需开销的方法，利用冗余校验提供完全的数据保护，而不需要完整的数据副本。 raid分级： ? ? ? ? ? ? 0级:非容错的条带阵列 1级: 硬盘镜像 raid嵌套(i.e., 1 + 0, 0 + 1, etc.) 3级: 带专用校验盘的并行访问阵列 4级: 带专用校验盘的独立硬盘条带阵列 5级: 分布式校验的独立硬盘条带阵列 ? 6级: 双重分布式校验的独立硬盘条带阵列 raid：数据是分带存储在raid集的各个硬盘上的，利用了全部空间，并不提供数据镜像。 raid1：通过数据镜像提升容错性，一个raid1组至少由两块硬盘构成的，每个写操作都同时作用在两块磁盘上，对于硬件raid而言，此操作对主机是完全透明的。发生磁盘故障时，raid1的数据恢复代价是所有raid级别中最小的，这是因为raid控制器利