【硕士论文】支持环境变量感知的存储系统研究.pdf

中文摘要 摘要 信息在计算机系统中存在的形式 数据 越来越成为企业 单位和个人最 重要的财富 它是决策的依据 是无形的资产 而且具有准确性高和传递性快等 特点 大大的提高了工作效率和生产效率 而作为数据载体的存储系统 因为其 具有高可靠性 高可用性 高性能 易维护性 易管理性 开放性和动态可扩展 性 所以作为长久 安全存放数据的平台也越来越受到人们的重视 对于存储系统 其存储环境变量变化对存储系统的性能会产生很大的影响 这些因素都能在不同方面不同程度上影响存储服务的质量 数据存储的策略和方 式 以及对数据的管理方法等等 本文在对现有的存储系统的环境变量的提取及评价方法研究的基础之上 提 出了一种符合实际需要的支持环境变量感知的存储系统 此外 还根据对环境变 量参数的分析 以及对服务质量评价的研究 将归一化计算应用于其中 提出一 种性能评价方法和策略 并利用环境变量感知和性能评价方法及策略的理论设计 了一个演示系统 以使提出的理论得到实施与验证 本文的主要研究内容如下 1 研究在环境变量感知的存储系统中对动态变化的环境变量的实时监测 包 括对存储服务请求的监测和对存储环境变量的监测 2 研究动态变化存储环境下的存储环境变量参数评价的方法与策略 3 研究如何根据动态变化存储环境下的综合性能评价结果来选择存储设备 并进行数据存储 4 完成原型系统的分析与设计 并实现服务感知功能 存储环境变量参数感 知功能 性能评价策略及存储选择功能和存储功能 5 通过实验验证本文提出的方法和策略 对存储设备选择及服务进行分析和 评价 关键词 存储系统 环境变量感知 归一化计算 权重策略 英文摘要 A B S TR A C T T h ed a t a a si n f o r m a t i o ni nc o m p u t e rs y s t e m st h a te x i s ti nt h ef o r m h a sb e c o m e m o r ea n dm o r ei m p o r t a n tf o re n t e r p r i s e s u n i t sa n di n d i v i d u a l s I ti st h eb a s i sf o r d e c i s i o n m a k i n ga n dt h ei n t a n g i b l ea s s e t s T h ed a t aa l s oh a sh i g ha c c u r a c y q u i c k d e l i v e r ya n dS Oo n I tg r e a t l yi n c r e a s e se f f i c i e n c ya n dp r o d u c t i v i t y S t o r a g es y s t e ma sa d a t ac a r r i e rh a sh i g hr e l i a b i l i t y h i g ha v a i l a b i l i t y h i g hp e r f o r m a n c e e a s ym a i n t e n a n c e e a s ym a n a g e m e n t o p e na n dd y n a m i cs c a l a b i l i t y S O i tb e c o m e sm o r ea n dm o r e i m p o r t a n ta sap l a t f o r mf o rl o n g t e r m s a f es t o r a g eo fd a t a F o rs t o r a g es y s t e m s t h ec h a n g e so ft h es t o r a g ee n v i r o n m e n tv a r i a b l ew i l lh a v ea h u g ei m p a c to nt h ep e r f o r m a n c eo fs t o r a g es y s t e m s T h e s ef a c t o r sc a na f f e c tt h eq u a l i t y o fs t o r a g es e r v i c e s d a t as t o r a g es t r a t e g i e sa n dp r a c t i c e s a n dm a n a g e m e n to fd a t aa n dS O o ni nv a r y i n gd e g r e e s d i f f e r e n ta s p e c t s T h i sp a p e r b a s e do nt h er e s e a r c ho ft h ee x t r a c t i o na n de v a l u a t i o nm e t h o d sf o rt h e e x i s t i n gs t o r a g es y s t e me n v i r o n m e n tv a r i a b l e s p r o p o s e sas t o r a g es y s t e mt h a ta c c o r d e d w i t ht h ea c t u a ln e e d so ft h es u p p o r te n v i r o n m e n tv a r i a b l e s a w a r e I na d d i t i o n t h i s t h e s i sa l s oa n a l y z e st h ee n v i r o n m e n tv a r i a b l ep a r a m e t e r s r e s e a r c h e so nt h ee v a l u a t i o n o fs e r v i c eq u a l i t y h a n d l e st h en o r m a l i z a t i o nc o m p u t i n ga n dp r o p o s e sap e r f o r m a n c e e v a l u a t i o nm e t h o d sa n d s t r a t e g i e s T h e n i tu s et h e t h e o r y o fe n v i r o n m e n t v a r i a b l e s a w a r ea n dp e r f o r m a n c ee v a l u a t i o nm e t h o d sa n d s t r a t e g i e sd e s i g n a n d i m p l e m e n tap r o t o t y p es y s t e mt oe n a b l et h et h e o r yp u ti np r a c t i c ea n dv e r i f y T h em a i nc o n t e n to ft h i sp a p e ra r ea sf o l l o w s 1 R e s e a r c ho nd y n a m i cr e a l t i m em o n i t o r i n go fe n v i r o n m e n tv a r i a b l e si n s u p p o r t i n ge n v i r o n m e n tv a r i a b l e s a w a r es t o r a g es y s t e m I ti n c l u d e st h ed e t e c t i o no ft h e r e q u e s to fs t o r a g es e r v i c e sa n dt h es t o r a g ee n v i r o n m e n tv a r i a b l e 2 S t u d yo nt h ee v a l u a t i o nm e t h o da n ds t r a t e g yo ft h es t o r a g ee n v i r o n m e n tv a r i a b l e p a r a m e t e r si nd y n a m i cc h a n g eo ft h es t o r a g ee n v i r o n m e n t 3 E x a m i n eh o wt os e l e c tt h es t o r a g ed e v i c e sa n ds t o r a g ed a t aa c c o r d i n gt ot h e r e s u l t so ft h ec o m p r e h e n s i v ep e r f o r m a n c ee v a l u a t i o ni nt h ed y n a m i cc h a n g e so ft h e s t o r a g ee n v i r o n m e n t 4 A n a l y z ea n dd e s i g nap r o t o t y p es y s t e m T h i ss y s t e mr e a l i z e st h ef u n c t i o n so f s e r v i c e a w a r e a p p e r c e i v i n gs t o r a g ee n v i r o n m e n tv a r i a b l ep a r a m e t e r s s t r a t e g i e s o f 英文摘要 p e r f o r m a n c ee v a l u a t i o na n ds t o r a g eo p t i o n s a n dd a t as t o r a g e 5 V a l i d a t et h em e t h o d sa n ds t r a t e g i e si n t h i sp a p e rt h r o u g ht h ee x p e r i m e n t A n a l y s i sa n de v a l u a t et h ec h o i c eo fs t o r a g ed e v i c e sa n ds e r v i c e s K e yW o r d s S t o r a g eS y s t e m E n v i r o n m e n tV a r i a b l e s A w a r e N o r m a l i z a t i o n C o m p u t i n g W e i g h tS t r a t e g y 支持环境变量感知的存储系统研究 第1 章绪论 1 1 课题的研究背景 世界已变得相当错综复杂 能够有效地收集 管理和解释信息的人们和组织 机构会处于有利的地位f l C o n t i n e n t a l 航空公司的情况就很好的说明了我们的观 点 在十多年以前 C o n t i n e n t a l 公司严重地陷入了困境 在美国各航空公司排行榜 上 其航班正点率 行李安排率 客户投诉处理率和机位超售率等方面均排倒数 第一 甚至推测C o n t i n e n t a l 公司不得不第三次提出破产申请 在此之前的最后l O 年中 C o n t i n e n t a l 公司走马灯似地更换了1 0 届C E O 而在有效地收集 管理和解 释C o m i n e n t a l 公司的数据和信息后 C o n t i n e m a l 航空公司大大改善了它所面临的 情况 今天的C o m i n e n t a l 公司已成为最受人推崇的全球航空公司之一 在美国 财 富 杂志评出的2 0 0 4 年度和2 0 0 5 年度 全球最受推崇的公司 名单中 C o n t i n e n t a l 赢得了 全球最受推崇的航空公司 之称 在2 0 0 4 年度O A G 最佳航空公司评选 活动中 C o n t i n e n t a l 航空公司荣获 年度最佳航空公司 北美最佳航空公司 和 最佳商务舱 等多个大奖 C o n t i n e m a l 航空公司的总裁和C O O L a r r yk e l l n e r 先生对于发生以上惊人的变 化做出了如下的解释 实时使用商业智能是C o n t i n e m a l 转变当中的重要因素 而 这其中数据信息是制胜的法宝 实现实时的和 活动的 数据存储已经对公司的 业务战略 大大改善客户服务和运营 节约成本以及增加收入等方面起到了支持 作用 就在1 1 年以前 如果涉及到多个机场 则C o m i n e n t a l 航空公司甚至不能跟 踪乘客的旅行路线 如今 负责旅客事务的员工知道 如果高价值客户的旅行目 前J 下面临延误 则客户将在哪罩到达机场和什么时候到达 以及客户必须走哪个 门才能赶上下一程航班 如果高价值客户在C o m i n e n t a l 航空公司遇到了旅途延误 则他们会收到一封道歉信 有时还会成为 总裁俱乐部 的试用会员 C o n t i n e n t a l 公司的转变基于它的优质客户服务的企业文化和有效的使用信息 对于数据信息的有效使用可以使我们获得支持任何业务战略的能力 因此 财政 销售或者客户服务问题几乎能够一经提出便得到回答 从而会加深满意度 因此 我们足以发现 数据确实很重要 而作为数据信息的载体的存储系统更是具有极其重要的意义 综观I T 发展史 第1 章绪论 数字技术已有过两次发展浪潮 第一次是以处理技术为中心 以处理器的发展为 核心动力 产生了计算机工业 特别是P C 工业 促使计算机迅速普及和应用 第 二次是以传输技术为中心 以网络的发展为核心动力 通过互联网 人们无论在 何处都可以方便地获取和传递信息 这两次浪潮极大地加速了信息数字化的进程 越来越多的信息活动转变为数字形式 使数字化信息爆炸性增长 从而引发了数 字技术的第三次浪潮一存储技术浪潮 2 实际上 数字技术在任何时候都是处理 传输和存储技术的三位一体 缺一不可 数据存储技术一直都在发展与进步 但 它一直在后台 被处理技术和网络技术的光辉所掩盖 现在它终于走上了前台 成为数字化舞台的主角之一 因为存储系统具有高可靠性 高可用性 高性能 易维护性 易管理性 开放性和动态可扩展性 所以作为长久 安全存放数据的 平台越来越受到人们的重视1 3 对于存储系统 其存储环境变量变化对存储系统的性能会产生很大的影响 存储环境是指影响存储系统的关键因素 它实际上包括存储设备 互联拓扑 服 务需求以及灾难异常等的频繁变化 这些因素都能在不同方面上影响服务质量 数据存储策略和方式 以及对数据的管理方法等等 现有存储技术被动的响应模式不能适应存储环境动态变化的要求 一般根据 存储节点的类型 容量等静态统计信息 提前给某个应用划分存储资源和配置 这种存储服务管理比较简单 但是当存储环境发生变化时 就不能很好的及时适 应这种变化 因此我们采用的是能够实时感知存储环境变化 并根据这种动态变 化选择存储设备的存储服务模式的系统 它能够大大提高存储的服务性能和整体 效用 1 2 国内外研究现状 智能存储 4 1 的概念起源于加州大学伯克利分校的I S T O R E 项目 主要思想是在 每个硬盘上都装有处理器 使其具有一定的智能 每个驱动器上还装有各种传感 器 用以感知驱动器的状态 整个存储系统由上百个这样的智能硬盘组成 其中 有大量冗余 在工作过程中 硬盘可监测自身的状态 一旦发现有可能发生故障 就将数据和任务转移到冗余的硬盘中 将故障消灭在萌芽状态 并向管理员报告 可能的故障 直接换上一个新盘即可 在整个过程中 系统的运行几乎完全不会 支持环境变量感知的存储系统研究 被中断 具有极高的可用性和可维护性 而今 智能存储概念的内涵也比这个例 子更加广泛 如可根据负载的大小和特点自动调整带宽和R A I D 级别 感知多个用 户的存储需求后自动分配存储资源等等 现有存储技术其被动的响应模式不能适应存储环境动态变化的要求 其一般 根据存储节点的类型 容量等静态统计信息 提前给应用划分存储资源和配置 这种存储服务管理比较简单 但是当存储环境发生变化时 就不能很好的及时适 应这种变化 不能根据应用特征及用户服务定制来提供最佳存储服务 为了给用户提供不问 断的存储服务 需要在整个存储池调配资源 提供服务漫游 即无法根据用户服 务需求的改变 自动实现服务的自主发现 自主检索和自主绑定 也不能改变静 态分配存储资源的方法 实现存储资源和存储访问的双向自动最佳匹配 从而就 无法适应服务需求个性化 存储资源和互联拓扑异构及其频繁高速改变的趋势 特别是当服务改变 存储和互联设备更新换代时 更增加了系统的复杂度 1 3 论文的主要内容 通过对大量相关的硕博论文以及中英文参考文献的阅读和学习 熟悉并了解 现有的存储系统的环境变量的提取及评价的方法 提出一种符合实际需要的支持 环境变量感知的存储系统 此外 根据对环境变量参数的分析 以及对网络存储 服务质量评价的研究 将归一化计算应用于其中 建立一种性能评价模型 并利 用环境变量感知和性能评价模型的理论设计一个演示系统 具体来说本文主要包括以下几个方面的内容 1 研究在环境变量感知的存储系统中对动态变化的环境变量的实时监测 包括对存储服务请求的监测和对存储环境变量的监测 2 研究动态变化存储环境下的存储环境变量参数评价的方法与策略 3 研究如何根据动态变化存储环境下的综合性能评价结果来选择存储设备 并进行数据存储 4 完成原型系统的分析与设计 并实现服务感知功能 存储环境变量参数 感知功能 性能评价策略及存储选择功能和存储功能 第1 章绪论 5 通过实验验证本文提出的方法和策略 对存储设备选择及服务进行分析 和评价 1 4 论文的组织结构 根据论文的内容要求 本文的章节安排如下 第1 章绪论 主要介绍本文的研究背景 国内外现状 主要内容和论文组织 结构 第2 章存储系统 主要介绍存储系统的技术特点 载体属性 社会需要 发 展趋势 存储系统的组成以及各种网络存储系统的体系结构 第3 章环境变量感知 主要介绍了感知环境变量的意义 需要提取哪些环境 变量参数 分别建立了服务感知参数体系和存储环境感知参数体系 并对每个参 数体系进行了详细的分析 以及如何提取环境变量 即对提取策略的分析 第4 章存储环境变量参数评价方法与策略 首先描述感知环境变量所得到的 数据 通过对网格中的Q o S 服务质量的介绍来引入存储系统的Q o S 服务质量的概 念以及运算过程 运用归一化的方法对属性矩阵进行计算 设计了权重策略矩阵 来衡量存储系统的综合性能 最终实现满足服务请求的最优化存储选择 第5 章原型系统设计与实验 主要包括开发配置环境的相关介绍 系统总体 设计 以及核心模块的设计 服务感知模块 存储环境变量感知模块 性能评价 策略及存储选择模块 以及实验内容及结果分析 第6 章总结与展望 总结本文的主要工作 并对未来的工作进行展望 支持环境变量感知的存储系统研究 第2 章存储系统 随着各行各业信息化建设的推进 信息技术在社会生活各个角落中广泛应用 人们逐渐认识到各种应用的核心都是数据 数据是企业最重要的并且在不断增长 的财富 如何在确保数据安全的同时 提高数据的高可用性 这个问题已经摆在 广大用户和厂家面前 而且随着宽带通信技术和I n t e r n e t 应用在我国的不断普及和 发展 爆炸性增长的海量信息对于数据存储载体和数据管理技术都提出了更高的 要求 因此存储系统的重要作用也慢慢展现出来 它的性能的优劣直接影响了服 务的质量以及关键问题的决策等等 存储系统的发展也经历了从单一存储设备 磁 盘 磁带 R A I D 直接存储剑网络存储系统的发展历程 5 1 2 1 存储系统概述 存储系统包括两部分 一部分放置在计算机系统内 一般以局域总线与C P U 连接 除主存外还包括一级或二级高速缓存 它的存储容量较小 而速度很高 另一部分则放置在汁算机系统之外 以外部设备总线连接 它包括直接存取的存 储器与后援存储器 它的存储容量很大 而速度相对较低 6 大容量存储系统 如 磁盘阵列 R A I D 网络存储 N A S 存储局域网 S A N 已具有相对主机 的独立性 并且它本身也包括了C P U C a c h e 和M a i nM e m o r y 在技术上将包括 计算机的内存系统 2 1 1 技术特点 信息以数据为载体 对于计算机和网络而言 信息存储就是指二进制数据的 存储 任何能表示和保持两种不同状态的物理现象都可以用于二进制数据的存储 例如 触发器的两种状态 不同极性的磁化翻转 金属材料的不同会相组织 磁 电阻的不同磁化状态 不同折射率的光反射 甚至是表面的凹凸形状都能用于二 进制数字的存储 目前广泛应用的是半导体存储器 7 1 磁盘存储器和光盘存储器 并由它们组成存储系统 信息存储是多学科交叉研究的领域 就其整体而言 它包括原理 器件 设 备 系统和应用五个层面 存储器的原理和物理特性主要体现在媒体 介质 和 器件之中 因涉及的物理现象不同 各种存储器的特性大相径庭 例如 以大规模 第2 章存储系统 集成电路工艺将大量的相同功能的存储单元电路组成阵列 加上外围控制电路所 构成的芯片 它的存储媒体是单元电路 读 写操作和地址译码则通过外围电路 实现 因此显示出速度快 容量小 可随机读取 每位信息存储的价格高等特性 以表面溅射磁性薄膜的磁盘做媒体 用磁头 M R G M R 及读写电路读写 通过 机械装置寻找存储单元的磁盘存储系统则显示出速度慢 容量大 可直接存取 每位信息存储的价格低等特性 磁盘存储与光盘存储有许多类似之处 但他们的 存储机理相去甚远 前者以每次磁化翻转来存储一位信息 因而速度快 翻转密 度 记录密度 高 但因需要一定的磁道宽度以便提供一定的回答信号 因而道 密度不高 后者用微小的光斑改变存储媒体的光学性质以记录一位信息 因需积 聚一定的热能而使速度不快 但其光斑的直径极小 故能获得极高的道密度 而 位密度则不及磁化翻转可能做到的程度 两者在特性上存在诸多差别 所以磁盘 存储器可作为直接存取存储器 而光盘存储器只能作为计算机的后备存储 存储 机理及其密切相关的媒体和读写磁头往往依赖物理学和其他学科为基础 存储系统无论是系统结构和组成的软硬件 或是采用的算法和调度策略都与 计算机系统极其相似 存储系统的应用则遍布计算机 通信等许多方面 因此 存储设备 存储系统及其应用技术的研究建立在计算机科学技术的基础之上 并 成为计算机科学技术的一个重要分支 2 1 2 载体属性 信息的载体是多种多样的 从传输和存储的角度看 可以概括为模拟的与数 字的两类 现今存取的载体大多是数字信息 在计算机科学技术领域中 数据是指具有离散值的数或符号 而信息则是这 些具有离散值的数和符号所包含的意义 可见数据的性质和功能与信息有一定的 关系 通常数据有以下的性质和属性 独立性数据是独立的实体 它是自由存在的 不属于任何特定的系统 它像 有价证券和珍藏的书卷 匦卷一样 也是一种独立的资产 并可供社会共同享用 价值的相对性数据是有价值的 其价值与所载信息相关 但其相对性很难精 确地确定 例如 一份因特网语音压缩 解压缩的源代码 一个实时操作系统或 一个丌发系统 它们的定价是明确的 但是在网上发布的一份资料 或是系统中 支持环境变量感知的存储系统研究 的数据 它的价值则是不确定的 除此之外 有些数据或是病毒 则不仅无益 反而十分有害 流动性数据在网上是可以流动的 流动时它所显示的特性如同流体一样 可 以用速度和流量等指标来衡量 例如 对于音 视频数据流 可以用数据传输率 帧频 传输字节数等参数来衡量 可重用性数据可以重复使用 可以拷贝 可以多次读取 如同一份书面资料 一样可以复印 可以多次翻阅 甚至可以同时提供给多处使用 数据的这些性质和功能对数据的存储也有很大的影响 为满足或发挥这些性 能 要求数据存储系统具有独立 共享 大容量 高速度 容错 拷贝和迁移等 等功能 为使数据有序地存储和被用户使用 它的特性常以一定的格式予以标识 例 如 对于一组数据 标识了它的记录长度 记录格式 数组名称 存储设备的类 型 媒体的类型 数据产生的同期等等信息 也有人称这类标识为数据的属性 由于数据具有上述性质和功能 因而对数据的需求十分广泛和迫切 由此导 致对存储系统的需求也与同剧增 2 1 3 社会需求 对存储数据需求是十分广泛的 就像人们需要容器装载物质和需要纸张记录 文字一样 需要存储设备来存储数据 而且对容量和速度的要求也越来越高 2 0 世纪8 0 年代中期 天气预报和大型科学计算所需要的容量不过1 G B 级 运行速度 也较低 约为1 G f l o p s 时至今同 有关人类基因 全球气候变化 各种科学计算 等挑战性问题需要的内存的容量远远超过1 T B 运算速度也远大于1 T f l o p s I O 带宽也要求在T B 左右 即所谓计算机系统的 3 T 性能指标 因此 对外存储系 统也提出了相应的要求 音频 视频文件 电视的非线性化编辑 电视台的电视播放 这些需要的存 储空间都是非常大的 并且对数据传输率以及清晰程度都有很高的要求 这就成 为存储系统追求高速度 大容量的重要原因之一 另一方面 网络技术的发展 使得在网上流动的数据量增大 数据来自连接 在网上的数据源 也就是来自数据存储系统 通常网上的数据源包括 分布式数 第2 章存储系统 据库 文件服务器 W E B 服务器等等 尤以E m a i l 和I n t e r n e t 文件传输的数据量 最大 此外 一些公司发布 更新软件的信息量也很庞大 基于数据安全和使用 方便的目的 人们通常一再备份 因而耗费的存储空间非常之多 这也是推动存 储系统不断发展的一个重要原因 科学计算和仿真 如卫星数据采集 雷达信号数字化 深海激光探测 气候 模型判断与比较 飞行动力学 超导建模 核爆炸仿真和虚拟现实等等 所需的 存储容量更是大到惊人的程度 也许这些领域的需求将成为存储系统科技工作者 们积累毕生精力也难以满足的 2 1 4 发展趋势 近年来 存储设备特别是磁盘存储器的容量成百倍地增加 存取速度也提高 了近一个数量级以上 存储容量从每台驱动器的2 7 0 M B 增加到了3 0 0 G B 增加了 11 0 0 倍 磁盘转速 它影响了旋转等待时间和数据传输率 从3 6 0 0 r p m 提高到了 1 0 0 0 0 r m p 甚至1 5 0 0 0 r m p 提高了近三倍 数据传输率也显著提高 以S C S I 8 S m a l lC o m p u t e rS y s t e mI n t e r f a c e 接口为例 峰值数据传输率从5 M B s 异步传输 提高到了3 2 0M B s 甚至6 4 0M B s 的总线适配器 磁盘驱动器的性能的大幅提 升主要源于使用了磁电阻 M R 和巨磁电阻 G M R 磁头 以及局部响应最大似 然 P R M L 通道技术 9 存储系统之所以将长期存在的理由有以下几点 第一 任何一种存储设备 当其接入计算机 服务器或直接接入网络时 必 须具有适配器和控制器 并由计算机 服务器或网络中的系统软件通过设备驱动 程序的操作才能对数据进行存取 而计算机 服务器或网络的种类十分繁杂 其 中的操作系统和总线结构又多种多样 因此接口适配器和控制器十分复杂 在数 据的存储过程中 只有由这些软件 硬件组成的系统在性能上与存储设备同步发 展 才能收到相得益彰的效果 第二 某些功能 如镜像 容错 抗毁 拷贝 迁移 增速等 只有在系统 中才能有效的实现 当然 也有的单台存储设备也具有这些功能 例如具有可将 数据直接拷贝到光盘的磁盘驱动器 具有自管理能力 面向对象存储 O B S 的 磁盘驱动器 它利用文件属性进行属性管理 能实现纠错 分配存储空问 备份 支持环境变量感知的存储系统研究 镜像 复制 数据迁移等诸多功能 基于网络连接安全装置 N A S D 的智能磁盘 驱动器等等 但是 这些设备的形成主要是嵌入了由系统实现的功能 将系统与 设备集成为一种产品的结果 并非取代了系统本身的工作 历史上 为了充分利 用驱动器上微处理器的富余功能 曾将接口 控制器和驱动器三者合在一起 目 前的市售磁盘存储器就是三者相结合的产品 今后仍将出现各种不同功能的存储 设备 它们之中嵌入了许多系统的功能 以满足用户的需要 第三 由于数据的独立性 存储设备与访问它的计算机是分离的 计算机与 存储设备将沿着各自的目标发展 两者之间的性能差距和联连接方式主要由存储 系统来处理 通过存储系统既可以弥补差距 又能规范存储设备与计算机 或网 络 的连接 从这个意义上看 介于计算机与存储设备之间的管理 连接和控制 的系统是将永恒存在的 第四 虽然存储器的容量有大幅的增长 但是对容量与速度的需求也同益增 长 但当需求的容量超过单台设备的容量 要求的数据传输率超过单台设备的数 据传输率时 或是存储设备处于分布式状态时 只有采取组成存储系统的形式才 能提供具有单一I O 空间的数据存储 目前 存储技术中的通道技术 并行存储技术 网络存储技术以及智能化都 是研究的热点 其追求的目标不外乎扩大存储容量 提高存取速度 保证数据的 完整性和可靠性 加强对数据 文件 的管理和组织 因此在系统结构上反映出 以下一些特点 独立性系统的独立性表现在两个方面 一是降低对主机的依赖 通过各种接 口与各种形式的主机相连 实现开放的体系结构 二是允许不同厂商 不同品种 和不同规模的设备接入系统 只要符合接口协议便可 即实现与设备无关的结构 特性 独立性还有其更新的含义 既然数据被看作重要的财富 而且要求提供频 繁的访问 从网络存储角度考虑 对数据的存取又要具有通信的信息短 传输的 数据量大且连续的时间长等特点 因此宜于使专用的后端网络从数据的前端网络 独立出来 由此 信息存储的独立性便对系统结构产生了巨大的影响 可扩展性存储系统的可扩展性主要是指容量的扩展 但是 简单地增加容量 不是可扩展性的最佳体现 应当是在扩展容量的同时其他性能也得到提高或是不 至于降低 即可扩展性也应包括与存储相关的其他性能的扩展 第2 章存储系统 并行性并行性反映在两个方面 多个独立的请求可由一组磁盘驱动器并行服 务 减少I O 请求的队列等待时间 从而提高系统的吞吐率 大块数据的请求可划 分为多块 由多台磁盘驱动器共同服务 从而提高系统的数据传输率 并行性还 表现在数据的检测 纠错处理和数据的恢复等方面 实时性实时响应是所有存储系统的重要性能 除了硬件的系统结构 器件性 能之外 采用嵌入式实时操作系统对读写要求做最优化的调度和管理是大幅度提 高系统速度的重要措施 软件的实时化技术无疑对存储系统的性能改进有重要的 意义 可靠性由于数据是非常珍贵的财产 丢失后将是无法挽回和弥补的 因此系 统一定要有很高的可靠性 而且为了提高其利用率 使用会非常频繁 可能在某 些应用中要求不问断的存取 因此 其系统结构要考虑到这些特点 保证其具有 极大的可靠性 可维护性存储系统的价格是相当昂贵的 它是服务器价格的1 3 倍 因此维 护的难易程度是用户评价的重要指标 在线维护的方式 即允许在线更换己被损 坏的磁盘驱动器 并能一边继续工作一边维护数据 这种方式很受用户的欢迎 提供备份盘 S p a c e 盘 的方式 即当磁盘驱动失效时 备份盘立即投入使用替代 失效的盘来进行数据重建 这种方式能够自动地维护系统的可靠工作 此外 单 一板卡式的设计可使系统结构紧凑 装卡方便 牢靠 但是它的任何一处微小的 故障 可使整个系统报废 造成用户的全部投资丧失 分板的集成方式可以减轻 损失的程度 但也存在其它的缺点 共享性系统 网络 提供多个接口 并与多台主机 服务器 连接 达到所 有存储的信息被共享的目的 系统结构会对共享性和可扩展性产生很大的影响 智能性存储系统在很多方面具有智能性 比如说O B S 磁盘系统 N A S D 磁 盘系统等等 自适应存储系统通过自动获取存储设备数据的分布状况 实现I O 负 载与设备状况的自动匹配 这也是智能性的具体体现 若赋予存储系统以上特性 就会派生出很多的高性能存储系统 这是现在研 究的热点 也是未来发展的趋势 支持环境变龉感知的存储系统研究 2 2 存储系统的组成 存储系统是由若干个容量 速度和价格相同或是不同的存储器构成的系统 设计一个容量大 速度快 成本低的存储系统是计算机发展的一个重要课题 1 0 1 存储系统和存储器是两个不同的概念 下面首先介绍各种不同用途的存储器 然后讨论它们是如何构成一个存储系统的 2 2 1 存储器分类 1 按存储器在计算机系统中的作用分类 1 高速缓冲存储器 高速缓冲存储器用来存放正在执行的程序段和数据 高速缓冲存储器的存取 速度可以与C P U 的速度相匹配 但存储容量较小 价格较高 2 主存储器 主存用来存放计算机运行期间所需要的程序和数据 C P U 可直接随机地进行 读 写访问 3 辅助存储器 辅助存储器用来存放当前暂不参与运行的程序和数据 以及一些需要永久性 保存的信息 辅助存储器设在主机外部 C P U 不能直接访问它 辅助存储器中的 信息必须通过专门的程序调入主存后 C P U 才能使用 2 按存取方式分类 1 随机存取存储器R A M C P U 可以对存储器中的内容随机地存取 C P U 对任何一个存储单元的写入和 读出时间是一样的 即存取时间相同 而与其所处的物理位置无关 2 只读存储器R O M R O M 可以看作R A M 的一种特殊形式 其特点是 存储器的内容只能随机读 出而不能写入 这类存储器常用来存放那些不需要改变的信息 3 顺序存取存储器S A M S A M 的内容只能按某种顺序存取 存取时间的长短与信息在存储体上的物理 位置有关 所以S A M 只能用平均存取时间作为衡量存取速度的指标 4 直接存取存储器D A M 第2 章存储系统 D A M 既不像R A M 那样能随机地访问任何一个存储单元 也不像S A M 那样 完全按顺序存取 而是介于两者之间 当要存取所需的信息时 第一步直接指向 整个存储器中的某个小区域 第二步在小区域内顺序检索或等待 直至找到目的 地后再进行读 写操作 3 按存储介质分类 1 磁芯存储器 采用具有矩形磁滞回线的磁性材料 利用两种不同的剩磁状态表示 l 或 0 磁芯存储器的特点是信息可以长期存储 不会因断电而丢失 但磁芯存 储器的读出是破坏性读出 即不论磁芯原来存的内容为 O 还是 l 读出 之后磁 卷的内容一律变为 0 2 半导体存储器 采用半导体器件制造的存储器 主要有M O S 型存储器和双极型存储器两大类 M O S 型存储器集成度高 功耗低 价格便宜 存取速度较慢 双极型存储器存取速 度快 集成度较低 功耗较大 成本较高 半导体R A M 存储的信息会因为断电而 丢失 3 磁表面存储器 在金属或塑料基体上 涂上一层磁性材料 用磁层存储信息 常见的有磁盘 磁带等 由于它的容量大 价格低 存取速度慢 故多用作辅助存储器 4 光存储器 采用激光技术控制访问的存储器 一般分为只读式 一次写入式 可读写式3 种 它们的存储容量都很大 是目前使用非常广泛的辅助存储器 4 按信息的可保存性分类 断电后 存储信息会随之消失的存储器 称为易失性存储器 断电后信息仍 然保存的存储器 称为非易失性存储器 如果某个存储单元所存储的信息被读出时 原存信息将被破坏 则称破坏性 读出 如果读出时 被读单元原存信息不被破坏 则称非破坏性读出 具有破坏 性读出的存储器 每当一次读出操作之后 必须紧接着一个重写 再生 的操作 以便恢复被破坏的信息 支持环境变量感知的存储系统研究 2 2 2 存储系统层次结构 为了解决存储容量 存取速度和价格之间的矛盾 通常把各种不同存储容量 不同存耿速度的存储器 按一定的体系结构组织起来 形成一个统一的存储系统 1 多级存储层次 多级存储层次 从C P U 的角度来看 n 种不同的存储器 M I M n 在逻辑上 是一个整体 其中 M l 速度最快 容量最小 位价格最高 M 速度最慢 容量最 大 位价格最低 整个存储系统具有接近于M l 的速度 相等或接近M 的容量 接近于M 的位价格 在多级存储层次中 最常用的数据在M l 中 次常用的在M 2 中 最少使用的在M 中 多层存储层次如图2 1 所示 r 一一一一一一一一一一 存储层次 C P U M 2 7 I I M n J 图2 1 多级存储层次 F i g 2 1M u l t i l e v e ls t o r a g eh i e r a r c h y 2 C a c h e 主存存储层次 C a c h e 存储系统 C a c h e 存储系统是为解决主存速度不足而提出来的 从C P U 看 速度接近 C a c h e 的速度 容量是主存的容量 每位价格接近于主存的价格 由于C a c h e 存储 系统全部用硬件来调度 因此它对系统程序员和应用程序员都是透明的 C a c h e 主存存储层次如图2 2 所示 第2 章存储系统 幽2 2C a c h e 存储系统 F i g 2 2C a c h es t o r a g es y s t e m 3 t 存一辅存存储层次 虚拟存储系统 虚拟存储系统 是为解决主存容量不足而提出来的 从C P U 看 速度接近主 存的速度 容量是虚拟的地址空间 每位价格是接近于辅存的价格 山于虚拟存 储系统需要通过操作系统来调度 因此对系统程序员是不透明的 但对应用程序 员是透明的 主存一辅存存储层次如图2 3 所示 图2 3 虚拟存储系统 F i g 2 3V i r t u a lm e m o r ys y s t e m 2 3 各种网络存储系统的体系结构 在以数据为l f I 心的信息时代 存储已成为I T 基础设施的核心之一 数据存储 已经成为继互联网热潮之后的又一次技术浪潮 它将网络带入了以数据为中心的 时代 I 于近年来C S 计算模型的广泛采用 服务器都带有自己的存储系统 信息 分散到各个服务器上 形成了所谓的 信息孤岛 不利于信息整合与数据共享 而嘲络存储就是一种利于信息整合与数据共享 且易于管理的 安全的新型存储 结构和技术 目前 网络存储已经成为一种新的存储技术 本文将从体系结构的 角度简述目前的各种网络存储系统 直接连接存储D A S 支持环境变量感知的存储系统研究 直接连接存储D A S l 列 D i r e c tA t t a c h e dS t o r a g e 是对S C S I 总线的进一步发展 它对外利用S C S I 总线通道和多个主机连接 解决了S C S I 卡只能连接到一个主机 上的缺陷 对内利用S C S I 总线通道或F C 通道 I D E 接口连接多个磁盘 并实现 R A I D 技术 形成一个磁盘阵列 从而解决了数据容错 大存储空间的问题 D A S 是以服务器为中心的存储体系结构 难以满足现代存储应用大容量 高 可靠 高可用 高性能 动态可扩展 易维护和开放性等多方面的需求 解决这 一问题的关键是将访问模式从以服务器为中心转化为以数据和网络为中心 实现 扩展容量 增加性能和延伸距离 尤其是实现多个主机数据的共享 这推动了存 储与计算的分离 即网络存储的发展 直接连接存储D A S 的体系结构如图2 4 所示 第2 章存储系统 图2 4D A S 体系结构图 F i g 2 4D i a g r a mo f D A Sa r c h i t e c t u r e 网络附属存储N A S N A S 嵋J 附网存储系统 系统是用一个装有优化的文件系统和瘦操作系统的 专用数掘存储服务器 提供跨平台的文件共享功能 N A S 产品与客户之间的通讯 采用N F S N e t w o r kF i l eS y s t e m 协议 C I F S C o m m o nI n t e m e tF i l eS y s t e m 协议 这 些协议运行在I P 之上 尽管N A S 集成了系统 存储和网络技术 具有扩展性强 使用与管理简单 支持环境变避感知的存储系统研究 跨平台文件共享 性能优化等特点 然而 N A S 系统也有其潜在的局限性 首先 是它受限的数据库支持 N A S 文件服务器不支持需大量依赖于数据库处理结果的 应用 块级应用 其次是缺乏灵活性 它是一种专用设备 最后 N A S 备份与恢 复的实现相当困难 网络附属存储N A S 的体系结构如图2 5 所示 图2 5 N A S 体系结构图 F i g 2 5D i a g r a mo fN A Sa r c h i t e c t u r e 存储区域网S A N S A N 1 4 存储区域网 是通过专用高速网将一个或多个网络存储设备 如磁 盘阵列R A I D 和服务器连接起来的专用存储系统 S A N 以数据存储为中心 采用可伸缩的网络拓扑结构 提供S A N 内部任意节 点之间的多路可选择的数据交换 并且将数据存储管理集中在相对独 矗的存储区 域网内 实现最大限度的数据共享和数据优化管理 以及系统的无缝扩充 J 下是 由于光纤通道技术的发展 l5 1 使得S A N 得以支持远距离通信 易于扩展 能够解 决网络数据的存储备份 高可用性 灾难恢复等有关问题 它可以提供高性能数 据管道和共享的集中管理的存储设备 因此采用网络和通道技术相互融合的光纤 通道接口的S A N 将L A N 上的存储转换到主要由存储设备组成的专用网络上 使 第2 章存储系统 得数据的访问 备份和恢复不影响L A N 的性能 在大量数据访问时 不会大幅度 降低网络性能 S A N 主要用于存储量大的工作环境 并且S A N 的适用性和通用性较差 在系 统的安装和升级方面效率不高 且由于S A N 使用专用网络 一般为光纤网络 相应的设备价格昂贵 总体实现费用较高 局限于大中型应用 N A S 和S A N 技术都体现了数据存储从传统的服务器中独立出来的思想 它们 是网络存储领域中的两个发展方向 随着N A S 和S A N 之间的界限越来越模糊 其中最重要的区别 I 叮能就是在N A S S A N 混合系统中所采用的协议了 I P 光纤通 道 或者i S C S l 等 存储区域网S A N 的体系