（计算机应用技术专业论文）个人网络磁盘系统服务器端的设计.pdf

捅要 摘要 个人网络存储系统具有一般的移动存储设备所不具备的优点，受到许多人的 欢迎。现有的个人网络存储系统不能满足企业内部的用户对存储的要求。本文所 要叙述的个人网络磁盘系统基于校园网，结合局域网虚拟磁盘和广域网w 曲存 储空间的优点，主要目的是为企业内部的用户提供一个大容量的、方便易用的网 络存储空间。 本文首先说明系统的总体设计，介绍了系统的体系结构、功能模块的划分及 其处理流程。个人网络磁盘系统的服务器端由存储子系统、存储服务、负载均衡 服务、登录服务等模块组成。本文将依次介绍该系统中这几个模块的设计，最后 介绍各模块之间接口的设计。 该系统需要几t b 甚至几十t b 的存储容量，传统的存储技术难于支撑这种 需求。本文说明了存储模型的演变及其存储技术的发展，通过对比分析各种存储 技术的优缺点，确定了本系统使用i s c s is a n 作为其存储基础设施。 存储服务的主要作用是响应客户端的数据读写请求，读写保存在i s c s is a n 中的用户数据。存储服务同时提供基于块和基于文件的两种数据存取功能以满足 不同的数据读写请求。除此之外，存储服务还要提供负载均衡接口，以实现存储 服务器集群的负载均衡和容错。 负载均衡服务提供两种负载均衡的功能。其一是在用户登录时，负载均衡服 务为用户尽量选择一台负载较小的存储服务器。其二是负载均衡服务能够统计各 用户对各个i s c s ls a n 虚拟卷的访问量，并根据这些统计信息和某种策略调整 用户数据的保存位置，最终达到存储服务器负载均衡的目的。 系统的登录服务是用户在登录系统前唯一能够访问的系统服务，登录服务负 责处理用户的身份认证并为登录的用户客户端选择一台合适的存储服务器。 使用块存取协议的客户端与存储服务使用t c m p 协议进行通信，本文详细 说明了这两个模块之间通信的数据包的结构及其含义。其他模块之间的通信一般 采用h ，r r p 及) 洲l 技术，以降低实现的难度并减小模块之间的耦合。 关键字：个人网络磁盘；存储区域网；i s c s i ；服务器端 a b s t r a c t i n d i v i d l l a li 咖o r ks t o r a g es y g l e mh 笛m 锄ya d m t a g 嚣l 量l a tt h eg e | 埘司p o m b l cs 蛔陋g e k i l i t i e sd on o th w e 卸d th 越b e e nv e i yp ( ) p u l a rw i t hm a l l yp e o p l e t h ee x i s t i n gi n d i v i d u a i 眦怕，o r ks t 辨s y s l 咖c a nn o tm e e tt h es t o r a g cr c q l l i 姗e m so f t l l o s ew h ow o r ki i la n t e f p r j s e t h ei n d v j d u a ln e 呐o r kd i s ks y s l e md e s c r j b e di nt h i sp a p 盯 w h i c hc 锄b i n 铬t 1 1 ca d v 卸c 纽g e so f v i m l a ld i s ko f l a n 锄dw 曲咖m g es p eo f w 气n ，诵l ls u p p l yu s e 鹉o f 锄e n t 州m s cw 陆粕 e 越yu s e ds 咖g es p ew 妯l a 唱pc 印a c 姆 t 1 1 ep a p e r 靠瞰l yd e s c r i b e sl l i ew h o l ed 髂i 驴o f t h cs y 咖i i l ，、v h i c hi 曲_ 0 d u c et 1 1 e h 沁c l t l l 嗡 t h ed i v i s i o no f 掉胁d i o nm o d u l e s 锄dt 1 1 ep r o c e s sn a wo ft h es y s t e m t h e c rs i d eo ft h e s y s t e mc o n s i s bo fas t o m g es u b s y s t 咖，as t c 帕g es e n ，i c c a 1 1 da1 0 画ns e r v i c e ，ai 士h 酊柚c i n g 鼬r v i c e ，e t c 1 1 l j sp 印e rw j l li n 打0 d u c et h ed 骼函o ft h es e v 刊m o d u l e sj nt 啪如d1 a s t l y m t r o d u c et l l ed e s j 印o f t l l ei n i e r f h c e s0 f t h e m o d u l e s t h es t 0 糟g ec a p a c 时o f 廿1 es y s t e mn e e d ss e v e r a lo re v m o r et l l 柚t e nt b s n e 仃a d i t i 仰a l 咖m g et e c l l i l o l o 科c 柚h a r d l ys u s t a i n st h j sr e q u i r e m e n t t l l i sp a p e ri n 仃们u c e st h ee v o ! l l t i o no f t h e 。 s t o 峨g em o d c l s 锄dd r a w sac o n c l 璐i o nt 1 1 砒u s i n gi s c s is a n l ob et h e 咖m g cs u b s y s t 锄t h r o u g l t i l e 锄a l y s i s 蛐dc 哪p 州s o no f j h ea d v 锄协g 鼯锄dd i s a d v a f l 乜驴so f t h es 妇a g et e c h n o l o g i e s t h em a j nn 删o no ft h es t 甜a g es 盯v i c ei sr e s p o n d i n g 也er e q u e s to fd a t aa c c e s sf l m mt t l e d i 咖锄d 瑚d j n go f 州t i n gt h e 啉e r s d a 诅s t o 陀di ni s c s is a n 1 1 1 es c o 肾s c j c es u p p 碰s d 刮aa c c e s sh a s e d b o mb l o c ka t 证矗l et om tt h ed i 仃b 托n tf c q u c s to f d a 协a c c e s s b e s i d e s t l l e s t o 忸g es e r v j s h m d da l s o 即v i d e 明i n t e r f k e o f l o a d - b a l 卸c i n g t oi m p l e m e n t 廿1 el o a d b a l 鲫c i n g 锄de 删a i b w a i 髓o f ac i u 姗o f s t c 憾g cs c 慨 t h el o a d b 幽眦；n gs e r v j c es u p p o mt w ol i n d so f1 0 a d - b a l a n c j n g o i sl d - b a l 蛐c i n go f t h es t o r a g es e r v e r sw h e nau r 1 0 9 si n 1 1 艟o t l l c ri st l l a ti tc 柚髓l c u l a t et l l ev i s j t j n gj 0 a d0 f e v c 叫 i s c s is a nv i m a lv o l u 瑚e 锄d 删u s tt h e 蝴脚a c eo f u s 哪d a t aa c c o r d 访gt ot h es t a t i s t i c 柚d e v e n t u a yt b es t o 甩g es e r v c r s 陀扯ht ol 傀d b a l 柚c i n g t h el o 垂ns e r v i c ei st h eo n l yo n et h a tau s e rc 锄v i s i tb e f o r ct h eu s e rl o g si nt h es y s t e m t h e s e r v i c ei sr e s p o n s b i ef o rau s e r sa u t h 朋t i c a t i o na 1 1 ds e l e c 吐n gas u i t 曲l es t o r a g cs e r v e rf o rt h e u s e r sc l i e n t t h ec l i e n tt l m lu s e st h ed m t o c o ib a s e d0 nb 1 0 c ka c c e s su s e st c p ，l pt oc o m m u n i c a t ew i t ht h e i i l 卧哪g c 鞭n ，e r t h ep a p e ri n 仃o d u st h e 栅c n l r 髂o ft i l ed a t ap k a 咎o ft 1 1 ec o i 加删呐训 b e t 坩e 啪璩t w o m o d l l l a n de x p l a i n s 缸m e 锄i n g s h t l ，柚d ) m 皿哪b f o a d 】y u s e d l ob e l l l e j 蝌霉f 矗t e d m o l 9 9 yb e l w e e nt w oo 口1 e rm o d u l e s 幻s i m p l i 母m ei m p l 啪e n t a t i o na n dr e d u c em e 删i i l gb e t 、v e 髓t w dm o d u l e s k e y w o r d s ：l n d v i d 删n e 铆。墩d j 啦s l o 柏噻e a 嘲n e 咐o f k ；s c s j ；s e n ，盯s i d e 1 v 独创性声明 本人声明所星交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：鳓醐：! 幽兰 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：斑导师签名：阻日期：业1 1 1 研究背景 第l 章绪论 1 1 1 个人对网络存储空间的需求 信息技术的持续高速发展以及普遍应用不但使企业积累了大量的二进制数 据，也使个人对数据的存储、访问提出了更高的要求。无论是大量的数字化家用 电子设备的使用，如数码相机、m p 3 插放器等，还是办公的信息化都产生了大 量的数据。在生活和工作中，人们不仅需要大容量的存储设备，也需要在不同的 时间和地点访问这些数据。市场的需求促进了移动存储技术的极大发展。1 0 年 前，主要的移动存储设备是容量只有3 6 0 k b 到1 4 4 m b 不等的各种软盘，而如 今，各种大容量、便于携带的移动存储设备如c d 、d v d 、闪存盘、移动硬盘等 已被广泛使用，最大容量高达几百g b 。 然而，使用移动存储设备在实际的应用中仍然存在数据检索、携带、安全、 共享等多方面的不便。随着i n t e m e t 的普及，一种新的个人存储形式网络存 储空间受到人们的欢迎。使用个人的网络存储空间，无需携带任何存储设备，就 可以在任何可以使用网络的地方访问存储的数据，便于检索，便于与他人共享数 据。当然，个人网络存储空间在存储容量以及数据传输速度方面都与主流的移动 存储设备有不少的差距。网络存储空间成为个人移动存储的一种补充形式，但目 前不能替代移动存储设备。 对于一个企业内部的用户来说，由于需要存储、访问大量并且重要的办公数 据，个人网络存储空间显的更加重要。目前，很多大型公司或学校为其员工或师 生提供了一个几十m b 、基于w e b 的个人网络存储空间，由于容量小、传输速 度低，这种个人网络存储系统已不能满足这些用户的需要。 + 些公司或学校正在 寻求一种容量更大、速度更快的个人网络存储产品。 寻求一种容量更大、速度更快的个人网络存储产品。 北京工业大学工学硕士学位论文 1 1 2 实现个人网络磁盘系统所面临的挑战与机遇 1 1 2 1 存储容量 由于一些大型企业或学校拥有几千甚至几万人的用户，如果为每人提供1 g b 的网络存储空间，就需要几t b ( 1 t b = 1 0 0 0 g b ) 甚至几十m 的存储容量。如果 使用传统的存储模式，存储设备直接连接到服务器，虽然也可以通过使用几十台 服务器来满足这种对容量的需求，但由此也带来很多其他难题，如系统管理、容 错、负载均衡、备份、存储容量的扩展等。另外，过高的成本也难于实施这个方 案。 1 1 2 2 传输速度 网络存储传输的高速度应该与其空间的大容量是相匹配的，大容量必然要求 高速度。如果传输速度很低，如只有1 0 k b 秒，而为用户提供容量高达1 g b 的 空间，用户传输一个l o o m b 的文件，需耗时l o o m b 1 0 k b = 1 0 2 4 0 秒，约2 8 4 小时。这是用户难于忍受的，用户很难充分利用这个大容量的存储空间。传输速 度受到多方面因素的制约，如网络带宽、存储子系统的i ，o 性能、服务器的i ，o 及处理能力等。 1 1 2 3 存储技术的网络化 网络革命、数字化浪潮引起数据量、访问量的激增，这些变化对存储提出了 更高的要求，促使存储从计算机的“外设”成为一种共享、独立的资源。而连接 主机和这种独立的存储资源的正是迅速发展的网络。存储向网络化发展，存储技 术和网络技术的融合形成了目前广受推祟的存储区域网络。存储区域网络不但可 以提供海量的存储、快速有效的数据存取，还在容量扩展、数据备份与容灾、存 储虚拟化等方面提供了强大的支持和方便的管理。存储网络的发展为开发供大量 用户使用的大容量的远程网络存储空间提供了便利。 1 2 相关研究现状 1 2 1 局域网虚拟网络磁盘 目前很多公司提供了在办公室或者网吧等小型局域网环境下使用的虚拟网 络磁盘系统，如幻想虚拟网络磁盘、i s c s ic a k e 虚拟网络磁盘等。 这些虚拟网络磁盘系统实质上是实现了一个i s c s i 目标器( i s c s it a r g e t ) ，它 能够把运行该虚拟网络磁盘系统的服务器上的一个文件或者一个磁盘分区甚至 整个硬盘映射为客户端的一个磁盘。客户端需要安装i s c s i 启动器( i s c s l i m t i a t o n ，i s c s i 启动器通过i s c s i 协议与i s c s i 目标器进行通信并把服务器上 的存储资源映射为本地的磁盘。i s c s i 协议位于文件系统的下层，在块的级别上 传输数据。 上述的i s c s i 目标器虚拟软件都是基于晰n d o w s 操作系统的。在 w i n d o 、v s 2 0 0 0 以及后续版本的w i n d o w s 操作系统下，可以使用微软免费提供的 m i c m s o f ti s c s il n i t i a t o r 来连接i s c s i 目标器【1 1 。而在l i n u x 环境下，无论是i s c s i 启动器还是i s c s i 目标器都有开源的项目存在5 】【6 】。 局域网虚拟网络磁盘非常适合用来共享大量的只读文件，管理员只需维护服 务器上这些共享文件的一个拷贝。需要读取这些文件的用户只要安装i s c s l 启动 器软件，经过简单配置，就可以像使用本地磁盘那样访问这个虚拟的网络磁盘了。 局域网环境下的虚拟网络磁盘使用户可以像使用本地磁盘一样，使用方便， 传输速度快。但是这种虚拟网络磁盘的应用仅局限于办公室、网吧等小型的局域 网环境中，不能为大量用户提供远程的移动存储服务，它也没有提供用户身份认 证的功能。 1 2 2 广域网网络存储空间 广域网的网络存储空间迎合了人们在互联网时代对移动存储和数据共享的 需求，目前很多网络服务提供商提供此项服务，如网易、搜狐、雅虎、甚至g o o g l e 等。 广域网网络存储空间的客户端有以下几种形式； 北京工业大学工学硕士学位论文 1 w e b 页面 这种形式应该是i m e m e t 网络存储空间最常见的形式，用户通过浏览器访 问自己的存储空间的w e b 页面，在该页面上，用户可以上传、下载文 件，也可以创建目录以便分类保存自己的文件。 2 应用程序客户端 用户通过特定的应用程序而不是浏览器访问自己的存储空间，其功能和 w e b 页面形式的客户端类似。如腾讯的q q 提供的网络存储空问。 3 伪虚拟磁盘 这里之所以称为“伪”虚拟磁盘，是因为虽然用户在w i n d o w s 操作系统 中可以看到同其它本地磁盘一样的盘符，但是它仅仅支持对文件、目录 的复制、删除等操作，不能对该磁盘进行格式化、也不能在该磁盘中直 接打开文件。g o o g l e 的虚拟网络磁盘是这样一个例子。g o o g l e 的虚拟网 络磁盘其实是g o o g l e 的g m a i l 系统的一种功能扩展，使用该虚拟网络磁 盘需要使用g m a i l 账户登录。g m a i l 因首次在全球范围内为用户提供高 达1 g b 的电子邮件空间而备受关注，现已提高到2 g b 。用户向g 0 0 9 l e 虚拟磁盘拷贝文件，实质是向用户的g m a j l 邮箱发送了一封邮件，邮件 的附件就是用户保存在g o o g l e 虚拟磁盘中的文件。g o o 西e 的网络虚拟 磁盘虽然提供了较大的空间，但国内用户访问速度太慢，甚至经常难于 登录，可用性很差。 上述的广域网网络存储空间可以在h l t e r n e t 范围内使用，都具有身份认证等 功能，可以为全球众多的用户提供服务。但是它们都是基于文件进行数据传输的， 不像局域网网络虚拟磁盘那样是基于块进行数据传输。用户若要访问某个文件， 必须首先把这个文件全部下载到本地磁盘，对文件即使一个字节的改动也需要重 新下载或上传整个文件。并且由于外部网络带宽的限制以及对用户网络流量的控 制，广域网存储空问的数据传输速度一般比局域网虚拟磁盘要慢很多。 相对局域网网络虚拟磁盘，广域网网络存储空间系统要面对的一个难题是用 户所在网络的防火墙对i p 通信端口或者通信协议的限制。出于安全方面的考虑， 很多网络的防火墙只开放一些常用协议的端口，如h t l 甲、p o p 3 等，而阻塞其 第l 章绪论 它的协议及端口。基于此种原因，大部分广域网网络存储空间都是通过h 1 _ r p 协 议进行文件传输。 1 2 3 其它个人网络存储空间 无论是局域网虚拟磁盘还是广域网虚拟磁盘空间都难于满足大中型企业用 户对于个人网络存储的需求，一些厂商推出了企业个人用户使用的网络存储产 品。如存储网络集成厂商朗登科技有限公司的移动数据中心r m d c ( r o y t o n m o b i l ed a e n t e r ) 【2 1 。i 洲d c 基于n o v e ui f o l d e r 技术。下图说明了如何从不同 的计算机或位置访问i f o l d e r 服务器。 图1 1朗登r m d c 系统示意图1 f i g u r e1 一ld i a g f a mo f r m d cs y s t e m f 2 l 每个用户的个人存储空间与存储系统上的文件目录一对应，n o v e l l i f o l d e r 服务器通过l d a _ p 进行用户身份认证。在客户端，用户通过j a v aa p p j e t 登录i t m d c ，系统在客户端磁盘上建立一个与服务器上的个人存储空间相对应 的目录。系统能够自动地、定时地保持两个目录内数据的同步。用户也可以通过 点击数据同步的按钮来随时实现客户端和远程服务器上数据的同步。 r m d c 号称是“为有效解决用户的个人数据安全存放、实现低成本个人容 灾系统而开发的”。但据了解，实际上，部署这套系统除了硬件投资之外，还需 要为每个用户付出约l o o 美元购买使用权。部署这套系统，对很多公司来说，在 成本上是难于接受的。 北京工业大学工学硕士学位论文 1 3 主要研究内容 个人网络磁盘系统将结合局域网虚拟网络磁盘、广域网网络存储空间的优 点，为用户提供一个快速、易用、大容量的虚拟网络磁盘。 该系统的研究由另外一位同学和本文作者共同完成，分别负责其客户端和服 务器端。服务器端的技术涉及许多方面，如用户身份认证、用户管理、安全、数 据存储技术等，本文主要探讨个人网络磁盘系统的服务器端与存储相关的模块的 设计。本文的主要研究内容包括： 1 系统所需的存储技术，在分析各种存储技术的基础上选择适合该系统的 存储技术。 2 系统服务器端的分析及总体设计。 3 存储服务及其负载均衡。 4 系统服务器端主要模块的设计以及各模块之间的通信。 d 系统服务器端所需的其它功能模块，如甩户管理等，不是本课题的重点，本 文仅仅在需要的地方傲一些简单解释，或者并不讨论这些模块。 1 ，4 本文组织 本文共分六章： 1 。第1 章为绪论 2 ，第2 章说明系统的体系结构、功能模块组成等。 3 第3 章简单分析了系统对存储子系统的要求，通过对各种存储技术的分 析选择适合本系统的存储技术。 4 第4 章介绍存储服务模块并估算所需存储服务嚣的性能。 5 第5 章介绍用负载均衡模块和户登录模块。 6 。第6 章说明各个模块之间的接口设计。 第2 章系统总体设计 2 。1 任务目标 第2 章系统总体设计 个人网络磁盘系统基于企业的内部网络或校园网，但同时也能使用户在内网 外部通过h t 啊l e t 访问自己的个人网络磁盘系统。该系统的基本要求是大容量、 方便易用。根据这个基本要求，对用户目前及潜在的需求进行详细的分析，我们 总结出个人网络磁盘系统应该达到的几点要求： 1 存储容量大 需要几百m b 甚至1 g b 的存储空间。 2 方便易用 初步设想采用虚拟磁盘的形式，用户可以访问本地磁盘一样访问用户的 远程存储空间。除此之外，用户还能够方便地安装与配置该系统。 3 访问速度高 具有用户能够接受的数据传输速度。但系统不追求过快的数据传输速度， 而是重视数据传输的稳定性。数据传输速度不应该随并发用户数量的增 加而下降。 4 支持大量用户 可阻为几千甚至几万人提供服务。 5 用户不仅可以在校园网内部高速访问该远程存储空间，也可以在校园网 外部通过i n t e m e t 访问。 6 安全性 用户保存在个人网络磁盘系统中的数据不会被破坏，不会被其他用户非 法访问。 7 一定程度的高可用性 用户在需要访问远程存储空问时，能够较快地连接远程存储空间，获取 所需的数据。 8 个人远程存储空间的可扩充性 用户对网络存储空间的存储容量的需求是不断增加的，该系统应该能够 北京工业大学工学硕士学位论文 比较容易地实现个人存储空间容量的增加。 9 集成管理 系统管理员能够容易地管理总容量多达几t b 甚至几十t b 的存储设施是 实现该系统的必要条件。除此之外，系统管理员还能够方便地进行用户 管理、服务器的配置等。 2 2 系统体系结构 个人网络磁盘系统的设计充分考虑了上述的任务目标，它的体系结构如图 2 - 1 所示。该系统有如下几部分组成： 1 系统管理客户端 系统管理员进行系统管理、维护的用户界面程序。 2 管理服务 负责接受系统管理客户端的命令请求，并执行相应的操作。 3 用户客户端 根据校园网和i n t e m e t 网络环境的不同，为了便于用户使用，用户客户端 又可分为虚拟磁盘客户端和w 曲存储空间客户端。使用虚拟磁盘客户端， 该系统表现为一个c s 结构的系统，而使用w 曲存储空间客户端，该系 统表现为一个b ，s 结构的系统。 4 。w e b 存储空间的h r r p 服务 若用户使用w 曲存储空间客户端，w 曲存储空间的h r r p 服务负责接受 这种客户端的h m 请求、执行相应的操作并向w 曲客户端返回结果信 息。 5 用户登录服务 为了保证系统安全性，用户在使用其个人网络磁盘之前，必须使用用户 i d 和密码登录该系统。 6 存储服务器池 存储服务器池是一组真正接受客户端数据读写命令并执行这些命令的服 务器。 第2 章系统总体设计 图2 1个人网络磁盘系统的体系结构 f i g u r e2 - 1a r c h i t e c t u r eo f l n d i v j d u a ln e t w o r kd i s ks y s l e m 7 存储予系统 存储子系统为存储服务器浊提供一个大容量的存储基础设旌，用户保存 在个人网络磁盘中的数据就保存在存储子系统中。通过对存储技术的最 新发展的调查研究，选用i s c s i ( i m 锄e ts m a nc o m p u t e rs y s t e m s i n t e r f a c e ) 存储区域网来保存用户数据。 北京工业大学工学硕士学位论文 在以上所述的各个系统组成部分中，本文主要讨论存储子系统、存储服务器 及其负载均衡等系统服务器端的主要组成部分，丽省略了对系统管理等部分的说 明。如图2 1 中，在虚线之内的模块不是本文的讨论重点。 根据上面对各个组成部分的功能的简单叙述，系统服务器端又可分为以下三 层： 1 辅助服务 辅助服务包括用户登录服务和均衡负载服务，它们的作用是在用户正式 使用其个人网络磁盘前，帮助客户端程序选择一个合适的存储服务器。 2 存储服务器集群 3 共享存储资源 2 3 总体流程图 。!i!。，。一 l 竺! 竺竺竺兰兰! 兰兰二皇璺竺兰l 匝堑亟壹亟 匿亟西盘圃 r _ l = l 存储服务器向客户端发送读写结果l f 如 ( 竺墨 ) 图2 2 虚拟磁盘客户端访问远程数据的处理流程 f i g u r e2 2f i o wc h a r to f a c c e s s i n gr e m o t ed a t at h r o u 曲c l i e n to f v i r t u a ld s k 用户在使用个人网络磁盘系统之前，首先需要登录系统。通过登录，用户客 第2 苹系统总体设计 户端才可以取得可用的存储服务器的i p 。使用该i p ，客户端程序与存储服务器 建立连接，用户才可以正常使用个人网络磁盘系统。图2 - 2 以用户使用虚拟磁盘 客户端为例说明了从用户登录个人网络磁盘系统开始到完成次数据读写请求 的系统处理流程。 2 4 系统功能模块 根据对整个系统功能、系统体系结构及系统处理流程的分析，该系统由如下 的功能模块组成( 如图2 3 所示) ： 1 虚拟磁盘客户端 该模块又由虚拟磁盘驱动和用户登录两部分组成。 2 w 曲存储空间客户端 与虚拟磁盘客户端类似，该模块由用户登录和文件存取两部分组成。 3 用户登录服务 根据其功能分工，用户登录服务被划分为两个子模块，分别是用户身份 认证、存储服务器的选择。 4 负载均衡服务 负载均衡服务提供两种负载均衡服务，分别是存储服务器负载均衡和虚 拟存储卷的负载均衡。 5 存储服务 存储服务由四个子模块组成，分别是块存取服务、文件存取服务、虚拟 磁盘驱动、负载均衡接口。一个用户的数据保存在一个磁盘映像文件中， 块存取服务可以直接读写该映像文件，而文件存取服务需要使用虚拟磁 盘驱动来读写保存在映像文件中的数据。 本章只简单介绍各个功能模块的概念，在后面的章节中将根据本文重点对某 些模块的组成及其功能进行详细地分析和介绍。 按照用户登录的数据处理流程，服务器端的系统功能模块可以分为三层，从 上到下依次为：用户登录服务、均衡负载服务、存储服务，下层为上层提供服务。 在图2 3 中，不仅可以得到系统的模块组成，还可以看出在用户登录过程及用户 北京工业大学工学硕士学位论文 正式使用过程中数据在各个模块之间的流动。图2 3 使用两种不同的虚线表示这 两种不同数据流。 用户登录个人网络磁盘数据读写 2 。5 小结 图2 - 3 系统总体功能模块 f i g u r e2 3m a i nf u n c t j 锄m o d u l e so f t h es y s l e m 个人网络磁盘系统的主要目标是为用户提供一个大容置的、方便易用的个入 网络磁盘。该系统由用户客户端、用户登录服务、负载均衡服务、存储服务器池、 第2 章系统总体设计 i s c s is a n 以及其它系统管理模块等组成。 用户在使用该系统前，需要登录系统，以获取访问权限和一台可用的存储服 务器的i p 地址等信息。 需要进一步说明的是，本章只是简要概述系统的总体设计，并没有充分说明 某些概念，下面的章节将详细介绍各个模块及其相关的技术。 篓：董型! 三童篓墼坌堑 3 1 概要分析 第3 章存储子系统的分析 在本文的第一章绪论中已经对个人网络磁盘系统所需的存储空间做过简单 介绍。可以说，巨大的存储容量是个人网络磁盘系统所面临的最大挑战，这就使 选择合适的存储技术成为实现该系统的关键所在。 除了能够提供海量的存储，还要求存储子系统具有良好的容量可扩展性，随 着用户对容量需求的不断增加，存储子系统能够较容易地增加其存储容量。 另外，还要求系统管理员能够较容易地管理该存储子系统。 传统的存储技术很难满足i 述要求，下面将介绍现存的各种存储技术及其特 点，以选择适合该系统的存储技术。 3 2 存储模型的演变 3 2 1 内嵌式存储 内嵌式存储( e m b e d d e ds t o m g e ，e s ) 指的是存储设备放置在主机机箱的内 部，存储设备一般使用廉价的i d e ( i r l i e g r a 锄d r i v e e l e c h m i c s ) 硬盘或串行a r a ( s e r i a la d v 柚c e dt e c h n o l o g ya n a c h m 锄t ，s a r a ) 硬盘，通过i d e 或串行a 1 阻 接口与主机进行通信。大多数的桌上型或膝上型电脑采用这种数据存储方式。 内嵌式存储成本低、安装、配置简单，被广大个人用户所接受，成为个人电 脑普遍采用的存储形式也有部分低端服务器采用这种存储方式。但是这种方式 受制于主机机箱的体积以及a r a 接口协议的限制，存储容量的可扩展性很差， 并且不允许与其它机器共享存储设备，如果采用内嵌式存储的服务器出现故障， 那么该服务器连接的存储设备也将不能被利用。 3 2 2 直接连接存储 直接连接存储( d i r e c ta t t a c h c ds t o m g e 直接连接存储( d i r e c ta t t a c h c ds t o m g e d a s ) 与内嵌式存储不同，它一般 d a s ) 与内嵌式存储不同，它一般 北京工业大学工学硕士学位论文 采用独立的外接式存储设备( 如i n i d ，j b o d 等) ，通过标准的接口技术( 如 s m a l lc o m p u t c rs y s t c mi n t 柏c e ，即s c s i ) 和主机进行连接1 3 】。r a 目d ( r 甜i l | 1 d a n t 岫o f i n d e p 皿d e n td i s k s ) ，即独立冗余磁盘阵列由r a i d 控制器和多个独立的 磁盘驱动器组成。r a i d 控制器可以把多个物理磁盘虚拟成为一个更大容量的逻 辑磁盘提供给服务器使用，并且r a i d 控制器通过数据冗余和分条( s 岫p p i n g ) 技术使该逻辑磁盘比单一磁盘更加可靠、高效。j b o d ( j 心a b t l l l c ho fd i s k s ) 是在 逻辑上把几个物理磁盘一个接一个串联到一起，从而提供一个大的逻辑磁盘。 j b o d 上的数据简单地从第一个磁盘开始存储，当第一个磁盘的存储空间用完后， 再依次从后面的磁盘开始存储数据。j b o d 存取性能完全等同于对单一磁盘的存 取操作。j b o d 也不提供数据安全保障。它只是简单地提供一种利用磁盘空间的 方法，j b o d 的存储容量等于组成j b o d 的所有磁盘的容量的总和。 使用s c s i 接口连接的硬盘并非一定要在服务器机箱的外部。事实上，很多 服务器的s c s i 硬盘放在服务器机箱的内部，采用了内嵌式存储的形式。因此， 很多资料并不区分内嵌式存储和直接连接存储，而把这两种存储方式统称为直接 连接存储。微软的一本白皮书通过磁盘使用的接口协议来区分内嵌式存储和直接 连接存储4 】：使用i d e 或s a r a 接口的存储为内嵌式存储，而使用s c s i 的为直 接连接存储。 通过s c s i 协议，一台服务器可以挂接多个磁盘，存储容量具有一定的可扩 展性。又由于r a i d 提供了足够高性能和可靠性，在网络化的存储技术出现之前， 大多数的服务器采用d a s 及r a l d 技术。 但是现在信息化的发展对存储提出的某些需求使d a s 显示出了其局限性： 1 不能进行数据共享 由于存储设备直接连接到某台服务器，那么只能由这台服务器访问该存 储设备。 2 存在单点失效的问题 若连接存储设备的服务器的任何部件出现故障，则该存储设备上的数据 就有可能不能被访问， 3 分散式的管理 需用个人对每个独立d a s 存储单元进行配置、备份、管理。管理的复杂 第3 章存储子系统的分析 性随d a s 存储单元的数目呈指数级增长。 4 有限的可扩展性 硬件限制了只能有限的磁盘连接到一个系统中。 5 利用率低 有些d a s 存储设备有可能被利用了不到2 0 的容量，而有些存储设备的 存储容量几乎被占满。由于d a s 存储设备之间是彼此分离的，难于实现 存储资源在全局的划分和使甩。 为了克服这些限制，把存储集中到一起是一个好的解决方法，于是出现了网 络附属存储和存储区域网。 3 2 3 网络附属存储 网络附属存储( n e t w o r ka t t a c h e ds t o r a g e ，n a s ) 是指存储单元直接连接到 某一个网络上的，该存储单元为这个网络上的计算机系统提供文件存取服务。一 个n a s 存储单元包括一个提供文件服务的文件器( f i l e r ) 和若干个保存数据的 存储设备。 文件器实际上就是一台高性能的文件服务器，只不过它的操作系统针对存取 文件的操作经过优化和精简，去掉了一些不必要的功麓组件。文件器的操作系统 一般为经过更改的l i n u x 或u n i x 操作系统或者w s s 2 0 0 3 ( w i n d o w ss t o r a g cs e r v e r 2 0 0 3 ) 。w s s 2 0 0 3 是微软基于w i n d o ws e n ，e r2 0 0 3 开发的n a s 操作系统。网络 上的工作站或服务器通过网络文件系统访问n a s 中的共享文件。文件器般支 持n f s ( n e t w o r kf i i es y s t 锄) 、c i f s ( c o i n 啪ni n l e m e tf i l es y s t e m ) 以及f t p 、 h t t p 等多种协议。其中n f s 是u n i x 系统间实现磁盘文件共享的一种方法，而 c l f s 是由微软开发的，在w i n d o w s 系统之间提供文件共享功能的一种协议。通 过对多种协议的支持，n a s 能够实现异构平台间文件共享的功能。 同d a s 相比，n a s 设备直接连接到网络上，而不需通过其它服务器，如图 3 1 所示。n a s 充分利用现有的硬件和软件，不但降低了成本，而且使管理人员 稍加培训就可以熟练管理n a s 设备。但是n a s 也有很多局限性： 1 n a s 只提供文件存取服务，这不能满足某些应用系统直接以块的方式读 写数据的要求。如m i c m s o re x c h a i l g e 就不支持把电子邮件数据存放到 n a s 中。 2 读取n a s 设备的数据需要占用l a n 的带宽，特别是在大量备份n a s 设备上的数据时，对网络资源的占用会影响其它需要应用的性能。 3 不能进行镜像级别的备份及恢复，n a s 所有的备份都是基于文件的。如 果某些应用产生了几百万个小文件，备份和恢复这些文件，将花费大量 的时间【1 5 1 。 n sn a ss a n 3 2 4 存储区域网 图3 - l 存储模型的演变 f i g u f e3 一le v o h n j o no f s t o r a g em o d e l 存储区域网( s t o m g ea r e an e n o r k ，s a n ) ，是一个单独组建的网络，如图 3 1 所示，其主要目的是在计算机系统与存储设备之间或者在存储设备与存储设 备之间传递数据。一个存储区域网由通信基础设施、存储设各、控制器组成。控 制器提供类似r a i d 控制器的作用，与r a i d 控制器相比，_ s a n 控制器要复杂 的多，它不但提供存储的虚拟化，还要管理整个存储区域网。 s a n 使用控制器把s a n 中的存储设备虚拟成为若干个存储卷提供给服务器 使用，服务器安装了支持s a n 的驱动程序后，就可以像一个本地磁盘一样使用 s a n 中的存储空间。因此，s a n 比n a s 具有更大的适用性，甚至可以从安装在 s a n 上的操作系统启动计算机。同时，s a n 的体系结构使服务器与s a n 之间的 通信不占用l a n 的带宽，使用s a n 可以轻松实现l a n 6 e e 的备份，即备份的 数据流量不占用l n 的带宽，备份数据完全在s a n 内部流动。 第3 苹存储予系统的分析 s a n 通过网络把存储整合一个独立的系统中，突破了d a s 中存储设备与服 务器之间距离的限制，把存储容量的扩展、容灾、备份及其它复杂的存储管理封 装在s a n 的内部，对外则通过存储虚拟化提供给应用服务器一个安全可靠的、 易扩展的虚拟卷。 与n a s 不同，s a n 一般提供基于块的i 0 服务，而不是文件存取服务。s a n 使用块级的数据传输协议( 一般是s c s i ) 供客户端访问s a n 中的存储资源，这 个块级协议被封装到网络传输协议中在网上传输，如s c s i 可以被封装在光纤通 道( f i b r ec h 咖e l ，f c ) 或t c p i p 中进行传输。s a n 据此可以分为f cs a n 和 i ps a n 。在s a n 出现之初，s a n 一般都是基于光纤通道协议的，因为光纤通道 协议可以提供s a n 所需的传输速度和传输距离。而随着以太网技术的发展，特 别是千兆位以太网的普遍应用，出现了基于以太网及其t c p i p 技术的i s c s i ( i n t e m e ts c s i ) 协议，i s c s i 协议把s c s i 命令封装到t c p 包内以便在以太f 回上 传输。使用i s c s i 协议的s a n 就是一种i ps a n 。 3 2 5 网络附属存储与存储区域网的融合 n a s 和s a n 各有其优缺点，有不同的应用范围。n a s 成本较低、易于部署 和管理，适合共享文件的应用。而s a n 就不能用与在异构的平台之间共享文件。 但是对一个企业来讲，一般既需要提供文件共享服务，又需要以块的方式读写存 储设备。为了弥补各自的缺点，以及满足用户的需求，n a s 和s a n 出现了一定 程度的融合。 首先，在一个n a s 系统内部，如果文件器和存储设备之间用d a s 方式进行 连接，则对这个n a s 系统来说，仍然存在存储容量的扩展性问题。所以有些n a s 产品借鉴s a n 的技术，通过s a n 的方式连接存储设备，不仅解决了系统内部存 储容量的扩展性问题，也克服了在数据各份和恢复问题上面临的某些困难。 其次，对s a n 来说，为了提供异构平台间文件空享的功能，可以在s a n 前 面连接一个文件器提供文件存取服务。s a n 融合了n a s 的技术，使之既可以提 供基于块的数据存取服务，又可以提供基于文件的存取服务。 北京工业大学工学硕士学位论文 3 3 存储传输接口或协议简介 3 3 1 a t a 与s a t a 内嵌式存储一般采用并行或串行的a i a ( a d v a l l c e dt e d m o l o g y a t t a c h i n e n t ) 作为存储传输接口技术。并行a 1 a ，即p ：a 1 a ( p a r a l l e la t a ) ，时常被称为i d e ( h l t e g r a t c d d r i v e e l e c 的n