（计算机应用技术专业论文）san存储设备的软硬件架构设计与实现.pdf

摘要 摘要 随着近2 0 年来网络技术的发展，使得数字化信息席卷全球。数字化信息的爆 炸式增长，导致数据的存储方式发生变革，发生了服务为中心的存储方式到数据 为中心的存储方式的转变。s a n 是存储技术的最新发展。s a n 是s t o r a g ea r e a n e t w o r k ( 存储区域网络) 的简称，是一个网络中的网络。这个网络中的网络是数 据存放的代表，负责数据的集中管理和存储。 为实现s a n 的这种数据为中心的存储理念，s a n 的存储设备无论从硬件还是 软件上，都需要采用一种全新的设计方案。因此，本论文会在软硬件架构上，提 出了一种合理的设计方案： 1 、在存储设备上运行l i n u x 操作系统实现设备的自治功能； 2 、存储前端采用f c 通道技术接入s a n 网络，实现与外界的数据通信； 3 、采用s c s i 协议规范通信机制； 4 、同时在r a i d 算法的保障下，实现数据的安全存储； 5 、同时在软件架构当中，设计c a c h e 模块，实现数据的缓冲写和预读取功能， 从软件上提高数据的i o 响应。 同时，在存储设备的硬件架构上，遵循模块独立化原则，实现硬件的热插拔。 关键词：数字化信息，存储区域网络，存储设备，架构设计 a b s t r a c t w i t l lt h ed e v e l o p m e n to fn e t w o r k , t h ed i g i t i z e di n f o r m a t i o nh a sb e c o m em o r ea n d m o r eh u g e a n de v e n t u a l l y , t h i st r e n dl e a d st ot h es t o r a g em o d e l sr e v o l u t i o nw h i c h t r a n s f o r m st h es e r v e r sc e n t e rt od a t a sc e n t e r s a ni st h en e w e s ts t o r a g em o d e l s a ni sai n n e rn e t w o r ka n ds e p a r a t e dw i t l la p p l i c a t i o nn e t w o r k a n di tm a n a g e s t h ed a t a a st h es a n sf u n c t i o n st h a tp l a c et h ed a t ai nc 2 n t e rl o c a t i o n , t h es a n ss t o r a g e e q u i p m e n ts h o u l da d o p tas o u n df r a m eb o t l li ns o f t w a r ea n dh a r d w a r e s o ，t h i st h e s i s w i l lg i v et h ef o l l o w i n gm e t h o dt ob u i l dt h es t o r a g ee q u i p m e n t ： 1 i n s t a l lt h el i n u xo si nt h es t o r a g ed e v i c et oa r c h i e v et h es e l f - g o v e r n m e n t f u n c t i o n 2 a d o p tt h ef cc h u n n e lt e c h n o l o g yt oc o m m u n i c a t ew i t ht h es a n 3 s t a n db yt h es c s ip r o t o c o ls t a n d a r d i z a t i o n 4 u s et h er a i da r i t h m e t i ct h a te n s u r e st h ed a t a sr e d u n d a n c e 5 d e s i g nt h ec a c h e m o d u l et h a tp r o v i d e st h ec a c h ef u n c t i o n f u r t h e r m o r e ，t h eh a r d w a r es t r u c t u r ew i l la d o p tt h em o d u l a r i z a t i o np r i n c i p l ef o r p l u ga n dp l a y k e yw o r d s ：d i g i t i z e di n f o r m a t i o n ，s a n ，s t o r a g ee q u i p m e n t ，s o f t w a r ea n dh a r d w a r e d e s i g n l l 独仓i j 性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特另j ) j h 以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：菱z 鎏日期：加7 年石月z 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：盔之鹭导师签名：差p 趸：2 篓 日期：如尸年多月z 日 第一章引言 第一章引言 1 1 该研究工作在国民经济中的实用价值与理论意义 随着计算机科学的迅速发展，目前，信息存储领域正朝着高速i o 通道、集 群存储、大容量、高性能、可管理、高可靠性、高可用性和低成本的方向发展。 为此，国内外的科研、教育部门和产业界都投入大量的人力和物力进行研究。 如今，存储技术已经从单纯的服务为中心的方式向数据为中心的方式进行转 变【l 】。这种存储模式的改变导致了网络存储技术的高速发展，尤其是基于f c 技术 的s a n ( 基于光纤通道的区域存储网络) ，在不久的将来，有着巨大的发展空间 和诱人的前景。 在计算机技术的发展过程中，概括而言，r r 技术经历了三个阶段：第一个阶 段是以中央处理器为核心，它促进了个人计算机的普及和应用；第二阶段是以网 络技术为核心，它满足了人们对信息交流的渴望，使得数字化信息的应用席卷全 球。在第二阶段所导致的数字化信息的爆炸式增长的影响下，从而引发了第三个 阶段存储技术的发展。因此信息存储系统已成为国内外研究的重点和新的经 济增长点。 存储技术的发展是以企业的需求为动力，技术变革为前导的一个过程。存储 技术从内迁式存储系统为起点，其中经历直接存储系统、联网存储系统、到如今 的出现的存储区域网络( s a n ) ，在不断的一步一步满足大、中型企业的数字化信 息存储的需要。存储区域网络( s a n ) 最终实现了以数据为中心的存储模型，它 所具备的优势有： 1 s a n 存储设备不依赖于某个特定的服务器。如果一个服务器出现故障， s a n 设备所管理的数据仍可通过其他服务器存取，从而提高了数据的可 靠性。 2 s a n 设备可以直接连接到网络上而无需进行复杂的配置，便于s a n 设备 的扩充和管理，同时也降低了企业成本。 3 s a n 设备具备自治的操作系统，完全独立于应用服务器，这样应用服务 器可以采用不同的操作系统，实现s a n 设备对不同平台的支持。 4 s a n 设备组建的存储区域网络独立于应用网络，不消耗应用网络的数据 电子科技大学硕士学位论文 带宽，能更好的提高数据存取的速度和整体性能。 1 2 本研究主题范围内国内外已有的文献综述 目前，国内外在构建数据存储系统时，要么是利用“应用服务器+ 应用服务器 的存储模型，要么是利用“应用服务器+ 磁盘阵列 存储模型。这两种模型都是基 于数据依赖应用的模型，在数据的爆炸式增长和处理的速度上会出现费用成本越 来越高的现象，难以满足人们对低成本高效能的数据管理和性能上的要求。而存 储区域网络的出现，可以逆补以上两种模型的不足。s a n 网络存储模型已经可以 使数据存储设备完全独立于应用服务器，而不再是隶属于应用服务器的一种外围 设备，真正实现了以服务为中心的存储方式到以数据为中心的存储方式的转变。 因为数据不应该总是被应用服务器所控制和隐藏。相反，数据应该被放置在一个 中心位置，使企业的各种应用程序和各个部门都能够快捷并且安全的访问它们。 s a n 的优势主要体现在四个方面【2 】： 1 、数据共享 s a n 中所存储的数据可供多个用户互不妨碍的同步使用。s a n 是一个独立于 应用网络的独立网络，通过高速网络互联设备提供对外接口，允许一组不同平台 的应用服务器进行接入并对数据进行访问。这样，s a n 不会侵占用户应用网络的 有效带宽，从而提供更好的响应速度。 2 、数据存储媒体的可靠性 s a n 中的存储设备具备数据管理的能力，而无需应用服务器的介入。随着r a i d 算法的不断成熟，在采用r a i d 算法的存储设备上可以对数据提供更高的可靠性， 实现数据灾难恢复的功能。 3 、运行中的可扩展能力 s a n 允许网络管理员在不关闭应用服务器的情况下对存储容量进行扩充，新的 存储设备直接接入到s a n 网络中，通过高速网络互联设备接口，为应用服务器提 供存储空间。 4 、远程备份与恢复 s a n 是一个单独的网络，因此能够便捷地实现数据的自动备份，因为用户的 客户机位于另一个网络中，s a n 在数据备份期间，不会占用用户网络的网络带宽， 所以备份工作不会影响用户对系统的使用。 目前，国内外的存储业界在设计一台s a n 存储设备时，主要是以解决方案的 2 第一章引言 方式进行实现。根据国内外的相关文献资料，s a n 存储设备所涉及到的技术有： l 、 f c 通道协议、i s c s i 协议是当前s a n 存储设备接入s a n 网络的两种主 要的接口技术； 2 、 s c s i 技术描述的启动器一目标器模型是存储设备与访问服务器之间数 据请求一响应的主要工作模式。 3 、 r a i d 算法是提供数据冗余、保障数据可靠性的主要手段之一。 4 、 采用p m c 8 3 7 9 芯片构建磁盘阵列是实现数据存储媒介的方式之一。 上述这些技术，通过网络资源和查找参考文献，都可以获得详细的技术指标。 本论文在这些技术基础之上，通过优化组合，并对目前存储业界的单控工作方式 进行改进，实现一种可双控工作的存储设备，以弥补单控工作模式下所潜在的数 据安全问题。本论文主要以f c 接口技术的s a n 设计为主，对i s c s i 接口技术的 s a n 略有提及，以做比较。 1 3 论文所要解决的问题 本论文在对国内外存储设备性能的综合分析之上，设计一台基于s a n 的存储 设备，并提出其软硬件架构模型，在软硬件架构模型中解决以下的问题： l 、 在软件和硬件整体架构上，实现完全的双控工作模式，提高数据安全、 可靠的访问。： 2 、遵循设备管理和业务处理相独立的原则，实现管理流和业务流的分 离，充分保证业务流的流畅性、不间断性。 3 、将硬件平台进行合理的规划，实现硬件热插拔功能。 4 、在业务模块中引入数据缓冲技术，提高存储设备的i o 吞吐率。 在对该存储设备的软件和硬件架构进行设计时，都将紧紧围绕着双控冗余这 一基本原则、硬件控制与业务控制相独立的思想、数据访问路径多元化、以及 r a i d 级别所实现的数据冗余为特点进行展开。 电子科技大学硕士学位论文 第二章存储模型的发展 近十年来，由于互联网技术及其应用所推动的企业全球化，以及计算机技术 多方面的发展，人们对数据存储的需求有了巨大的改变。许多企业不得不重新评 价他们现行的数据存储系统，以确保能够满足未来的发展。需求的改变主要表现 在三个方面：首先，许多应用系统，如电子商务、图像处理、数据仓库、企业资 源规划( e l 冲) 和客户关系管理( c r m ) 等，对存储系统的容量有巨大的需求； 其次，应用系统还要求对数据进行快速有效的存取：最后，需要对数据进行有效 的管理。存储区域网络( s a n ) 恰好能满足这些要求；s a n 的设计把数据存储从 应用服务器中分离出来并组成独立的网络，这使得提供巨大的存储容量成为可能。 s a n 采用高速分布式结构，存储容量的增加不会严重影响系统的响应速度。另外， s a n 本身作为一个网络系统，可对其进行统一化的增加、删除、备份、恢复等管 理。目前，存储模型包括内嵌式存储系统、直接存储系统、联网存储系统以及存 储区域网络( s a n ) 。 2 1 内嵌式存储系统 简单地说，内嵌式存储系统( e m b e d d e ds t o r a g e ，e s ) 就是把存储器件内嵌于 服务器中。比如我们熟悉的p c 硬盘就是这种模式。其优点是简单易用，缺点是 每个服务器只能包含有限数量的存储器件，而且存储容量和存取速度也受到服务 器性能的限制。另外，如果服务器出现故障，其内嵌的存储系统也随之变为不可 用。这对于对可靠性要求很高的商业应用来说，这是一个致命缺陷【3 1 。 2 2 直接存储系统 与内嵌式存储系统不同，直接存储系统( d i r e c ta t t a c h e ds t o r a g e , d a s ) 采用独 立的外接式存储设备并通过标准接口技术( 如s c s i ) 与服务器连接。将对存储器 的读写操作从应用服务器中分离出来，以及高速接口技术从一定程度上提高了总 体存取时间。存储设备可以与多个服务器连接，如果其中一个服务器出现故障， 4 第二章存储模型的发展 仍可通过其他服务器来存取数据，如下图2 1 所示。 d 图2 1 直接存储系统 如图2 1 所示，在d a s 结构中，客户端访问共享数据的步骤是： ( 1 ) 通过网络将请求发至服务器； ( 2 ) 服务器查询缓冲区，若数据在缓冲区中就经网络适配器发送数据给客户 机，否则就将请求翻译成本地数据访问命令，然后发向与服务器相连的 存储设备； ( 3 ) 存储设备在收到命令后将数据拷贝到服务器的系统缓冲区； ( 4 ) 数据再通过系统缓冲区拷贝到网络适配器的数据缓冲区； ( 5 ) 数据最后通过网络从服务器发向客户端。 互联网以及随之而来的巨大的存储容量需求出现之前，d a s 满足了大部分系 统的要求。但是，当系统中不断加入新的存储设备以满足日益增长的数据量时， 如何对d a s 设备进行有效的管理成为令系统管理员头痛的大问题。由于对每个 d a s 设备的访问只能通过数量非常有限的服务器来进行，当很多用户同时对同一 个存储系统进行大量的数据访问时，相应服务器的性能和数据存取时间会受到很 大的影响。 5 电子科技大学硕士学位论文 2 3 联网存储系统 联网存储系统( n e t w o r ka t t a c h e ds t o r a g c , n a s ) 正是在大家认识到d a s 的局 限性的情况下应运而生的。n a s 把数据看作一种网络资源，并由一种成为n a s 设备的专用器件来管理。与d a s 相比，其明显区别在于n a s 设备是直接连接到 网络上，具有自治功能。如图2 - 2 所示。n a s 基于现有的网络而构建，具有较高 的性能价格比和广泛的支持平台【3 1 。 服务器 n a s 设备1 n a s 设蕾 服务器j 图2 - 2 联网存储系统 把数据从服务器中分离出来减少了数据管理上的许多问题。n a s 设备有自己 的专用管理软件，可以实现即插即用，无需复杂的配置。系统管理员可以把n a s 存储设备集中布置在同一机房中以便于管理。另外，n a s 设备支持多种应用系统 平台，如u n i x 、w i n d o w s 、m a c i n t o s h 等。 6 第二章存储模型的发展 实践表明，对于中小型网络，n a s 系统的应用效果相当不错。但是，对于大 型网络，n a s 系统就有点力不从心了。在n a s 系统中，存储设备、服务器、客 户机三个层面处于同一个网络中，共享网络带宽。服务器与n a s 设备以及客户端 之间的交互过程和数据传递会消耗大量的网络带宽资源，从而最终降低服务器的 响应速度。 2 4 存储区域网络 存储区域网络( s t o r a g ea r e an e t w o r k , s a n ) 是存储系统模型的最新发展。许 多业界专家认为，s a n 技术有望解决数据的爆炸性发展所带来的难题。对s a n 设备的软硬件架构及其实现的详细讨论是本论文的目的。 下图2 3 是一个典型的s a n 网络系统结构示意图。在s a n 网络系统中，存 储设备既不像d a s 那样直接连到服务器上，也不是像n a s 那样连接到应用网络 上，而是所有的存储设备互相连接，形成自己的网络，及存储区域网络s a n 。服 务器通过s a n 对存储设备中的数据进行存取，客户终端不能直接操作数据，这有 图2 - 3 存储区域网络 助于提高数据的安全性。 s a n 是一种基于“块的数据访问方式，它是将磁盘阵列、磁带等存储设备 与服务器通过高速通道连接起来的数据存储专用子网。本论文主要以光纤通道 ( f i b e rc h a n n e l ，f c ) 技术为主将存储设备接入s a n 网络，其原因如下：一方面绕 过了传统网络的瓶颈而极大地提高了数据的i o 性能；另一方面，将传统的d a s 结构中存储设备为某个服务器专用的模式改进为由网络上的所有服务器共享模 式，实现了数据的高度共享。将通道技术和网络技术引入存储环境中，提供了一 7 电子科技大学硕士学位论文 种新型的网络存储解决方案，能够同时满足吞吐率、可用性、可靠性、可扩展性 和可管理性等方面的要求。s a n 的推出真正实现了存储系统的高速共享，并使服 务器和存储设备之间的连接方式发生了根本性变革。 s a n 通常由以下几个部分组成( 见图2 3 ) ： ( 1 ) 存储设备； ( 2 ) 服务器； ( 3 ) 连接设备，包括交换机，集线器，接口适配器和网线等； ( 4 ) 存储管理软件； s a n 结构具备n a s 的所有优点，提高了服务器性能，增强了可靠性，同时 也便于数据管理、扩充、备份以及对多种平台的支持。与n a s 不同，服务器与设 备之间的交互通过s a n 网络进行，不会消耗应用网络的带宽资源，因而克服了 n a s 应用于大型网络的缺陷。相比其它的存储模式，s a n 的优势主要集中体现在 以下几个方面： ( 1 ) 可扩展性。s a n 的体系结构使得服务器可以访问s a n 中的任何一个存 储设备，因此用户可以自由增加磁盘阵列和服务器等设备，使得整个系统的存储 空间和处理能力得以按照客户需求变化而不断扩展。在部署新的存储设备时，地 域的选择更加灵活，高可用性和故障切换环境可以确保更低的成本。 ( 2 ) 可管理性。s a n 中的存储设备即使被分散配置在分布式网络中，也可 用一个单一的管理工具集中的管理。对s a n 传输的管理是用户选择光纤通道产品 的一个关键性能指标。s a n 管理工具可以前瞻性的孤立出传输过程中出现的问 题，使系统继续正常运行。 ( 3 ) 高可用性。当部署了s a n 服务器集群后，单台服务器上所出现的故障 不再意味着数据的不可用或丢失，另一台服务器可以通过s a n 存取故障服务器中 的数据。许多厂商的软件产品可以使服务器的故障得以恢复。光纤通道s a n 将能 够通过多台服务器实现对公共存储设备的平等存取，确保数据的随时可用。在服 务器和存储设备之间提供冗余的数据路径，有助于确保数据的高可用性。冗余的 数据路径可通过向每台服务器配备两个光纤通道主机总线适配器( h o s tb u s a d a p t o r , h b a ) 得以实现，其中一个h b a 作为主数据路径附接于光纤通道集线器 或交换机上，另一个作为辅助数据路径附接于第二个光纤通道集线器或交换机上。 存储阵列通常拥有主、辅两个光纤通道连接器。如果主光纤通道出现故障，另一 个通道在管理软件的配合下能自动接管。与冗余的数据路径和服务器群集软件相 结合，一台服务器或一条数据路径上的故障将不会中断系统的运行，因为另一台 第二章存储模型的发展 服务器或另一条数据路径随时处于备用状态。 ( 4 ) 备份。通过把服务器、存储阵列以及磁盘子系统与光纤通道相连，备份 数据流可以不经过l a n ，从而使l a n 摆脱用户网络流量的重负。由于可提供 2 0 0 m b s 乃至更高的带宽，所以光纤通道能够提供对多磁盘备份流的支持。 ( 5 ) 容灾。s a n 可提供在多个服务器和多个存储设备的环境中两两之间的 任意逻辑连接，它可以创建一个能够被多个服务器通过多条路径任意访问的存储 库，形成高可用的容灾环境；在主机服务器及其连接设备之间的连接依赖于f c 的高吞吐率和远距离的特性。 i s c s i 与f c 通道技术不同，这里进行一下简单介绍，以便与本论文所采用的 f c 通道技术有个宏观上的比较。i s c s i 是基于现有的t c p i p 网络之上进行构建， 即i n t e r a c ts c s i 。其原理是：把s c s i 命令封装在t c p 中在m 网络中传输，通过 t c p i p 协议栈连接服务器与存储设备，通过t c p 连接传送控制信息、s c s i 命令、 参数和数据。i s c s i 的核心任务就是在t c p i p 网络上封装命令描述块( c o m m a n d d e s c r i p t o rb l o c k ，c d b ) ，形成i s c s i 协议数据单元( p d u ) ，并且在源端和目的端 之间可靠传输c d b 和相应的数据【4 】。 i s c s i 协议定义了在t c p i p 网络发送、接收块级存储数据的规则和方法。服 务器( 启动器) 将s c s i 命令和数据封装到t c p i p 包中再通过网络转发，存储设 备( 目标器) 接收到t c p i p 包后，将其还原成s c s i 命令和数据并执行，完成后 将返回的s c s i 命令和数据再封装到t c p i p 包中再发送回服务器。其工作流程及 协议模型如下图2 - 4 和2 5 所示： 图2 _ 4 i s c s i 工作模式 9 电子科技大学硕士学位论文 图2 - 5 i s c s i 协议模型 下图2 - 6 所示，i s c s i 启动器的结构分为三层：上层提供了文件系统所需的 普通“读写一功能；中层将读写需求转换为s c s ic d b 并传给i s c s i 启动器前端； 底层，即驱动前端对应于各种不同的h b a ，也就是说，不同的前端h b a 所需的 驱动前端是不同的。h b a 负责将包含的s c s i 命令和数据的m 包传输到制定的 s c s i 设备上，即i s c s i 目标器上。 图2 6i s c s i 的启动器目标器工作模式 i s c s i 目标器保留传统s c s i 设备信息和传输s c s i 命令的网络信息。i s c s i 目标器前端处理启动器的登陆请求，进行握手工作与启动器建立t c p i p 连接。进 入全双工阶段后，前端将收到的i s c s ip d u 包解包，得到c d b ，再传给s c s i 目 标器中层。中层分析c d b ，为执行此c d b 分配必要的资源，将c d b 交给s c s i 子系统执行。执行的结果返回给中层，中层再交给前端，前端打包为i s c s ip d u ， 由前端传回给i s c s i 启动器【5 1 。 显然，与f c 相比，i s c s i 是一个t c p i p 之上的s c s i 协议的传输协议，网络 l o 第二章存储模型的发展 传输层以下的各层对于i s c s i 是透明的，也就是说，以下各层的物理特性无论采 用任何方式连接，只要在网络层和传输层使用t c p i p ，上层就可以使用i s c s i 。 i s c s i 的这一特性为构建异构存储网络提供了极大的方便。i s c s i 作为一个网络协 议，具有它自己的地址、命名习惯、会话管理等相应规范。 2 5 本章小结 本章在存储系统的历史演化过程中，针对各种存储系统的设备，进行功能上 的抽象和实现上的分析，为s a n 存储设备的构造准备基础知识。通过对内嵌式存 储系统、直接存储系统、联网存储系统和存储区域网络( s a n ) 的应用场景和提 供的功能分析，它们的异同点可概括为图2 _ 7 1 6 ： 1 d a s 使用传统的s c s i 适配器，s a n 使用光纤通道适配器，i s c s i 使用以 太网适配器。 。 j 图2 7d a s n a s s a n 存储模型比较图 2 d a s ，s a n 和i s c s i 都使用块i o 传输方式在服务器和存储系统之间传 电子科技大学硕士学位论文 输，而n a s 使用文件i o 传输方式在客户机与n a s 设备之间直接传送。 3 d a s 使用s c s i 协议连接服务器与存储设备，s a n 使用光纤通道连接 服务器与存储系统，i s c s i 使用t c p i p 连接服务器与存储系统，n a s 也使用t c p i p 连接客户机与n a s 存储设备。 1 2 第三章s a n 存储设备的软硬件架构设计 第三章s a n 存储设备的软硬件架构设计 随着f c 通道技术、s c s i 标准协议、r a i d 算法等这些技术的发展，以及l i n u x 操作系统平台的完善，根据大中型企业对网络存储的需求，可以提出一种以l i n u x 操作系统为支撑平台，整合f c 协议、s c s i 协议、r a i d 算法，以模块化的结构 方式构造出s a n 存储设备上的软件模型。随着双核中央处理单元的出现，以及 p c i e 总线、i 2 c 总线、遵循f c 总线仲裁协议的f c 磁盘阵列、以及市场上芯 片公司推出的嵌入式处理器与可编程逻辑器件的成熟，可以构建s a n 存储设备 上的硬件模型。 根据实际需求，该设备模型拟实现的性能指标有： 1 支持f c 光纤通道技术接入s a n 网络； 2 采用存储业界的s c s i 协议实现数据的请求与响应； 3 通过r a i d 算法实现数据的冗余存储，提高数据的安全性以及容灾性能； 4 管理流与业务流相分离，尽最大可能保障业务处理的可靠性，不间断性。 5 遵循业务硬件平台、辅助硬件平台、磁盘阵列相独立的原则，优化系统 整体架构，实现硬件子模块的热插拔； 6 实现软件结构和硬件结构的双控冗余，提高设备级别的可靠性。 3 1s a n 存储设备的软件模型 在s a n 存储设备上部署独立的操作系统支撑平台，实现设备自治功能，是网 络存储模型的特点。这个特点虽然与n a s 相似( n a s 设备上也内置了独立的存 储操作系统) ，但s a n 设备上的操作系统功能更为完善，可以支持块i o 访问， 而n a s 设备上的操作系统只支持文件i o 。 在操作系统的选择上，鉴于操作系统的稳定性和内核功能模块的可扩充性， 以及对f c 协议、s c s i 协议和r a i d 算法支持力度上的考虑，该模型采用l i n u x 操作系统作为支撑系统平台。本模型将在li n u x 平台上构建s a n 存储设备的软件 模型，其依据是： 1 、l i n u x 是一种开源的操作系统，可以很方便的拿到源码。 2 、li n u x 对多种c p u 平台的支持，可以方便的采用不同的硬件设备，这样有 1 3 电子科技大学硕士学位论文 助于硬件架构的设计。 3 、l i n u x 源码中已经拥有了成熟的各种通信协议，例如s c s i 协议、f c 协议 等，以及r a i d 算法。在设计模块时，具有很好的参考价值。 4 、l i n u x 系统对多文件系统的支持，也使得该平台成为广泛采用的原因之 一o 5 、最为重要的是l i n u x 具备内核模块动态加载的特性，这样，软件模型当中 的各个模块可以在l i n u x 运行时动态加载到内核空间，减少用户态与内核 态之间切换的时间，有助于提升系统的整体性能。 在操作系统级的支撑平台之上，为了有效的实现一台存储设备的软件功能， 以及实现模块化架构，该模型划分为管理模块、业务模块。分别实现设备的管理 功能和业务功能。 3 1 1 管理模块 可再划分为系统管理子模块和设备管理子模块。系统管理子模块负责整个存 储设备的上电启动和下电关闭，对业务模块的控制，以及故障后恢复上电和对数 据存取业务流的特性管理。同时，实现双控热切换的管理和双控探测机制。比如 设置数据存取的透写和回写，双控冗余管理和数据的条带化管理( r a i d 算法) ， 在数据访问不问断的情况的进行主、备控制器的切换等。设备管理子模块负责对 存储设备外部辅助设备的管理，比如电源电池管理，故障告警灯，磁盘阵列中的 磁盘监控等的管理。 3 1 2 业务模块 负责业务流的管理，对接收的命令进行解析、数据的命中和数据的返回。具 体模型见下图3 1 所示。 1 目标器：目标器前端是数据i o 进入存储设备的接口，目前在存储系统中， 应用最多的当属f c 接口技术。此外i s c s i 接口技术也很常见，在第一章中对其 进行了简要阐述。本篇论文当中不再对i s c s i 接口技术进行分析，主要关注f c 接口技术在存储设备当中的应用。 2 s c s i - 对上层f c 接口下发的s c s i 命令描述块进行解析，并根据命令执 行具体的动作。如果接收的s c s i 命令属于管理类的命令，则该层直接进行处理。 1 4 第三章s a n 存储设备的软硬件架构设计 如果接收的s c s i 命令属于数据i o 类命令，则需要把s c s i 命令描述块中的逻辑 单元号( u 烈) 和逻辑块地址( l b a ) 继续下发给下层r a i d 模块。 管理梗块业务梗块。业撇 管理模块。 莱统管系i 艚 理子梗 目标器目枥器 理子梗 块，s c s i + s c s i块 双控层双控层 设备管 c a c h 三c 自c h 设备管 理子攫r 越dr 艇d理子模 块， 块 容错层容错层 代理模块代理模块 li ll l i i l b 眦支撑平台 il u n ll 融支撑平台 l u n 2 主控制器上软件结构备控制器e 软件结构 磁盘阵列 图3 1s a n 设备的软件架构图 3 双控层：该层是为实现双控功能而增加的一个中间层，主要功能是实现软 件模型中的双路径，同时实现负载均衡功能。 双控层的这两个功能主要通过在两个控制器之间转发命令字来实现。 4 c a c h e ：实现数据读写策略，对数据进行缓存，提高设备的i o 响应速 度。当接受到上层的s c s i 读命令后，如果所存取的数据在该层命中，则读写命 令不在向下发传递，由该层直接返回所需数据。否则读写命令继续下发。如果接 受到上层的s c s i 写命令，如果写策略是回写，则该层接收数据后，该s c s i 写命 令消亡，之后由该层负责数据向磁盘阵列的实际写入。如果写策略是透写，则该 层把接受的数据下发给下层，直至数据真正存入了磁盘阵列中，该层方可结束本 次s c s i 写命令。同时c a c h e 模块在硬件的支持下，也实现了c a c h e 镜像功能。 主控制器和备控制器的c a c h e 通过d e 4 芯片保持数据同步，在任何时刻，两个 控制器中的c a c h e 模块缓存的数据是一致的。 5 r a i d ：实现对底层磁盘阵列的分区管理，对数据进行不同的组织存储， 为数据的安全存储以及数据的可恢复性提供软件级别的支持。按照所需的数据安 1 5 电子科技大学硕士学位论文 全级别，可以实现r a i d 0 、r a i d l 、r a i d 2 、r a i d 3 、r a i d 4 、t l a i d 5 、r a i d l 0 等不同算法。 6 容错层：该层功能如同双控层，这是为实现软件模型中的双控功能而增加 的一个中间层，是最底层的双控功能模块。该层模块针对磁盘环路出现故障而起 到双控容错的功能，一旦磁盘环路出现故障而无法进行访问磁盘，则容错层会把 读写命令转发到对端控制器的容错层，通过对端控制器的磁盘环路进行访问磁盘， 达到访盘容错的功能。 7 代理模块：代理模块代表控制器与磁盘阵列进行交互。这有助于实现控制 器的热插拔。 图3 1 描述了双控模式下的软件架构图。根据双控制器的设计要求，存储设 备在硬件上设计了两个对称的控制器：其中一个为主控制器，另一个为备控制器。 以便实现硬件上的冗余。同样，在这两个控制器上，分别运行相同的软件，以便 实现软件功能上的冗余。在上图的软件模型中，双控层、c a c h e 、容错层三个模 块在双控模式下会进行交互动作，为实现双控工作模型提供软件级别上的支持。 3 2s 州存储设备的硬件模型 存储设备的硬件模型，在其设计过程中，要充分考虑到稳定可靠的业务处 理能力最大化，外部辅助设备在灾难恢复时的独立性，以及外部辅助设备的丰 富性。如果能够让处理数据业务的硬件部分独立于管理外部设备的硬件部分， 那么在辅助设备出现故障时，可以无需停止软件模型中的业务模块和管理模块， 就可以去更换外部辅助设备。同时，如果将磁盘阵列也独立化，那么上述两种 硬件平台出现故障时，就可以将以上两种硬件平台拔出进行单独修复。基于以 上的考虑，整个硬件架构可设计为三个独立的部分：业务硬件平台、辅助硬件 平台、磁盘阵列。同时为方便实现该存储设备的双控功能，将业务硬件平台和 辅助硬件平台以控制板( 以下以“控制器 代称) 的形式整合，实现控制器的 热插拔。 为实现双控功能，结合图3 1 软件模型，在设计上，s a n 存储设备可配置 两个控制器。两个控制器在硬件架构上完全对称，以便对软件提供功能相同的 硬件支持。 单个控制器和磁盘阵列的架构见图3 2 所示： 1 6 第三章s a n 存储设备的软硬件架构设计 图3 - 2s a n 存储设备的单控制器架构图 3 2 1 业务硬件平台 管理模块和业务模块并不对辅助外设进行任何操作，这两个模块只是负责 存储功能。这样，在大量的的数据突发访问期间，其所在的硬件平台无需投入 额外的资源去顾及外设的管理，而只需尽力而为的处理数据业务流。因此，有 必要将管理模块和业务模块所运行的硬件平台进行独立化设计，形成业务硬件 平台。 业务硬件平台可以采用如今市面上的商用多核c p u ，这种多核c p u 的数据 1 7 电子科技大学硕士学位论文 处理能力远远高于单核的处理能力，同时随着6 4 位c p u 对大内存的支持和l i n u x 对多核的支持，完全足够业务硬件平台的性能。该模型中拟采用a m d 公司的 双核处理器，如图3 2 所示。 在总线的选取上，p c ie x p r e s s 总线技术在当今新一代的存储系统已经普遍的 应用，p c ie x p r e s s 总线能够提供极高的带宽，来满足系统的需求。p c ie x p r e s s 总线是为将来的计算机和通讯平台定义的一种高性能，通用旧互连总线。与p c i 总线相比，p c ie x p r e s s 总线主要有下面的技术优势： ( 1 ) 是串行总线，进行点对点传输，每个传输通道独享带宽。 ( 2 ) p c i e 总线支持双向传输模式和数据分通道传输模式。其中数据分通道 传输模式即p c i e 总线的x l 、) 【2 、x 4 、x 8 、x 1 2 、x 1 6 和x 3 2 多通道连接，x 1 单向 传输带宽即可达到2 5 0 m b s ，双向传输带宽更能够达到5 0 0 m b s ，这个已经不是 普通p c i 总线所能够相比的了。 ( 3 ) p c i e 总线充分利用先进的点到点互连、基于交换的技术、基于包的协 议来实现新的总线性能和特征。电源管理、服务质量( q o s ) 、热插拔支持、数据 完整性、错误处理机制等也是p c i e 总线所支持的高级特征。 ( 4 ) 与p c i 总线良好的继承性，可以保持软件的继承和可靠性。p c i e 总线 关键的p c i 特征，比如应用模型、存储结构、软件接口等与传统p c i 总线保持一 致，但是并行的p c i 总线被一种具有高度扩展性的、完全串行的总线所替代。 ( 5 ) p c i e 总线充分利用先进的点到点互连，降低了系统硬件平台设计的复 杂性和难度，从而大大降低了系统的开发制造设计成本，极大地提高系统的性价 比和健壮性。 基于以上分析，业务硬件平台指标如下： ( 1 ) 采用a m d 公司的双核处理器，处理数据业务。如图3 2 所示。 ( 2 ) 总线采用p c i e 总线。 ( 3 ) 以太网卡连接外部管理网络，提供对存储设备的终端管理。 3 2 2 辅助硬件平台 一台存储设备需要提供丰富的外部辅助设备，为整个存储系统提供额外的支 持，比如：风扇( 提供降温功能) 、电池( 掉电情况下进行临时供电) 、蜂鸣器( 报 警功能) 、硬盘状态指示灯、f c 主机适配器状态指示灯等。对于这些辅助外设， 在辅助硬件独立化的指导原则下，该硬件模型采用了如下的设计：各种外设通过 第三章鲋n 存储设备的软硬件架构设计 i 2 c 总线挂接到p m c 8 3 9 3 嵌入式处理器上，配合其上的t h r e a d x 硬实时操作系 统，形成外部辅助设备的硬件平台，通过这个平台实现对这些外设的管理。设计 这样的辅助硬件平台，其辅助硬件的故障不会影响到业务硬件平台的正常工作。 p m c 8 3 9 3 是一款基于m i p s 的嵌入式处理器，配合业界通用的可编程t h r e a d x 硬实时操作系统实现对外设的管理。如图3 2 所示，通过i a 2 c 总线连接到 p m c 8 3 9 3 嵌入式处理器上的可控外设包括：电池，风扇，f c 适配器，蜂鸣器， 告警灯，硬盘指示灯等。 电池：在系统外部供电突然中断的情况下，有电池进行临时供电。 风扇：对系统硬件进行降温。 f c 适配器：作为存储设备接入s a n 网络的主机适配卡。 蜂鸣器：用于告警功能。 硬盘指示灯：对磁盘阵列中的磁盘状态进行状态指示。 告警灯：实现告警功能。 在硬件架构中，辅助硬件平台中的一条i a 2 c 总线当作心跳线。同样在业务 硬件平台中通过内部的网卡也实现了一条连之备控制器的心跳线。这两条心跳 线功能相似。其功能是：在系统双控运行模式下，通过这两条心跳线，两个控 制器互相发送心跳信息。因此，心跳信息成为设备是否处于双控工作模式的主 要依据。所以，在硬件上专门设计了心跳线，为心跳信息的传递提供硬件通道。 无论在系统管理模块中还是在t h r e a d x 操作系统中，都设计有专门的心跳线程， 该心跳线程在固定的时间通过内部网卡或i a 2 c 总线发送心跳信息，如果两端能 够接收到正常的心跳信息，说明双控正常；如果一旦失去了来自对端的心跳信 息，就认为对方挂死，双控模式将转入单控模式运行。 图3 2 所示的硬件平台是单个控制器的硬件架构描述，在存储设备上以控 制器的方式呈现，可进行热插拔。但为了实现最初的双控功能，在一台存储设 备当中，只配置单个控制器还无法实现。因此应配置有两个相同硬件架构的控 制器，同时工作。一旦某个控制器出现不可测的故障，可由另一个控制器接管。 同样，每个控制器上也应该有一套相应的软件运行，以实现双控存储功能。因 此，图3 1 中设计了双控制器下的软件架构图：两个控制器上的软件模型完全 对称，并通过双控层、容错层、c a c h e 三个模块的互相配合实现软件层次的双 控功能。这样根据软件模型的要求，控制器的硬件架构应该为双控层、容错层、 c a c h e 三个模块提供硬件通信平台。为此，两个对称的控制器应该采用某种方 式互联。 1 9 电子科技大学硕士学位论文 主控与备控之间的硬件互联通道主要有三条： 1 、通道一，采用内部网卡实现主控备控的探测功能。这样，主备就能知 道对方是否存在。 2 、通道二，采用f c 通道实现主控备控之间的命令转发。 3 、通道三，采用f c 通道实现主控备控之间的数据转发。 3 2 3 两种硬件平台的桥接 上述两种硬件平台，虽然是以单个控制器的事物插入在存储设备当中，但 毕竟是两种异构平台：以a m d 处理器为中心的业务硬件平台配合l i n u x 操作系 统负责业务流，以p m c 8 3 9 3 嵌入式处理器为中心的辅助硬件平台配合其上的 t h r e a d x 嵌入式操作系统负责外设的控制管理。因此，必须解决这两种异构硬件 如何连接的问题。通过分析研究，对该问题的解决采用了d e 4 芯片桥接技术。 d e 4 芯片类似于桥接器，可以将p c i e 总线与f c 总线互联，这一特性使得两 种异构平台的互联变得极其容易简单。 d e 4 芯片上端通过p c i e 总线接入业务硬件平台，下端通过f c 总线接入 p m c 8 3 7 9 。p m c 8 3 7 9 在4 5 2 中组建磁盘阵列是会进行具体应用分析。这里姑且 把p m c 8 3 7 9 理解为一个多端口的交换器。p m c 8 3 7 9 的工作原理遵循f c 仲裁环 协议，将所有接入的设备构成一个逻辑环，同样，也将p m c 8 3 9 3 纳入这个逻辑 环进行管理。那么这两种异构平台之间的数据交