双控存储系统

1、双控存储系统随着我国科技的发展和信息化建设的不断深入， 各种数据量迅速 增长，数据应用的深度也不断增加。在英国工业革命之后，各种书籍 等以文字为载体的知识大约每十年翻一番，19世纪70年代后，全 球信息总量大约每三年就翻一番。 而到了现如今， 全球信息总量每两 年就可翻一番。20 1 1年全球数据总量已经达到1 .8ZE，并且 根据预计每年以5 0%的速度增长， 我们己经进入了大数据时代。在大数据时代， 数据的存储不仅是针对原生数据， 更多的是第三 方数据。随着大数据时代的不断推进， 原生数据越来越呈现单一孤立 化，而大数据处理就是要将众多看似毫无联系的单一孤立化数据联系 起来，产生各种针对性

2、很强的第三方数据。随着大数据处理的发展， 第H方数据量与日俱增，带有各项综合价值的第三方数据在质量和数 量上都远超单一的原生数据。特别是政府、金融、军工、通信等特殊 行业，对数据存储的安全、可靠性等有更加特殊的技术要求。棱镜门事件后有报告宣称部分国外科技公司在我国很多关键领 域特别是数据存储领域拓展业务的同时， 与他国军队、政府等保持密 切联系，导致他国情报部门通过这些公司在关键领域铺设的设备、 网 络等非法获取我国机密信息， 给我国的信息安全带来巨大威胁。 特别 是棱镜门后，我国加大了政府信息工程的国产化工作。 在这种情况下， 存储系统的数据重要性日益凸显， 发展国产存储对降低我国信息化成

3、本、保障国家的信息安全有着非比寻常的意义。与此同时，随着存储 需求的迅速膨胀， 我国存储产业己经达到了上百亿的规模。 存储的产 业经济价值也开始凸现出来。 与此同时， 保证数据的高可用和高可靠 逐渐成为各大厂商存储研究的热点。 磁盘阵列技术的不断应用使得存 储系统的故障单点有逐渐向控制器转移的趋势。在金融、电信、互联 网等行业里， 存储系统发生宕机会给用户带来致命问题。 所以研制拥 有自主知识产权的双控存储系统就具有强烈的现实意义和极高的经 济价值。存储技术的发展计算机最初采用串行的延迟线存储器， 不久又用磁鼓存储器。 50 年代中期，主要使用磁芯存储器作为主存。60 年代中期以后，半导体存储

4、器已取代磁芯存储器。 在逻辑结构上， 并行存储和从属存储器 技术的采用提高了主存的供数速度， 缓和了主存和高速的中央处理器 速度不匹配的矛盾。 1968年 IBM- 360 85最早采用了高速缓冲存储 器主存储器结构。 高速缓冲存储器的存取周期与中央处理器主频 周期一样，由硬件自动调度高速缓冲存储器与主存储器之间信息的传 递，使中央处理器对主存储器的绝大部分存取操作， 可以在中央处理 器和高速缓冲存储器之间进行。1970年，美国RCA公司研 究成功虚 拟存储器系统。IBM公司于1972年在IBM370系统上全面采用了虚拟 存储技术。由于科学计算和数据处理对存储系统的要求越来越高 ，需要不 断改

5、进已有的存储技术， 研究新型的存储介质， 改善存储系统的结构 和管理。 大规模集成电路和磁盘依然是主要的存储介质。 利用新型材 料制作大规模集成电路、 大容量的联想存储器可大大提高速度， 对于计算机系统和软件都会发生影响。磁盘技术、光盘技术、约瑟夫逊结 器件，以至研究新的存储模型， 都是计算机存储系统发展的研究课题。 此外还要进行新的存储机制的研究。当前存储技术的发展按照系统层面可分为封闭体系和开放体系， 其中封闭体系主要指大型机，而开放体系指基于UNIX、linux等常用操作系统的存储体系。 开放式存储体系可分为外挂方式存储和内 置方式存储，其中外挂方式存储可分为DAS和FAS。FAS根据传

6、输协议不同又可W进一步细分为NAS和SAN。DAS即DirectAttached Storage,直连式存储。FAS 即F abricAttachedStorage，网络化存储。NAS 即Network-Attached Storage,网 络附属存储。SAN 即StorageArea Network,存储区域网络。在传统的DAS技术中，多个磁盘驱动器可以通过串接的方式组 成磁盘簇（Justa Bunch Of Disks, JBOD,可以通过FC接口或者SC SI接口连接到磁盘主控制器。因为DA S的应用结构非常简单，成本很低，所以在市场中应用广泛，但缺点 也有很多。DAS的缺陷主要有以下几

7、个方面：1、主控制器资源开销过大，尤其是在进行数据备份或者迁移的 过程。2、系统容错性非常差，容易若机造成数据丢失。3、系统可扩展性差，不能方面的进行磁盘扩展。4、系统由于设备分散不容易管理，容易形成信息孤岛。为了増加系统数据的容错性，磁盘主控制器可W通过各种RAID技术来实现数据的冗余和容错。RA ID（Redundant Array of Independent Disk，独立磁盘冗余阵列）技术是由UCE于19 8 7年提出的，最初是为了用多个廉价小容量磁盘来代替大容量但是价格相对昂贵的磁盘，而且可W保证在 磁盘故障时存储数据不会丢失。应用RAID技术可以充分发挥硬盘 组的优势，可以提升硬

8、盘整体读写速率，增大整机存储容量，提高整 机容错性等。常见的RA瓜工作模式主要分为RAIDO、RAID1、RA ID 5、RAID1ORAIDO 又被称为 Stripe 或 Striping，即 Data Stripping数据分条技术。数据分条技术将文件stri pc后分散写入多个磁盘中，从而提高了整机磁盘的速率和吞吐量。 RAIDO模式没有冗余能力而且成本低廉，至少要求两个磁盘才能组建，一般应用在对数据安全性要求不高的环境下。RA ID 1也称为磁盘镜像模式，可以简单理解为在不影响性能的 情况下为保证整机系统的可靠性而把一个磁盘的数据完全镜像到另 一个磁盘上的技术模式。该模式因为100%的

9、数据镜像因而具有很 高的数据冗余能力，但相应磁盘利用率仅为5 0%，所以成本教高， 一般应用在保存关键性数据的重要场合环境下。RA ID5模式是包含RA ID 0和RA ID 1的综合方案，但又没有 完全使用RA ID1的镜像原理，而是利用奇偶校验信息来作为数据恢 复的方式。利用分散在不同磁盘中奇偶校验信息的重构运算来达到数 据兀余的目的，同时也可以兼顾存储成本与高可靠。RA ID 10则是集中了 RAID1和RAIDO的特点，在民 AID0对数据进行stripe存储的基础上， 每个磁盘都有一个 对应的100镜像磁盘。双控存储系统定义双控存储系统是一套高密度、 高稳定且兀余的存储系统， 设计灵

10、 活，可同时适配于2U、3U系统。2U、3U系统中均可实现双控， 2U系统中单控制柜最多支持2 5个HDD,3U系统中单控制柜最多可支持48个HDD。系统还支持PCIE接口产品，有很强的 扩展性，可扩展出网络接口、 SAS接口等并预留出各种PCIE设 备接口。系统主要应用在存储领域,窩密度、高稳定性、冗余且可扩 展性强。双控存储系统根据两个控制器的工作方式可以分为两类： Active-Standby 和 Active-Active 。1. Active-Standby在 Active-Standby 设计方案中,两个控制器地位不一样,分为 主控制器和镜像控制器。 正常工作状态下, 客户端的数据

11、请求都由主 控制器来处理, 镜像控制器不接收数据请求也不会操作磁盘, 镜像控 制器的主要功能是缓存数据备份。主控制器所有对本地缓存的更新, 都必须实时同步到镜像控制器的缓存中, 即使主控制器故障, 缓存数 据也不会丢失。 客户端主机和存储设备之间的连接方式可以采用故障转移或者绑定虚拟 IP 地址的方式。镜像控制器时刻监控主控制器是 否工作正常，当主控制器发生异常后， 客户端接收不到数据请求响应， 会使用与镜像控制器的连接发送命令。 此时镜像控制器上线代替主控 制器处理请求， 保证了高可用性。 同时镜像控制器将缓存中的备份数 据做适当处理，写入磁盘，或直接作为缓存数据使用。Active-Stan

12、dby 设计方案实现简单，成本相对较低，但是同时 只有一个控制器工作，降低了性能和利用率，主要面对中低端市场。2. Active-Active在 Active-Actiive 设计方案中，两个控制器可以同时操作磁盘 阵列，同时对外提供读写请求服务。两个控制器的地位是对等的，不 同的是两个控制器接收到的数据请求是客户端经过协议分发之后的。 为了保证缓存数据的可靠性， 两个控制器要分别备份对方控制器的缓 存数据。每个控制器本身的缓存空间分为两个部分， 一部分是当前控 制器的缓存数据， 另一部分氏对方控制器的缓存备份。 当其中一个控 制器发生异常无法工作后， 另一个接管所有的客户端数据请求， 不会

13、导致存储服务中断，并且缓存里的数据没有丢失。由于连个控制器可以同时上线工作， 所以 Active-Active 的性能 和资源利用率要比 Active-Standby 方式高，但同时缓存的设计实现 更加复杂，成本高，主要面向中高端市场。双控存储系统实现原理 双控存储系统利用增加磁盘控制器来处理系统的单点故障。 双控 制器之间通过NTE高速链路通道进行数据的缓存镜像， 控制器之间通过心跳链路来实时监控对方状态。 每个控制器都单独通过SAS接 口与后端磁盘阵列相连，并且在单一控制器岩机时可以实现控制器切 换，最大程度的减少控制器故障带来的损失BBU系统会在在整机系 统掉电时进行缓存数据往SSD的写

14、入，做到意外掉电不丢数据。双控存储系统设计原则1、模块化原则双控存储系统严格遵从整体到局部，自上而下的原则进行设计。 遵循模块化设计原则，软硬组件依据不同功能进行划分，双控系统内 部的按制流、数据流和管理流彼此分离，管理与控制任务不会对数据 的访问造成任何影响，从而有力的保证数据访问的离效性与存储系统 整体结构的稳定性。2、高性能原则双控存储系统为各个应用场景提供髙带宽、 高性能、低延迟的数 据访问服务，能够承担大规模的数据吞吐量和大量用户的并发访问， 这就要求系统以提高整体性能为目标， 优化内部数据流程，提高用户 访问效率。3、高可靠、高可用原则双控存储系统的处理的数据量很大，但是无论多大的

15、数据量丢失 都会给客户带来无可弥补的损失。 数据无价，所W存储系统的设计必 须以保证高可靠和高可用为最大原则。 系统采用冗余方式设计，使得 系统没有单点故障的风险，建设完巧善的系统状态监控和纠错算法， 对重点部件进行重点防护。数据在内部采用兀余存储，并形成一套完 整的灾难恢复策略，确保系统被破坏后可及时进行恢复。4、可扩展原则双控存储系统力求灵活且可扩展，能够在规模、容量和性能等几 个方面依据用户需求进行调整，动态増删磁盘阵列、网络设备与存储 服务器，以适应用户对网络带宽、存储容量和数据存储效率的需求。5、易管理原则双控存储系统包含数量众多的磁盘阵列、 网络连接设备和存储服 务器，内部运行功能

16、各异的存储核屯、软件，需要对各种资源进行有 效的管理，使用绕一视图的方式提供给管理员， 方便对整个系统进行 监控与管理。6、经济性原则双控存储系统需要整机各个部件搭配合适才能发挥出每个部件 的最大性能，而且也有利于控制整机的成本，降低不必要的开销。7、保障性原则双控存储系统设计时以最大程度保证高性能、易扩展、髙可用、 易管理为核屯、出发点，在设计出现冲突时以此为基础进行折衷，保 证设计结果的有效性。系统实施后可保证对用户的访问请求进行快速 响应，确保数据的安全可靠存储，并可对系统内部的各类资源进行方 便的统一监控与管理，为各种类型的用户提供良好的数据访问服务。架构设计双控制器存储系统由两台软硬

17、件完全相同的计算机作为列阵控制器，两个控制器通过高速通道连接实现数据传输， 用于一共高速缓存同步、心跳信号传输、控制切换等功能。双控制器及背板之间残念用无线缆设计，将大大减少信号间的串扰。 每个控制器搭载一颗 P3041 斯和控制器，向外拓展8个PCIE插槽，可以连接万兆等设备。控制 器通过SAS驱动卡或者RAID卡连接到磁盘阵列，对外提供ISCSI和 FC 网络接口，为客户及提供高速的数据传输。为了防止突然断电造 成数据损坏， 平台提供了备用电源， 在断电时将内存的数据写入到其 他设备中，通电后可恢复。双控存储系统体系结构优势普通的基于X%平台架构的2U/3U单控存储系统在遇到系 统单点故障

18、特别是控制器故障时极易宕机， 对企业生产是一种潜在的 巨大危机。双控存储系统利用增加磁盘控制器来处理系统的单点故障。 双控制器之间通过NTE高速链路通道进行数据的缓存镜像，控制器之间通过也跳链路来实时监控对方状态， 并且在单一控制器若机时可 以实现控制器切换，最大程度的减少控制器故障带来的损失。此外， BBU系统会在在整机系统掉电时进行缓存数据往SSD的写入，做到意外掉电不丢数据。 增加了系统整体可靠性。 而且本双控存储系统 还可搭配相应的磁盘扩展柜进行磁盘扩展， 支持大容量磁盘阵列控制。国内外研究现状随着技术进步，存储系统的接入形式由最初的DAS演变到NAS、SAN，磁盘阵列的结构也由最初的

19、单控逐渐发展到双控，目前 国外公司己经推出成熟的双控产品， 如EMCCX系列、旧MDS系 列、NctappE5系列产品。国内一些存储领域研巧知名高校如 清华、华中科技大学，企业如浪潮、华为等在双控存储产品的开发方 面投入了大量的资源， 有了较强的技术积累。 但在各自的研巧方向上， 这些机构又有所分别， 如高校机构的技术研究比较前沿， 但产品化有 所欠缺，企业研究的技术实用性强，但前瞻性不够。在双控存储技术 领域，国内有了一些技术基础，但还没有形成大规模的产业化。双控存储系统的实现方式可以分为两种： 纯软件方式和硬件共享 磁盘架构。 前者主要是利用软件进行数据的镜像， 但是两个控制器之 间是完全

20、独立的， 可以理解为两套一样的数据存储设备。 纯软件方式 的优点在于对硬件的需求较小， 而且方便部署安装， 缺点就是难于进 行数据管理而且容易损失整机性能。后者则是两个控制器利用1SC SI总线访问同一个磁盘组的硬件共享磁盘架构。从本质上来讲，只有硬件共享磁盘架构才是真正的双控存储系统采用的架构方式。 采用 这种架构的双控存储系统在发生单一控制器故障时可yA不用考虑 数据一致性的问题而仅仅进行控制器的切换， 可W更加及时有效而且 准确的进巧数据保护。目前国内采用纯软件方式进行双控系统搭建一般是利用LIFE Keeper> Rose HA等双控方案，其中Li FE Keeper 是当前比较常用的集群软件， 致力于解决控制故障容错的问题。 它除 了可支持创建集群，也可以支持双机工作。LifeKeeper