双控存储系统

精选文库双控存储系统随着我国科技的发展和信息化建设的不断深入，各种数据量迅速增长，数据应用的深度也不断增加。在英国工业革命之后，各种书籍等以文字为载体的知识大约每十年翻一番，世纪年代后，全球信息总量大约每三年就翻一番。而到了现如今，全球信息总量每两年就可翻一番。1年全球数据总量已经达到，并且根据预计每年以的速度增长，我们己经进入了大数据时代。在大数据时代，数据的存储不仅是针对原生数据，更多的是第三方数据。随着大数据时代的不断推进，原生数据越来越呈现单一孤立化，而大数据处理就是要将众多看似毫无联系的单一孤立化数据联系起来，产生各种针对性很强的第三方数据。随着大数据处理的发展，第方数据量与日俱增，带有各项综合价值的第三方数据在质量和数量上都远超单一的原生数据。特别是政府、金融、军工、通信等特殊行业，对数据存储的安全、可靠性等有更加特殊的技术要求。棱镜门事件后有报告宣称部分国外科技公司在我国很多关键领域特别是数据存储领域拓展业务的同时，与他国军队、政府等保持密切联系，导致他国情报部门通过这些公司在关键领域铺设的设备、网络等非法获取我国机密信息，给我国的信息安全带来巨大威胁。特别是棱镜门后，我国加大了政府信息工程的国产化工作。在这种情况下，存储系统的数据重要性日益凸显，发展国产存储对降低我国信息化成本、保障国家的信息安全有着非比寻常的意义。与此同时，随着存储需求的迅速膨胀，我国存储产业己经达到了上百亿的规模。存储的产业经济价值也开始凸现出来。与此同时，保证数据的高可用和高可靠逐渐成为各大厂商存储研究的热点。磁盘阵列技术的不断应用使得存储系统的故障单点有逐渐向控制器转移的趋势。在金融、电信、互联网等行业里，存储系统发生宕机会给用户带来致命问题。所以研制拥有自主知识产权的双控存储系统就具有强烈的现实意义和极高的经济价值。存储技术的发展计算机最初采用串行的延迟线存储器，不久又用磁鼓存储器。50年代中期，主要使用磁芯存储器作为主存 。60年代中期以后，半导体存储器已取代磁芯存储器。在逻辑结构上，并行存储和从属存储器技术的采用提高了主存的供数速度，缓和了主存和高速的中央处理器速度不匹配的矛盾。1968年IBM- 36085最早采用了高速缓冲存储器主存储器结构。高速缓冲存储器的存取周期与中央处理器主频周期一样，由硬件自动调度高速缓冲存储器与主存储器之间信息的传递，使中央处理器对主存储器的绝大部分存取操作，可以在中央处理器和高速缓冲存储器之间进行。1970年，美国RCA公司研 究成功虚拟存储器系统。IBM公司于 1972年在IBM370系统上全面采用了虚拟存储技术。由于科学计算和数据处理对存储系统的要求越来越高 ，需要不断改进已有的存储技术，研究新型的存储介质，改善存储系统的结构和管理。大规模集成电路和磁盘依然是主要的存储介质。利用新型材料制作大规模集成电路、大容量的联想存储器可大大提高速度，对于计算机系统和软件都会发生影响。磁盘技术、光盘技术、约瑟夫逊结器件，以至研究新的存储模型，都是计算机存储系统发展的研究课题。此外还要进行新的存储机制的研究。当前存储技术的发展按照系统层面可分为封闭体系和开放体系，其中封闭体系主要指大型机，而开放体系指基于、linux等常用操作系统的存储体系。开放式存储体系可分为外挂方式存储和内置方式存储，其中外挂方式存储可分为和。根据传输协议不同又可进一步细分为和。即，直连式存储。即ab，网络化存储。即，网络附属存储。即，存储区域网络。在传统的技术中，多个磁盘驱动器可以通过串接的方式组成磁盘簇（，JBOD），可以通过接口或者SI接口连接到磁盘主控制器。因为的应用结构非常简单，成本很低，所以在市场中应用广泛，但缺点也有很多。DAS的缺陷主要有以下几个方面：、主控制器资源开销过大，尤其是在进行数据备份或者迁移的过程。、系统容错性非常差，容易若机造成数据丢失。、系统可扩展性差，不能方面的进行磁盘扩展。、系统由于设备分散不容易管理，容易形成信息孤岛。为了増加系统数据的容错性，磁盘主控制器可通过各种技术来实现数据的冗余和容错。ID(Redundant Array of Independent Disk，独立磁盘冗余阵列）技术是由于年提出的，最初是为了用多个廉价小容量磁盘来代替大容量但是价格相对昂贵的磁盘，而且可保证在磁盘故障时存储数据不会丢失。应用技术可以充分发挥硬盘组的优势，可以提升硬盘整体读写速率，增大整机存储容量，提高整机容错性等。常见的瓜工作模式主要分为、ID、又被称为Stripe或，即数据分条技术。数据分条技术将文件后分散写入多个磁盘中，从而提高了整机磁盘的速率和吞吐量。模式没有冗余能力而且成本低廉，至少要求两个磁盘才能组建，一般应用在对数据安全性要求不高的环境下。ID也称为磁盘镜像模式，可以简单理解为在不影响性能的情况下为保证整机系统的可靠性而把一个磁盘的数据完全镜像到另一个磁盘上的技术模式。该模式因为的数据镜像因而具有很高的数据冗余能力，但相应磁盘利用率仅为，所以成本教高，一般应用在保存关键性数据的重要场合环境下。ID5模式是包含ID和ID的综合方案，但又没有完全使用ID1的镜像原理，而是利用奇偶校验信息来作为数据恢复的方式。利用分散在不同磁盘中奇偶校验信息的重构运算来达到数据兀余的目的，同时也可以兼顾存储成本与高可靠。ID则是集中了和的特点，在民对数据进行存储的基础上，每个磁盘都有一个对应的镜像磁盘。双控存储系统定义双控存储系统是一套高密度、高稳定且兀余的存储系统，设计灵活，可同时适配于、系统。、系统中均可实现双控，系统中单控制柜最多支持个，系统中单控制柜最多可支持个。系统还支持接口产品，有很强的扩展性，可扩展出网络接口、接口等并预留出各种设备接口。系统主要应用在存储领域，窩密度、高稳定性、冗余且可扩展性强。双控存储系统根据两个控制器的工作方式可以分为两类：Active-Standby和Active-Active。1.Active-Standby在Active-Standby设计方案中，两个控制器地位不一样，分为主控制器和镜像控制器。正常工作状态下，客户端的数据请求都由主控制器来处理，镜像控制器不接收数据请求也不会操作磁盘，镜像控制器的主要功能是缓存数据备份。主控制器所有对本地缓存的更新，都必须实时同步到镜像控制器的缓存中，即使主控制器故障，缓存数据也不会丢失。客户端主机和存储设备之间的连接方式可以采用故障转移或者绑定虚拟IP地址的方式。镜像控制器时刻监控主控制器是否工作正常，当主控制器发生异常后，客户端接收不到数据请求响应，会使用与镜像控制器的连接发送命令。此时镜像控制器上线代替主控制器处理请求，保证了高可用性。同时镜像控制器将缓存中的备份数据做适当处理，写入磁盘，或直接作为缓存数据使用。Active-Standby设计方案实现简单，成本相对较低，但是同时只有一个控制器工作，降低了性能和利用率，主要面对中低端市场。2.Active-Active在Active-Actiive设计方案中，两个控制器可以同时操作磁盘阵列，同时对外提供读写请求服务。两个控制器的地位是对等的，不同的是两个控制器接收到的数据请求是客户端经过协议分发之后的。为了保证缓存数据的可靠性，两个控制器要分别备份对方控制器的缓存数据。每个控制器本身的缓存空间分为两个部分，一部分是当前控制器的缓存数据，另一部分氏对方控制器的缓存备份。当其中一个控制器发生异常无法工作后，另一个接管所有的客户端数据请求，不会导致存储服务中断，并且缓存里的数据没有丢失。由于连个控制器可以同时上线工作，所以Active-Active的性能和资源利用率要比Active-Standby方式高，但同时缓存的设计实现更加复杂，成本高，主要面向中高端市场。双控存储系统实现原理双控存储系统利用增加磁盘控制器来处理系统的单点故障。双控制器之间通过高速链路通道进行数据的缓存镜像，控制器之间通过心跳链路来实时监控对方状态。每个控制器都单独通过接口与后端磁盘阵列相连，并且在单一控制器岩机时可以实现控制器切换，最大程度的减少控制器故障带来的损失系统会在在整机系统掉电时进行缓存数据往的写入，做到意外掉电不丢数据。双控存储系统设计原则、模块化原则双控存储系统严格遵从整体到局部，自上而下的原则进行设计。遵循模块化设计原则，软硬组件依据不同功能进行划分，双控系统内部的按制流、数据流和管理流彼此分离，管理与控制任务不会对数据的访问造成任何影响，从而有力的保证数据访问的离效性与存储系统整体结构的稳定性。、高性能原则双控存储系统为各个应用场景提供髙带宽、高性能、低延迟的数据访问服务，能够承担大规模的数据吞吐量和大量用户的并发访问，这就要求系统以提高整体性能为目标，优化内部数据流程，提高用户访问效率。、高可靠、高可用原则双控存储系统的处理的数据量很大，但是无论多大的数据量丢失都会给客户带来无可弥补的损失。数据无价，所存储系统的设计必须以保证高可靠和高可用为最大原则。系统采用冗余方式设计，使得系统没有单点故障的风险，建设完巧善的系统状态监控和纠错算法，对重点部件进行重点防护。数据在内部采用兀余存储，并形成一套完整的灾难恢复策略，确保系统被破坏后可及时进行恢复。、可扩展原则双控存储系统力求灵活且可扩展，能够在规模、容量和性能等几个方面依据用户需求进行调整，动态増删磁盘阵列、网络设备与存储服务器，以适应用户对网络带宽、存储容量和数据存储效率的需求。、易管理原则双控存储系统包含数量众多的磁盘阵列、网络连接设备和存储服务器，内部运行功能各异的存储核屯、软件，需要对各种资源进行有效的管理，使用绕一视图的方式提供给管理员，方便对整个系统进行监控与管理。、经济性原则双控存储系统需要整机各个部件搭配合适才能发挥出每个部件的最大性能，而且也有利于控制整机的成本，降低不必要的开销。、保障性原则双控存储系统设计时以最大程度保证高性能、易扩展、髙可用、易管理为核屯、出发点，在设计出现冲突时以此为基础进行折衷，保证设计结果的有效性。系统实施后可保证对用户的访问请求进行快速响应，确保数据的安全可靠存储，并可对系统内部的各类资源进行方便的统一监控与管理，为各种类型的用户提供良好的数据访问服务。架构设计双控制器存储系统由两台软硬件完全相同的计算机作为列阵控制器，两个控制器通过高速通道连接实现数据传输，用于一共高速缓存同步、心跳信号传输、控制切换等功能。双控制器及背板之间残念用无线缆设计，将大大减少信号间的串扰。每个控制器搭载一颗P3041斯和控制器，向外拓展8个PCIE插槽，可以连接万兆等设备。控制器通过SAS驱动卡或者RAID卡连接到磁盘阵列，对外提供ISCSI和FC网络接口，为客户及提供高速的数据传输。为了防止突然断电造成数据损坏，平台提供了备用电源，在断电时将内存的数据写入到其他设备中，通电后可恢复。双控存储系统体系结构优势普通的基于平台架构的单控存储系统在遇到系统单点故障特别是控制器故障时极易宕机，对企业生产是一种潜在的巨大危机。双控存储系统利用增加磁盘控制器来处理系统的单点故障。双控制器之间通过高速链路通道进行数据的缓存镜像，控制器之间通过也跳链路来实时监控对方状态，并且在单一控制器若机时可以实现控制器切换，最大程度的减少控制器故障带来的损失。此外，系统会在在整机系统掉电时进行缓存数据往的写入，做到意外掉电不丢数据。增加了系统整体可靠性。而且本双控存储系统还可搭配相应的磁盘扩展柜进行磁盘扩展，支持大容量磁盘阵列控制。国内外研究现状随着技术进步，存储系统的接入形式由最初的演变到、，磁盘阵列的结构也由最初的单控逐渐发展到双控，目前国外公司己经推出成熟的双控产品，如系列、旧系列、系列产品。国内一些存储领域研巧知名高校如清华、华中科技大学，企业如浪潮、华为等在双控存储产品的开发方面投入了大量的资源，有了较强的技术积累。但在各自的研巧方向上，这些机构又有所分别，如高校机构的技术研究比较前沿，但产品化有所欠缺，企业研究的技术实用性强，但前瞻性不够。在双控存储技术领域，国内有了一些技术基础，但还没有形成大规模的产业化。双控存储系统的实现方式可以分为两种：纯软件方式和硬件共享磁盘架构。前者主要是利用软件进行数据的镜像，但是两个控制器之间是完全独立的，可以理解为两套一样的数据存储设备。纯软件方式的优点在于对硬件的需求较小，而且方便部署安装，缺点就是难于进行数据管理而且容易损失整机性能。后者则是两个控制器利用总线访问同一个磁盘组的硬件共享磁盘架构。从本质上来讲，只有硬件共享磁盘架构才是真正的双控存储系统采用的架构方式。采用这种架构的双控存储系统在发生单一控制器故障时可不用考虑数据一致性的问题而仅仅进行控制器的切换，可更加及时有效而且准确的进巧数据保护。目前国内采用纯软件方式进行双控系统搭建一般是利用LIFE、 等双控方案，其中FE 是当前比较常用的集群软件，致力于解决控制故障容错的问题。它除了可支持创建集群，也可以支持双机工作。在扩展镜像方式下可从相互热备份且实现两个控制器各自运行不同应用，实现双工作模式。当出现控制器故障时，可实时进行系统资源切换。双控系统采用两个控制器与磁盘阵列直连的方式，控制器应用软件和分别安装在两个控制器上，两个控制器之间通过也跳链路连接曰。 软件通过监控也跳信息来实时采集对方控制器的运行状态。这类纯软件的方式易于搭建而且对硬件平台的要求不髙，但是配置过程异常的繁琐，后期还需要专业人员进行定期维护。国外一些存储公司的存储产品比如旧的就是采用硬件共享磁盘架构模式，两个控制器都通过接口与后端磁盘阵列相连。大致来看，国内的双控存储系统还不能完全与海外公司竞争。而且