EMCCentera内容寻址存储解决方案介绍资料

EMCCentera内容寻址存储解决方案

书目TOC\o"1-3"\h\z第一章：前言 3其次章：介绍 4产品介绍 4运用Centera 4C-ClipTM功能 5Centera构造 6API介绍 9API根本功能 10容灾技术 12综述 12正常操作(normaloperation) 13修复(repairandrecovery) 13复原(restore) 14容灾方案的设计需考虑的因素 15

第一章：前言依据Global2000最近的一份调查显示，今后增长最快的数据是一种叫做“固定内容”的数据。固定内容包括了任何形式的数字化信息，如文档、电子邮件、影像、Video/Audio流体、X光片、CAD图纸等。这种快速增长的数据要求有一个切实可行的存储来实现平安的、在线的、几十年的数据存放——即内容寻址存储(CAS:ContentAddressedStorage)。不象传统的通过一个详细的物理地址和文件名来存取数据，CAS设备运用一个内容地址来存放和读取此内容对象。因为一个内容数据通常其大小是没有任何上限的，因此CAS设备须要具有极强的可扩展实力，甚至到PB级(1PB=1024TB)，但同时要保障秒级的寻址性能。基于BLOCK(块)和文件(FILE)存取的传统的磁盘存储系统，特殊适合于那种TB级的、交易型的或整合型的应用环境。但是在今日，我们的管理层须要一个可以在线保存大量固定内容数据系统，这个系统可以通过网络的方式来实现数据的存取。EMC的Centera，是一个基于内容寻址的存储解决方案。它的CentraStar软件，和模块化的磁盘组件一起，共同实现了对应用和用户透亮的物理资源的管理。业界的一些内容管理(ContentManagement)应用可便利地通过Centera所供应的API接口来实现对内容数据的管理。

其次章：介绍EMC的Centera供应应用户许多独特的价值：简洁管理：Centera技术简化了对几百TB甚至PB的内容数据的管理工作。它无需进展任何RAID的选择，无需进展LUN的配置，无需进展文件系统的管理。用户的应用从传统的提出要求到简洁地利用其功能。数据平安任何呈现给系统的对象，保存在一个不行更改的和需授权的地方。这对用户的应用完全透亮。有效的复制Centera运用一个唯一的基于内容的地址，来确保无论此数据被存入了多少次，它在系统中仅存在一份(和另一份复制数据以保障数据的平安性)。这可有效地削减由于数据的重复存放而造成的整体费用增高。灵敏的扩展实力基于独立节点冗余阵列(RAIN：RedundantArrayofIndependentNodes)的Centera可以无需重新配置而进展从TB级到PB级的扩容。简洁安装和升级Centera可在一个小时之内进展在线的系统安装和升级，特殊快速。产品介绍运用CenteraCentera介绍了一个新的数据处理技术，即内容寻址。当存放一个固定内容数据到Centera时，应用将获得跟此内容数据对应的唯一密钥(claimcheck)。当须要读取此数据对象时，应用可简洁地发送它的密钥(claimcheck)给Centera。Centera接收到此密钥后，就可把对应的数据对象返回应用。以下列图示说明白Centera存放数据对象，亦称之为BLOB(二进制大对象)的详细流程：应用写入一个数据给CenteraAPI，API计算出一个128位的用户文件内容地址CA，同时产生一些必要的其它数据Metadata，如文件名、生成日期等。Centera存放此BLOB，同时产生一个镜像拷贝。CA和Metadata插入一个XML文件，组成一个C-Clip描述文件(CDF)。说明：C-Clip是CDF和内容对象的联合体。当两份BLOB和两份CDF都被平安地存放在Centera后，C-ClipCA将被返回给应用。当将来须要运用此对象数据时，应用仅需把此C-ClipCA发送到API，就将从Centera获得此数据，而无需任何其它的书目、文件名、URL地址等。C-ClipTM功能C-ClipCA事实上就是存放对象(如用户文件BLOB)的授权指纹。只要是所存的对象有1个Bit被变更，用户应用都将通过API获得一个包含新内容地址的CDF。原来的数据对象照旧运用原有的内容地址和CDF。这种WORM(写一次，读屡次)的构造是任何其它文件系统所不能供应的。另一个好处就是，假如多个用户存放同一个对象数据时，只有一份数据(加上镜像爱惜数据)将被存放，用户都将获得一个唯一的C-ClipCA指向同一个对象，而不会被存放多份。这对于节约存储空间特殊有用，可用于诸如保存EMAIL附件的一些应用中。这种C-Clip方式，运用应用开发者、用户和存储管理者不须要考虑这些数据的物理存放地址，及逻辑路径。而C-ClipCA是数据的唯一的、全局的、可在任一地点进展存取的标记。因为Centera运用了一个与物理地址无关的数据存放技术，因此所导致的结果是数据的移动特殊简洁，可利用此特点进展容灾爱惜。当一个数据对象被存放在本地时，可同步地、自动地通过WAN复制到异地。这可通过Centera的软件功能实现，在实施时同时配置好本地的和异地的Centera即可。当本地发生灾难，须要重建数据时，异地的Centera可依据须要当本钱地的Centera运用。同时，这种数据复制是可以双向的。用户运用Centera时，是通过基于内容的软件应用(例如ContentManagement应用)实现。此内容管理软件通过Centera强大的API功能访问Centera。Centera构造Centera是一个“无单点故障”的构造，它具有极强的可扩展性和非中断实施实力。Centera由冗余阵列独立节点(RAIN)组成，可安装在一个或多个19’’机架上。一个独立的机架可安装16、24或32个独立节点，对应地供应4.2TB、7.2TB或9.6TB被镜像爱惜后的可用容量。每个节点包含有一个CPU，600GB物理容量，同时通过一个自带的局域网〔PrivateLAN〕连接到同族(cluster)中的其它节点。每个节点可操作在如下二种模式：存储节点(StorageNode)：用于长期存放BLOB和CDF前端节点(Front-EndNode)：用于连接应用效劳器和存储节点吞吐量性能由安装时配置了多少个前端节点来确定。每一个前端节点通过一条100MB的以太网线连接到应用效劳器。供应的Centera可以通过多条网线连接到应用效劳器。应用效劳器完全可享受由Centera所供应的灵敏扩展实力和高可用性。需留意的是，前端节点并不供应长期的数据存放，存储容量的计算由存储节点来确定。例如，一个32节点的Centera，假设配置4个节点为前端节点，28个节点为存储节点时，那么可用的容量为：28*600GB/2=8.4TB。这种构造使得Centera具有容量和性能的极佳可扩展实力。容量扩展可通过一次参与2.4TB可用容量的节点(即8个存储节点)实现。同时，通过前端节点的扩展，可满足性能的要求。这种构造最大的好处是，扩展特殊简洁，无需增加时间，无需困难的管理。这种构造使得一个管理员就可以轻松管理几百TB或PB的数据。多个Centera机架可以组合成一个单独的族(cluster)，供应154TB的可用容量。Centera通过多条TCPIPLAN端口连接多台Windows或Unix应用效劳器。假如154TB还不够时，用户端应用API可以同时涉及几个族(cluster)，如下列图所示，以到达PB级的容量。实施时特殊简洁，就是简洁地把新的族连接到应用效劳器的LAN即可。Centera的API已设计成可处理多个族的并行构造。Centera机架可由二路不同的外部电源供电，以提高可用性。同时，可保证保存在Centera中的镜像数据由不同的外部电源供电。假如外部电源A掉电后，存放在另一个节点的数据可由外部电源B(未掉电)接着访问。留意，当二个外部电源中的一个掉电后，Centera那么处于一个“只读”状态，这是因为此时新写入的数据不能进展镜像复制的缘由。因此，对于高可用性要求的用户来说，接受一个UPS进展电源爱惜，可保障数据的连续可用。Centera本身具备许多的管理功能，使得用户无需对它进展更困难的管理，因此可大大降低整体运行本钱。例如Centera本身具备有自我管理功能、动态扩展实力、自治愈实力。当一个新的存储单元参与到一个族(cluster)中，通电后，Centera就可自动地“自动发觉”，同时把此新存储单元参与到此族中。利用Centera的操作软件：CentraStarTM，当一个磁盘故障时，受这个故障磁盘影响的全部对象数据将由另外的可用磁盘自动重建。在一个硬件故障的事务中，用户数据可保障任何时候都可用，无需进展任何停机或复原的动作。另外，数据的一样检查都是在后台进展，它连续计算全部对象的内容地址，并与原来存储在CDF中的内容地址进展比拟。同样地，镜像的对象同样进展类似的确认。Centera的平安模式设计是基于C-Clips固有的特性的，是一个集成的技术。根本的存取限制就是，假如你不知道BLOB的C-ClipCA，那么无法访问Centera中的此数据对象。管理Centera的操作是特殊简洁易行，具有长期的生命周期。Centera软件CentraStar，可进展对存储数据的写入、读取和智能的网络相识。它供应Centera强大的功能，如自我管理、自我配置、自我治愈、非中断维护和升级、和内容复制功能。另外确定和指定每一个存入对象唯一地址的软件技术同时也是CentraStar的一局部。Centera的内容寻址特性使得可简便地扩展容量，同时也使得存放的对象可便利地在用户的内容构架中进展移动。这个内容地址，数据对象的唯一标记，确保所需信息的授权，因此无论在何时何地都可访问此对象。存取对象时不要求任何对存储环境，或对象存放物理地址的学问。而这些关系是由CentraStar操作环境来维护的。系统管理员无需担忧对卷和文件系统构造的维护。系统管理员须要做的是监控Centera的容量和对象存放/读取的性能(MBps)。系统管理员从任何一台通过LAN连接到Centera前端节点的WindowsPC或UNIX工作站，用一个简洁的CLI，通过SecureShell(ssh)来远程管理Centera。这个CLI同时允许系统管理员用来变更任何跟节点有关的信息，如Centera的公共IP地址和子网，及用户联系名字和EMAIL地址等。如前面所述，在须要增加容量时，假设在同一个机架中有空的位置，那么简洁地安装新的存储节点即可；假设是须要增加另一个机架，那么通过2个千兆以太网LAN连接此两个机架即可，是真正的“即插即用”设计。API介绍如前所述，应用效劳器存取Centera时是通过API来实现的。而一个CDF是所需数据对象的XML描述文件，它不但包含了指向此数据对象的地址指针，还包含有系统产生的其它数据，如系统名、定位、产生者、工程名等。一个基于内容的应用将运用一个数据库来管理此对象的“全部者”、影像、文件等信息。这个数据库将按分类号或记录号来索引，也包含有指向数据对象的域。这样的数据适应Centera的API结合，我们只需特殊简洁地用C-Clip库中的内容地址代替数据库的对象指针域。例如，当一个用户的保单影像被存放时，它的C-ClipCA会被插入此内容管理应用数据库中与此保单对应的域。当须要调用此保单时，应用简洁地运用此C-ClipCA来获得此保单影像文件。CDF另一个特性是，它能通过运用XMLtag来存放每个存入对象时应用所产生的其它信息。每个tag都有一个应用程序定义的专用名字，同时可有一个或多个属性。例如，假设Centera用来存放保单影像文件时，CDF不但有此保单的内容地址，还可包含有此保单的被保险人名等信息。另一个说明Centera可节约空间的例子就是，假如有25个人同时收到带几十个MB的电子邮件附件时，在Centera将只仅仅保存一份此附件(镜像爱惜)，但有25个CDF同时指向此附件对象。API根本功能有四种根本的API功能：store(写)、retrieve(读)、exists(是否存在)、delete(删除)。Store和Retrieve是自说明执行，也是最常用到的API功能。Exists是应用程序用来检查某一对象是否已经存在于Centera中。假如一个对象已经存在，那么完全没有必要再奢侈时间和网络资源来进展其次次存放，这尤其当此对象特殊巨大时，效果更为明显。其次次企图存入同一个对象时，系统将简洁地产生针对不同应用的其次个CDF。Delete那么至少有二个重要功能：一个是应用可能须要删除一个必需删去的对象；另一种情形是这个对象可能存放时间超过所须要求。EMC供应了一个可选的软件开发包，来允许应用开发人员进展适当的开发工作。最快地和最简洁地运用API的方法是利用高级toolbox功能，它可允许快速和便利地修改应用来执行根本的写和读功能。Toolbox允许用一个单一的ANSIC函数来完成，而无须调用那些困难的API语句。另一个更为强大、更为困难的API利用就是运用一些低级的API调用。这种方法允许应用来访问Centera的pool,clip和tag。Pool级的功能包括了翻开(open)一个与Centera群集的连接(“FPPool”)，以允许存放或读取一个对象。当存放一个对象时，应用程序将产生一个新的、空的C-Clip构造(“FPClip”)，紧跟着翻开(opening)和建立(creation)一个tag(“FPTag”)。这个对象然后将通过FPWrite功能被存放在Centera中，Centera那么返回此对象的C-ClipCA给应用。应用程序然后关闭此C-Clip来终止本次写操作，跟着再关闭此pool。上述是一个写操作的例子。应用开发人员可以运用大量的API，同时须要处理这些API的返回值。低级的API可在ANSIC和JAVA环境下实现。Centera的API在WindowsNT/2k平台下是DLL，在Solarix、Linux、HP-UX和AIX平台下是一个二进制文件。容灾技术综述容灾技术即是Centera对数据复制实力的详细表达。而Centera的复制技术即是自动地把新存入的数据拷贝到另一个cluster。当一个Centeracluster从本地应用效劳器接收到一个新的内容数据时，“复制”机制能确保此数据能对应用透亮地自动地通过WAN传输到另一个地方的Centeracluster。在一个典型的复制准备，Centeracluster可进展全球范围的放置，进展数据的复制。例如，企业可在利用复制技术，来幸免不同点访问同一数据时对WAN的资源要求。不象EMC的SRDF数据同步镜像复制那样，Centera的复制技术是一种异步的数据复制。当一个新的数据对象到达本地的cluster时，它所对应的C-ClipID排列放入一个固定的log中，以便进展复制准备。这个C-ClipID在复制到另一个cluster之前，都始终保存在此队列中。复原操作类似于复制操作。但不同点是，复制操作是一种连绵起伏的操作，而复原操作是依据详细要求进展的。一旦从备份点同步了全部的数据到本地，此复原操作那么完成。由于复制的异步特性，在考虑cluster和WAN时必需要适应应用程序的写入率。假如cluster没有配置成满足应用写入数据的性能要求，那么复制处理过程将滞后于应用效劳器对数据处理的过程。滞后时间越长，发生灾难时数据丢失的风险也越大。当写入一个文件到本地的cluster时，它同时也被放到复制队列中。在任何时候当本地端和异地端的WAN连接中断时，复制处理也短暂停顿了。一旦复原WAN连接，复制操作将从WAN中断点接着进展。当远程端已包含了一样的C-ClipID时，对应的数据对象就并不会被重复复制，以幸免重复的数据存放在同一个cluster中。以下以典型的三类数据复制环境来阐述Centera的容灾技术：正常操作。数据复制按准备运作正常修复操作。当原来的cluster由于故障或容难缘由导致不行用时复原操作。当修复操作完毕后，数据复原到原来的cluster正常操作(normaloperation)Centera的复制可配置成几种方式，以下仅以单向复制为例。在一个单向复制的操作中，应用A连接到Centeracluster1。应用效劳器连接到cluster1来存取内容对象。此时cluster1存放对象同时排列全部的已存放对象用于复制到cluster2(参考上图)。在一个WAN断接，或丢失复制cluster事务时，在cluster1中接着可进展对象存取，同时它的复制队列接着运行。我们不应担忧此队列增长时其存放空间会不够。Centera完全可满足对象满存的情形。也可能有应用B来协作激活cluster2来保证当应用A和cluster1不行用时的替换。在这种情形下，应用效劳器的数据库应当在A和B两点保持同步，例如可接受SRDF来实现。修复(repairandrecovery)假如外部电源掉电，或网络故障发生，应用效劳器不能从cluster1读写数据对象，那么应用效劳器将收到一个错误信息说明此cluster不行用。在cluster1由于一个事故，或一个容难导致数据丢失时，那么与应用A丢失的情形一样处理。假如应用A或cluster1不行用时，而此时在复制端的应用B可用时，那么应用B是激活状态，可接着访问cluster2。但当在cluster1不行用，而应用A可用时，应用A可连接到cluster2来接着读写数据对象。这可通过自动化的规那么导向，或通过系统操作员的人式