存储基本知识及行业分析

存储基本知识及行业分析存储架构分析目前存储市场上，根据服务器类型分为:封闭系统的存储和开放系统的存储，封闭系统主要指大型机，AS400等服务器，开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器;开放系统的存储分为:内置存储和外挂存储。开放系统的外挂存储分为:DAS存储（Direct-AttachedStorage）和NAS存储（Network-AttachedStorage）和存储区域网络(StorageAreaNetwork)。DAS存储DAS存储已经有数十年的使用历史，随着用户数据的不断增长，其在数据读写、扩展、备份等方面的问题变得日益困扰系统管理员。DAS存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理，数据读写等任何操作都要占用服务器主机资源(包括CPU、系统IO等)。DAS存储的数据量越大，对服务器硬件的依赖性和影响就越大。DAS存储与服务器主机之间的连接通道通常采用SCSI或者USB、1394等连接，随着服务器CPU的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI通道将会成为IO瓶颈；同时服务器主机SCSIID资源有限，能够建立的SCSI通道连接有限。DAS存储的共享性和扩展性很差。每个服务器直连的JBOD只能供其独自使用。任何形式的扩展都会造成业务系统的停机，对于7×24小时服务的关键业务系统，这是不可接受的。并且直连式存储或服务器主机的升级扩展，只能由原设备厂商提供，往往受原设备厂商限制。NAS存储网络附加存储(Network-AttachedStorage，)采用网络(TCP/IP、ATM、FDDI)技术，通过网络交换机连接存储系统和服务器主机，存储设备作为网络标准件连入局域网中，本身具有文件系统，直接为服务器提供文件级存储服务。由于NAS存储采用IT业界标准协议TCP/IP进行数据交换，不同厂商的产品(服务器、交换机、NAS存储)只要满足协议标准就能够实现互连互通，无兼容性的要求。NAS存储特点：首先，NAS存储可以将设备通过标准的网络拓扑结构连接，摆脱了服务器和异构化构架的桎梏；其次，在企业数据量飞速膨胀中，NAS存储在解决足够的存储和扩展空间的同时，还提供极高的性价比。因此，无论是从适用性还是TCO的角度来说，NAS自然成为多数企业，尤其是大中小企业的最佳选择；SAN存储存储局域网络SAN是目前最为先进的海量数据存储架构，是建立在服务器集群和存储设备之间的网络，给服务器集群提供集中式的共享的存储空间，便于管理。SAN存储模式中，磁盘阵列只提供块级裸盘存储空间，文件系统分部在各个应用服务器上，这是SAN和NAS的最本质区别。SAN的优点可归纳为下几点：SAN存储系统扩展性好、升级能力强，投资保护性好。存储系统支持数据集中式管理，相关业务数据存储系统或全部的应用数据存储系统合并为统一的存储系统。采用开放式的体系结构，支持多种系统平台的接入，亦即实现跨平台操作。提供包括存储介质、接口设备及连接链路的冗余支持。向网络客户端和应用服务器提供高效可靠的数据存储服务时，同时对应用系统的运行效率和网络的速度不会产生明显影响。FCSANSAN存储模式总根据网络介质不同，分为FCSAN和IPSAN。在SAN存储技术应用之初，SAN基本上就是指的FCSAN。开放的、标准化的光纤通道技术使得FCSAN非常灵活。FCSAN克服了传统上与SCSI相连的线缆限制，极大地拓展了服务器和存储之间的距离，从而增加了更多连接的可能性。改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。（1）通用性。FCSAN是在iSCSI标准产生的前4年出现的存储区域网架构，带有相当程度的应用催生特点。FCSAN大多应用在性能要求较高的金融、电信等领域，随着Brocade等厂家低端光纤交换机价格的下调，FCSAN也开始应用于低端。（2）高效性。目前光纤通道普遍是4Gb的，后续会出现8Gb光纤，在整个系统性能方面十分优越，用户访问时非常快捷。（3）灵活性。光纤网络存储的组建也非常的灵活，只要有通光纤的地方，都可以将其应用的服务器通过光纤进行连接，做到真正的数据大集中。（4）稳定性。由于光纤性能较高，在其运行过程中稳定性较好。但是，FCSAN也存在很多不足之处。FCSAN的传输距离通常不超过50公里。这样容易形成存储孤岛；虽然光纤通道（FibreChannel）技术有统一的标准，但各家厂商却有不同的解释；互操作性仍是FCSAN实施过程中存在的主要问题；SAN本身缺乏标准，在管理上更是如此；FCSAN的存储设备价格仍居高不下，建设成本过高。FCSAN的缺点：（1）成本高。光纤交换机、HBA光纤卡、光纤硬盘等设备都较昂贵，这是FCSAN的最大缺点。（2）管理难度大。FCSAN的另一个问题是它与应用网络的异构性，这种异构性使得占市场大多数的中低端客户，因面对相对陌生、复杂的FC技术望而却步。一般来说，FCSAN多半需要特定的工具软件来操作管理，所以需要对人员进行一定时间的教育训练，而且费用不低。（3）容易形成存储孤岛。由于FCSAN受它的物理机理决定，它无法使存储设备随它在Internet上运行，从而无法满足应用前端对存储数据"无时不有、无处不在"的要求。FCSAN的物理覆盖有限，不超过50公里，这样容易形成存储孤岛。（4）设备的兼容性问题。由于标准的不统一，各个FCSAN产品的生产厂家所生产的设备之间不兼容。IPSANiSCSI（InternetSCSI，互联网小型计算机系统接口）是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。它是由多家存储厂商发起的，并且得到了IP存储技术拥护者的大力支持。iSCSI是一个供硬件设备使用的，可以在IP协议上运行的SCSI指令集。简单地说，iSCSI是可以在IP网络上运行的SCSI协议。iSCSI存储技术实际上是针对FCSAN存储技术的缺点进行改进，它主要具有以下几方面明显的特征及优势。在IPSAN中，千兆以太网交换机代替了价格昂贵且只有FCSAN专用的光纤交换机,客户端的Initiator或iSCSI卡代替了价格较高的主机HBA卡,具有iSCSI接口的高性价比的存储设备代替了光纤磁盘阵列。当然，两者的区别还不仅如此。FCSAN具有良好的扩展性，IPSAN的扩展性更加出色。我们可以在IPSAN中使用SCSI、FC、SATA、SAS等多种磁盘阵列来扩展IPSAN的容量。如果比较大数据块传输的性能，基于千兆以太网的IP技术与基于4Gb/s光纤的FCSAN还有一定差距。但是，从发展趋势看，万兆以太网已蓄势待发，相信IPSAN的性能会得到很快提升。在安全性方面，iSCSI规范包含了Initiator和目标验证(使用CHAP、SRP、Kerberos和SPKM)，以防止未经授权的访问，同时只允许可信赖的节点访问。作为补充，IPSec可以提供安全保证，防止侦听。光纤通道是工作在第二层的协议，原本并没有建立相应的安全机制以及安全通用协议，只不过是基于逻辑上的数据通道绑定。由于IP技术的普及和发展，利用iSCSI技术搭建的IPSAN可以随着网络延伸至全球任意一个角落，从根本上解决了信息孤岛的问题。我们甚至可以通过IPSAN来连接各个FCSAN的孤岛。利用标准化的数据传输通道、标准的接口以及虚拟存储管理技术，IPSAN存储网络几乎可与所有种类的磁盘阵列兼容。产品互操作性的问题迎刃而解。优点：（1）成本投入小。iSCSI所使用的适配卡、交换机和缆线这些产品的价格比FCSAN所选用的硬件产品价格要低，并且iSCSI可以在现有的网络上直接安装，并不需要更改企业的网络体系，这样就大量节约资金投入。（2）管理门坎及维护成本更低。一般来说，FCSAN多半需要特定的工具软件来操作管理，所以需要对人员进行一定时间的教育训练，而且费用不低。iSCSISAN乃透过IP网络来传输数据及分配存储资源，所以只要使用网络现有的管理功能即可，比较起来，的确可以省下大笔管理人力及训练成本。（3）无距离限制。由于iSCSISAN是一种基于IP网络的存储技术，它会随着IP网络的延生而将存储距离不断扩大，因此iSCSISAN是无距离限制的。（4）组建方式灵活，可扩展性高。由于iSCSISAN存储系统可以直接在现有的网络系统中进行组建，并不需要改变网络体系，加上运用交换机来连接存储设备，对于需要增加存储空间的图书馆来说，只需要增加存储设备就可完全满足，因此，iSCSISAN存储系统的可扩展性高。（5）传输速度快。拜GBE以太网络之赐，理论上，iSCSISAN的速度可达1GB，虽然速度仍比不上FCSAN的2GB，但效能上已超越大部分的NAS。更重要的是，一旦下世代的10GB以太网络普及的时候，iSCSISAN就可能以10GB的高速狂飙，比FCSAN的下世代版本———4GB还要快。（6）人才较多。随着因特网的日益兴盛，造就了取之不尽、用之不竭的TCP/IP网络人才，比起门坎较高的FCSAN来说，这对于专走IP网络Base的iSCSISAN而言，可说是一大优势。iSCSISAN的缺点天底下没有十全十美的事物。虽然iSCSISAN的优点不少，而且十分抢眼，但仍有许多待解决的缺点。（1）扰人的噪声碰撞；（2）有待改进的效能瓶颈：①传输频宽问题；②流量控制问题；③I/O端的速度限制；④软件iSCSIInitiator会耗费掉大量的CPU资源，效能不彰。（3）令人质疑的安全性。IP网络环境复杂，再加上懂IP的人较多，所以安全性也相对地令人质疑。监控应用中选择IPSAN的底层原因除了上节分析的系统架构和成本方面的区别外，从性能方面分析，IPSAN也比FCSAN更适合应用于监控存储中。在监控应用中，由于多路并发等应用特殊性，决定了性能瓶颈往往在硬盘上，而不是主机接口上。以3Gb/sSATA盘为例，在监控模拟应用中的测试性能约为40MB左右，实际可以支持500路CIF码流；考虑的做RAID后性能的提升，实际应用中也仅可以支持到的1000-1500路CIF码流，换算成带宽也就是65-95MB/s之间。单4Gb/s的FC主机接口带宽为500MB，2个千兆主机接口带宽为250MB，主机接口带宽均远大于65-95MB，即使按照主机接口应用带宽约为理论带宽的50%，也大于硬盘在监控应用中的实际性能，即采用FC或者IP接口对整体性能几乎没有什么影响。因此，考虑性能要求和投入成本，在监控应用中我们推荐使用IP存储设备，完全没必要采用价格昂贵的FC或者万兆存储系统。市场情况分析《中国企业级外部存储市场季度跟踪报告》根据IDC最新发布的《中国企业级外部存储市场季度跟踪报告》显示，2010年前三个季度（1-9月）中国企业级外部存储市场的总规模达到685.7百万美元，同比增长18.4%；存储总容量达到480102.2TB，同比增长80.9%。此数据表明，存储市场已由2009年的平势转为涨势。究其原因，IDC认为：政府对经济建设的投资推动了IT基础架构设备的采购；第二是海量数据尤其是非结构数据的爆炸增长导致的存储需求缺口；第三是各企业及政府机构对存储建设的认识提高，投资加码。FC接口仍然是存储市场的主流，2010年前三个季度其市场份额为70.0%，iSCSI市场增长最快，同比增长达到31.1%，其中Dell的EqualLogic系列、EMC的CLARiiON系列、HP的P4000系列与H3C产品表现突出，iSCSI开放兼容、价格低容量大、传输速度高等优点使其在视频监控领域以及政府的异地灾备等项目中获得良好发展，也开始被用作云底层架构中；NAS市场的增长紧随其后，同比增长达到27.7%，尤其是Scale-outNAS在低成本高容量的HPC中心与动漫渲染等媒体领域的应用越来越广泛。接口的另一趋势可以通过EMC最新发布VNX产品抗衡NetApp系列产品中看出，多协议存储由于其高存储利用率、支持服务器虚拟化等特征导致客户端的需求日益高涨，随之也将带来对存储管理软件的挑战。政府、电信与金融依然是驱动中国存储市场增长的三大主力行业，其前三个季度的市场份额之和达到60.9%。政府行业的存储采购呈现出集中采购与分散采购相结合、从打包采购向单独采购过渡、应用与需求多样化等特征，2010年既有平安城市、文化共享、电子政务等原有项目的持续分省采购，上海世博会的激烈竞标，又有超算中心、异地灾备中心、金税工程、数字化城市等大型项目的相继启动，IDC相信政府行业将在未来几年内保持较快速度的增长。相比于2009年BOSS系统的大规模铺建，电信行业在2010年上半年出现了集采的滞后，并从第三季度起得到释放，除了BOSS系统的升级改造，存储开始逐步应用于BI分析，CRM等核心业务以及彩铃彩信等增值业务。除此之外，媒体行业的市场份额上扬了两个百分点，主要是几大互联网的大规模进货，以及三网融合所带动的IPTV架构整合十分旺盛；另外，制造业、流通业、以电力为代表的能源业以及医疗业均呈现出较强的同比增长。广大的中小企业在信息化进程中越来越明显的表现出对高灵活性、低成本的中小企业解决方案和相关存储产品的投入以及对存储虚拟化的关注。IDC预测，2011年中国企业级外部存储市场将继续保持超过15%的同比增长，市场总规模有望突破1300百万美元，存储总容量有望达到950000TB，存储市场前景乐观。《TechTarget中国2011年存储应用意向调查报告》2011年存储类型采购意向：iSCSI最受欢迎关于存储类型的采购是一项多选题，40.7%的受访者都选择了iSCSI；接下来的四个为NAS阵列37.4%；FC和多协议统一存储均为36.3%；固态存储占23.1%。的确，iSCSI在数据中心的应用越来越广泛，iSCSI存储一直以来都被认为是更适合中小企业的存储架构而不是企业级的数据中心。但事实上，它的性能已经超过了FC。根据IDC2009年的官方数据，在存储整体萎缩（下滑了7.6％）的前提下，iSCSI仍然出现了增长（增长25%）。在数据中心开始实施虚拟化以来，NAS的应用愈加广泛，因为在一个虚拟化环境中，NAS设备可以作为虚拟机在服务器之间迁移的一个交换空间，作为一个备份介质，或者作为所有虚拟磁盘镜像的中央知识库。视频监控将成为iSCSIIPSAN的重要市场根据ESG去年年底对最终用户的调查，有28％的受访公司已经在使用iSCSI，而计划使用iSCSI的公司则达到了52％。ESG的分析师MarkPeters表示："对于一个存储协议来说，拥有良好的通用性并非一件坏事。"ESG调查的受访公司总数位1488家，其规模从100人到20000人不等。）Peters表示，服务器虚拟化开发和IT预算压力的不断增加政治推动着基于iSCSI的IPSAN市场份额的扩大。不过这也要考虑到iSCSI的适用范围能否随之增长。IPSAN最热门的领域之一是视频监控。IMS最近完成的一份报告《全球企业级和IP存储视频监控市场报告》表示，预计在2008年至2013年之间，IPSAN视频监控市场的复合年增长率将达到66.7％。从报告中我们可以看到，IP监控视频一般被用于商业非机架式（COTS）服务器，数字视频录像机（DVR）或网络视频录像机（NVR）。尽管视频监控