存储选型对比分析和数据中心存储架构设计建议思路

1、存储选型对比分析和数据中心存储架构设计建议思路一、设备选型分析存储设备优劣势和成本对比分析DAS存储DAS（Direct Attached Storage）直连存储，最简单的物理形态就是服务器直接插硬 盘的应用，也包括本地服务器通过SAS扩展线直连磁盘阵列的方式。呈现给客户端的形态 就是本地化的块设备分区。优点：简单易用，部署成本低廉缺点：数据访问必须经由DAS主机，性能低；扩展性差；包含很多单点故障；节点稍多时 管理困难宝德产品推荐与成本：产品 1 （内置 DAS）: PR4024RS, 88TB 可用空间，6.5W 产品2 （外置DAS）: GS8830FD，88TB可用空间，32WSAN

2、 （Storage Area Network）: SAN设备不包含任何服务器功能，并且并不运行一个文 件系统。主机负责运行和管理文件系统。在这个环境中，任何一台服务器可以访问任何一个 存储设备。一台服务器可以访问多个存储设备，并且多个服务器可以访问同一个存储设备。 这允许服务器和存储设备各自独立地扩充。SAN设备呈现给客户端的形态就是一个（或多 个）块设备分区。IP-SAN以以太网网络连接的SAN设备优点：可以利用现有的网络拓扑；免去服务器端安装专门子卡的成本;缺点：带宽较低宝德产品推荐与成本：产品 1 （单控 IP-SAN）: GS9940IS，88TB 可用空间，8.5W产品 2 （双控

3、IP-SAN）: GS9940IR，88TB 可用空间，11WFC-SAN以FC网络连接的SAN存储。优点：提供足够的带宽保证I/O性能；FC协议较之IP协议开销更小，传输效率高 缺点：成本较高；服务器需配置专门HBA卡以连接FC-SAN宝德产品推荐与成本：产品 1 （单控 FC-SAN）: GS5116FS, 88TB 可用空间，8W产品 2 （双控 FC-SAN）: GS5120FD, 88TB 可用空间，14W二、总部数据中心存储架构设计客户的应用场景模拟如下：教育局的数据中心主要的业务分为两块：关键业务系统的虚拟化应用；大文件传输存储（视频课件资料共享，点播等）；针对第一类应用场景一一

4、关键业务系统的虚拟化应用，数据类型偏结构化小文件数据， 关联性较强，对系统的要求主要在可靠性，稳定行，并发响应度，实时性方面；针对第二类 应用场景一一大文件传输存储，数据类型偏非结构化，对系统要求主要在传输带宽，系统扩 展性方面。针对第一类应用场景，采用基于传统的FC-SAN架构搭建传统结构化数据处理方法 （Oracle, SQL Server等）实现；满足系统可靠性，并发响应度，响应实时性等系统要求 的同时，相比传统的IP-SAN在性能上更切合应用场景，相对于并行和分布式存储系统的在 实现方式和成本上更具优势。针对第二类应用场景，主要考虑系统的可扩展性和传输带宽需求，可以有两种实现方式， 典

5、型的实现方式之一，利用传统的IP-SAN设备搭建存储区域网络，通过文件系统协议，如 NFS, CIFS, FTP, Http等为应用客户端提供一个统一命名空间的共享存储，这种方式在视 频监控，流媒体播放领域比较常用；另一种典型实现方式：采用存储服务器基于 1GE/10GE/40GE网络连接方式构建的分布式文件系统和采用光纤磁盘阵列基于 10GE/40GE网络连接方式的并行文件系统；这种方式在海量非结构化数据存储处理，云存 储，高性能计算，超级计算机领域比较常用；附录一：并行文件系统(Lustre )介绍在高性能计算中，数十个或者上百个计算节点需要有一个统一印象的共享存储，传统的 解决的方式是通

6、过一个IO节点连接集中存储，然后通过NFS将集中存储共享出来，但是当 集群规模增大时，数十个或上百个计算节点通过网络并发访问IO节点，容易形成IO节点 处的瓶颈，同时，当集群规模增大或应用IO需求大时，单个磁盘阵列的扩展能力有限，多 个磁盘阵列对于用户来说是分散的存储，那么就需要使用并行文件系统把所有的存储阵列统 一为一个大的存储，而并行文件系统能够满足用户这个需求。所以并行文件系统的作用主要 有两个：1提高IO并发访问性能，实现多通道，多分区的并发读写。2提高单一存储容量，实现多分区的一致印象和统一管理。各种并行文件系统的实现方式都比较类似，一般来说，有一个存储存放元数据信息， 主要是文件索

7、引信息，而其它的存储存放实际文件，文件在存放的过程中，会分散或条带化 处理，从而解决单一 IO节点的网路瓶颈，所以一般并行文件系统均有一个元数据存储和多 个目标存储构成，如下图所示：Mrtacata Server (MDS)恤恺盟拍 Target (MDf) O Hgh speedginterccnnect叫* t(Ethernet, EB, etc.) ,_G 面房Storage 浴？ Object StorageSevers OSSs)Tenets (OST，)MDS(Metadata Server)元数据服务器，指的是元数据存储(MDT)相连的服务器。MDT(Metadata Targe

8、t)元数据目标(存储)，指的是存放元数据的存储，主要放文件 索引信息，对存储容量要求不大，对安全性要求非常高。OSS (Object Storage Server)目标存储服务器，与目标存储(OST)相连的服务器。OST (Object Storage Targets)目标存储，为存放实际文件的存储空间。Clients （客户端），主要为通过网络能够并发访问并行文件系统的节点，实际就是所 有计算节点和管理登陆节点等。Lustre并行存储系统采用了代表计算技术、网络通信技术以及文件系统技术发展方向 的体系架构，提供给用户跨平台共享、高性能、高可靠、可平滑扩展、使用和维护简单的高 端存储系统。系统

9、以开放架构平台为基本节点，支持客户端直接访问磁盘以提高性能，通过 共享的文件和元数据以简化I/O操作，构成了高性能、可靠性以及低总体拥有成本的并行存 储系统。MW L厚的汽；栾卧Lustre并行存储系统的内部硬件架构Lustre并行存储系统有效地解决了三个问题：（1）提供了共享访问数据，便于集群应用 程序的编写和I/O的负载均衡；（2）提供了高性能的存储系统，在IOPS （每秒处理I/O请 求数）和数据吞吐率方面能满足成百上千台规模的高性能集群计算机聚合访问的需求；（3） 提供了不停机、不停应用的操作简单的按需扩展机制，满足了容量和性能两方面的扩展需求， 而且性能随I/O节点的数量线性增长。以

10、下详细介绍Lustre并行存储系统的突出特点：1、性能超越所有SAN存储，面向大文件和大数据量I/O优化，带宽可达几十GB/s甚 至几百GB/sLustre并行存储系统体系结构类似于SAN，每个节点都可以直接访问它的存储设备；但又不同于SAN,没有SAN结构中RAID控制器的瓶颈问题，当客户端（计算节点）的规 模增大时，该优势非常明显。Lustre并行存储系统可以自动优化数据的分布，并允许客户端（计算节点）向多个/O节点并行读写，最大化单个客户端（计算节点）的吞吐率。Lustre并行存储系统专门针对大文件的读/写和大数据量的传输做了优化，可以为集群 系统提供高性能的吞吐率和全局数据共享环境，特

11、别是在网络带宽足够的情况下，多进程和 多客户端更有利于体现Lustre并行存储系统超强的聚合I/O能力。2、无需停机、无需停应用的在线扩展；随I/O节点数量增长，容量和性能也接近线性增长。传统的NAS服务器如果增加更多的磁盘，则性能将更慢，也就是说在容量扩展时，传 统的NAS无法确保持续的吞吐率；而Lustre并行存储系统使用网络和软件将元数据节点和 I/O节点等组件有机地结合起来，并利用高效算法将I/O负载分布到各个I/O节点，在取得 了高性能I/O的同时，也实现了无需停机、无需停应用的按需实时扩展。它允许随时增加I/O 节点的数量,确保容量和性能的同时增长。当前集群应用的规模和计算能力都在

12、不间断的迅速增长，存储系统的发展也必须适应这 种快速增长所带来的更高要求-也就是对于存储系统的“容量和性能”两者的扩展性提出 了挑战性的需求-这种扩展必须是开放性的，按需增加的，无需停机、停应用的。在网络 条件允许的情况下，随着I/O节点数量的增长,Lustre并行存储系统的容量线性增长的同时， 性能也接近线性的增长。这两者的线性增长彻底解决了集群应用系统规模增长对于存储系统 提出的挑战性的需求，为大规模集群计算提供了廉价的高性能、高扩展性的存储系统解决方 案。Lustre并行存储系统的全局命名空间为所有客户端（计算节点）提供了有效的全局唯一 的目录树，并将数据条块化，再把数据分配到各个I/O

13、节点上，这样就提供了比传统SAN 的块共享更为灵活和快速的共享访问方式，其提高I/O性能的核心是将数据通路（数据读 或写）和控制通路（元数据）分离，从而加速数据I/O。3、与网络无关的数据存储及恢复机制，高可靠的元数据保护模式，保证整个存储系统 的高可用Lustre并行存储系统利用Linux操作系统提供的标准的POSIX兼容的文件系统，采用 分布式锁管理模式，以及元数据和存储数据相分离的解决方案，提供了全局的统一的命名空 间，形成了一个可靠的、与网络无关的数据存储及恢复机制，而且所有的数据（包含元数据） 均在高可靠的磁盘阵列保护之下，可以保证在网络和I/O节点失效时，整个并行存储系统的 数据安全不受影响。为进一步保护元数据的安全，元数据节点使用了双机高可用的模式来保 证始终有一套元数据节点在正常的运行之中。当并行存储系统中服务器或网络的某组件失效 后重新配置时，快速的恢复机制和服务，可以很好地满足高性能计算集群系统的需要。4、各组件设备均经过整合测试优化，网络设备兼容广泛Lustre并行存储系统的各个组件设备都经过全面的测试优化，各项参数设置均有利于整 个并行存储系统处于稳定可靠状态和发挥最好的性能。而且可以兼容Infiniband网、