智能网络存储方案

1、智能网络存储方案一、 概述 目前， 数字视音频网络和数据网络的大量应用成为电视行业发展的必然趋势，这 就要求提供更大、 更快、更有力的网络数据存储和共享途径。 网络存储技术无疑 为我们提供了一个很好的选择。二、网络存储技术的分类 目前的网络存储技术大致分为三类：1、直接依附存储系统( DirectAttachedStorage,DAS )DAS 又称为以服务器为中心的存储体系，如图一所示。其特征为存储设备为通用服务器的一部分，该服务器同时提供应用程序的运行，即数据访问与操作系统、 文件系统和服务程序紧密相关。 当用户数量增加或服务器正在提供服务时， 其响 应速度会变慢。在网络带宽足够的情况下，

2、 服务器本身成为数据输入输出的瓶颈。 现在已渐渐不能满足用户的需求，不再为大家所采用。2、网络依附存储系统( NetworkAttachedStorage,NAS )NAS 的结构是以网络为中心，面向文件服务的。在这种存储系统中，应用和数据 存储部分不在同一服务器上， 即有专用的应用服务器和专用的数据服务器。 其中 专用数据服务器不再承担应用服务，称之为 瘦服务器(ThinServer )。数据服 务器通过局域网的接口与应用服务器连接， 应用服务器将数据服务器视做网络文 件系统，通过标准LAN 进行访问。由于采用局域网上通用数据传输协议，如 NFS CIFS 等，所以 NAS 能够在异构的服务

3、器之间共享数据，如 WindowsNT 和 UNIX 混合系统。NAS 系统的关键是文件服务器，一个经过优化的专用文件服务和存储服 务的服务器是文件系统所在地和 NASS备的控制中心，该服务器一般可以支持多个 I/O 节点和网络接口，每个 I/O 节点都有自己的存储设备。3、存储区域网络( StorageAreaNetwork,SAN )SAN 是一种以光纤通道(FiberChannel,FC )实现服务器和存储设备之间通讯的 网络结构，如图三所示。SAN 的核心是 FC,其中的服务器和存储系统各自独立， 地位平等，通过高带宽(传输速率为 800Mb/s,双全工时可达1.6Gb/s)FC集线

4、器或FC交换机相连，可避免大流量数据传输时发生阻塞和冲突。各应用工作站 通过局域网访问服务器， 在各存储设备之间交换数据时可以不通过服务器， 这样 就大大减轻了服务器承受的压力。三、NAS 与 SAN 的比较NAS SAN 与传统网络存储技术相比而言，无论是从网络传输带宽、数据共享性 还是从存储容量的可扩充性、 数据的一体化和安全性等个方面来说， 其优越性是 不言而喻的。 所以，现在众多的用户在对其存储方案进行选择时， 实际上也就成 为对 NAS 和SAN 的选择了。NAS 和 SAN 有许多共同的特点。它们都提供集中化的数据存储和整合优化，都能 有效的存取文件， 都允许在众多的主机间共享并支

5、持多种操作系统， 都允许从应 用服务器上分离存储。 而且，它们都提供数据的高可用性， 都能通过冗余部件和 RAID 保证数据的完整性。NAS 和 SAN 也有着一些不同点。首先，实施和维护的难易程度不同。上面曾提到，NAS 的存储设备与众多访问客户的连接是通过标准的 LAN 进行的，也就是说，直 接将NAS 存储设备接入 LAN 中就可以使用了，管理者所要做的只是来定义网络寸取权限或为每个用户定义磁盘限额。而且由于 NAS 采用了热插拔和即插即用技术， 所以在新设备接入时无需关闭数据服务器或进行重新配置， 新增的存储空间可以 立即为众多的应用服务器和客户机所共享。 而 SAN 的存储设备与客户

6、之间的联系 是通过专用 FC 集线器和交换机来进行的，如果客户端增加，就要对交换机进行 级连，这就大大增大了安装与设置难度。其次，二者的设备管理难易成度不同。由于 NAS 中每一个 I/O节点都有自己的存储设备，而这些设备又没有一个统一的 管理的界面，所以管理人员就必须逐一管理每个 NASS备，从而使管理成本随网 络上的 NAS 设备的增多而线性增加。而 SAN 对整个网络中的存储设备的管理， 是 采用 SAN 专用管理软件来进行集中式管理的，用户可以通过简单的图形界面来管 理不同平台和介质上的数据，也就是说，在 SAN 中，其整个存储网络成为了一个 集中化的存储池，这样，管理人员管理起来就非

7、常简单了。再者，NAS 和 SAN 是管理对象也不相同。SAN 管理的是磁盘空间，而 NAS 管理的是文件，也就是说， SAN是个磁盘工厂，而 NAS 只是一个文件服务器。最后，也是最重要的一点，那 就是二者在性能上有所不同。NAS 是基于传统以太网络的存取设备，虽然减轻了 服务器所承担的压力， 但势必严重增加网络的负荷。 而且无论存储磁盘的速度有 多快，存取速度只可能与网络带宽所允许的速度一样快。即 NAS 达到高性能的前 提条件是网络带宽足够， 否则其性能将急剧下降。 而如果为了解决带宽问题而增 设宽带网段，就势必丧失 NAS 介格较低、安装设置容易的优势。与 NAS 不同，SAN 构建于

8、基于光纤的专用数据网络，可以提供极高的带宽（新的FC 标准可使带宽达到 4GB,不必担心由于带宽不足而引起的性能下降。可以说，NAS 和 SAN 各有其长短之处，在实际应用中也各有不同之处。对于经济 实力不足，有传统以太网络，且急需扩充存储空间的用户，NAS 无疑是一种便宜、 快速的方案。 而对于拥有强大经济后盾， 对网络性能要求较高及未来发展势头强 劲的用户，则应该选择 SAN。四、SAN 的现状和发展1、现状由于自身所具有的高速、 集中化存储管理及几近无限的扩充能力这些特点， 特别 适合对海量数据的视音频数据进行存储、传输和实时处理，所以采用 FC 技术的SAN 目前在很多电视台得到了推广

9、，甚至已成电视台运做的核心。在视频处理领 域里，SAN 就像数字视频网络中的大本营，不但承担着视频数据的存贮、迁移、 交换、共享，而且掌管着网络设备的登记、删除、查询、维护。可以这么理解，SAN 是电视台视频网络的主干，在 SAN 网上可以挂接诸如新闻生产系统、非线性 编辑系统、广告非线性插播系统、数字化节目库系统等。SAN 在日益广泛的应用中也暴露了一些缺点和不足。SAN 网络仍然采用传统网络结构进行存储操作，网 络结构主要由交换机与集线器构成， 将这些传统规范的硬件应用于新的存储结构 中，并应用传统的网络管理技术进行存储管理， 最终导致了系统的匹配问题。 SAN 系统出现之初， 的确为我们

10、解决了企业数据存储与共享的问题。 当存储数据达到 TB 级，高带宽网络站点(视频工作站)很多时就会出现很多问题，导致系统性 能严重下降。而第二代SAN-SDD(SANDataDirector )的出现，弥补了这些不 足。2、发展新一代 SAN 其结构的核心是 SDD 它不是一个更大的交换机，但它完成的功能 更多。它将交换、缓存、 RAID、I/O 以及数据和文件的管理集于一身，并可以完成数 据和网络的管理，为数据交换提供高带宽、高容错的集中存储访问。SDD 内部有两个完全相同的组件，称之为 HST( HSTD1 HSTD2，每个 HSTD 有四个 100MB/S 带宽流量的数据交换端口，称之为

11、 HOST 这样，每个 HSTD 就有 400MB/S 的带宽， 一个 SDD 拥有两个 HSTD 的 800MB/S 带宽。HOSTS口可直接与服务器、工作站相 连，也可与交换机相连。每个 HSTD 还有一个 60 芯的数据总线用于和存储硬盘阵 列相连完成数据交换。其结构示意图如图四所示。SDD 利用 HSTDA 件省去了复杂的交换机间连接，并将 RAID 控制器集成，前面的 端口接服务器，也可以连接交换机，后面的端口连接硬盘柜。这样一来，网络结 构变得非常清晰、简洁，可扩展性强，并且 SDD 寸传输通道、硬盘通道、硬盘多 重冗余，不仅提高了带宽，又增加了安全保障，系统几乎永不死机。3、寸比

12、(1)带宽：在传统 SAN 方案中，应用 FC 而使带宽达到了 100M 且其采用的 RAID 控制器是专门为点寸点通信而设计的 , 在较 少站点同时访问一个数据时有很好的性能表现， 但当有更多站点同时访问一个数 据时，带宽将严重不足， 使系统性能急剧下降。如果采用多硬盘塔来分担网络带 宽的方案，势必需要使用 switch 进行级连，这样不但使网络的连接变得极为复 杂(如图五所示)，而且 switch 之间的 100M 通道带宽就成为了网络的瓶颈。在 SDD 中,带宽可达 800M 并且采用新型 RAID 控制器，将 switch 的级连改为并联， 消除了大规模网络传输中的瓶颈。(2)扩展性：

13、传统 SAN 延用了 C/S 的结构，其可升级性与智能化都很差,若想进 行系统升级则必须增加交换机、 RAID 控制器以及不同的控制软件，而且只能使用交换机级连扩展站点。 这种情况在网络规模较小 （网络中高带宽访问站点数在 十个以下）时，影响不大。但当网络的高带宽站点超过10 个时，传统 SAN 的系统性能将越来越低，以至于不能构架大型网络。这是因为传统SAN 的 FC 交换机速度高，但会在 SAN 中引入延时；为了增加接口而级连交换机也会产生延时，当系统需要多台交换机时延时将十分明显，并将使数据处理性能下降。在 SDD 网络 中，FC 交换机都与 SDDS制器相连，处于并行工作状态且互不影响

14、。当站点增 加时，不用交换机级连，只需将新的 FC 交换机接入 SDD 即可，不用改动以前的 连接。带宽得到线性增长，能构架大型网络。（3）稳定性、安全性：从图四中可以看出大型网络在站点增多后传统 SAN 需要 FC 交换机二级连接，增加了连接点、RAID 控制器、电缆等。故障发生点增多，同时故障源难以确定，维护难度大。而SDD 网络结构简单，连接点少，出错的机率小， 易判断出错点， 如图五所示。比较图五与图四可以看出， 在相同网络规模下，SDD 网络结构连接简单，故障点少。在存储硬盘与 SDD FC 交换机与 SDD 之间都采用双链路备份，容错能力强。（4）RAID 结构：在一个传统 RAI

15、D 环路中对磁盘的访问是顺序的，降低了 RAID 卷的读写能力。 一个环路硬盘数量有限， 硬盘卷的容量太小， 当总存储容量达到 TB 级以上时，系统会出现十几个盘符，降低了系统的稳定性能，使管理难度加 大。如果在NT 下做带区集，首先降低系统安全性，消耗系统资源，另外带宽也 会下降。同时传统RAIDFC 硬盘塔当某一硬盘发生故障时，不会影响整个RAID组。但可怕的是如果盘塔发生故障，将导致其上整个RAID 组数据丢失。而 SDD的 RAID 则是在盘塔之间做 RAID,这样当一个盘塔发生故障时，整个 RAID 也不会出现问题，大大提高了存储系统的容错能力。同时，SDD 是在 10 个磁盘通道上

16、做 RAID,读写一个 RAID 时， 对磁盘的访问是同时并发的； 充分利用了系统的 多通道、高带宽的性能。另外 SDD 的 RAID 结构采用两级 RAID,即在 RAID3 的基 础上再将多个 RAID 组以 RAID0 方式捆绑。这样做一方面单个盘符容量大大增加 可达几 TB,使存储数据得到充分共享；另一方面，带宽集中利用，单个分区的 带宽可达 360Mb/s 以上。（5）升级能力、性价比：由于随着存储容量、站点的增加，传统SAN 需要增加大量设备如：FC 交换机、硬盘塔、RAID 控制器等，导致成本急剧上升。扩展系 统结构复杂，又使维护成本上升。在 SDD 网络扩充时，只需增加少量交换机和硬 盘。整个网络结构不变，维护成本不增加，有效保护了用户的投资。另外SDD可以重新使用传统结构中的硬件以节省投资。除了以上性能提高，SDD 还具有传统 SAN 不具备的优势。（1）Z0NING（分区）能力可以在 SDD