Brocade博科SAN网络设计方案

1、Brocade 网络项目设计方案Contents一 . 文档目标 2二.SAN网络设计原则3三.SAN网络架构拓扑建议34 .SAN总体架才介绍45 . 设备选型 56 . 交换机高端功能简介67 .数据中心SANK组成及扩展 68 .SAN网络配置规范89 .FIRMWARE议10文档目标为了配合 数据扩展特制定本技术指引。本指引将会包括以下内容：? 更好地规划、合理地使用SANg构及相关资源?针对未来业务发展带来的SANm构扩展提出原则? 对现有的设备端口资源以及未来可能投入的新资源进行合理的配置规划? 对SANS备相关的安全策略和监控管理提出相应规范SAN网络设计原则对于金融服务环境等要

2、求最高可靠性、性能和弹性的任何基础架构来说，存储网络架构都是基本的组成要素。事实多次证明，如果在这些方面投机取巧走捷径，那么将来发生本可避免的故障时，企业将付出更大的代价。一旦产生故障除了极高的宕机成本以外，还会导致生产率下降、法律和监管合规性影响、信心和信任度的下降、市场声誉受损等后果。所以博科对于SAN络架构非常重视，根据博科20多年的存储网络 经验，建议按以下原则设计存储网络。1. 最小化所管理Fabric 架构的数量- Fabric 架构越少就越容易管理。2. 最小化每个Fabric 架构中交换机数- 使用如大型导向器可简化管理，将可能的 Fabric 架构中断情况降至最低。3. 限制

3、 Fabric 架构规模 - Fabric 架构规模应加以限制4. 使用高可用性高的交换机-即使SANM有冗余架构可用于故障 切换，也没有人希望其中一条数据路径出现问题。5. 避免大负载比，防止造成拥塞或性能降低- 任何负载比都应适当地加以设计。6. 大型环境采用核心- 边缘模式 - 核心 - 边缘设计模式可支持更大型多 Fabric 架构的创建，有助于简化日常管理任务，便于解决问题。7. 针对存储流量进行设计-在SAN境中响应时间是以毫秒甚至 纳秒及进行衡量的，牢靠的SANS计必须提供可靠且一致的I/O 响应。8. 资源就近访问原则 - 主机访问存储或存储间访问因采用就近原则，即使用尽可能少

4、的跳数完成访问。SAN网络架构拓扑建议SAN 网络架构拓扑包括网络边缘的设备、网络核心的交换机以及将它们连接起来的线缆。拓扑结构一般根据交换机互连方式进行描述，如环状、核心-边缘、边缘-核心 -边缘或全网状。8.1 边缘 -核心拓扑边缘 -核心拓扑将Initiator （服务器）部署在边缘层，将存储 （目标）部署在核心层。服务器和存储设备位于不同的交换机上， 这种拓扑可提供管理简便性和出色的性能， 从边缘到核心的流量只通过一跳。8.2 边缘 -核心 -边缘拓扑边缘 -核心 -边缘拓扑将Initiator部署在一个边缘层，将存储设备部署在另一个边缘层， 将核心用于交换机互连或连接全网络范围的设备

5、， 这种架构允许独立扩展计算和存储资源， 流量只需要经过两跳就可以从边缘通过核心传输到另一个边缘设备8.3 全网状拓扑全网状拓扑可以将服务器和存储设备部署在任何地方，因为 任意源和目的地之间的通信只需要一跳。Brocade推荐 使用核心-边缘拓扑。这种拓扑提供了以存储为中 心的可扩展基础设施，Fabric的核心端通常是由一个或更多导向器 级交换机组成，提供了集中化的存储连接。边缘端是由 Fabric架构 交换机或导向器组成，通过ISL连接到核心端。见下图：如图所示，存储端口是由核心导向器提供支持，同时边缘交 换机提供多台服务器到核心资源的扇入。这种设计允许路径上不 同级别服务器进行连接，满足了

6、不同应用的带宽需求。架构特点：?主机访问存储跳数为1跳，延时较低?可实现按需横向扩展（Core或边缘）?存储可接入在不同的核心上，实现最大的负载均衡?流量分布在不同的核心及边缘降低的级联线的需求，有效的提升了 ISL的使用效率?网络中无单点交换机故障四.SAN总体架构介绍为了适应新一代业务的增长，在新一代 SAN架构设计时，以保证未 来五年内的业务增长为前提，为 公司定下了核心-边缘的SAN架构，同 时兼顾未来的同城灾备中心，为将来的扩展奠定基础。当前架构为双机房架构，其中 A机房和B机房又分布在同一楼层， 存储会分布在2个机房内。5.1数据中心SANW络架构生产SAN网络架构为 的核心架构，

7、当前使用的设备为博科 的6510交换机且为单机应用，无论从性能还是功能上均无法满 足用户的业务增长需求。依据最佳实践，Brocade提出以核心-边缘建设生产数据中A机房B机房心的SAN网络，以满足 的业务扩展，见以下拓扑图（单边）从整个拓扑来看，核心-边缘架构在提供了极佳的应用冗余 性外，SAN网络同时实现了集中存储到应用体系的转换，使主机 和存储各自的设计和扩展变的相对独立。五.设备选型鉴于机房的设备布局及业务需求， 决定使用6520来作为整个SAN网 络的核心交换机。? 6520硬件Brocade 6520交换机可交付市场领先的16 Gbps光纤通道 技术和支持高度虚拟化环境的先进功能，进

8、而满足超大规模私有 云存储环境的需求。Brocade 6510设计用于实现最高的灵活性 和最有效的投资保护，支持 48, 62, 96端口配置，而且可在高 效的2U高度下支持2、4、8、10或16 Gbps的速度。六.交换机高端功能简介生产设备将会分布在A机房与B机房，因此数据传递可靠性尤为重要， Brocade 传输功能保证数据快速准确的在数据中心中传递，业界首屈一指的Fabric Vision功能提供了多种工具保证双数据中心的SAN网络监控及管理更简单，更智能，更有效，确保数据安全无忧。? Fabric VisionSAN1理的目标是希望构建灵活的存储区域网络，灵活满足高密度虚拟化、闪存和

9、云基础架构动态多变的可扩展性和性能要求。为实现这些目标，需要全新的工具来帮助确保不停机运行，快速识别潜在拥塞点， 最大限度地提高应用性能并简化管理。 Brocade FabricVision 技术是对第五代光纤通道技术的扩展，可提供无与伦比的存储网络洞察力和可视性，利用强大的内置监控、管理和诊断工具帮助企业。? 提供强大的内置监控、管理和诊断工具，简化管理、延长正常运行时间并降低成本? 通过One Touch方式利用15年的SAN最佳实践经验，借助 预先定义的基于阀值的规则、操作和策略简化监控解决方案部署?利用主动监控和高级诊断工具避免50%的常见网络故障。?通过自动化测试和诊断工具消除近50

10、%的维护成本。? 通过内置监控和诊断功能消除对昂贵的第三方工具的需求，帮助节约大量的资本支出。七.数据中心SAN的组成及扩展7.1SAN网络的组成SANg构由核心（Core）交换机、边缘（Edge交换机及相关线 路组成。根据最佳实践，我们先定义每个 SAN网络遵循的规模限制：? 交换机个数<=10? 端口数 <=2000SAN 网络的规模限制是为了保证网络的稳定性以及更好的进行运维管理服务。7.2SAN 网络的扩展性下图是目前设计的单边SAN 网络内最大规模交换机数连接示意图，可以看到：网络内交换机采用冗余链路设计， 每个SAN网络最大有2台核心Core交换机（按需扩展）和8台边缘

11、Edge交换机 （按需扩展）。核心边缭7.3SAN网络的扩展原则SAN的设计是按5-7年设计，但是SAN的建设是按需扩展的， 随着未来业务的发展可能会带来SANW络的扩展需求，对此Brocade 有着如下定义：在既定SAN网络内某体系需要扩展时，如果某 SAN 网络仍有相应扩展空间则进行纵向扩展；如某SAN网络已达规模上限时则采取横向扩展。以下为扩展基本原则即流程图：川出所冒SAN网络= g无可用院口（意/胆 /间断导否架甯向我展TkjFJr宅痂曙）Il/1s一一7.4总结根据以上内容，以下是对 SAN络扩展的总结：?当端口需要扩展时，依据接入设备（存储/主机）选择接入核心还是边缘交换机。?当

12、核心/边缘交换机端口不足时首先选择扩展板卡方式进行扩?当核心/边缘交换机无纵向扩展选择时，通过横向扩展方式进行 扩展，即新增交换机。?所有核心/边缘交换机接入需采用双路冗余接入方式。八.SAN网络配置规范8.1管理网络的界定为了统一起见，我们对管理网络进行如下界定:1 .管理网络是指专门开辟一个用于管理的网络，主要用于 SAN网络设备的管理和调试、SAN#储设备的管理和调试等,包括BNASAN网络管理系统均使用管理网络，地址段为X.X.X.X的某个网段。2 .管理网络区可以设置有多个网段。SAN网络设备的管理和调试、 SAN存储设备的管理和调试、BNA SAN网络管理系统可以分别 使用不同的网

13、段。3 . 如果网段之间设备需要相互通信，则需要相关的网段能互连互 通。8.2 SAN网络设备管理IP地址规划推荐如下管理IP 地址规划：1 .在同一个SAN网中光纤交换机的管理端口设在同一个网段内。2 .使用SAN网当地的私有管理网络的IP地址，地址段为X.X.X.X 的某个网段。3 .对于普通的SAN交换机，一台交换机分配1个管理IP地址； 对于导向器设备， 每台导向器需要3 个管理 IP 地址， 2 个分配给CP板，1个分配给chassis。在导向器实际管理中，我们使 用分配给 chassis 的 IP 地址作为管理地址。8.3 SAN交换机级联端口利用规划SAN交换机端口连接规划需要充

14、分考虑过载比和实际使用环境。所谓的过载比，是指边缘交换机所连接的服务器的数量与边缘交换机到核心交换机的 ISL 数量比值，简称 ISL 过载比，或边缘交换机所连接的服务器的带宽综合与边缘交换机到核心交换机的 ISL 带宽总和的比值，简称为带宽过载比，还有一种过载比是服务器与存储端口数量的比值。下面我们以ISL过载比进行SAK换机端口连接规划。1. 一般情况下，边缘交换机到核心交换机之间按7:1 过载比进行规划。 对一般数据库和应用服务器以及文件服务器等， 其过载比一般建议7:1 。2. 带宽要求不高的按15:1 过载比进行规划，一般服务器以及使用FC的客户端，15: 1 一般都能 胜任。3.

15、个别带宽要求较高的按3:1 过载比进行规划， 例如核心数据库和存储端口的过载比一般建议3:1 。8.4 别名的规划1 .为了日常管理的清晰和方便推荐使用别名2 .赋予别名名称一定的含义，如服务器 SVR存储SG物理磁带库LIB等3 .别名名称的规定和ZONE勺名称的规定相同8.5 ZONE的规戈IJ以下是依据ZONEiU分的最佳实践提出如下 ZONE勺设置规范：1 .对于每台主机的(initiator ) 1个端口，对应1个或数个存 储端口(target ) 一起构成1个ZONE2 .采用硬件分区技术，ZONE的成员要么都是PWVV般么都是 FC 端口 (Domain ID, Port Index) 。3 .推荐在核心交换机上配置ZONE4 .推荐FOS(Fabric OS )版本最高的交换机上配置 ZONE5 .不同的Fabric ZONE的配置信息可以相同，相互独立。6 .推荐将交换机的 Default ZONE设置成NoAccess7 .博科交换机的ZONE勺命名为英文字母、阿拉伯数字和下划线， 必须以英文字母开头，总长度不能超过 64位，要区分英文字 母大小写。ZONE0T名原则如下：Zone名称由前端设备名称别名、后端设备名称 2部分构成。名称依次连接，不留空格，其表示形式