一级分行核心网络系统结构优化调整项目设计方案.doc

一级分行核心网络系统结构优化调整项目设计方案 第 1 页 共 39 页 中国工商银行数据中心（北京） 版本号：1.0 一级分行核心网络系统高可用性调 整（安全方案实施之前） （项目编号: 2005091） 一级分行辖内网络结构优化调整及安全项目组 二二六年四月十八日六年四月十八日 实施方案 一级分行核心网络系统结构优化调整项目设计方案 第 2 页 共 39 页 中国工商银行数据中心（北京） 文档属性 属性内容 项目名称：中国工商银行一级分行辖内网络结构优化调整及安全项目 项目编号： 文档主标题：一级分行核心网络系统高可用性调整实施方案（安全项目实施之前） 文档副标题： 文档编号： 文档版本号：1.0 版本日期：2006-4-18 文档状态： 作者：中国工商银行一级分行辖内网络结构优化调整及安全项目组 文档变更过程 版本修正日期修正人描述 1.02006年4月18日中国工商银行一级分 行辖内网络结构优化 调整及安全项目组 初稿 本版本变更内容描述 序号修改内容描述 1修改服务器分拆ip地址为24位掩码，重新规划网段 一级分行核心网络系统结构优化调整项目设计方案 第 3 页 共 39 页 中国工商银行数据中心（北京） 第第 1 章章方案概述方案概述5 1.1.内网交换机可用性调整5 1.1.1.服务器部署.5 1.1.2.服务器 ip 地址调整.7 1.1.3.综合布线.8 1.1.4.内网交换机扩容.8 1.1.5.服务器调整详细设计.9 1.2.分行 sna 网络部署13 1.3.部署防火墙之前高可用性调整方案14 1.3.1.结构描述.14 1.3.2.方案调整要点.15 1.3.3.路由调整要点.15 1.3.4.剩余风险分析.18 第第 2 章章实施规划实施规划18 2.1.vlan 规划表.18 2.2.服务器连接关系规划20 2.3.网络设备连接规划21 2.3.1.内网交换机与其他设备的连接关系及地址规划.21 2.3.2.骨干交换机与其他设备的连接关系及地址规划.22 2.3.3.中小规模分行上联路由器与其他设备的连接关系及地址规划.22 2.3.4.大规模分行 snasw 路由器与其他设备的连接关系及地址规划22 第第 3 章章方案实施步骤方案实施步骤23 3.1.内网服务器部分服务器物理连接布局调整23 3.1.1.实施条件.23 3.1.2.实施目标.23 3.1.3.实施前准备.23 3.1.4.实施步骤.23 3.1.5.验证与回退.24 3.2.内网服务器部分服务器 ip 地址调整阶段 24 3.2.1.实施条件.24 3.2.2.实施目标.24 3.2.3.实施前准备.24 3.2.4.实施步骤.24 3.2.5.验证与回退.27 3.2.6.垃圾清理.27 3.3.网络结构调整阶段28 3.3.1.实施条件.28 3.3.2.实施目标.28 3.3.3.实施前准备.28 3.3.4.实施步骤.29 3.3.5.验证与回退.34 3.4.上联路由器 llc2、ip 端口调整 34 一级分行核心网络系统结构优化调整项目设计方案 第 4 页 共 39 页 中国工商银行数据中心（北京） 3.4.1.实施条件.34 3.4.2.实施目标.34 3.4.3.实施前准备.34 3.4.4.实施步骤.35 3.4.5.验证与回退.38 第第 4 章章方案变更安排方案变更安排38 一级分行核心网络系统结构优化调整项目设计方案 第 5 页 共 39 页 中国工商银行数据中心（北京） 第第 1 章章 方案概述方案概述 1.1.内网交换机可用性调整内网交换机可用性调整 1.1.1. 服务器部署服务器部署 （1）服务器分类模型 其中重要业务服务器参照生产管理办法中引起 3 级问题的部属在分行的应用 服务器业务划分。 有备份服务器根据应用系统是否为热备份服务器进行区分，不包括冷备服务 器。分为使用操作系统级 ha 技术热备份（目前不建议使用）服务器和应用 级热备份服务器（如通用网关/cite 前置） ，对于应用级热备份服务器，采用 独立三层备份。 其中对于单点服务器目前使用单接入，(可用的技术有 nic teamming 等，目 前不建议使用) （2）重要服务器部属原则 制定内网服务器部署原则的指导思想是尽可能减少可能影响分行全辖业务的故障 点和降低网络设备之间的关联度，一级分行因 1 台内网交换机工作异常(包括端口、板 卡、整机 down 和处于“半死不活”异常状态)而不会导致分行全辖重要业务中断。 一级分行核心网络系统结构优化调整项目设计方案 第 6 页 共 39 页 中国工商银行数据中心（北京） 服务器部署的总体原则如下： 原则一：对于具有 ip 地址热备能力的服务器，必须将服务器均匀分为两组 分别接入内网交换机 a、b。两组各起一个 vlan，假设分别为 vlan v1 和 v2，则 vlan v1 的 vrrp/hsrp 必须活在 a 上，v2 的 vrrp/hsrp 活在 b 上。有两种情况需要说明： a)多访问多： 这种情况下，多台有 ip 地址热备能力的服务器集 s1 访问多台同样具有 ip 地址热备能力的服务器集 s2，把 s1 和 s2 各自通过 vlan 分割均匀分组， 如 s1 分割为 s11 和 s12，s2 分割为 s21 和 s22。在内网交换机 a 上部署 s11、s21，s11 和 s21 的 hsrp 活在 a 上（以下简称一类 vlan） ；b 上部署 s12、s22，s12 和 s22 的 hsrp 活在 b 上（以下简称二类 vlan） ； b)多访问一或一访问多： 如服务器 s1 和 s2 都需要访问服务器 s3，由于存在 s3 的单点，则把 s1、s2、s3 均部署于同一台交换机(原因见原则二)，不需要把 s1 和 s2 分组， 但 s1 和 s2 必须接入在交换机的不同板卡。 原则二：有访问关系的服务器必须接入同一台内网交换机，hsrp 也必须活 在同一台交换机上。有一种情况需要说明： 如果一个 vlan 内的两台功能不同的服务器 s11、s21 分别需要访问交 换机 a、b 上的服务器 s12、s22，则按照原则二的要求 s11 接入 a，s21 接 入 b。s11 的 hsrp 活在 a 上，s21 的 hsrp 活在 b 上。但 s11、s21 属于同 一 vlan，不能满足 hsrp 分别活在两台交换机的要求。这种情况下必须先对 s12 和 s22 进行 vlan 拆分。 原则三：有备份服务器(包括 ha 备份、一对一冷备)部署时主用服务器根据 所在 vlan 的布局要求接入在一台交换机上，备份服务器接入到另外一台 交换机，hsrp 活在主用服务器接入的交换机上。 对于 ha 备份服务器，这种部署方式无法保证在出现类似河北故障模 式下的网络传输，但可以保证服务器接入的板卡故障或者交换机整机故障 一级分行核心网络系统结构优化调整项目设计方案 第 7 页 共 39 页 中国工商银行数据中心（北京） 情况下的正常切换。考虑到交换机板卡或者整机故障的概率远大于“半死不 活”的概率，选择以上接入方法。 对于 1 对 1 冷备服务器， 备份服务器也需要进行网络接入，可以接 入在另外一台交换机的相同端口或不同端口。 如果接入在相同端口（主要是可以节省端口） ，主用服务器的网络接 入出现故障时拔出另一台交换机相同端口的备份服务器网线，插入主用服 务器网线，对于备份服务器的网线标签可以通过不同的颜色和主用服务器 进行区分。主用服务器出现故障时直接启用备份服务器的端口即可。 原则四：对于没有备份的单点服务器，可根据内网交换机连接的服务器的 数量在两台交换机上均衡部署，以后可以考虑使用 nic teaming 技术实现 到两台交换机的接入。 原则五：对于没有备份的单点服务器及非重要服务器，仍然连接到 2 台交 换机上的 vlan（以下简称第三类 vlan） ，保证 hsrp 活在内网交换机 a 上。 原则六：在满足原则一至四的前提下分行根据具体情况尽量把服务器调整 到两台交换机上，可以通过调整为第一类或第二类 vlan，或者通过调整第 三类 vlan 内部的服务器分布达到两台交换机负载均衡。 1.1.2. 服务器服务器 ip 地址调整地址调整 现有的 ip 地址分配不做原则性的改动，将现有的具备备份功能的重要服务器 的 vlan 拆分成为 2 个 vlan，新使用一个 c 类地址，每个 vlan 使用 24 位 的掩码。对于无备份的服务器 vlan、ip 地址和服务器布局和 vlan 仍然保留 目前的布局，使用 24 位的掩码。 对于有备份的重要服务器 vlan，两台交换机启动三层 vlan，配置 vrrp（hsrp） ，采用虚地址做服务器 default gateway，并将 vrrp(hsrp)存 活在服务器布局的一侧； 一级分行核心网络系统结构优化调整项目设计方案 第 8 页 共 39 页 中国工商银行数据中心（北京） 1.1.3. 综合布线综合布线 由于保留了 trunk 进行 2 层 vlan 跨交换机的设计，仍然可以使用目前一 级分行辖内网络结构优化调整项目标准实施方案 v1.4的基础布线资源。 根据服务器连接交换机的布局调整进行相应的跳线调整。 1.1.4. 内网交换机扩容内网交换机扩容 对于超过 200 台服务器的行，可选用 2 台 cisco 4507 及以上的交换机、华为 6506r 以上的交换机进行扩展（图中的 c,d 交换机） ，原则上要求内网服务器接入交 换机配备双引擎。为了避免交换机扩展引起大量的 ip 地址调整，内网交换机之间使 用二层 trunk 进行连接。 45rt01-a1 45rt02-a1 75wa01-a175wa02-a1 bf12wa01-a1 nf12wa01-a1 nf12wa02-a1bf12wa02-a1 bf65sw0a-a1 nf65sw01-a1 nf65sw02-a1 bf65sw0b-a1 75wa03-a175wa04-a1 65rt0a-c165rt0b-c1 分分行行辖辖内内网网络络结结构构图图（内内网网交交换换机机扩扩展展为为4台台） 02fw0a-a1 02fw0b-a1 65sw0c-c165sw0d-c1 ha 交换机扩展采用二层无环连接方式，扩展交换机 c/d 分别单连接（可以 2 条 捆绑为 channel 使用）交换机 a/b； 同时在交换机 c/d 上部署一条冷备份链路分别连接交换机 b/a，实施时做好 软件连接配置，华为交换机在交换机 a/b 上手工软件 shutdown 连接交换机 d/c 的端口。cisco 交换机在 c/d 上配置 backup interface 自动进行链路切 换。 重要服务器相互备份 vlan 必须部署在交换机 a 和交换机 b 上，跨交换机 一级分行核心网络系统结构优化调整项目设计方案 第 9 页 共 39 页 中国工商银行数据中心（北京） vlan 部署在交换机 c 和 d 上，也可以部署在交换机 a 和 b 上 在这种布局方式下，serverfarm 交换机由 2 台扩展为 4 台时路由不需要调整。 尽量将重要备份服务器在 a 和 b 上部署，减少设备故障对重要服务器的影响。 1.1.5. 服务器调整详细设计服务器调整详细设计 对于有备份的重要服务器 vlan，两台交换机启动三层 vlan，配置 hsrp/vrrp，采用虚地址做服务器的 default gateway，并将 hsrp/vrrp 存活 在服务器布局的一侧。服务器调整内容包括接入调整和 ip 地址调整，具体的 ip 地址调整的原则是： 现有的 ip 地址分配不做原则性的改动，将需要分拆的关键业务服务器的 vlan 拆分成为 2 个 vlan，新的 vlan id 为原有 vlan id40，vlan ip 地 址为目前 c 类地址128（目前 c 类地址128） ，每个 vlan 仍然使用 24 位的掩码。对于其它服务器的 vlan， ip 地址和服务器布局仍然保持现状，使用 24 位的掩码。 vlan 分拆后的 ip 地址和网关分配如下： 假设分拆前的 ip 地址网段为 a.b.c.0/24，分拆为 2 个网段： a.b.c（c128).0/24，hsrp/vrrp 网关的实地址为 a.b.c.251（交换机 a）和 a.b.c.252（交换机 b）,虚地址为 a.b.c.254，设置交换机 b 的 vrrp/hsrp 为高优先级。 根据各分行反馈信息，目前分行以下重要业务服务器需进行调整： 柜面业务：b 类网关、cite 前置、cts 前置等服务器 自助业务：a 类网关、综合前置、密押、金卡前置等服务器 中间业务：中间业务平台通讯前置、中间业务平台、a 类(或 b 类)网关等服 一级分行核心网络系统结构优化调整项目设计方案 第 10 页 共 39 页 中国工商银行数据中心（北京） 务器 电话银行：g700、语音网关、语音关守、ivr、95588 服务器等相关服务 器 国际结算业务：国际结算应用服务器、国际结算数据库服务器。 生产用户接入：操作员机器 各一级分行对以上业务必须进行相关服务器部署调整，分行认为重要但没有 包括在内的业务也可以进行调整。 根据 1.1.1 的服务器调整原则，对分行的服务器调整规划如下： 1、柜面业务： 对于 cite 前置上收(或部分上收)的分行，假设上收的 cite 前置为 m 台， b 类网关有 n 台，则分为两组，n/2 台 b 类网关和 m/2 台 cite 前置(组一) 接入内网交换机 a，另 n/2 台 b 类网关和 m/2 台 cite 前置(组二)接入交 换机 b；如果出现奇数台数不能被 2 整除的情况，考虑到网关的负载均衡， 两台交换机上分布的 cite 前置和 b 类网关数目应大致成比例，如有 6 台 cite 前置、3 台 b 类网关，可以考虑 4 台 cite 前置和 2 台 b 类网关接入 交换机 a，另 2 台 cite 前置和 1 台 b 类网关接入交换机 b。具体分组时 分行需要应用人员配合在考虑服务器负载的情况下分组，尽可能做到服务 器的压力负载均衡。 cite 前置和 b 类网关所在的 vlan 一分为二，原有 vlan300 的 ip 地址网 段调整为 x.0.1.0/24，新起 vlan340，ip 地址网段为 x.0.129.0/24。服务 器的 ip 地址分别调整到相应网段，设置 hsrp/vrrp 网关。hsrp/vrrp 网关分别活在接入的交换机上。 投产新终端平台的分行，由于网点图形终端需要访问 cite 前置和 cts 前 置、cite 前置需要访问 cts 前置、cts 前置和 cite 前置都需要访问 b 类 网关，因此对 cts 前置也需要均匀分组。 cts 前置能够访问多台 b 类网关，cts 前置可以访问多台 b 类网关， 因此应用人员可修改 cts 前置配置指向多台 b 类网关，可通过设置权 一级分行核心网络系统结构优化调整项目设计方案 第 11 页 共 39 页 中国工商银行数据中心（北京） 重优先指向本组网关。对于 cite 前置访问 b 类网关，由于有的分行 b 类网关数目较少，如果每组网关只有 1 台，易产生单点。因此对于 cite 前置访问 b 类网关也要求通过修改 cite 前置配置设置权重优先 指向本组网关，同时以较低的优先权访问另一组网关。 cite 前置只能访问一台 cts 前置，对 cite 前置需要进行和 cts 类 似的配置。 cts 前置分组后分别放入 vlan300 和 vlan340 网段。 目前分行 cite 前置对 b 类网关的访问采用的是根据权重，从可选网关中 随机选择一台进行连接，即每次建立连接时都是以一定的概率连接到某一 台 b 类网关。为此，需要应用人员修改 cite 前置机配置，使得每台 cite 前置优选本组的 b 类网关。二级分行的 cite 前置仍然可以根据权重选择 b 类网关，不需要修改配置。 一个地市行至少要连接到不同网段的两个 cite 和两个 cts 前置机。 有的分行 b 类网关做了负载均衡，对外提供一个虚地址，需要对其一分为 二，每组接入不同交换机，对外提供两个网段的虚地址。 2、自助业务： 综合前置主服务器、a 类网关、综合前置密押服务器、中间业务平台、自助 终端前置和其它与综合前置有互访关系的服务器接入同一台交换机且 hsrp/vrrp 都活在该接入交换机上。 综合前置的备份服务器接入另外一台交换机上，hsrp/vrrp 活在主用服务 器接入的交换机上，不需要进行 vlan 拆分。 由于一级分行所有的自动柜员机都需要访问综合前置，自动柜员机的 nac 地址都需要厂家进行烧制在 eprom 上，如果修改综合前置地址则牵涉到的 地址修改范围较大，因此，此次不修改综合前置地址。 假设综合前置部署于交换机 a，则综合前置访问的 a 类网关 ip 地址修改为 划分后的 vlan300 的 ip 地址段 x.0.1.0/24；如果综合前置部署于交换机 b 上，则 a 类网关地址修改为 x.0.129.0/24。 一级分行核心网络系统结构优化调整项目设计方案 第 12 页 共 39 页 中国工商银行数据中心（北京） 3、中间业务平台： 目前分行对 maps 中间业务平台访问网关没有统一规划，有的分行访问 a 类网关，有的分行访问 b 类网关。由于 a 类网关较少，建议分行的应用人 员修改 maps 中间业务平台的访问地址，指向 b 类网关，便于负载均衡。 maps 中间业务平台均匀分组，vlan 304 拆分出 vlan 344,一台部在 vlan304，网段为 x.0.17.0/24；另一台部在 vlan344，网段为 x.0.145.0/24。两组服务器分别接入在各自 vlan 的 hsrp/vrrp active 的 交换机上。 通过应用技术人员修改中间业务平台访问的 b 类网关地址，指向接入在同 一台交换机上的 b 类网关地址。 如果分行的中间业务还有其它单点服务器，比如数据库服务器，则不需要 进行 vlan 拆分，中间业务平台和数据库服务器接入同一台交换机，只访 问本台交换机接入的网关。 4、电话银行业务： 电话银行托管分行的服务器包括 g700、二级分行语音网关，相关服务器 分组，vlan 进行拆分为 2 个独立的 vlan。 电话银行独立分行的相关服务器包括：cti 服务器、ivr、省际语音网关、 二级分行语音网关、电话银行 a 类网关。由于存在 a 类网关的单点，所有 服务器调整到电话银行 a 类网关接入的交换机，vlan 的 hsrp/vrrp 活 在该交换机行上。 5、国际结算业务： 国际结算服务器（包括应用服务器和数据库服务器）做 ha 的分行分别接入 两台交换机。 国际结算业务的应用服务器和数据库服务器分开的分行，由于数据库服务 器存在单点，所有的服务器接入同一台交换机，相应 vlan 的 hsrp/vrrp 也必须活在该交换机上。 国际结算应用服务器只能指向一台通用网关，存在单点。 一级分行核心网络系统结构优化调整项目设计方案 第 13 页 共 39 页 中国工商银行数据中心（北京） 6、生产用户接入： 生产用户所在 vlan 按照上述原则进行拆分，生产用户均匀分组，放入相 应网段。这样分组的好处一是可以提高生产用户的可用性，二是可以在交 换机故障时便于利用生产用户机器排查故障。 7、网点接入要求 网点接入互相备份的服务器（如 cite 前置） ，要以网点为单位进行访问配置， 不要以二级分行为单位进行，避免造成整个二级分行的故障。 1.2.分行分行 sna 网络部署网络部署 通用网关 sna llc2 的部署 内网交换机 a 必须连接 snasw1，内网交换机 b 必须连接 snasw2 2 台交换机上的 llc2 端口通过 trunk 划分到同一 vlan。 连接在内网交换机 a 上的通用网关的目标 mac 指向 snasw1，连接在内网交 换机 b 上的通用网关的目标 mac 指向 snasw2。 通用网关 ip 端口和 llc2 端口必须连接在同一台交换机上。 上联路由器 llc2、ip 端口调整 目前各行上联（snasw）路由器连接骨干交换机的端口使用同一板卡，这种情 况下，这块板卡的故障会导致上联路由器脱网，会造成连接在本路由器上的 通用网关无法连通数据中心主机。snasw 根据一级分行辖内网络结构可 用性调整项目标准实施方案 v1.4的网间网地址规划，分行的65rt0a- c1 连接上联路由器 1 的 llc2 端口 f0/0/1（中小规模行），分行的 65rt0a-c1 连接 snasw 路由器 1 的 llc2 端口 f0/0/0（大规模行）；分 行的65rt0b-c1 连接上联路由器 2 的 llc2 端口 f0/0/1（中小规模行）， 分行的65rt0b-c1 连接 snasw 路由器 2 的 llc2 端口 f0/0/0（大规模行） 。 各分行的45rt0a-a1 连上连路由器 1 和上连路由器 2 的 f0/0/0 端口, 45rt0b-a1 连上连路由器 1 和上连路由器 2 的 f0/1/0 端口。对上连路由 一级分行核心网络系统结构优化调整项目设计方案 第 14 页 共 39 页 中国工商银行数据中心（北京） 器而言，其连接45rt0a-a1 和45rt0b-a1 的两个端口 f0/0/0 和 f0/1/0 位于不同的板卡上，这种设计保证了上连路由器对下的两条链路不会 因为一块板卡的故障而导致两条对下链路的中断，有效的利用了方案中对链 路冗余的设计。（对上连路由器 2 同理）。 但在一级分行辖内网络结构优化调整项目的具体实施过程中，发现大多数分 行并未严格按照方案执行，大多数分行将45rt0a-a1 和45rt0b-a1 连接上连路由器 1 或上连路由器 2 的端口部署在了同一块板卡上（目前大部 分分行 445rt0a-a1 和45rt0b-a1 分别连接上连（snasw）路由器 1 的 f0/0/0 和 f0/0/1 端口）。这种部署方法增大了安全隐患，为提高一级骨 干网络的高可用性，各一级分行应严格按照标准方案实施对上述问题进行整 改。 大规模分行 snasw 路由器和骨干交换机的路径调整 大规模分行 snasw 路由器的骨干交换机之间采用的动态等价路由，数据流出入不 一致，任何一台骨干交换机的不稳定都有可能影响 sna 数据，造成全辖故障，需 要调整为不等价路由保证 2 台 snasw 路由器来回路径一致并各住走一台骨干交换 机。 1.3.部署防火墙之前高可用性调整方案部署防火墙之前高可用性调整方案 1.3.1. 结构描述结构描述 骨干交换机和内网交换机采口字型连接方式，保持两台内网交换机之间的二 层 trunk 连接，对于应用上冗余热备份的重要服务器部署到两台内网交换机上， 并使用单独的三层 vlan 地址，确保正常情况下重要服务器的出入数据流在内网交 换机和骨干交换机之间保持一致，但对于其他服务器仍然保持现状。 骨干交换机和内网交换机之间采用口字型连接方式时的结构如下： 一级分行核心网络系统结构优化调整项目设计方案 第 15 页 共 39 页 中国工商银行数据中心（北京） c2 45rt0a-a145rt0b-a1 65rt0a-c165rt0b-c1 75wa01-a175wa02-a1 75wa03-a1 75wa04-a1 第一类vlan 第三类vlan 第二类vlan c1 a b 注入汇总cost 20 公告第二类vlan明细 注入汇总cost 25 汇总注入eigrp delay 1 第二类vlan明细注入eigrp 汇总注入eigrp delay 20 eigrp注入ospf 83,84默认cost=20 eigrp注入ospf 83,84汇总cost=25 ip ospf cost 12 注注：将将所所有有思思科科交交换换机机计计算算ospf cost的的参参考考带带宽宽改改为为10000m 经过对内网交换机的优化调整，内网交换机上的 vlan 被分成了三类： （1）第一类 vlan：该 vlan 中的所有服务器都必须物理连接到内网交换机 a 上， 该 vlan 的 vrrp 或 hsrp 主活在内网交换机 a 上 （2）第二类 vlan：该 vlan 中的所有服务器都必须物理连接到内网交换机 b 上， 该 vlan 的 vrrp 或 hsrp 主活在内网交换机 b 上 （3）第三类 vlan：该 vlan 中的服务器可以物理均衡连接到两台内网交换机上， 该 vlan 的 vrrp 或 hsrp 主活在内网交换机 a 上 如图所示：服务器 a 属于第一类 vlan，物理连接到内网交换机 a 上；服务器 b 属于第二类 vlan，物理连接到内网交换机 b 上；服务器 c1 属于第三类 vlan， 物理连接到内网交换机 a 上；服务器 c2 属于第三类 vlan，物理连接到内网交换 机 b 上。 1.3.2. 方案调整要点方案调整要点 （1）骨干交换机和内网交换机之间采用口字型连接方式：骨干交换机 a 连接 内网交换机 a 的端口属于 vlan 286，该 vlan 只建立在骨干交换机 a 上； 骨干交换机 b 连接内网交换机 b 的端口属于 vlan 289，该 vlan 只建立在 骨干交换机 b 上。内网交换机 a 连接骨干交换机 a 的端口属于 vlan 一级分行核心网络系统结构优化调整项目设计方案 第 16 页 共 39 页 中国工商银行数据中心（北京） 380，该 vlan 只建立在内网交换机 a 上；内网交换机 b 连接骨干交换机 b 的端口属于 vlan 383，该 vlan 只建立在内网交换机 b 上。 （2）两台骨干交换机之间保留 trunk 连接。 （3）两台内网交换机之间保留 trunk 连接。 （4）两台骨干交换机之间通过 vlan 270 建立 ospf neighbor。 （5）两台内网交换机之间通过 vlan 389 建立 ospf neighbor。 1.3.3. 路由调整要点路由调整要点 通过调整某些 vlan 的 cost 值以及路由重分发时的参数来影响路由的选路， 保证正常情况下第一类 vlan 和第三类 vlan 的数据流通过左边的设备传输，第二 类 vlan 的数据流通过右边的设备传输，而且来回路径一致，以避免当同一层双机 热备中的一台出现“半死不活”的状态时对另外一台造成影响。 （1）将思科交换机上 ospf 65xxx 中的 auto-cost reference-bandwidth 调整为 10000m，以保证整个 ospf 域的 cost 计算的一致性和准确性，这样无论 是思科交换机还是华为交换机，所有三层 vlan 的 ospf 默认 cost 都为 10。 （2）总行、数据中心及其他分行的路由调整 在骨干交换机 a 上向 ospf 65xxx 中分发 eigrp 65000 中的 83 和 84 汇 总路由（cost 值为 20） ，向 ospf 65xxx 中分发 extranet 网、总行和其 他分行的静态路由（cost 值为 20） ；在骨干交换机 b 上向 ospf 65xxx 中分发 eigrp 65000 中的 83 和 84 汇总路由（cost 值为 25） ，向 ospf 65xxx 中分发 extranet 网、总行和其他分行的静态路由（cost 值为 25） 。 正常情况下，一级分行除第二类 vlan 外(第一、三类 vlan 及二级分行)访 问总行、数据中心及其他分行的数据包都会到达骨干交换机 a，最终访 问数据中心（上海）和上海分行的数据包都会发送给75wa02-a1， 访问总行、数据中心（北京）和其他分行的数据包都会发送给 75wa01-a1；第二类 vlan 内的服务器访问总行、数据中心及其他 分行的数据包都会到达骨干交换机 b，最终访问数据中心（上海）和上 海分行的数据包都会发送给75wa02-a1，访问总行、数据中心（北 京）和其他分行的数据包都会发送给75wa01-a1。 一级分行核心网络系统结构优化调整项目设计方案 第 17 页 共 39 页 中国工商银行数据中心（北京） （3）本一级分行内网路由的调整 在骨干交换机 a 上使用静态 null0 路由汇总本行的 a 类路由，并分发到 eigrp 65000 中（delay 为 1） ；在骨干交换机 b 上使用静态 null0 路由汇 总本行的 a 类路由，并分发到 eigrp 65000 中（delay 为 20） ，同时在骨 干交换机 b 上向 eigrp 65000 中分发 ospf 65xxx 中第二类 vlan 的明细 路由（delay 为 20） 。正常情况下，总行、数据中心和其他分行访问一级 分行内网第一类 vlan 数据包都会到达骨干交换机 a 上，最终到达内网交 换机 a 上的第一类 vlan 服务器；总行、数据中心和其他分行访问一级分 行内网第二类 vlan 服务器的数据包都会到达骨干交换机 b，最终到达内 网交换机 b 上的第二类 vlan 服务器；总行、数据中心和其他分行访问访 问一级分行内网第三类 vlan 服务器的数据包都会到达骨干交换机 a，或 者最终到达内网交换机 a 上的第三类 vlan 服务器，或者到达内网交换机 a 后，经过 trunk 到达内网交换机 b 上的第三类 vlan 服务器。 在内网交换机 a 上使用静态 null0 路由汇总内网交换机的路由，并分发 到 ospf 65xxx 中（cost 值为 20） ；在内网交换机 b 上使用静态 null0 路 由汇总内网交换机的路由，并分发到 ospf 65xxx 中（cost 值为 25） ， 同时在内网交换机 b 上将第二类 vlan 加入 ospf 65xxx 的 area 0 中。 正常情况下，二级分行和网点访问一级分行内网第一类 vlan 服务器的数 据包都会到达骨干交换机 a，最终到达内网交换机 a 上的第一类 vlan 服 务器；二级分行和网点访问一级分行内网第二类 vlan 服务器的数据包都 会到达骨干交换机 b，最终到达内网交换机 b 上的第二类 vlan 服务器； 二级分行和网点访问一级分行内网第三类 vlan 服务器的数据包都会到达 骨干交换机 a，或者最终到达内网交换机 a 上的第三类 vlan 服务器，或 者到达内网交换机 a 后，经过 trunk 到达内网交换机 b 上的第三类 vlan 服务器。 在骨干交换机 a 上使用静态 null0 路由汇总本行计算中心的路由，并分 发到 ospf 65xxx 中（cost 值为 20） ；在骨干交换机 b 上使用静态 null0 路由汇总本行计算中心的路由，并分发到 ospf 65xxx 中（cost 值为 25） 。 把两台内网交换机之间互联 vlan 的 ospf cost 值加大为 12，以尽量避免 一级分行核心网络系统结构优化调整项目设计方案 第 18 页 共 39 页 中国工商银行数据中心（北京） 正常情况下数据流量通过 trunk 发送。 对于内网交换机 a，从 ospf 来看，到数据中心的路由从骨干 a 会优先学 到，对于内网交换机 b，从骨干 b 学到，数据包到达骨干 b 后，由于 eigrp 路由 distance（90）小于 ospf（110） ，数据包优先发送到上联 wan。 对于内网交换机 a，从 ospf 来看，到二级分行的路由从骨干 a 会优先学 到，对于内网交换机 b，从骨干 b 学到，数据包到达骨干 b 后，优先选 择明细路由发送到下联 wan。 大规模分行 snasw 1 路由器连接交换机 2 的端口 delay 调整为 11，使 snasw1 的 sna 数据流优先发送到骨干交换机 a; snasw 2 路由器连接交 换机 1 的端口 delay 调整为 11，使 snasw2 的 sna 数据流优先发送到骨 干交换机 b 大规模分行骨干交换机 a 连接 snasw2 路由器的 vlan 的 delay 调整为 2，使上联 wan 的 sna 数据流优先发送到骨干交换机 a；骨干交换机 b 连接 snasw1 路由器的 vlan 的 delay 调整为 2，使上联 wan 的 sna 数据 流优先发送到骨干交换机 b； 1.3.4. 剩余风险分析剩余风险分析 1、根据最新的信息系统管理制度 ，任何一台内网交换机的故障仍然会导致全辖 3 级事件。 第第 2 章章 实施规划实施规划 2.1.vlan 规划表规划表 逻辑安 全区域 vlan 号用 途 后的新 vlan 应用 位 地址范围服务器 一级分行核心网络系统结构优化调整项目设计方案 第 19 页 共 39 页 中国工商银行数据中心（北京） 300a.0.1.0/24 300柜面业务313/ 340 0001a.0.113.0/24/ a.0.129.0/24 通用网关、cite 服务 器 301a.0.17.0/24 301电子银行 341 0001 a.0.145.0/24 呼叫中心、网银 mq、atm 监控 302a.0.33.0/24 302批量数据 342 0001 a.0.161.0/24 报表反传、批量代理后 台、后督后台、缩微后 台 303a.0.49.0/24 303 外围系统 343 0001 a.0.177.0/24 资金调拨、大额支付、 国际结算、清算中心、 b 股开户、计财、牌价、 大屏 320a.0.241.0/24 320 营业部所 有生产服 务器 360 0001 a.0.225.0/24 营业部所有生产服务器 310 通用网关 llc2 0001a.0.97.0/24 304a.0.65.0/24 304中间业务 344 0001 a.0.193.0/24 综合前置后台、中间业 务后台、跨行系统后台, 自助终端 柜面业 务应用 区 370379生产用户370-3730000 a.0.(0,16,240 ).0/24 含 ecc 用户 305a.0.81.0/24 经营管 理应用 区 305经营管理 345 0001 a.0.209.0/24 信贷台账、管理 mis、 数据仓库、综合报表、 法律案件、固定资产 306a.0.14.0/24 306办公管理 346 1110 a.0.142.0/24 notes、网讯数据库、 网上教学数据库、人事 考核后台、公文、档案 后台、 ad、dhcp、wins 321a.0.254.0/24 321 营业部所 有综合服 务器 361 1110 a.0.128.0/24 营业部所有综合服务器 307a.0.12.0/24 307 语音视频 （ip 电话、 视频会议）347 1100 a.0.140.0/24 视频会议、语音网关 322a.0.252.0/24 办公管 理应用 区 322 营业部 ip 语音/视频362 1100 a.0.124.0/24 营业部 ip 语音/视频 308 a.0.243.0/24 ecc 管理应 用区 308 ecc 管理 应用 vlan 348 0011 a.0.115.0/24 b/s 结构的 ecc 管理 的应用和 db 其他安380389防火墙网0100a.0.244.0/28 一级分行核心网络系统结构优化调整项目设计方案 第 20 页 共 39 页 中国工商银行数据中心（北京） 间网 398 设备 loopback 环回地址 0011a.0.3.0/32 全区 399 设备 sc0 管理地址 0011a.0.19.0/24交换机二层 312a.1.115.0/24 ecc 管理隔 离区 312 ecc 管理 隔离 vlan 352 0011 a.1.243.0/24 aaa、防病毒、应用/ 数据库服务器、ids、 加密机管理端， openview、网管报表、 log、ntp、dns、co nsoleserver、ecc 集 中监控、应用系统监控、 存储网络监控、beb 集中备份应用/数据库 服务器 500a.1.1.0 /24 500 柜面及外 围业务 540 0001 a.1.129.0 /24 批量代理、后督、缩微、 资金调拨、大额支付、 国际结算、清算中心、 b 股开户、计财、牌价、 大屏前置机或 web 服 务器 520a.1.113.0/24 柜面业 务隔离 区 520 营业部所 有生产隔 离服务器 560 0001 a.1.241.0/24 营业部所有生产隔离服 务器 501a.1.17.0/24经营管 理隔离 区 501经营管理 541 0001 a.1.145.0/24 数据仓库、综合报表、 法律案件、固定资产前 置机或 web 服务器 502a.1.14.0/24 办公管 理隔离 区 502办公管理 542 1110 a.1.142.0/24 网讯、网上教学、人事 考核、档案 （本表按所有服务器具备应用级冗余热备份进行规划，需根据分行情况进行修订，凡是分 拆过的 vlan 一律使用 25 位掩码，划归为第一、二类 vlan，没有分拆过的使用 24 位掩码， 划归为第三类 vlan） 一级分行核心网络系统结构优化调整项目设计方案 第 21 页 共 39 页 中国工商银行数据中心（北京） 2.2.服务器连接关系规划服务器连接关系规划 交换 机名 称 vlan 号 调整前 连接的 交换机 端口 对端设备名称对端设备地址 端口模 式 调整后 连接的 交换机 端口 调整 后连 的 vlan 370f6/5生产用户 huba.0.32.110-115auto f6/6 75wa01- a1 f0/0/1auto f6/71 号网关（a.0.97.0/24）llc2auto f6/82 号网关（a.0.97.0/24）llc2auto f6/93 号网关（a.0.97.0/24）llc2auto f6/104 号网关（a.0.97.0/24）llc2auto f6/115 号网关（a.0.97.0/24）llc2auto f6/128 号网关（a.0.97.0/24）llc2auto f6/139 号网关（a.0.97.0/24）llc2auto f6/1414 号网关（a.0.97.0/24）llc2auto 310 f6/15备用网关（a.0.97.0/24）llc2auto f6/16备用网关a.0.1.xx auto full auto 100 f6/171 号网关a.0.1.80 auto full auto 100 f6/182 号网关a.0.1.81 auto full auto 100 f6/193 号网关a.0.1.82 auto full auto 100 f6/204 号网关a.0.1.83 auto full auto 100 f6/215 号网关a.0.1.84 auto full auto 100 f6/228 号网关a.0.1.87 auto full auto 100 6 5rt0 a-c1 （94. 3.3.21 ） 300 f6/239 号网关a.0.1.88 auto full auto 100 一级分行核心网络系统结构优化调整项目设计方案 第 22 页 共 39 页 中国工商银行数据中心（北京） f6/2414 号网关a.0.1.93 auto full auto 100 302f6/25报表代理a.0.33.79 auto full auto 100 303f6/28 国际结算（主 用机） a.0.49.108 auto full auto 100 f6/29银证通 dba.0.65.75auto f6/30 综合前置 atmp a.0.65.99auto 304 f6/31 综合前置 hp a.0.65.100auto 2.3.网络设备连接规划网络设备连接规划 2.3.1. 内网交换机与其他设备的连接关系及地址规划内网交换机与其他设备的连接关系及地址规划 本端设备名称端口costip 地址vlan对端设备名称端口ip 地址vlan备注 g3/0/13 g1/2 10a.3.228.2/3038045rt0a-a1g3/2a.3.228.1/30286 连骨干交换 机 a g2/0/15 g1/1 65rt0b-c1 g2/0/15 g1/1 trunk 互连 （channel） g2/0/16 g1/3 65rt0b-c1 g2/0/16 g1/3 trunk 互连 （channel） g3/0/1465rt0b-c1g3/0/14 冷备 trunk 互连 65rt0a-c1 华为交换机配置 思科交换机配置 12a.0.4.1/2838965rt0b-c1a.0.4.2/28389 ospf neighbor g3/0/13 g1/2 10a.3.228.14/3038345rt0b-a1g3/2a.3.228.13/30289 连骨干交换 机 b g2/0/15 g1/1 65rt0a-c1 g2/0/15 g1/1 trunk 互连 （channel） g2/0/16 g1/3 65rt0a-c1 g2/0/16 g1/3 trunk 互连 （channel） g3/0/1465rt0b-c1g3/0/14 冷备 trunk 互连 65rt0b-c1 华为交换机配置 思科交换机配置 12a.0.4.2/2838965rt0a-c1a.0.4.1/28389 ospf neighbor 一级分行核心网络系统结构优化调整项目设计方案 第 23 页 共 39 页 中国工商银行数据中心（北京） 2.3.2. 骨干交换机与其他设备的连接关系及地址规划骨干交换机与其他设备的连接关系及地址规划 本端设备名称端口costip 地址vlan对端设备名称端口ip 地址vlan备注 45rt0a-a1g3/210a.3.228.1/3028665rt0a-c1g3/0/13a.3.228.2/30380 连内网交 换机 a 45rt0b-a1g3/210a.3.228.13/3028965rt0b-c1g3/0/13a.3.228.14/30383 连内网交 换机 b 2.3.3. 中小规模分行上联路由器与其他设备的连接关系及地址规划中小