网络项目割接方案V1.8)

1、知识是人类进步的阶梯知识是人类进步的阶承 中烟集团数据中心网络项目割接方案HUAWei华为技术服务有限公司Huawei Technologies Co., Ltd.2017年6月文档 名称中烟集团数据中心网络项目设备割接方案文档 类别技术文档 工程文档 口培训文档 口运维文档 口项目文档 口服务文档 口其他口当 前版本1.1创 建 日 期2017.6.7文档主送部门中烟集团数据中心文档作者联 系方式修订记录修改记录修改人审阅人V1.0:2017.6.1IV1.1: 2017.6.8:摘要I1 ?建立文档?建立文档目录第一章割接说明41.1 总体说明41.2 人员安排41.3 物料备件准备51.

2、4 组网结构71.4.1 割接前组网结构 71.4.2 割接后组网结构 7第二章割接规划 102.1 设备端口规划 102.2 设备标签以及描述 10第三章割接步骤123.1 离线测试123.2 运行情况信息收集 123.3 备份数据123.4 割接动作12第四章测试验证204.1 测试验证内容204.1.1 设备状态检查 20第五章回退机制215.1 故障判断215.2 紧急回退22第六章风险评估236.1 风险评估23第七章守局方案231、守局目的：232、职守方式 233、管理制度234、守局值班安排 24第八章配置模板25第一章割接说明1.1 总体说明建设单位集团施工单位华为技术有限公

3、司、北京银信长远科技股份有限公司割接局点中烟集团数据中心网络和营销中心涉及设备及版本号CE12804V200R001USG660V500R001CE6851V200R001割接及测试时间段2017-6-17 08:00 至 2017-6-1813:00回退时间段13:00-21:00升级/割接简述：本次设备替换为，我司的 CE12804替换现网的 Cisco Catalyst 6509 设备，USG6600 替换现网的juniper设备。对原有硬件设备进行替换，涉及业务改变，原来的OTV各采用VXALNBW代，其它配置原则上采用原有配置，接口地址有部分改变，由于设备软件版本不同命令会有变化，不

4、对网络结构以及流量走向做改变。升级/割接影响：此次操作将会影中断网络约 2天。1.2 人员安排客户配合人员：小组编号割接人员单位联系电话123华为公司人员:小组编号割接人员施工单位联系电话1234北京银信人员:小组编号割接人员施工单位联系电话1234其它人员:小组编号割接人员施工单位联系电话12245678后端保障人员小组编号保障人员施工单位联系电话1231.3 物料备件准备物料名称数量提供方备注（物料Bom编码）光纤跳线若干条客户需要根据现场机房情况确 定（单模/多模/长度/接口光功率计1客户/集成商备用光模块10客户使用本期米购未使用模块备用网线客户/集成商原有网线长度不够或失效 情况卜使

5、用线缆标签集成商1.4 组网结构1.4.1 割接前组网结构原中烟数据中心和营销中心现有核心交换机Cisco Catalyst 6509 和广域网路由器Cisco 7606已运行多年，系统容量不足、故障率升高。组网如下图：耳中二f扁PiRjg*21,三 (虱1.4.2 割接后组网结构核心区两台CE12804（数据中心级交换机）横向堆叠成一台设备，然后虚拟成两台VS, 数据中心VS与园区网VS与数据中心中间通过两台 USG6650互联，中间USG6650防火 墙进行安全控制，USG6650防火墙双机热备；数据中心 VS设备通过波分链路与CE6851 对接，实现 VXLAN的分步式网关。园区网部署一

6、个VS作为汇聚交换机，与互联网USG6650互联，提供安全控制。割接后组网图如下:1、数据中心组网图：VXLAN设计图:知识是人类进步的阶梯知识是人类进步的阶梯罂由M横心交换机ASR1000C6509横心交假机Jg由翳C6509ASR1000交换机N7000 KaS技术中心交涣机N7000横心交换机核心交换机CE12804CE12804知识是人类进步的阶梯知识是人类进步的阶承 第二章割接规划VLAN ,策略等沿用原有数据不做新规划，IP设备端口互联用原有互联地址，根据网 络拓扑做部分规划，具体见附件：中烟集团数据中心网络和营销中心网络项目LLD1.3。2.1 设备端口规划具体接口连接根据中烟集

7、团数据中心网络和营销中心网络项目LLD1.3 ,现场配置再做具体调整；2.2 设备标签以及描述设备标签根据现有条件制定例如：XXX机房设备编码：设备用途：安装位置：管理地址：xxxxxxx xxxxxx知识是人类进步的阶梯知识是人类进步的阶梯线缆标签模板:集团集团Fr:设备名称 接口To:设备名称接口例如:集团集团Fr:HW_CE12804 X1/0/1/0To:6F_HW_USG66502/0/0第三章割接步骤3.1 离线测试在割接前对可预料的风险进行了离线测试，在割接前做好了充足准备规避相关风险， 在未通过以下测试情况下不进行割接：1,验证Cisco 4506千兆光口与CE12800千兆光

8、口对接是否成功。2, CE12800设备多模万兆单板千兆模块与 USG6650多模千兆光口对接是否成功3,验证万兆模块在千兆多模/多模链路运行情况。4,接口地址对应是否正确。5,板卡热插拔，电源模块热插拔。6, VXLAN分步式网关测试，倒换测试，检查测试是否正常。7, Cisco4506生成树协议与华为生成树协议对接。3.2 运行情况信息收集1,收集现网 C6509 C4506 juniper C7606 ASA5580 配置2,接口状态3, ARP表，MAC表，路由表3.3 备份数据保存现网设备配置至计算机。3.4 割接人员分组及安排由于割接工作跨越了两个机房，需要安排两组人员在两个机房实

9、施,3.5 割接动作序号时间实施内容操作步骤预期结果、检查方 法人员安排1割接前一周割接前准备工作1、设备安装、调试。2、线路铺设，完成本部与卷烟 厂机房的线路布放，并且在割接 前一周确认需要布放的线缆无 误。1.1割接前一周光纤跳线铺设，线缆做好标签，设备脚本 导入加电待命。1、检查设备配置，确认配置无 误。2、将需要替换的光纤跳线铺设 至相应机柜，割接线缆做好标 签。细化网线和尾纤的标记方 法：网线在配线架侧均做好标 签，光纤在主机侧做好标签且要 与需要割接的光纤的绑在 T, 方便力一回滚。1.2割接前一周CE12804 CE6851防火墙、各接入交换机联通，设备状态正常1、设备安装，线路

10、连接。需要 在割接确认完全无任何问题，例如OSPF BG吟2、波分设备安装配置完成，且 完成与卷烟厂机房对接完成。3、光纤交换机需放线至新的OSN18001完成）EMC人员负责成功/PING通对 端设备，OSPFBGF 邻居关系正常。（华为）知识是人类进步的阶梯知识是人类进步的阶梯208:00-09:30Vxlan割接完成，集成商、华 为、数据库/主机人 员2.108:00-08 : 10C6509,N7000SK端口 shutdown,与电。将C6509,N7000互联端口 shutdown o2.208:10-08 : 30CE6851 N5548对接，N5000二层、生成树 数据配置更改

11、。完成CE6851 N5548线路对接，将新布线接至N500Q生成树状 态检测2.308:30-09 : 00Vxlan 调通后，安排一组 ORACLE RAC/DB 群集，首先联机进行测试，测试内容包括 系统状态和切换措施，确认 RAO群集可 正常工作（在此之后需把网口速率升成 10GE）Oracle RAC、 HA环境接入2、Vxlan联通后，将网口连至新 装交换机，oracle工程师确 认RAC#群状态及业务是否 正常。2、确认业务正常后，需要把IBM P750网口速率开成10GE2.409:00-09:30ORACLRAC/DB2s集业务观察，测试结果确认Oracle RAC、 HA

12、环境测试。2.5视情况处理问题，时间/、超过2 小时如第2.4步测试业务不止常，进行问题排 查。对数据进行对比，路由、MAC ARPS项查看。2.6如不能排除，将进行回退，后面步骤/、再 执行建议在配置更改时不做保存，等 业务正常后保存，便于回退2.7回退测试2.8割接终止39:30-11 : 30服务器迁移部分服务器把网卡升至10GE1、部分服务器把网卡升至10GE, 需厂家和集成商完成配置，更换光模块，修改服务器配置。3.19:30-10:30线缆迁移，服务器接入。1、数据中心，服务器接至接入 交换机上。PC-SERVER配线 架侧依次跳线。2、小型机需要主机侧完成换线 操作，有些小型机运

13、行双机 业务，需维保厂家在完成换 线操作后确认主机状态。3.29:30-11:00业务观察，测试结果确认检查各项业务的运行情况。3.3视情况处理问 题，时间为1小 时如第3.2步中ERP SEMk£肩超过30台服 务器测试业务/、止常，进行问题排查。对数据进行对比，路由、MAC ARPS项查看。3.4如不能排除，将进行回退，后面步骤/、再 执行建议在配置更改时不做保存，等 业务正常后保存，便于回退3.5回退测试3.6割接终止410:00-12 : 00互联网割接完成（深信服,集成 商、华为）10:00-10:30互联网设备线路连接完成 USG6650 AD4000 Cisco3560

14、连线与配置成功/PING通对 端设备，OSPF令口 居关系正常。（深 信服，集成商、华为）10:30-11:00AD4000酉己置将原有ISG1000的PAT/NAT配置转移到AD4000 （周末做好配置，不启用）深信服11:00-12:00互联网业务测试（各业务测试人 员）3.4如互联网业务测试不通过，预计在1个小 时内不能排除，将进行互联网割接项目的 单独回退建议在配置更改时不做保存，等 业务正常后保存，便于回退成功/PING通对 端设备，OSPFBGF 邻居关系正常。（华为、集成商）3.5回退测试回退后，业务检查 （各业务测试人员）512:30-14:00广域网割接5.112:30-13

15、:00进行广域网USG6650广域网设备的割接。将新布线接至 CE12804 Cisco 7606成功/PING通对端 设备，OSPF邻居 关系正常。（C7606人员安 排、华为）5.213:00-13:30网络测试测试广域网链路，检查邻居关系 和链路。华为、集成商、各 卷烟J网络管理 人员5.313:00-14:00业务测试检查各项业务的运行情况。（各业务测试人 员）5.4视情况处理问 题，时间为1小 时如第12步测试业务/、止常，进行问题排 查。对数据进行对比，路由、MAC ARPS项查看。是否能解决5.5如不能排除，将进行回退，后面步骤不在 执行建议在配置更改时不做做存，等 业务正常后保

16、存，便于回退回退后，业务检查 （各业务测试人员）614:00-园区网割接6.114:00-14:30园区网设备联线与配置楼层接入交换机、CE12804无 线控制器联线华为、集成商6.214:30-15:00园区网网络测试测试 WLANk务正常上网，出口业务 访问与园区网与数据中心的互访联 网访问园区网与数据中心华为、集成商、客 户安排人员测试6.315:00-16:00园区网业务测试检查各项业务的运行情况。成功（各测试人 员）6.4视情况处理问 题，时间为1小 时对数据进行对比，路由、MAC ARPft项查看。是否能解决6.5建议在配置更改时不做做存，等 业务正常后保存，便于回退回退后，业务检

17、查 （各业务测试人员）716:00-17:00对各业务观察，再次确认业务是否正常所有测试结果用表格形势反馈割接完成割接时间窗为2017-6-17 08:00到2017-06-1817： 00，保留序号1-7 进行,具体时间根据现场情况作调整。其中分别为VxLan 、服务器、互联网、广域网、园区网各保留2 小时、 1 小时、 1 小时、 1 小时、 1 小时排故时间，总计保留6 个小时的排故时间，因此， 本次实施原则上断网时间为D 日上午 8 点至 D+1 日 1点， D+1 日 1 点至17： 00 为意外应急时间。 知识是人类进步的阶梯知识是人类进步的阶梯第四章测试验证4.1 测试验证内容目

18、前了解的有数据业务，广域网接入业务等。序 号测试项目操作及预期备注1互联网业务互联网正常访问各大网站，收发邮件，登陆各业 务系统办公，测试 WLANk务正常上网，出口业务 访问与园区网与数据中心的互访2数据业务数据中心VXLANE常访问，断开主链路后，VXLAN 业务是否正常切换开会时选择3-4个应 用3广域网接入业务PING通对端网关IP。4视频会议业务实际使用视频会议系统，图形无卡顿乱码，语音 清晰。5Vxlan业务ORACLE RAC/D由集，联机进行测 试，测试内容包括系统状态和切换措 施，确认RA侬群集可止常工作4.1.1 设备状态检查1,设备CPU占用率/内存占用率 2,接口错包统

19、计，接口 UP, MAC表，ARP、对比路由表与割接前收集数据对比。接 口错包统计：display this interface brief在链路端口下查看端口状态是否UP display this interface查看接口下MAW址学习情况：display mac-address查看接口下 AR时项:display arp对比路由表:dis ip route-table知识是人类进步的阶梯知识是人类进步的阶承 第五章回退机制为防止割接过程中出现不可预料的异常，我们制定了相应的回退机制。针对割接时间窗内操作预期可能存在的风险项定义应对方案。如果出现以下情况在预定时间窗内不能恢复，则进行回退操

20、作。变更失败定义：1,波分链路、以太网链路无法UP。2,各路由协议状态不正常。3,验证测试不通过。4,所带业务出现中断或者时延较大，在60分钟之内如不能恢复正常。5、割接计划中说明的其他事项5.1 故障判断故障情况操作步骤预期结果、检查 方法波分链路、以太网链路无法 UP检查链路光功率，端口协商状态， 更换模块。检查网线连通性，更换 网线。时间窗内由卜除直接回退。业务恢复/回退路由协议不止常检查配置，根据状态信息排查。时 问囱内省卜除直接回退。业务恢复/回退出现单个电源模块失效、主控 板、业务板失效。单模块运行，在24小时内更换。时 间窗内由日除直接回退。业务恢复/回退业务出现中断或者时延较大

21、时间窗内由卜除直接回退。业务恢复/回退VXLAN寸接不成功检查配置，根据状态信息排查。时 间窗内由日除直接回退。业务恢复/回退VXLAN寸接成功ORACLE RAC/DB2I,首先联机进 行测试，测试内容包括系统状态和 切换措施，确认RA或群集可止常工 作业务恢复/回退互联网USG665副接测试 WLANk务正常上网，出口业务访问 与园区网与数据中心的互访联网访问园 区网与数据中心，时间窗内排除直接 回退。业务恢复/回退广域网设备的割接。测试广域网业务，测试不成功，时间 窗内排除直接回退。业务恢复/回退5.2 紧急回退具体回退步骤：1,线缆拆除，恢复原有设备线缆连接。2,原设备互联端口打开。5.3 应急计划：广域网、园区网割接时出现以下情况且无法在1个小时内解决，将考虑进行应急:1、多个广域网节点无法接入2、园区网接入交换机出现故障，导致多个楼层无法连接网络3、WLAN（统失效，wifi用户无法连入4、出现设备不稳定或用户访问系统速度慢的问题5、其他尚未预见的问题主要措施：1、系统暂时放弃主备架构，