通讯故障处置不当网络阻塞全厂停电

通讯故障处置不当 网络阻塞全厂通讯故障处置不当 网络阻塞全厂 停电停电 2013 年 12 月 4 日 某燃机电厂西门子监控系统网络故障 导致单台机组跳闸 在网络恢复过程中产生网络阻塞引发另外 两台机组同时跳闸 造成全厂对外全停的电力安全事件 事故经过 该电厂装有 3 台 400mwf 级的燃气一蒸汽联合循环机组 各台机组监控系统均采用西门子 telepermxp 系统 简称 txp 系统 此外 三台机组共设有公用系统一套 各机组 txp 系 统间数据通讯是由 sinecnet 总线承担 其中 sinecnet 总线系 统分为工厂总线和终端总线两部分 各机组 txp 系统的工厂总 线 终端总线分别与公用系统公用总线 终端总线连接 各机 组 txp 系统工厂总线共有 9 个网络交换器 esm 由光纤或电缆 串接 正常运行状态下呈 c 型网运行状态 其中任一网络交换 器 esm 具有冗余配置功能 通过相应配置可以具有网络断点监 测功能 即当网络交换器 esm 人工设置冗余配置功能后 如 c 型网中出现一个断点时 则冗余配置功能生效 以保证网络始 终保持 c 型网运行 如 c 型网中出现两个及以上断点时 则网 络将会异常 2013 年 12 月 4 日 14 时 25 分 3 机组跳闸 厂方工作人 员通过查看 soe 事件记录 查明机组跳闸原因是工厂总线通讯 故障 经厂方工作人员对机组监控系统的网络及通讯设备检查 发现 其中一个网络交换器 esm 编号为 5p 故障报警 随 即厂方工作人员对其进行了复位重置 但是故障未消除 报警 仍然存在 经厂方内部协商后 对该网络交换器利用厂内备品 备件进行了在线更换 更换后 报警消失 在对 3 机组监控系 统中网络交换器 esm 编号为 5p 更换后数分钟内 15 时 36 分 1 2 机组同时跳闸 相关监视界面也同时异常 三台机组跳闸后 按照 sppa 工程师建议 将 3 机组 txp 系统与公用系统之间网络断开后 随后 1 2 机组监控界面及 监控系统通讯网络恢复正常 厂方工作人员在对该机组 txp 系 统所属网络交换器 连接线等逐一排查后 发现其中一个网络 交换器 esm 编号为 4p 所连接的连接线接头 rj45 接头 有松动现象 同时厂方工作人员通过查阅历年维护记录并根据 sppa 工程师建议 利用备件网络交换器 esm 原编号为 5p 前日更换下来的 对网络交换器 esm 编号为 7p 进行了更 替 经测试后 网络恢复正常 并于 2013 年 12 月 5 日申请依 次并网 原因分析 1 西门子监控系统的网络设备故障导致单台机组跳闸 3 机组 txp 监控系统网络交换器 esm 编号为 4p 的连接接口 rj45 接头 松动 同时由于网络交换器 esm 编号为 7p 设 备故障 造成两个断点 破坏了 c 型网运行结构 造成 3 机组 txp 系统通讯中断 引发 3 机组工厂总线通讯故障保护跳闸 2 更换功能相异的网络设备导致其他两台机组跳闸 在 3 机组 txp 监控系统网络交换器 esm 存在异常信号下 厂方工作 人员采取了更换措施 由于日常维护均由其生产厂商西门子承 担 而西门子对电厂工作人员并未进行相关设备技术交底 致 使厂方工作人员更换 3 机组网络交换器时 由于外观相同难以 辨别功能差异 使 3 机组 txp 系统网络形成 o 型 导致通讯网 络阻塞 进而引发 1 2 机组因通讯故障保护跳闸 3 西门子机组监控系统网络设备重要故障告警功能不足 西门子机组监控系统对 3 机组网络交换器连接接口 rj45 接头 松动和另一网络交换器未能及时有效地告警提示运行人员 导 致设备异常同时出现时 3 机组通讯网络形成断点 监控系统 故障 致使 3 机组保护跳闸 4 西门子机组监控系统对网络通讯故障隔离措施不到位 西门子机组监控系统对网络通讯故障缺乏有效防护手段和隔离 措施 由于 3 机组与 1 2 机组网络相连接 在对 3 机组更 换网络交换器不当致使机组通讯网络阻塞后 引发 1 2 机组 通讯网络阻塞 进而导致两台机组保护跳闸 防范措施 1 重视生产监控系统厂商技术交底 要求机组监控系统制 造厂商对系统原理 网络设计 通讯原理 设备配置等方面进 行详细彻底的技术交底 做好相关技术培训 2 提高机组监控系统自主运行维护能力 减少对制造厂商 的依赖 使运行管理人员逐步全面了解掌握机组运行状况 3 增强电厂网络与信息安全专业技术力量 对相关岗位维 护人员进行专业能力培训考核 增强其对网络设备配置 系统 网络原理 网络与信息安全等专业技术水平 4 对机组生产监控系统进行排查 对国外电力生产监控系 统信息安全状况开展专题研究 提出切实可行的风险防控及安 全防护措施 避免类似事件 事故 的发生 5 强化电力二次系统安全防护和等级保护相关工作 按照 电力二次系统安全防护规定及相关网络安全管理要求 对监控 系统开展安全评估及等保测评工作 切实保证机组监控网络与 信息系统的安全稳定运行 6 加强网络与信息安全管理 提高网络与信息安全认识 加强组织领导 完善相关工作制度