电厂＃4机DCS系统通讯故障事件分析报告VIP

电厂 电厂 4 4 机机 dcsdcs 系统通讯故障事件分系统通讯故障事件分 析报告析报告 1 dcs 系统简介 电厂共有三套联合循环机组 第三 四 五套 采用了 abb 公司的 symphony dcs 控制系统 该三套机组各有一个独 立的控制环 另有一个中央环与这三个控制环分别连接在一起 每套机组各有四个 pcu 节点 分别为 2 5 7 9 他们承担着 整个机组的控制任务 另有三个节点是为操作员站 工程师站 与上述四个控制节点之间提供通讯接口 1 网络结构 symphony dcs 系统的通信网络为多层的各自独立的标准总 线和环形网络结构 1 operation network 简称 onet 位于最上层 为总线网络 符合以态网标准 主要用来构成管理层数据交换的结构 使用 开放的 tcp ip 协议 厂暂时没有 2 control network 简称 cnet 为过程数据管理层 环形结 构 使用高效 安全的存储转发协议 主要承担过程管理信息 的传播功能 3 control way c w cnet 下的控制总线 为串行总线结构 使用简捷 快速的自由竞争协议 主要承担本节点内 mfp 模件 间的数据交换功能 4 expander bus e b 为过程 i o 数据层 并行总线结构 受 mfp 控制 无标称协议 主要承担 mfp 与其所配置的系列 i o 模件通信 去完成相应的数据采集和控制功能 2 cnet 通信系统 cnet 通信系统是建立在例外报告技术的二进制技术协议基 础上的无主站 闭环的 多回路的 缓冲器插入式的通信网络 它由一对相互冗余的同轴电缆组成 允许工作在 10mhz 2mhz 和 500khz 的频率上 每两个相邻的节点的距离可远达 4000m 可支持多达 250 个节点 4 机 dcs 共有 9 个节点 最远节点间 的距离为 2pcu 18pcu 大约 200 米 通信信息以打包的形 式进行传送 每一帧可以多至 1500 个字节 cnet 高速公路每秒 可以处理 6667 条信息 每条信息又包含平均 75 个变量的信息 通信能力相当强大 1 两条数据高速公路的电缆同步工作 即相互冗余 如果 一条电缆通道发生故障 备用的电缆会自动地对通信系统进行 控制 发生故障的电缆会被下一个节点发现 它从备用的通道 获得信息并从这两条电缆发送至高速公路的对称的节点上去 这时 除了故障节点至下一个节点之间的这一段外 通信系统 仍然是正常和冗余的 2 正常情况下 冗余配置的通信模件若有一套发生故障时 系统会自动将备用的投入运行 若两套均发生故障 通信系统 应会自动地将故障节点旁路 通过 ntcl 环路端子板 所有的信 息会继续被传送至其他节点 直到故障的模件被更换 同时 高速公路上的故障节点中的 mfp 会以上次的过程变量的定值进 行正常的控制 server ews 和 soe 而言 它们各自的节点相 互独立 没有冗余 2 事件经过 1 10 月 20 日 20 40 时 4 机在运行中 dcs 的五台操 作员站大部分数据显示紫色 约 2 分钟后又自动恢复到正常 此种现象以前曾多次发生 2 21 31 时 3 炉在吹灰过程中 突然发现 4 机 dcs 的五台操作员站所有的数据均为紫色 不能自动恢复 运行人 员立即通知检修人员速进厂处理 因 dcs 全部死机 无法在远 方监视机组情况 运行值班人员在就地监视水位 压力 温度 等关键参数 并作好随时打闸停机的事故准备 3 运行人员电话询问检修人员 其要求重启主机试一下 能否恢复 即对服务器主机重启后 仍然无法恢复 4 检修人员在现场进行检查 看到所有 pcu 柜上的通 讯接口主模件 包括 npm 和 ict 的状态灯均为红色 故障代码 为均为 led25 灯亮 为 loopback 故障或 nis 故障 但是所 有 mfp12 主模件以及对应的子模件均工作正常 机组仍能维持 运行 对 ict 模件进行复位和拔插操作 故障依旧 不能消 除 5 检修电话咨询北京 abb 贝利后 经运行 检修人员商 讨决定停机检查 6 23 14 时 3 机切轻油 23 23 时 3 机切轻油到位 当班值长调集人员仔细研究手动停机方案后 作好了停机前的 一切准备工作 包括烟气挡板就地操作试验 手动启动交流润 滑油泵 就地操作部分电动门 轴封供汽手动控制 高低压旁 路防止误动 转动机械选择就地控制等一系列详细的操作计划 以及就地操作人员的分工情况 7 待全部人员就位后 23 43 时 3 机发 stop 令 23 45 时在锅炉挡板门关闭后 并开启 3 炉向空排气电动门 确认 锅炉不会超压情况下 4 机就地打闸 高压自动主汽门 调 门 低压补汽主汽门 调门快速关闭 1104 开关 灭磁开关联 跳动作正常 机组进入停机惰走过程 为安全起见 在机组惰 走到 600rpm 时 手动开启真空破坏门 待真空到 50kpa 时 关闭真空破坏门 机组惰走至 300rpm 时 手动投入 1 顶轴油 泵 检查顶轴油压正常 8 23 53 时 3 机解列 23 58 时 3 机熄火 待 3 机熄火后确认锅炉水位正常 受热面无危险 即就地停止各泵 运行 关闭 3 炉向空排气电动门 0 23 时 4 惰走结束 投入 连续盘车 惰走 35 分钟 机组听音检查正常 对汽机 锅炉全 面检查 未见异常 9 机组停机后 对 npm 模件进行复位和拔插操作 故 障依旧不能消除 待 2 机 4 机和 11 机均已停机后 将 中心环的 pcu 电源停掉 再将 4 机的 2 5 7 和 9pcu 的电源停掉 并将所有的 nis 模件拔出后 将中心环甩 开 单独检查 4 机的环路电缆 没有短路现象 10 仍然将中心环甩开 将 4 机的环路电缆接好 并 将所有的 nis 模件插入后 将 4 机的 2 5 7 和 9pcu 重新上电 自检完成后 所有的 ici 和 npm 模件状态均显示正 常 包括 soe 的接点 ews 的 ici 需要在 ews 上人为连接 五台操作员站的所有数据均显示正常 通讯系统恢复正常 初 步怀疑故障起因源自中心环的 iil 模件 11 为验证上述的怀疑 再次将中心环接入 4 机环路 将包括中心环在内的所有 pcu 重新上电 自检完成后 4 机 环路上所有的 ici 和 npm 模件状态均显示正常 包括 soe 的接 点 五台操作员站的所有数据均显示正常 但位于中心环 pcu 柜上 18 6 1 18 6 2 18 6 3 位置的 iil 模件仍处于故障状 态 而另一 iil 模件则正常 之后进行如下试验 npm mfp 各 自的冗余切换 正常的启机操作 旁路快开 快关保护 汽机保 护传动 server 和 client 的切换 以上试验均正常 机组具备 开机条件 如果要开机 当时设想将挂在 4 机的中心环甩开 解环运行 12 在处理故障期间 北京贝利方面甚为关心 他们对 此罕见现象非常重视 表示会派相当水平的工程师前来了解和 探讨 在获悉我们的生产情况后 负荷不紧 且有备用机组 希望我们保留现状 以便他们可以获得最直接的信息 另一方 面 厂领导态度相当明确 强调不彻底查明原因 即使系统恢 复正常也不可以开机 因之 尽管系统已恢复正常 为了彻底 弄清这一罕见的 严重的故障 在征得有关领导的同意后 决 定待北京贝利的工程师抵达后在作进一步的分析 处理 13 22 日下午 北京贝利工程师抵达我厂 立即同电厂 检修人员开始了检查 处理 检查通讯接口子模件以及对应的端子板 ntcl01 当检查到 位于中央环的 iil 模件时 发现与 2 环相联的一个 nis11 模件 无论其对应的 iit 主模件处于主还是备用时 与其相联的 tcl 端 子板上的状态灯均激活 不正常 当复位对应的 iit 主模件时 该 iit 主模件也进入故障模式 故障代码为 25 红灯 此时如果对其他的 pcu 柜内的 nis npm 模件做冗余切换 则该 pcu 柜内的 npm 模件将显示故障 故 障代码为 1 3 5 红灯 如果拔出上述有问题的 nis11 模件 再复位任一 npm 模件 则该 npm 模件故障消失 接着将上述有问题的 nis11 模件重新插回原来的位置 再 将 2 环内的所有四个 pcu 柜均断电后再上电 发现所有四个 pcu 柜内的 npm 主模件均进入故障模式 错误代码为 2 5 红 灯 并且 2pcu 柜内的一块 nis11 模件上的所有十六个 led 均 红闪 表明输入到该 nis11 子模件的两个控制环均断路 此时 如果拔出上述有问题的 nis 子模件 再复位任一个 npm 模件 则该 npm 模件工作正常 如果不拔出上述有问题的 nis 模件 复位任一个故障的 npm 模件 则该 npm 模件依旧进入故障模 式 故障代码依旧 将上述有问题的 nis11 模件和 pcu7 内一个 nis11 模件交换 故障依旧 用一个新的 nis11 模件替代上述有问题的 nis11 模 件 则故障消失 上述故障是由于该 nis11 子模件损坏所致 即更换了该模件 15 22 日晚 本次故障处理完毕 3 原因分析 1 本次故障为 nis11 模件损坏造成 按 symphony dcs 控制系统的设计 如果一个 nis11 子模件故障 则该 nis11 子 模件以及对应的 npm 模件均进入故障模式 与该 nis11 子模件 相联的 tcl 端子板将两个控制环自动旁路 同时处于后备模式 的 nis npm 模件将接替上述故障的 nis npm 的工作 但本次事 件中 nis11 子模件故障后 未能将对应端子板上连接的两个控 制环旁路 显然不正常 这种故障属于极罕见现象 至于 nis11 模件上的哪个部件损坏会导致上述现象 有待于进一步分析 2 关于 server25 有时也出现显示数据为紫色 大约 2 3 分钟后自动恢复的现象 20 日检查时初步怀疑为 7pcu 上 有一段 control way 与该 server 的 ici 通信模件相连所致 为 了验证上述怀疑 当时拔掉该段 control way 观察 11 月 3 日 4 机 dcs 的 server 25 三台电脑参数再次出现坏质量 约一 分钟后自动恢复 从此可以否定当初的怀疑 故障原因尚待 分析查找 目前初步怀疑 server 的 ici 通信模件有问题 11 月 5 日 将 server25 与工程师站的 ici ict nis 模件进行了对 调 待继续观察 但这一现象与 10 月 20 日的故障没有必然的 联系 4 防范措施 1 在每台机组的 server 上增加中心环节点的标签 与 其他节点的标签一样 将他们的报警级别设置为带音响的最高 级 2 加强对 pcu 模件柜的巡检工作 每天巡检机组时必 须观察 pcu 模件柜中主要模件的状态 3 在近期利用停机间隙 对所有机组的 dcs 机柜和操作 员站进行一次彻底清灰工作 4 热控分部制订出一份 symphony 系统的定期工作和日 常维护导则 并对运行人员进行相关培训 重点进行 dcs 系统