MES生产制造执行系统运维规范

MES生产制造执行系统运维规范一、总则1.1目的MES系统承载生产计划下达、工单执行、物料追溯、质量数据采集与设备联动等核心业务，属于生产连续性的直接支撑系统。本规范旨在将MES运维工作从「出了故障再修」转变为「按标准巡检、按指标预警、按预案处置」，明确各角色的职责边界、操作步骤与验收标准，使任何一名持证运维人员都能依据本文档独立完成日常运维与故障处置。1.2适用范围•适用于本公司MES生产制造执行系统（含应用服务器、数据库服务器、接口中间件、工位终端、扫描枪、工业打印机、条码/RFID采集设备及车间网络）的运行维护。•覆盖总部MES及各分厂MES节点；WMS、ERP、SCADA等周边系统的运维参照各自规范执行，但与MES的接口链路纳入本规范管理。1.3引用文件•《中华人民共和国网络安全法》•《GB/T22239-2019信息安全技术网络安全等级保护基本要求》•《GB/T28827.1-2022信息技术服务运行维护第1部分：通用要求》•公司《信息系统变更管理办法》《数据备份与灾难恢复管理制度》二、组织与职责运维采用「服务台—系统管理员—数据库管理员—业务关键用户」四层结构，职责边界必须清晰，避免故障发生时出现「都管都不管」。2.1岗位职责矩阵角色人数配置核心职责响应时段运维服务台（一线）2人轮班接报、工单登记、初步诊断、工位终端处置7:00~23:00值守，夜间值班电话MES系统管理员（二线）1~2人应用服务、接口中间件、账号权限、版本发布工作日8小时+7×24电话待命DBA（二线/三线）1人（可兼）数据库巡检、备份验证、性能调优、数据修复7×24电话待命网络管理员1人（可兼）车间网络、无线AP、防火墙策略工作日+7×24电话待命业务关键用户每车间2人一线操作问题初判、业务侧数据核对生产班次内运维负责人1人二级以上故障的指挥、对外协调、月度报告7×242.2权限分离要求•系统管理员与DBA不得为同一人兼任同一环境的两个角色；开发人员严禁持有生产环境管理员账号。•生产环境所有管理操作必须使用实名账号，严禁共享账号与使用超级账号日常操作；确需使用超级账号时须在工单中报备，操作结束后24小时内提交操作记录。•权限变更由业务部门申请、运维负责人审批、系统管理员执行，三级签名留痕。三、日常运维作业日常运维的核心是「按时、按表、留痕」——所有巡检项都有量化判据，巡检结果写入《MES运维日志系统》，未记录视同未执行。3.1日巡检（每日8:00前、14:00各一次，每次不超过15分钟）序号检查项判据异常处置1MES应用服务状态核心服务进程全部Running，无重启记录自动重启超过2次/日，报二线排查2数据库连接数连接数≤最大连接数的80%超80%时定位连接泄漏会话并kill3磁盘空间使用率≤75超90%二级故障，4小时内处置4接口监控ERP/MES、SCADA/MES接口队列积压≤50积压超200条或停滞超15分钟，重启接口服务5备份任务昨日全备+增量备份均成功，日志无ERROR备份失败当日重跑，连续2日失败升级二级故障6车间工位终端抽查每车间随机抽2台，登录响应≤3超时排查网络与终端进程3.2周巡检（每周五14:00~16:00）•检查操作系统补丁与安全公告：只登记评估，未经变更审批严禁在生产环境安装补丁。•检查数据库表空间增长趋势：单周增长超过历史均值50%时，定位增长来源（通常是日志表或临时表）并在下周例行维护窗口处理。•检查接口错误日志：导出本周全部接口失败报文，逐条归类（格式错误/网络超时/业务校验失败），48小时内出具清单并发责任方整改。•检查MES与SCADA时钟同步：偏差须≤13.3月度维护（每月第二个周六20:00~24:00，提前5个工作日发停机公告）1.20:00通知各车间保存并退出MES，确认无在途工单未确认。2.20:30执行全量备份，备份完成并校验后才可继续。3.21:00起执行：数据库统计信息更新、索引碎片整理（碎片率超30%的索引）、日志归档清理、应用服务冷重启。4.22:00起功能验证：按《MES月度验证用例清单》执行登录、开单、报工、过站、打印、接口收发六类共20个用例，全部通过方可开放。5.23:30出具《月度维护报告》，含备份结果、验证结果、异常与遗留项。机理说明：数据库长期运行后统计信息失真，SQL执行计划走偏会导致高峰期查询从毫秒级劣化到分钟级；月度冷重启可释放句柄与内存碎片。跳过验证直接开放是生产事故的高发原因，未通过验证的维护必须回退（恢复维护前备份）。3.4备份与恢复验证•备份策略：数据库每日00:30全量备份+每30分钟事务日志备份，保留30天；应用配置与自定义报表每周日备份，保留90天；优先本地备份后异地传输至容灾机房；若网络带宽不足，则采用「本地磁盘+每周离线介质送容灾库」方式；严禁仅在数据库服务器本地保留唯一备份副本（服务器损毁即备份全失）。•恢复演练：每季度在测试环境执行1次真实恢复演练，目标RTO≤4小时、RPO≤四、监控与预警监控是防止故障从「小异常演化为停产」的第一道闸。风险典型演化路径：磁盘日志持续增长→表空间耗尽→数据库写入失败→报工数据丢失→追溯断链与生产停线。监控的作用就是在第一步发出告警。4.1监控指标与阈值类别指标预警阈值告警阈值应用登录响应时间>3>10应用报工接口失败率（5分钟窗口）>>数据库CPU使用率（持续10分钟）>>数据库慢SQL（单条>5出现即记录10分钟内出现20次服务器内存使用率>>网络车间AP丢包率>>接口队列积压>50>2004.2告警处置流程1.预警级：一线值班30分钟内响应，登记并观察，2小时内给出结论。2.告警级：10分钟内响应，按预案处置；处置超过1小时未恢复，升级二线。3.所有告警必须闭环：处置完成后在监控平台标注根因，无根因标注的告警每周复核时按未处理项扣分。五、故障分级与应急处置故障管理的目标是「先恢复业务、再查根因」——生产停线期间，恢复优先级高于定位。以下分级标准、启动权限与处置动作必须全员记忆。5.1三级故障定义级别判定标准（满足任一）启动权限响应/恢复时限一级（重大）全厂MES不可用；或数据库损坏导致数据丢失；或停线影响超30分钟运维负责人宣布，同步通报生产副总10分钟响应，4小时内恢复二级（严重）单车间MES不可用；核心接口中断超15分钟；单条产线报工失效系统管理员宣布15分钟响应，2小时内恢复三级（一般）单工位终端故障；报表查询慢；不影响生产的界面异常服务台直接处理30分钟响应，1个工作日内解决5.2各场景处置预案场景A：全厂MES不可用（一级）1.10分钟内确认影响范围（所有车间登录测试），通知各车间启用纸质应急报工单记录工单号、工序、数量、操作工、时间——这是防止追溯断链的关键，事后24小时内由各车间关键用户补录进MES并双人复核。2.同时启动三条排查线：应用服务（看服务日志最后200行）、数据库（看告警日志与监听状态）、网络（核心交换机端口状态）。3.定位为数据库故障且2小时内无法修复时，优先切换至容灾备用库；若无容灾条件，则从最近备份恢复（预计2~4小时），期间维持纸质报工。严禁在生产库上反复重启试探——若为存储层坏块，反复写入会扩大损坏范围，应先做存储快照保护现场。4.恢复后48小时内出具《一级故障根因分析报告》，含时间线、根因、改进项与责任人，运维负责人在月度运维会上汇报闭环情况。场景B：ERP→MES接口中断（二级）•现象：计划工单不再下发。演化路径：ERP端变更未通知→接口报文格式不符→中间件持续重试堆积→队列堵塞→后续正常报文也无法通过。•处置：导出失败报文定位格式差异；格式问题的报文手工修正后重新投递；中间件异常则重启接口服务（重启前导出积压队列，严禁清空队列——清空等于丢失全部未下发的生产计划，须走人工补单）。•中断超30分钟时，由计划员手工下达当日必要工单，系统恢复后核对系统工单与手工工单，删除重复、补录缺失。场景C：工位终端/扫描故障（三级）•优先更换备用终端（每车间常备1台预配置终端，开机即用）；若无备用机，则该工位临时改用相邻工位终端登录本人工号。严禁多工人共用同一系统账号报工——这会导致工时与质量责任无法追溯到人。5.3故障复盘（PDCA）•二级及以上故障恢复后3个工作日内召开复盘会，输出：根因（用5Why分析到管理层面，不停留在「人为疏忽」）、改进措施（每条有责任人与完成日期）、知识库条目（当日录入运维知识库）。•运维负责人每月核对上月改进措施完成率，未按期完成的措施顺延须书面说明，连续两月未完成升级至部门经理督办。六、变更与版本管理变更是MES运维中引入风险最集中的活动——据行业统计，相当比例的生产系统故障源自未经充分评估的变更。所有变更按风险分级管理。6.1变更分级级别范围审批窗口重大变更版本升级、数据库结构变更、接口协议变更、服务器迁移运维负责人+生产部门+IT总监会签仅月度维护窗口一般变更报表调整、参数配置、权限批量调整、非核心补丁运维负责人审批每周三18:00~21:00紧急变更故障处置所必需的即时操作运维负责人电话批准，24小时内补单随时6.2变更执行要求1.变更前1个工作日完成：变更方案（含操作步骤、验证用例、回退步骤与预计回退耗时）、备份确认、影响范围通知（发至各车间关键用户群）。2.无回退方案的变更严禁执行；回退耗时超过窗口剩余时间的变更须压缩范围或改期。3.执行时两人一组：一人操作、一人对照方案逐步勾选确认，全程录屏留痕。4.变更后连续3个工作日观察核心指标（登录响应、接口失败率、报工量对比同期），异常触发回退决策，回退决策由运维负责人作出。七、安全管理7.1账号与认证•新员工账号由HR入职单触发创建，离职当日17:00前停用；每季度末执行账号清理，连续90天未登录的账号冻结。•密码策略：长度≥8•管理员账号登录必须启用二次认证；车间工位共用终端的工号登录可放宽密码复杂度，但必须绑定人员工卡刷卡辅助验证。7.2网络与终端安全•MES网段与办公网通过防火墙隔离，仅开放必要端口；车间无线网络启用WPA2-Enterprise认证，严禁私接AP与将工位终端接入办公网——路径：终端中毒→通过跨网段横向传播至应用服务器→数据库被加密勒索→生产计划与追溯数据全失。•工位终端优先采用无本地磁盘的瘦客户机或锁定USB端口的精简系统；确需USB功能的（如数据导出），逐台审批并在终端准入系统白名单中登记。•防病毒软件覆盖全部MES服务器与终端，病毒库更新延迟不超过3天。7.3数据安全•生产数据的修改：主数据（物料、BOM、工艺路线）错误由主数据管理员按流程修正并留修改日志；生产过程数据（报工、检验记录）严禁直接改库——确需修正时走数据修正申请单，DBA执行并保留修正前后值与申请人、审批人记录，追溯审计时这些记录是唯一凭证。•导出数据含员工个人信息时须脱敏（工号保留、姓名脱为张某某、手机号138******），导出行为记录日志。八、性能管理与容量规划•每月出具性能月报：高峰时段（交接班后30分钟）登录并发数、报工TPS、数据库TOP10慢SQL及优化状态。•容量预警线：数据库空间年增速评估、服务器CPU/内存峰值利用率连续3个月超70%时，启动扩容立项；按当前业务量推算，扩容决策须在触及90%前预留不少于3个月的采购与实施周期。•报表类大查询优先路由至备库或数据仓库；若无比库条件，则限制在非生产高峰时段（12:00~13:30、18:00后）执行，严禁在生产高峰期直接在主库执行全表扫描类查询（会挤占报工事务的锁与IO，直接造成产线报工卡顿）。九、培训与考核•新任运维人员上岗前完成：本规范考试（80分合格）、月度维护跟岗1次、应急演练参与1次；独立值班须经运维负责人书面授权。•全体关键用户每半年接受1次2学时培训，内容包括：纸质应急报工流程、常见问题自助处置（终端重启、打印机卡纸、扫描枪配对）。•应急演练：每半年1次（一次桌面推演、一次实战演练），实战演练场景从「数据库切换」「接口中断人工补单」「全厂停机纸质报工」中轮换选取，演练后1周内输出评估报告。•考核指标纳入运维团队KPI：系统可用率≥99.5%（计划窗口除外）、一级故障年发生次数≤1十、附则•本规范由IT部门负责解释，自发布之日起施行，每年评审修订一次。•与本规范冲突的历史操作习惯，以本规范为准；确因现场条件无法执行时，可提出豁免申请，由运维负责人批准并明确豁免期限（单次不超过6个月）。十一、附录A：日巡检记录表（样表）日期检查时间应用服务连接数磁盘使用率接口积压备份结果抽查终端异常描述巡检人签名__-