2019电网公司信息系统调度运行规程

电网公司信息系统调度运行规程目 次前言 II范围 1术语与定义 1调度操作 2调度运行原则 2信息机房基础设施操作 2信息系统操作 3事件处理 5事件处理原则 5信息机房基础设施事件处理 6信息系统事件处理 6灾备系统调度 8灾备系统调度原则 8数据库复制 8存储复制 8灾备应急预案 8灾备恢复 9灾备应用 9编制说明 IPAGEPAGE1PAGEPAGE2国家电网公司信息系统调度运行规程范围（以下简称公司（分（信息系统调度工作。术语与定义下列术语和定义适用于本文件。2.1信息系统 informationsystem公司一体化企业级信息系统，主要包括信息网络以及承载其上的一体化企业级信息集成平台、业务应用系统、灾备系统和安全防护、信息管控等信息化支撑保障系统等。2.2信息调度机构 informationdispatchingorganisation信息系统运行的组织、指挥、协调和监控机构。各级信息调度机构在信息调度业务活动中是上下级关系。各级信息调度机构是本级信息运行维护的组成部分，在信息系统运行中行使调度权。2.3信息调度 informationdispatching配、应急处置、安全管理、缺陷管理和分析预测等工作。2.4信息系统运行方式 informationsystemoperationmode25信息调度指令 informationdispatchinginstruction值调度值班员对调度管辖范围内运行维护单位检修维护人员或下级信息机构调度值班员发布的有关运行和操作的指令。2.6信息调度许可 informationdispatchingpermits值调度值班员向调度管辖范围内运行维护单位检修维护人员或下级信息机构调度值班员发出的“同意”或“许可”类指令。2.7信息调度联系单 informationdispatchingcontactlist上级调度机构与下级调度机构之间或同级机构之间进行工作联络。2.8灾备系统 disasterrecoverysystem用于灾难恢复目的，在北京、上海、西安三地信息灾备中心（以下简称灾备端）及被灾备单位生产中心（以下简称生产端）部署的，由数据库复制系统、存储复制系统、数据验证系统和网络系统等组成的信息系统。2.9信息机房基础设施 informationroominfrastructure由消防安全、防雷接地、照明、静电防护、信息机房机柜、信息机房监控与安全防护、供配电源、温湿度和新风控制等组成的设施。调度操作1 调度运行原则1信息调度由上至下分为两级，一级为国家电网信息调度（包含分部信息调度），二级为省（自治区、直辖市）电力信息调度（包含数据（灾备）中心信息调度）。2调度管辖范围是调度机构行使调度指挥权的范围，各级信息调度依照调度管辖范围行使调度职能。3国网信息调度的调度管辖范围是公司总部、一级部署信息系统、直属单位集中部署信息系（灾备4省信息调度的调度管辖范围是本地部署的信息系统及软硬件设备、本单位信息安全防护系统及软硬件设备及受上级委托的其他信息系统和相关资源。5调度管控监视范围是上级调度机构对下级调度机构调度管辖范围内的信息系统进行集中监6调度值班员在值班期间是信息调度工作指挥员，值班调度员实施调度行为，对调度指令的准确性负责；受令人应执行调度指令和调度任务，对执行的正确性和规范性负责。2 信息机房基础设施操作1在对电源系统操作时应至少两人进行，一人操作，一人安全监护，带电作业应设专责监护2 UPSUPS电源（或确认断开内部维UPS启动正常。3 UPSUPS完全断电，应断开其外部市电配电开关和外部输出开关。4空调系统启动前，检查并确认空调系统外部设备运行良好，确认已开启加湿上水管处的维5UPSUPS进UPSUPSUPS不可以同时放电。6 UPSUPSUPS是否由市电逆变模式正常切换到UPS的各项运行UPSUPSUPSUPS整流器指示灯呈绿色，电池模式转换为市电逆变模式。3 信息系统操作1 网络系统操作1 网络设备入网前，应充分考虑对现有网络系统的影响，重点对设备的兼容性及互联互通能力进行评估和测试，确保新设备的接入不应影响现有网络的安全运行，不应产生新的网络隐患。2 网络设备启动前，检查供电、通道、接地等条件应满足启动要求；网络设备关闭或重启前，备份当前配置文件，并确保系统文件存在。3 网络设备启动后，检查模块状态、协议状态、通道状态，确保设备稳定运行。4 配置策略、承载业务等进行分析，备份配置文件，确保操作的可回退性。5 网络设备软件变更前，备份原版本软件，确认及测试新软件版本，测试通过后，可进行操作。6 网络设备硬件变更前，对运行环境进行确认及测试，测试通过后，可进行操作。7网络双机系统配置变更前，先对配置文件进行备份，通过切换测试确保双机系统可用；2服务器操作1PDUPDU，检测确认电缆接头牢固，确认能够正常供电，检查与之关联的网络、存储等外围设备运行状态及机房基础环2服务器启动后，检查系统运行状态，确认文件系统正常挂载，且空间使用情况满足业务启动运行要求，网络、存储、集群等相关资源就绪，并与时间同步服务器进行标准时间源同步操作。3服务器关闭和重启操作前，核实操作系统进程与资源使用情况，确认其所承载的业务应用与基础平台软件（如：数据库、中间件等）服务已经关闭，避免对业务数据安全性产生影响。4服务器软、硬件变更操作前，备份系统重要配置文件乃至整个操作系统及文件型数据，确保变更操作的可回退性。5运行中的服务器设备应定期进行软件备份工作，软件的修改应有记录并进行必要的注释。6根据业务系统具体情况制定数据文件备份策略，实施备份，并定期进行恢复测试，测试备份有效性。3数据库操作1数据库启动前，检查操作系统运行及配置，确认能够正常访问存储设备；数据库关闭前，确认业务应用服务已关闭，数据库系统已断开所有应用连接。23数据库参数调整前，进行评估与分析，按照数据库参数设置原则，结合应用需求，调整参数配置。4数据库备份前，根据应用系统的需求制定相应的物理备份策略和逻辑备份策略；数据库56创建数据库实例前，确认数据库软件已正确安装、相应的文件系统目录的权限正确配置，操作系统内核参数配置及性能参数正确设置，确认数据库用户的环境变量正确设置。7数据库集群启动后，检查集群节点的状态；若集群节点状态正常，启动数据库实例，检查数据库实例状态、监听服务状态；若集群节点状态异常，通过相关的日志文件，查找分析异常原因。8集群数据库关闭，依次停止数据库监听服务，停止业务应用服务，终止已连接的进程，关闭数据库实例和关闭数据库集群软件。9报告，根据4中间件操作1 中间件启动前，确认与之相关的操作系统、数据库等基础平台处于正常运行状态；中间件停止前，确认业务应用处于关闭状态。2 中间件部署时，依据中间件部署原则进行软件安装。根据所承载的业务应用规模，对中间件的资源池连接数、内存大小等关键参数进行优化，确保系统稳定性。3 中间件配置参数或业务程序包变更前，对配置参数文件和业务程序包做好备份和测试工作，确保操作的可回退性。4 中间件检修完成后，确认控制台中各节点及业务程序包处于激活状态，确保业务系统正常运行。5 存储系统操作1存储设备启动前，按启动顺序检查外围设备，确认其运行状态满足存储启动要求；存储2存储设备启动后，检查系统日志，确认硬件状态、系统状态、逻辑盘状态良好，确保数据可正常访问。3存储设备配置变更前，备份存储配置和存储区域网络拓扑配置等信息，确保变更操作的可回退性。4存储设备硬件变更（如扩容，维修等）前，应对业务数据进行全备份，评估风险和影响范围，提出针对性的预防和应急处理措施。5使用存储快照、复制等技术实施数据备份、数据迁移时，应合理规划，避免对生产数据的安全性和存储吞吐性能产生影响。6 业务应用操作1业务应用部署前，应根据业务系统的使用规模，对硬件设备和基础平台的架构、性能进行总体评估，并对关键参数进行优化，确保业务系统在部署后稳定运行2业务应用启动前，确认与之相关的基础平台（如：操作系统、数据库、中间件等）已正3 业务系统配置变更前，备份相关配置参数文件、业务程序包和业务数据，确保业务应用的可操作手册等文档。7 安全设备操作1 安全设备部署位置的环境应满足相应的标准和规范，以保证安全设备的正常运行。2 安全设备配置变更前，应对网络拓扑、配置策略、承载业务等进行分析，备份配置文件，确保操作的可回退性；配置变更完成后，确保配置生效。3 安全设备的安全策略变更前，应先对现运的安全规则进行备份，确保安全规则的可回退性。4 安全设备库文件变更前，应备份原库文件，对新特征库和事件库等文件进行确认及测试，测试通过后，方可进行操作。5 安全设备管理员应定期检查安全设备的运行状况，及时查看日志信息，对异常情况及时上报并做好记录。事件处理1 事件处理原则1 调度值班员是处理调度管辖范围内信息系统事件的总指挥，上级调度与下级调度按调度管辖范围划分事件处理权限和责任。2 指挥得当。3 12《信息系统故障A（15分钟向上级信息调度通过调度电话辅以内网邮件的形式报送故障影响范围；B、C、D30分钟内事件单位应向上级24小时内提交书面即时报告至上级信息调度。表1 信息系统应用分类表类别应用类型业务应用类监控应用类信息网络类信息安全类一类类型95598电子商务平台、外网邮件、总部外网网站信息运维综合监测等信息骨干网、总部信息内外网经安全督查确认的安全漏洞、信息外网网站被植入木二类类型ERP系统、生产管理、企业门户、协同办公、电力交易、内网邮件省级单位内外网三类类型一、二类业务应用以外的公司统建业务应用—表2 信息系统故障类别表类别故障类别业务应用类监控应用类信息网络类信息安全类A类故障一类应用故障；二类应用工作时段（8:00-18:00生的故障—或灾备中心间信息骨干经安全督查确认的安督查发布的重要安全预警B类故障二类应用非工作时段发生的故障；总部、分部三类应用工作时段发生的故障息外网安全监测等应用系统故障省级单位与地市信息骨干网中断—C类故障省级单位三类应用工作时段发生的故障———D类故障三类应用非工作时段发生的故障———4 信息系统事件处置过程中，调度值班员应严守岗位，值班负责人如需离开，应指定代理人。5 交接班时发生重大事件，应立即终止交接班，并由交班调度值班员进行处理，直到事件处理完毕或事件处理告一段落。6 为及时掌握情况，正确处理运行维护工作中出现的各项问题，应遵守请示报告原则，请示报告一般应逐级进行，遇有紧急情况可越级进行。2 信息机房基础设施事件处理1 2 UPS确认系统正常运行。3 PDU确认排除故障后，应及时恢复回路供电，并进行设备启动操作。4机房空调系统出现故障时，应快速定位故障点，及时排除故障，若短时间无法恢复正常运385当机房出现火情时，应第一时间启动消防告警装置，并向上级主管部门即时报告，在确保报警，根据实际情况切断机房总电源再组织灭火。3 信息系统事件处理1 网络事件处理1 网络节点出现故障时，检查日志信息、端口状态、路由状态、通道状态等，将以上信息进行分析处理，定位故障原因。2 网络流量出现异常时，若为合理流量，及时调整策略，保证业务正常运行；若为非法流量，及时查找源头，隔离故障点，保证带宽可用率。3 网络设备引擎、电源、风扇等硬件模块出现故障，检查日志信息，定位故障点和故障部件，利用备件库备件更换损坏件。4 配置文件丢失或配置操作中遇到无法及时解决的问题时，应立即进行回退操作，恢复原有网络环境。5 网络设备性能指标异常时，检查是否有病毒攻击、业务过载、网络环路、设备温度过高等状况存在，及时定位并排除故障。2 服务器事件处理1 服务器操作系统异常时，应检查系统相关日志、系统配置，并进行综合分析处理，定位故障原因，及时做出相应调整，保证业务应用正常运行。2 服务器硬件故障可通过显示面板、指示灯、系统日志等进行定位，及时更换备件。服务器出现硬件故障，可以采用最小化测试、交叉测试等方法进行排查。3 双机系统发生故障时，检查系统日志和资源包运行日志文件，定位故障原因，尽快恢复双机系统。4 RAID3 数据库事件处理1数据库不能对外提供服务时，检查数据库实例和监听的状态是否正常，检查数据库相关日志文件及操作记录等，定位故障原因，及时恢复。2数据丢失时，采取数据库本身机制（闪回、回滚等）或外部备份（本地备份和灾备）等措施进行恢复，恢复正常后，应进行完整的备份。3数据库响应延迟时，应检查当前并发的用户量是否突增，检查数据库是否存在大量的锁SQL4数据文件无法访问时，检查数据库是否可访问存储介质、数据文件的权限和属主是否正确、数据文件是否存在坏块，定位故障原因，及时恢复。5数据库集群发生故障时，检查集群节点、网络、权限的状态是否正常，检查集群节点相关的日志文件，定位故障原因，及时恢复。6OGG4中间件事件处理1 不涉及业务系统停运、监控数据中断的中间件故障，应按照检修方案操作，操作应保证业务的延续性，操作完成后形成过程文档。2 BUG清理的，按照中间件启停顺序执行重启操作。3 当数据库故障、主机故障等导致中间件不可用时，由中间件检修人员配合解决故障，必要时启动应急预案，缩短业务系统停运时间。5 存储事件处理1存储系统出现故障时，检查存储日志、系统配置、告警日志，进行分析处理,定位故障原2存储设备控制器、电源、风扇、硬盘等具有冗余结构的部件出现单一故障、不影响设备整体可用性时，查看硬件指示灯，检查日志信息，定位故障点，及时更换备件。3存储交换机或互连物理链路发生故障时，应检查存储交换机设备状态、端口状态，若设备状态正常应着重检查存储交换机配置；若设备故障通过更换设备模块、连接线缆等部件进行消除。4存储复制状态出现中断或挂起时，应检查物理链路状态、日志空间等，排查具体原因，消除故障。6 业务应用事件处理1 业务系统不可访问时，应检查应用层（业务应用、基础平台层（等、硬件设备层（主机、网络设备等）的运行状态，定位故障原因。2 3 由于业务应用软件自身缺陷导致的应用系统异常，应做好日志备份和缺陷登记工作，及时上报系统缺陷主管部门跟踪处理。4 当监控工具出现短暂告警时，应排查当前时间点是否存在网络拥堵的情况，从中间件日志、操作系统日志、数据库日志以及主机运行状态，定位故障原因。5 系统监控指标中断，应重点检查监控工具接口程序运行情况，若接口程序异常，将异常日志下载或截图保存，排查网络原因、数据库连接等，重启监控工具接口程序进行快速恢复。7 安全设备事件处理1 2 安全设备引擎、电源、风扇等硬件模块出现异常，应按照设备告警指示，检查系统日志和外围环境，定位故障原因，及时修复或更换备件。3 安全设备性能参数出现异常时，依次检查设备运行状态、业务流量、异常流量、策略配置、特征库文件，定位故障原因，排除故障。4 配置文件丢失或配置操作中遇到无法解决的问题时，及时进行双机切换或旁路操作，执行配置回退，恢复到最近的安全生产环境。5 安全设备遇到攻击时，导致网络运行异常，应及时分析日志文件，定位并阻断攻击源，调整安全策略。灾备系统调度1 灾备系统调度原则1 灾备信息调度服从公司信息调度的统一指挥，并对调度管辖范围内的灾备系统进行调度。2 灾备信息调度依据公司统一的灾备系统集成技术原则确定调度管辖范围内新资源接入方案，并统一组织执行。3 被灾备单位生产端灾备系统运行方式调整，对灾备信息调度管辖范围内灾备系统的正常运行产生影响的，应经过灾备信息调度许可后方可执行。4 在进行灾备业务操作前，申请单位将变更范围、调整计划、需灾备中心的配合工作等内容形成变更方案，向公司及灾备信息调度提交申请。2 数据库复制1数据库软件和数据库复制管理软件配置变更主要包括：数据库软件和数据库复制管理软件的配置和参数调整、软件版本变更。2配置变更应严格执行相关上报审批流程，并履行操作票，执行操作过程中还应履行工作监护，确保记录操作可控可查。3数据库软件和数据库复制软件配置参数变更前，应进行参数更改的评估，分析和测试工作4数据库软件和数据库复制软件重新启动前，应确认相关的操作系统、数据库等集成平台处3 存储复制1 2存储复制配置变更前，应通过复制管理软件备份配置参数，确保变更操作的可回退性；配3发生复制中断、复制挂起等故障，检查存储中同步链路状态、被灾备端日志卷组状态，定位故障原因，及时排除故障。4 灾备应用1 灾备应用管理主要包括应急预案启动、灾难等级评估、业务应用恢复环境准备、数据恢复环境准备、数据恢复、业务验证测试和业务切换等工作。2 被灾备单位提出应用切换申请时，应根据灾难等级、恢复的数据位置、业务系统、数据量等信息，严格遵守灾备应急预案的流程和技术恢复步骤。3 公司信息调度负责对申请单位提出的申请进行业务受理，并协调相应灾备中心进行技术评估，确定影响范围和切换