运维部服务器维护手册

运维部服务器维护手册第一章总则1.1手册目的为规范运维部服务器日常运维、定期维护、故障排查、安全管控及应急处置工作，统一操作标准、规避操作风险、保障服务器及业务系统稳定、安全、高效运行，降低设备故障、数据丢失、服务宕机等事故发生率，明确运维工程师岗位职责与操作规范，特制定本手册。本手册为运维工程师服务器维护工作的标准依据，所有服务器相关操作必须严格遵照执行。1.2适用范围本手册适用于公司运维部所有在岗运维工程师，覆盖公司内网服务器、业务服务器、数据库服务器、存储服务器、云服务器及各类虚拟服务器的日常巡检、软硬件维护、补丁更新、数据备份、故障处理、安全加固、设备报废全流程工作，适配Windows、Linux主流服务器操作系统。1.3运维目标1.保障服务器全年稳定运行，核心业务服务器可用率不低于99.9%，最大限度减少非计划宕机时长。2.规范运维操作流程，杜绝违规操作、误操作引发的系统故障与数据风险。3.及时发现并处理服务器软硬件隐患、安全漏洞，保障业务数据完整、安全、可追溯。4.建立标准化故障处置机制，缩短故障响应、排查及恢复时间，提升运维效率。5.完善运维台账与日志记录，实现运维工作规范化、可审计、可追溯。1.4岗位职责1.运维工程师：负责服务器日常巡检、软硬件维护、故障排查、补丁更新、数据备份、日志整理、台账更新，严格执行本手册操作规范，及时上报异常问题。2.运维主管：负责审核运维操作方案、审批高危操作、监督手册执行情况、统筹重大故障处置、组织运维培训及手册更新优化。第二章基础管理规范2.1上机操作规范1.所有服务器操作必须实名制，严禁匿名登录、借用账号、多人共用运维账号，操作全程留痕可追溯。2.远程登录服务器需通过公司专属运维跳板机，禁止公网直接暴露服务器远程端口，登录地址、端口、账号严格保密。3.操作前需确认操作对象、操作内容、操作影响，高危操作（系统重启、服务下线、数据删除、配置修改、补丁升级）必须提前报备运维主管，审批通过后方可执行。4.操作过程中严禁随意中断进程、强制关机、批量删除数据，操作完成后需核验系统及业务状态，确认无异常后方可结束操作。5.离开操作岗位前，必须退出所有服务器登录终端，锁定运维工作台，杜绝账号未退出引发的安全风险。2.2台账与日志管理1.建立完整的服务器资产台账，包含服务器编号、设备型号、IP地址、操作系统、部署业务、配置参数、上线时间、维保周期、责任人等信息，信息变更24小时内更新。2.所有运维操作、故障处理、维护工作必须填写运维日志，记录操作时间、操作人、操作内容、操作结果、异常情况及处理措施。3.服务器系统日志、业务日志、安全日志定期归档留存，日志留存时长不低于6个月，核心业务日志留存1年以上。2.3变更管理规范1.服务器系统配置、服务端口、运行参数、软件版本、账号权限等所有变更操作，必须执行变更申请、审核、测试、上线、复盘全流程。2.变更前需做好系统、配置、数据全量备份，制定回滚方案，规避变更失败导致的业务故障。3.重大变更（系统升级、架构调整、核心服务迁移）需选择业务低峰期执行，提前通知相关业务部门，预留充足测试及回滚时间。第三章日常巡检维护（每日）每日巡检为核心基础运维工作，运维工程师每日工作时段早、晚各完成1次全面巡检，重点排查服务器运行状态、资源占用、服务可用性，及时发现轻微异常并预处理，杜绝隐患扩大。3.1硬件状态巡检1.物理服务器：检查机房环境温度、湿度、通风情况，查看服务器指示灯（电源、硬盘、风扇、告警灯）状态，无红灯、黄灯告警，风扇、电源运行无异响。2.检查服务器机柜线路，电源线、网线无松动、破损、老化，接口连接牢固，无异常发热。3.云/虚拟服务器：核查宿主机运行状态、资源分配情况，无硬件告警、资源抢占异常。3.2系统资源巡检1.CPU资源：查看CPU使用率、负载均值，正常负载不超过80%，持续高负载需排查异常进程、业务卡顿问题。Linux可通过top、htop命令核查，Windows通过任务管理器、资源监视器查看。2.内存资源：检查内存使用率、缓存占用，内存使用率不超过85%，杜绝内存溢出、内存泄漏问题，及时清理无效缓存及闲置进程。3.磁盘资源：核查磁盘使用率、读写状态，系统盘、数据盘使用率不得超过85%，检查磁盘IO是否异常，通过iostat命令排查读写卡顿、磁盘故障隐患，清理临时文件、冗余日志。4.网络资源：检测服务器网络连通性、带宽占用、丢包率，无网络中断、高延迟、大规模丢包情况，通过iftop、ping、traceroute命令排查网络异常。3.3服务与进程巡检1.核查核心服务运行状态，包括ssh、nginx、mysql、redis、docker及各类业务服务，确保服务正常监听、持续运行，无停止、闪退、异常重启情况，可通过systemctl命令批量校验服务状态。2.排查异常进程、僵尸进程、高占用恶意进程，及时终止无效异常进程，记录进程异常原因。3.检查端口监听状态，核心业务端口正常监听，无陌生端口对外开放，杜绝非法端口暴露风险。3.4日志巡检1.查看系统日志、安全日志、业务日志，筛选错误、警告、告警信息，重点排查登录异常、权限报错、服务报错、磁盘报错等问题。2.对日志异常信息分类记录，轻微异常即时处理，重大异常立即上报并启动排查。第四章周期性专项维护4.1每周维护工作1.数据备份：完成所有业务服务器增量数据备份，核对备份文件完整性、有效性，确保备份无缺失、无损坏。2.日志清理：清理系统冗余日志、过期业务日志、临时缓存文件，通过logrotate工具规范日志切割，释放磁盘空间，避免日志占满磁盘导致服务故障。3.资源优化：整理服务器运行进程，关闭闲置无用服务、自启动程序，优化内存、磁盘资源占用，提升服务器运行效率。4.巡检复盘：汇总本周巡检异常问题，梳理问题处理进度，未闭环问题持续跟踪处理。4.2每月维护工作1.全量备份：完成所有服务器系统配置、业务数据全量备份，将备份文件异地存储，同时随机抽取部分备份文件进行恢复测试，验证备份可用性。2.系统补丁：排查操作系统、运行软件漏洞，在测试环境验证兼容性后，安装安全补丁、功能更新补丁，修复系统漏洞，提升系统安全性。3.密码更新：更新服务器运维账号、数据库核心账号密码，密码采用高强度组合（字母+数字+特殊符号），杜绝弱密码，做好密码台账保密记录。4.权限梳理：清理冗余运维账号、过期权限、非法登录权限，梳理用户访问权限，杜绝越权访问、闲置账号安全风险。5.硬件深度检测：物理服务器检测硬盘SMART信息，排查坏道、磁盘老化隐患，检查风扇、电源运行工况，做好硬件状态记录。4.3每季度维护工作1.系统安全加固：关闭服务器不必要的系统端口、闲置服务，优化防火墙策略，限制非法IP访问，封禁高危端口，强化网络安全防护。2.性能优化：对服务器CPU、内存、磁盘、网络性能进行全面评估，针对长期高负载、性能瓶颈的服务器，优化系统参数、业务配置，必要时申请资源扩容。3.设备维保核查：核对服务器维保期限，对即将过期设备及时跟进续保，排查硬件老化、性能衰减问题，提前制定设备更换预案。4.台账更新：全面核对服务器资产台账，更新设备状态、配置、责任人、维保信息，确保台账与实际一致。4.4年度维护工作1.全面巡检：完成所有服务器软硬件全方位检测、性能测评、安全扫描，形成年度服务器运维报告。2.系统优化升级：对老旧系统、低版本软件进行适配升级，优化系统架构，修复长期遗留隐患。3.应急演练：开展服务器宕机、数据丢失、漏洞攻击等场景应急演练，优化应急处置流程，提升故障处置能力。4.手册迭代：结合年度运维问题、业务变更、技术更新，优化更新本维护手册，完善操作规范。第五章故障分级与应急处理5.1故障分级标准1.一级故障（重大故障）：核心业务服务器宕机、集群大面积故障、核心数据丢失、系统瘫痪，导致业务全面中断，影响公司核心运营。响应要求：5分钟内响应，立即上报主管，全力抢修，优先恢复业务。2.二级故障（严重故障）：非核心业务服务器宕机、单节点服务异常、服务器资源耗尽、局部业务卡顿，部分业务功能失效。响应要求：10分钟内响应，30分钟内给出处置方案，尽快修复。3.三级故障（一般故障）：服务器轻微异常、日志报错、资源小幅偏高、非核心服务偶发异常，不影响业务正常运行。响应要求：当日排查修复，记录故障原因及处理过程。5.2通用故障处理流程1.发现告警：通过日常巡检、监控告警、业务反馈发现服务器异常，第一时间确认故障范围、影响业务。2.初步隔离：针对故障节点进行隔离，关闭异常服务、断开异常连接，防止故障扩散影响其他服务器及业务。3.排查定位：结合系统日志、业务日志、资源状态、网络状态，快速定位故障原因（硬件故障、系统故障、配置故障、人为操作故障、网络故障）。4.处置修复：依据故障类型执行对应修复方案，优先采用备份恢复、服务重启、配置回滚等稳妥方式，高危操作全程留存记录。5.验证恢复：故障处理完成后，全面核查服务器资源、服务状态、业务功能，确认业务恢复正常、无残留异常。6.复盘归档：记录故障发生时间、现象、原因、处理过程、解决方案、预防措施，完成故障闭环，更新运维台账。5.3常见故障处理方案5.3.1服务器宕机故障1.物理服务器：检查电源供电、机柜线路、硬件指示灯，排查断电、硬件损坏、过热宕机问题，重新插拔线路、清理设备灰尘，硬件故障及时更换配件。2.云/虚拟服务器：查看平台监控、宿主机状态，排查资源抢占、平台故障、系统崩溃问题，尝试重启服务器，重启失败则调取快照恢复系统。5.3.2资源占用过高故障1.CPU过高：定位高占用进程，终止异常恶意进程，优化业务程序，调整系统进程优先级，必要时扩容CPU资源。2.内存过高：清理缓存、关闭闲置进程，排查内存泄漏程序，重启异常服务，优化内存分配策略。3.磁盘爆满：立即清理临时文件、过期日志、无用备份，删除冗余数据，核查磁盘占用异常目录，后续优化日志切割及清理策略。5.3.3服务异常故障1.服务闪退、无法启动：查看服务日志，排查配置错误、端口冲突、权限不足、依赖缺失问题，修正配置、释放冲突端口、补全依赖后重启服务。2.端口异常：关闭陌生开放端口，封禁非法访问IP，修复端口监听异常问题，更新防火墙访问规则。5.3.4网络异常故障1.网络中断：检查网卡状态、IP配置、网关路由、交换机端口，重启网卡、重置网络配置，排查线路及设备故障。2.网络卡顿、丢包：排查带宽占用、网络攻击、路由异常，限制异常流量，优化网络策略，联系机房排查外网链路问题。第六章数据备份与恢复规范6.1备份原则遵循“定期备份、异地存储、定期校验、可恢复可用”原则，核心业务数据优先备份，杜绝数据裸奔风险，所有备份操作全程记录。6.2备份策略1.日常增量备份：每日凌晨业务低峰期执行，针对业务增量数据、日志数据备份，占用资源低、效率高。2.月度全量备份：每月月末执行服务器系统、配置、全量业务数据备份，完整留存数据全貌。3.特殊备份：系统变更、补丁升级、配置修改、业务迁移前，必须执行临时全量备份，留存操作前数据版本。4.存储要求：备份文件分为本地备份+异地备份，本地留存近期备份，异地云存储或备用服务器留存长期备份，防止本地设备故障导致备份丢失。6.3数据恢复规范1.数据恢复属于高危操作，必须提交恢复申请，经运维主管审批后方可执行。2.恢复前先备份当前异常数据，避免恢复失败导致二次数据丢失。3.优先在测试环境验证备份文件可用性，确认无误后再在生产环境执行恢复。4.恢复完成后核验数据完整性、业务适配性，确认数据同步正常、业务运行无误。第七章安全运维规范7.1账号权限安全1.严格管控服务器登录账号，实行最小权限原则，普通运维账号仅分配必要操作权限，超级管理员账号专人专属、严格保密。2.定期清理闲置账号、临时账号、过期权限，禁止私自创建共享账号、测试账号。3.开启账号登录日志审计，记录登录IP、登录时间、操作记录，及时发现异地登录、暴力破解等异常行为。7.2网络安全防护1.关闭服务器不必要端口与服务，仅开放业务必需端口，默认拒绝所有外部陌生访问请求。2.配置防火墙安全策略，限制公网IP访问核心服务端口（数据库3306、远程22/3389等），仅放行可信IP段。3.定期排查端口扫描、暴力破解、DDOS攻击等网络风险，及时封禁攻击IP，更新防护策略。7.3系统安全加固1.定期更新系统安全补丁、漏洞修复包，杜绝高危漏洞暴露。2.修改系统默认账号密码、关闭默认共享、禁用无用系统服务，减少攻击面。3.开启系统安全审计、日志监控，实时监测系统异常操作与安全风险。7.4病毒与木马防护1.服务器禁止随意下载、安装陌生软件，禁止接入未知U盘、移动设备。2.定期查杀服务器病毒、木马、恶意程序，排查挖矿、后门等隐蔽风险。3.业务程序上线前进行安全检测，杜绝带毒程序、漏洞程序部署运行。第八章机房环境与硬件维护8.1机房环境要求1.机房温度保持在18-25℃，湿度保持在40%-60%，避免高温、潮湿、干燥导致硬件故障。2.机房保持干净