网络应用管理维护手册

网络应用管理维护手册1.手册概述与适用背景1.1手册目的本手册旨在规范网络应用的全生命周期管理流程，明确日常维护、故障处理、安全管控等操作标准，保证网络应用系统稳定、高效、安全运行，降低运维风险，提升服务质量。1.2适用范围本手册适用于企业内部各类网络应用系统（如OA系统、客户服务平台、在线业务系统、数据管理平台等）的日常管理维护工作，主要面向系统管理员、运维工程师、开发负责人及相关技术支持人员。1.3术语说明核心服务：指支撑网络应用运行的关键组件（如应用服务器、数据库、缓存服务等）。SLA：服务等级协议，指系统可用性、响应时间等指标承诺（如核心服务可用性≥99.9%）。变更窗口：指允许执行系统更新、配置修改等操作的时间段（通常为业务低峰期）。2.日常维护操作规范2.1日常巡检流程2.1.1巡检准备时间规划：每日固定时段巡检（如09:00-10:00），每周五进行全面巡检，避开业务高峰期（如支付、数据统计时段）。工具准备：监控系统（Zabbix/Prometheus）、SSH客户端、日志分析工具（ELKStack）、数据库管理工具（Navicat/MySQLWorkbench）。权限确认：保证巡检账号具备系统只读权限及必要操作权限（如服务器登录、日志查询）。清单核对：参照《网络应用日常巡检项目清单》（附录1）确认巡检范围。2.1.2巡检实施步骤1：核心服务状态检查登录应用服务器，执行ps-ef|grep应用名称，确认核心进程（如nginx、tomcat、redis）是否存在且状态为“运行中”。执行netstat-tlnp|grep端口号，验证服务端口（如80、443、3306）正常监听，无异常绑定。通过监控系统查看服务可用性（HTTP状态码200、响应时间≤500ms）。步骤2：系统资源监控CPU使用率：执行top命令，记录5分钟平均负载，单核负载≤70%。内存使用情况：执行free-h，确认剩余物理内存≥20%，避免OOM（内存溢出）。磁盘空间：执行df-h，检查根分区（/）、数据分区（/data）使用率≤85%，日志分区（/var/log）≤90%。步骤3：日志与数据检查应用日志：定位日志路径（如/var/log/application/），使用tail-ferror.log实时查看ERROR/WARN级别日志，重点关注“连接超时”“权限异常”“数据校验失败”等关键词。数据库日志：检查慢查询日志（slow.log），记录执行超过1秒的SQL，后续优化。数据备份验证：确认前一日备份数据存在（如/backup/data_202401.sql），可通过md5sum校验文件完整性。步骤4：安全配置核查防火墙规则：执行iptables-L-n，确认仅开放业务必需端口（如80、443、22），高危端口（如3389、1434）限制IP访问。SSL证书：执行openssls_client-connect域名:443，检查证书有效期≥30天，避免过期导致中断。用户权限：核查系统登录账号，禁用默认账号（如root/admin），确认无闲置账号超30天未登录。2.1.3巡检记录与报告填写《网络应用日常巡检记录表》（见表2-1），详细记录检查项目、结果、异常情况及处理措施。发觉异常时，立即上报运维负责人*，并启动《故障处理流程》（见第3章）。每周一《巡检周报》，汇总问题清单、处理进度及改进建议，提交部门主管*。2.2数据备份与恢复2.2.1备份策略全量备份：每周日02:00执行，备份完整数据库及配置文件，保留4周历史数据。增量备份：每日22:00执行，备份当日新增或修改数据，保留7天历史数据。异地备份：全量备份文件同步至异地服务器（如云存储），保留12周数据防灾难。2.2.2备份操作步骤步骤1：备份前检查确认数据库连接正常，执行showmasterstatus\G检查二进制日志开启状态（用于增量备份）。检查备份存储空间剩余容量≥备份文件大小的2倍。步骤2：执行全量备份MySQL全量备份：mysqldump-u$DB_USER-p$DB_PASSWORD--all-databases|gzip>/backup/full_$(date+%Y%m%d).sql.gz应用配置备份：tar-czf/backup/config_$(date+%Y%m%d).tar.gz/etc/nginx/etc/tomcat步骤3：验证备份文件校验文件完整性：md5sum/backup/full_20241001.sql.gz>/backup/md5_20241001.txt，与备份后的MD5值比对一致。模拟恢复：在测试环境执行mysql-u$DB_USER-p$DB_PASSWORD<full_20241001.sql，验证数据可正常读取。2.2.3数据恢复流程场景：数据损坏或误删时，按“最新增量备份→前一日全量备份→历史全量备份”优先级恢复。操作步骤：停止应用服务（systemctlstopnginx），避免新数据写入覆盖备份。恢复全量备份：mysql-u$DB_USER-p$DB_PASSWORD</backup/full_20241001.sql恢复增量备份：mysqlbinlog--start-datetime="2024-10-0100:00:00"--stop-datetime="2024-10-0200:00:00"/backup/mysql-bin.000123|mysql-u$DB_USER-p$DB_PASSWORD启动应用服务，验证业务功能正常，填写《数据恢复记录表》（见表2-2）。2.3日常维护记录表表2-1网络应用日常巡检记录表检查日期检查项目检查标准检查结果（正常/异常/处理中）处理人异常情况说明及处理措施2024-10-01应用服务状态核心进程运行，端口监听正常正常张*-2024-10-01数据库连接数连接数≤最大连接数的80%（400/500）异常（当前420）李*优化SQL语句，杀死空闲连接（kill连接ID），扩容连接池（max_connections=600）2024-10-01SSL证书有效期≥30天正常（剩余85天）张*-2024-10-01磁盘空间（/data）使用率≤85%正常（当前78%）李*清理7天前日志（find/var/log-name"*.log"-mtime+7-execrm{}\;）表2-2数据恢复记录表恢复日期恢原因恢备份文件名恢前后数据对比（条数）验证结果处理人备注2024-10-02用户误删订单表full_20241001.sql.gz恢复前：0；恢复后：15280正常王*增量备份无新增数据2024-10-05数据库磁盘损坏full_20241004.sql.gz恢复前：0；恢复后：30145正常赵*同步恢复异地备份3.故障处理与响应机制3.1故障分级与响应时效根据故障影响范围及紧急程度，分为四级：P1级（严重故障）：核心服务不可用，业务中断（如用户无法登录、支付功能异常），响应时间≤5分钟，解决时间≤2小时。P2级（重要故障）：服务功能下降，部分功能异常（如页面加载缓慢、数据查询超时），响应时间≤15分钟，解决时间≤4小时。P3级（一般故障）：次要功能异常（如非核心报表错误、页面显示异常），响应时间≤30分钟，解决时间≤8小时。P4级（轻微故障）：不影响业务的提示或优化类问题（如日志告警、文档更新），响应时间≤2小时，解决时间≤24小时。3.2故障处理流程3.2.1故障发觉与上报自动发觉：监控系统（Zabbix）触发告警（如服务宕机、CPU超阈值），通过短信、企业通知运维值班人员*。人工上报：用户或业务部门反馈问题，填写《故障上报单》（见表3-1），提交至运维支持平台。3.2.2故障初步判断与定位信息收集：记录故障发生时间、影响范围、现象描述（如“用户登录提示密码错误，但密码正确”）。影响评估：确认故障级别（P1-P4），启动对应响应时效。初步定位：P1级故障：立即登录服务器，检查进程状态、端口监听、错误日志（如/var/log/nginx/error.log）。P2-P3级故障：通过监控系统查看资源使用曲线、慢查询日志，定位可能原因（如数据库死锁、内存泄漏）。3.2.3故障处理与恢复临时措施：优先恢复业务（如P1级故障重启服务、切换备用服务器），后续分析根因。根因解决：针对具体原因操作（如清理磁盘空间、优化SQL、修复配置文件）。验证确认：测试故障现象是否消失，核心功能（如登录、数据提交）正常运行，持续监控30分钟无复发。3.2.4故障总结与归档填写《故障处理报告表》（见表3-2），记录故障原因、处理过程、解决方案及改进措施。召开故障复盘会（涉及P1/P2级故障），分析问题本质，制定预防方案（如增加监控项、优化巡检频率）。3.3故障处理记录表表3-1故障上报单上报时间上报人联系方式故障现象描述影响范围紧急程度2024-10-0214:30业务部刘*5678客户无法提交订单，页面提示“系统繁忙，请稍后重试”全部用户P1级2024-10-0309:15用户张*139个人中心页面加载缓慢，图片显示异常部分用户（10%）P2级表3-2故障处理报告表故障编号P1-20241002故障发生时间2024-10-0214:25故障解决时间2024-10-0216:00故障影响范围全部用户无法下单故障级别P1级负责人王*故障现象订单提交失败，提示“系统繁忙”初步判断原因应用服务器磁盘空间不足（/data使用率98%）处理过程1.停止nginx服务，释放日志文件；2.清理30天前备份文件；3.重启服务，验证订单提交正常根因分析定时清理脚本失效，导致日志未自动清理，磁盘占满改进措施1.修复清理脚本，增加磁盘空间监控告警；2.调整备份保留策略（全量备份保留2周）验证结果功能正常，磁盘使用率降至75%4.安全配置与管理规范4.1账号与权限管理4.1.1账号创建与注销创建流程：新增账号需填写《账号申请表》（见表4-1），经部门主管审批后，由系统管理员创建，初始密码由运维人员通过安全通道（如企业）告知用户，首次登录强制修改密码。注销流程：员工离职或转岗时，用人部门提交《账号注销申请》，系统管理员*在24小时内禁用账号并删除权限，回收相关密钥（如SSH密钥、API访问令牌）。4.1.2权限控制原则最小权限：用户仅获得完成工作必需的权限（如开发人员仅能操作测试环境数据库，无生产环境修改权限）。权限审计：每季度核查一次账号权限，删除闲置账号（如90天未登录），填写《权限审计记录表》（见表4-2）。4.2安全加固措施服务安全：应用服务器：禁用root远程登录，使用普通用户（如appuser）操作，限制sudo权限（仅允许执行必要命令）。数据库：启用SSL加密传输，设置复杂密码（长度≥12位，包含大小写字母、数字、特殊字符），禁止远程root登录。网络安全：部署防火墙（iptables/云安全组），仅开放业务端口（如80、443、3306），禁止外部访问管理端口（如22、8080）。使用WAF（Web应用防火墙）拦截SQL注入、XSS等攻击，定期更新WAF规则库。数据安全：敏感数据（如用户证件号码号、手机号）加密存储（使用AES-256算法），传输过程使用（TLS1.2及以上）。操作日志全程记录（包括登录IP、操作时间、执行命令），保存≥180天，便于追溯。4.3漏洞与补丁管理漏洞扫描：每月使用漏洞扫描工具（如Nessus、AWVS）对系统进行全面扫描，《漏洞扫描报告》，重点关注高危（Critical）、严重（High）级别漏洞。补丁修复：高危漏洞：72小时内完成修复，修复前需在测试环境验证，避免引入新问题。中危漏洞：7天内完成修复，低危漏洞纳入版本迭代计划统一处理。修复验证：补丁上线后，通过扫描工具验证漏洞已修复，并监控系统3小时无异常。4.4安全管理记录表表4-1账号申请表申请日期申请人部门岗位申请事由申请权限（如：生产库查询、服务器登录）审批人审批结果2024-10-01开发组陈*技术部开发工程师新项目开发需访问测试库测试数据库只读权限、测试服务器登录权限开发负责人*同意表4-2权限审计记录表审计日期审计人审计范围发觉问题处理措施审计结果2024-10-05赵*生产环境所有账号3个测试账号超90天未登录禁用账号并通知相关负责人完成2024-10-05赵*应用服务器权限开发人员王*具备sudo权限回收sudo权限，仅保留appuser基本权限完成5.版本更新与变更控制5.1变更分类与审批紧急变更：修复安全漏洞或解决突发故障（如P1级故障），需运维负责人*口头审批，事后24小时内补填《变更申请单》。常规变更：功能更新、配置优化、版本升级等，需提前3个工作日提交《变更申请单》（见表5-1），经技术经理、部门主管审批后执行。重大变更：架构调整、数据库迁移、系统替换等，需组织变更评审会，评估风险及回滚方案，经CTO*审批后实施。5.2变更实施流程5.2.1变更前准备方案制定：明确变更内容、时间窗口（如周末22:00-次日06:00）、操作步骤、回滚方案（如回滚脚本、版本回退命令）。环境验证：在测试环境完整执行变更流程，验证功能、功能、兼容性，填写《变更测试报告》。通知公告：提前1个工作日通过企业邮件通知相关业务部门及用户，说明变更影响及时间安排。5.2.2变更执行与监控操作步骤：严格按变更方案执行，双人核对（操作人、复核人），关键步骤截图记录（如配置修改、版本更新）。实时监控：变更过程中监控系统资源（CPU、内存、磁盘）、服务状态（响应时间、错误率），出现异常立即中止变更并启动回滚。5.2.3变更后验证与总结功能验证：测试核心业务流程（如登录、下单、支付），确认功能正常。功能验证：监控系统功能指标，保证变更后无功能下降（如TPS≥1000ms，响应时间≤500ms）。文档更新：更新系统版本记录、配置文档，填写《变更实施记录表》（见表5-2）。5.3版本更新注意事项回滚方案必须可执行，保证在10分钟内能恢复变更前状态。生产环境禁止直接修改代码或配置，所有变更需通过版本管理工具（如Git）提交并记录。变更完成后24小时内密切监控系统，发觉潜在问题及时处理。5.4变更管理记录表表5-1变更申请单变更编号BGY-20241001变更类型常规变更申请日期2024-10-01变更内容升级nginx版本至1.20.1，修复已知漏洞变更时间窗口2024-10-0622:00-24:00申请人运维组张*影响范围生产环境Web服务器（3台）风险评估低风险（服务重启可能短暂中断）审批人技术经理、部门主管回滚方案使用nginx原版本（1.18.0）配置文件回滚：nginx-sreload审批结果同意表5-2变更实施记录表变更日期变更编号实施人复核人实施步骤简述验证结果异常情况2024-10-06BGY-20241001张*李*1.备份原nginx配置；2