互联网行业信息技术部IT工程师数据库管理操作手册

互联网行业信息技术部IT工程师数据库管理操作手册1.总则1.1编制目的为规范信息技术部IT工程师数据库日常运维、操作管理、故障处置、安全管控全流程工作，统一互联网业务数据库操作标准，规避误操作、数据泄露、数据库宕机、数据丢失等风险，保障公司业务系统数据库稳定、高效、安全运行，提升数据库运维标准化、规范化、专业化水平，特制定本操作手册。本手册为公司数据库运维核心操作依据，全体IT运维工程师必须严格遵照执行。1.2适用范围本手册适用于公司信息技术部所有负责数据库运维、管理、优化、故障排查的IT工程师，覆盖公司互联网业务全线生产库、测试库、预发布库、备份库，包含MySQL、Redis、MongoDB等主流互联网常用数据库，涵盖日常操作、备份恢复、性能优化、安全配置、故障处理、变更管理等所有工作场景。1.3核心原则安全优先：所有数据库操作以数据安全、业务稳定为首要原则，严禁违规操作、越权操作、无记录操作。先测后上：所有SQL变更、配置修改、版本升级、参数调整等操作，必须先在测试环境验证通过，方可上线生产环境。全程留痕：所有数据库操作、变更、故障处理、巡检工作，必须完整记录，留存日志及台账，可追溯、可核查。预防为主：坚持日常巡检、定期备份、性能监控、隐患排查，提前规避数据库故障及性能瓶颈。最小权限：严格遵循权限最小化原则，按需分配数据库账号权限，定期清理冗余账号及权限。2.岗位职责与权限规范2.1岗位职责负责公司各业务数据库日常巡检、状态监控、日志查看，及时发现并处理数据库异常问题。负责数据库日常操作、SQL审核、数据变更、表结构维护、索引管理等工作。负责数据库定期备份、备份校验、数据恢复演练，保障备份数据有效可用。负责数据库性能监控、慢SQL优化、索引优化、参数调优，提升数据库运行效率。负责数据库账号权限管理、安全配置、漏洞修复、数据安全防护工作。负责数据库故障排查、应急处置、问题复盘，输出故障处理报告及优化方案。配合研发、产品、测试部门完成数据查询、数据修复、业务联调、环境部署等支撑工作。2.2权限管理规范数据库账号实行专人专用、一人一号，严禁共用账号、转借账号，严禁私自创建公共账号。严格区分生产库、测试库权限，生产库仅开放查询、基础运维必要权限，DDL、DML高危操作需单独申请审批。离职、调岗人员需立即注销或回收数据库账号权限，杜绝权限遗留风险。每季度开展一次权限审计，清理冗余权限、过期账号、违规权限，形成审计台账。3.数据库基础日常操作规范3.1环境区分规范严格区分生产环境、预发布环境、测试环境、开发环境数据库，操作前必须确认环境标识，杜绝跨环境误操作。生产环境所有高危操作必须提前报备、审批，非工作时间严禁私自执行生产库变更操作。3.2基础SQL操作规范3.2.1数据查询操作日常数据查询优先使用限定条件查询，禁止使用无限制全表查询SELECT*FROM表名，避免占用大量数据库资源、引发业务卡顿。大数据量查询需添加分页、时间范围限制，禁止批量查询全量业务数据，防止数据泄露及性能过载。复杂查询、多表关联查询需提前在测试环境验证执行效率，避免线上慢SQL阻塞业务。3.2.2数据增删改操作生产库执行INSERT、UPDATE、DELETE操作前，必须先执行查询语句核对数据范围，确认无误后方可执行。批量修改、删除数据必须添加事务，开启事务提交机制，确认数据无误后再提交，异常情况立即回滚。禁止执行无条件批量删除、批量更新语句，高危DML操作必须双人复核、登记台账。3.2.3表结构操作建表必须规范字段类型、主键、索引、字符集（统一使用utf8mb4），预留业务扩展字段，禁止无主键、无索引数据表上线。生产库ALTER、DROP、TRUNCATE等DDL高危操作，必须提前提交变更申请，避开业务高峰期，提前备份对应数据表。废弃数据表、数据库需确认无业务依赖后，归档备份，留存7天以上无异常方可删除。3.3定时任务与存储过程管理每日检查数据库定时任务、存储过程执行状态，查看执行日志，排查执行失败、超时、异常报错问题。新增、修改定时任务及存储过程，需在测试环境验证稳定性，确认无性能影响、无数据异常后上线。定期清理无效、废弃存储过程及定时任务，减少数据库资源占用。4.日常巡检管理规范数据库巡检为每日常态化工作，需按日、周、月分级执行，全程记录巡检结果，异常问题及时处置、上报，形成闭环管理。4.1每日巡检内容数据库服务状态：检查数据库实例是否正常运行、端口监听正常、无宕机、无重启异常。资源负载监控：查看CPU、内存、磁盘IO、连接数、并发量，确认无资源过载、连接溢出问题。日志巡检：查看错误日志、慢查询日志、二进制日志，排查报错、慢SQL、异常访问记录。备份状态检查：确认当日自动备份任务执行成功，备份文件生成正常、无缺失。业务状态校验：核对核心业务数据读写正常，无数据写入失败、查询超时问题。4.2每周巡检内容数据库空间巡检：监控数据表、表空间数据增长情况，清理冗余日志、临时数据，提前预判扩容需求。索引状态检查：排查失效索引、重复索引、无用索引，统计索引使用率，初步梳理优化清单。慢SQL汇总分析：统计本周高频慢查询，标记需优化语句，制定初步优化方案。备份有效性抽检：随机抽取本周备份文件，完成基础校验，确认备份文件可正常读取。4.3每月巡检内容全量数据库健康体检：全面检测数据库参数配置、集群状态、主从同步状态、数据一致性。数据核对：逐层核对业务明细数据、整合数据、源头数据，排查数据差异、数据异常问题。权限全面审计：核查所有数据库账号权限、登录日志，清理违规账号、冗余权限。备份全量校验与恢复演练：抽取月度备份文件，完成数据恢复演练，保障故障时可快速恢复。月度运维复盘：汇总本月故障、优化、异常问题，输出月度数据库运维报告。5.数据备份与恢复管理规范5.1备份策略采用「每日增量备份+每周全量备份+异地归档」的备份机制，覆盖所有生产数据库，测试库按需备份。全量备份：每周凌晨业务低峰期执行一次全库备份，保留30天全量备份文件。增量备份：每日凌晨执行增量备份，记录数据增量变更，保障数据完整性。异地备份：核心业务数据库备份文件同步至异地存储设备，防止本地设备故障导致备份丢失。5.2备份操作要求备份任务执行前检查数据库状态，确保数据库运行稳定、无锁表、无大批量数据写入。备份文件统一规范命名，包含数据库名、备份时间、备份类型，便于检索管理。严禁手动删除未过期备份文件，备份文件留存期满后，统一批量清理并登记。5.3数据恢复规范数据恢复前必须提交《数据恢复申请单》，说明恢复原因、恢复范围、恢复时间、影响业务范围，经部门负责人审批通过后方可执行。恢复前先在测试环境验证备份文件可用性、恢复效果，确认无误后再操作生产环境。恢复过程全程记录操作步骤、执行日志、数据变更情况，恢复完成后核对数据完整性、一致性，确认业务恢复正常。恢复完成后开展复盘分析，排查数据丢失、异常原因，优化备份及运维策略。6.数据库性能优化规范6.1慢SQL优化每日监控慢查询日志，抓取执行超时、扫描行数过多、占用资源大的SQL语句。对慢SQL进行拆解分析，优化查询逻辑、简化多表关联、添加合理查询条件、优化分页逻辑。优化方案必须先在测试环境验证执行效率，对比优化前后执行耗时、资源占用情况，达标后上线。6.2索引优化禁止盲目新增索引，针对高频查询、慢查询场景建立精准索引，遵循最左匹配原则。定期清理重复索引、冗余索引、长期未使用索引，减少数据写入、更新开销。大表索引调整需避开业务高峰期，采用分批操作、在线变更方式，避免锁表影响业务。6.3数据库参数调优根据数据库业务负载、硬件配置，合理调整连接数、缓存、超时时间、日志参数等核心配置。所有参数修改必须提前测试、记录参数变更前后状态，严禁随意修改核心参数。长期监控参数运行效果，根据业务迭代情况动态微调，保障数据库最优运行状态。6.4存储与架构优化针对超大数据表，根据业务场景开展分表、分库、分区优化，缓解单表数据压力。日志类、统计类大数据量数据，独立归档存储，避免占用核心业务库资源。定期清理过期冗余数据、归档历史数据，释放磁盘空间，提升数据库读写效率。7.数据库安全管理规范7.1账号密码安全数据库密码采用高强度密码策略，包含大小写字母、数字、特殊符号，定期轮换密码。禁止明文存储密码，密码统一加密存档，严禁私自泄露、转发数据库账号密码。限制账号登录IP范围，仅允许公司内网、运维固定IP登录数据库，杜绝外网非法访问。7.2访问安全管控开启数据库访问日志、操作日志审计功能，全程记录所有登录、操作、变更行为，日志留存不少于90天。关闭数据库多余端口、远程匿名访问、高危功能，修复系统及数据库版本漏洞。定期开展安全扫描、漏洞检测，及时升级数据库版本、修复安全隐患。7.3数据安全防护核心业务敏感数据（用户信息、订单数据、支付数据）严格管控，禁止私自导出、外传、篡改。数据导出、批量查询敏感数据需提交审批，登记导出用途、数据范围、使用人员。废弃数据、导出数据使用完毕后及时清理，杜绝数据泄露风险。8.故障应急处置规范8.1常见故障分类涵盖数据库宕机、主从同步异常、锁表阻塞、慢SQL雪崩、磁盘空间爆满、连接数溢出、数据异常、权限异常、非法访问等各类数据库故障。8.2应急处置流程故障发现：通过监控告警、业务反馈、日常巡检发现数据库异常，第一时间确认故障范围、影响业务。紧急止损：优先执行止损操作，如关停异常SQL、解锁数据表、扩容磁盘、重启异常实例、切换主从节点，最大限度降低业务影响。故障排查：查看系统日志、数据库错误日志、监控数据，定位故障根因，区分人为操作、系统故障、资源不足、程序异常、攻击风险等原因。修复恢复：根据故障原因执行对应修复方案，完成数据恢复、配置修复、性能修复，确认业务恢复正常。上报登记：重大故障及时上报部门负责人，完整记录故障时间、现象、处置过程、影响范围、修复结果。复盘优化：故障解决后完成复盘，梳理问题漏洞，制定优化方案，规避同类问题重复发生。8.3重大故障报备机制出现数据库宕机、核心业务数据丢失、业务大面积瘫痪、数据泄露等重大故障，需5分钟内口头报备、30分钟内提交书面故障说明，全程跟进处置进度。9.变更管理规范所有数据库变更操作（SQL变更、表结构修改、参数调整、版本升级、索引新增、定时任务修改等）必须遵循变更流程，禁止私自上线变更。变更申请：提交数据库变更工单，注明变更内容、变更原因、影响范围、执行时间、回滚方案。测试验证：在测试环境完整验证变更效果、性能影响、兼容性，确认无异常。审批复核：经直属领导、技术负责人双重审批，高危变更需团队双人复核。线上执行：避开业务高峰期执行变更，全程监控数据库状态，预留即时回滚权限。效果校验：变更完成后核对数据一致性、业务运行状态、数据库性能，确认变更生效无异常。台账归档：变更工单、执行日志、验证记录统一归档留存，实现全程可追溯。10.台账与文档管理建立完整数据库运维台账，包含巡检台账、备份台账、变更