统一日志采集格式字典规范文档

统一日志采集格式字典规范文档一、总则说明（一）适用范围。本规范适用于公司所有业务系统及基础设施的日志采集、传输、存储、分析等全生命周期管理，涵盖日志格式统一、采集规范、质量监控等核心要求。（二）基本原则。坚持标准化、规范化、集中化原则，确保日志数据的完整性、一致性、可用性，为安全审计、故障排查、业务分析提供数据支撑。（三）管理职责。信息技术部负责本规范的制定、修订与监督执行，各业务部门需指定专人落实日志采集主体责任。二、日志采集规范（一）采集要素明确。日志采集必须包含以下核心要素：时间戳、来源IP、用户ID、操作类型、业务参数、响应状态、错误码、资源消耗等，具体要素根据业务场景补充完善。（二）采集频率要求。核心业务日志采集频率不得低于5秒/条，系统运行日志采集频率不得低于10秒/条，采集频率需根据业务重要程度动态调整。（三）采集接口规范。采用标准化的RESTfulAPI或JMS队列进行日志推送，禁止使用文件追加、数据库写入等非标准采集方式，确保采集过程的高可用性。（四）采集质量控制。建立日志完整性校验机制，通过MD5/SHA256哈希校验、消息序号校验等手段，防止日志数据丢失或篡改。三、日志格式标准（一）通用格式定义。采用JSON格式作为标准日志载体，基本结构如下：{"timestamp":"2023-10-27T10:00:00Z","source_ip":"192.168.1.1","user_id":"UID12345","operation":"login","business_params":{"username":"admin","password":""},"response_code":200,"error_code":null,"resource_usage":{"cpu":"5%","memory":"20MB"}}（二）字段编码规范。所有字符串字段必须采用UTF-8编码，时间戳统一使用ISO8601标准格式，数值字段保留3位小数。（三）异常处理格式。系统异常日志必须包含完整的堆栈信息，采用Base64编码后存储在"exception_stack"字段，解码工具由信息技术部统一提供。（四）日志分级标准。日志级别分为ERROR、WARN、INFO、DEBUG、TRACE五级，各级别对应编码分别为：ERROR（500）、WARN（300）、INFO（200）、DEBUG（100）、TRACE（50）。四、采集实施要求（一）采集工具配置。各业务系统必须使用公司指定的ELK或Loki日志采集平台，禁止擅自使用第三方采集工具，采集配置文件需经信息技术部审核批准。（二）采集资源配额。每个业务系统的日志采集带宽上限为100Mbps，存储空间按月度使用量计费，超出部分按1:1.5比例加价。（三）采集异常告警。建立日志采集异常自动告警机制，采集延迟超过30秒或采集失败率超过5%时，系统自动触发告警通知，告警联系人由各业务部门提前备案。（四）采集周期管理。日志采集周期分为短期（7天）、中期（30天）、长期（90天）三种，各业务部门需根据数据使用需求制定采集周期方案。五、存储与安全规范（一）存储策略配置。日志存储采用分级存储策略，ERROR级别日志永久存储，WARN级别日志存储60天，INFO及以下级别日志存储30天。（二）数据脱敏要求。涉及用户隐私的日志字段必须进行脱敏处理，脱敏规则由信息安全部统一制定并定期更新，脱敏后的数据不得逆向还原。（三）访问控制机制。建立基于RBAC的日志访问控制体系，仅授权管理员可查询全部日志，普通用户只能查询本部门业务日志，访问记录需实时写入审计日志。（四）安全传输要求。日志传输必须采用TLS1.2加密协议，禁止明文传输，传输过程中出现加密失败时，采集系统需立即中断采集并触发告警。六、应用与运维规范（一）日志分析工具。各业务部门必须使用公司指定的日志分析平台进行数据查询，禁止擅自使用Excel等非专业工具进行日志统计。（二）运维监控要求。建立日志运维监控体系，每日检查日志采集完整性，每周进行日志质量抽检，每月输出日志运维报告。（三）应急响应流程。发生重大安全事件时，需立即启用日志应急响应预案，在2小时内完成关键日志的采集与封存，应急响应流程由信息技术部统一制定。（四）变更管理要求。任何涉及日志采集、存储、格式变更的操作，必须通过ITIL变更管理流程执行，变更前需进行业务影响评估，变更后需进行72小时稳定性监控。七、附则说明（一）本规范自发布之日起30日内完成全面落地，信息技术部负责组织全员培训，各业务部门需指定至少2名日志管理员。（二）本规范每年修订一次，修订版本号由"V"加年