容器化中间件日志采集规范文档

容器化中间件日志采集规范文档一、总则规范（一）适用范围。本规范适用于公司所有容器化中间件平台的日志采集工作，涵盖日志生成、传输、存储、处理及分析全流程，确保日志数据的完整性、准确性与时效性。（二）基本原则。日志采集应遵循统一标准、分级管理、安全合规、高效利用的原则，实现跨团队、跨系统的日志标准化管理。（三）责任主体。运维部门负责日志采集系统的建设与维护，业务部门负责业务相关日志的规范输出，安全部门负责日志安全管控，所有容器化应用需按本规范执行日志采集。二、日志采集标准（一）采集要素。日志采集必须包含以下核心要素：时间戳、应用标识、服务标识、日志级别、消息内容、来源IP、用户ID（如适用），并支持扩展自定义字段。（二）采集粒度。日志采集粒度应遵循最小必要原则，生产环境采集粒度不得低于业务操作级别的日志，测试环境可适当放宽但需明确记录。（三）采集协议。优先采用TLS/SSL加密传输，禁止使用明文传输协议；支持协议包括但不限于Fluentd、Journald、Syslog，具体协议选择需结合应用场景。（四）采集频率。日志采集频率不得低于5秒/条，高实时性业务场景需按1秒/条采集，采集频率需在应用配置中明确记录。三、采集实施要求（一）配置规范。所有容器化应用需在Dockerfile或Kubernetes配置中嵌入日志采集配置，禁止通过外部脚本动态注入采集参数。1.Fluentd配置要求。必须使用Harbor官方镜像，配置文件需包含`<source>`标签的`type`参数为`json`,`http`,`syslog`等，并设置`tag`为应用名称+环境标识。2.Journald配置要求。需在容器启动命令中指定`--systemd-journald`参数，日志过滤规则需包含`_unit=service`和`_env=PROD`等标签。3.Syslog配置要求。需设置`priority`为`info`及以上，禁止使用`emerg`级别日志，需配置源IP白名单限制。（二）异常处理。采集系统需具备日志丢失检测机制，连续3分钟未采集到日志需触发告警，采集异常需记录在系统审计日志中。（三）容量规划。日志存储周期按环境分级：生产环境3个月，测试环境1个月，开发环境15天，存储容量需按每日增长量+10%冗余规划。四、传输与存储规范（一）传输链路。日志传输需经过公司统一部署的日志网关，网关需具备入侵检测功能，传输链路需做双链路冗余。（二）存储架构。采用分布式存储架构，主存储区部署在对象存储服务，备存储区部署在分布式文件系统，存储格式统一为JSON或结构化二进制格式。（三）数据脱敏。传输前需对敏感信息进行脱敏处理，包括但不限于卡号、身份证号、密码等，脱敏规则需在采集端配置并定期审计。五、处理与分析标准（一）处理流程。日志需经过清洗、解析、聚合三道工序，清洗环节需剔除HTTP头信息，解析环节需支持多格式自动识别，聚合环节需按5分钟窗口统计错误率。（二）分析工具。生产环境必须使用Elasticsearch+Kibana平台，测试环境可使用Splunk，分析指标包括但不限于：错误率、响应时间、资源占用率。（三）自动告警。需建立日志异常自动告警机制，关键指标阈值设置如下：错误率>0.5%触发告警，响应时间>2秒触发告警，连续5分钟采集中断触发严重告警。六、安全管控要求（一）访问控制。日志系统需部署在安全区域，访问需通过堡垒机跳转，所有操作需记录在审计日志中，禁止直接访问存储节点。（二）权限管理。系统管理员权限需通过IAM统一管控，业务部门仅可查看本部门日志，运维部门具备全权限但需记录操作日志。（三）合规要求。日志存储需符合《网络安全法》要求，存储周期不得低于法定最低标准，需定期进行等保测评。七、运维管理规范（一）巡检制度。日志系统需每日巡检，巡检内容包括采集延迟、存储容量、处理性能三项，异常需在1小时内上报。（二）变更管理。任何采集配置变更需通过变更管理流程，变更前需在测试环境验证，变更后需立即验证采集效果。（三）应急预案。建立日志采集中断应急预案，包括备用采集方案、手动采集工具、应急联系人列表，应急响应时间不得超过15分钟。八、附则说明（一）本规范自发布之日起生效，运维部门需组织全员培训，考核不合格