容器平台日志采集规范实施指南

容器平台日志采集规范实施指南一、总则规范（一）适用范围。本规范适用于公司所有容器平台日志的采集、传输、存储、处理及分析全生命周期管理，涵盖Kubernetes集群、DockerSwarm等主流容器编排环境及关联组件的日志数据。1.采集对象1.核心组件日志。包括但不限于Kubelet、Kube-proxy、API-server、Scheduler、Controller-manager等Kubernetes组件的运行日志。2.应用组件日志。容器内部署的应用服务日志，如Nginx、Tomcat、Redis、MySQL等。3.监控系统日志。Prometheus、Grafana、ELK等监控组件的日志数据。4.安全组件日志。包括入侵检测系统、防火墙、RBAC授权日志等。2.采集要求1.全量采集。必须采集所有目标组件的原始日志，禁止人为过滤。2.实时性。日志采集延迟不得超过5秒，存储系统需保证7天内的数据可实时查询。3.完整性。采集过程中禁止日志数据截断、篡改或丢失。二、采集策略配置（一）采集源配置。各业务部门需在容器平台统一配置管理平台完成日志采集规则配置，配置内容包括1.日志源识别1.容器名称。必须包含命名空间、Pod名称、容器名称等唯一标识信息。2.组件类型。明确日志来源组件类型，如"Kubelet"、"Nginx"等。3.日志路径。标准日志路径包括/var/log/kubelet、/var/log/docker、/var/log/容器应用路径等。2.采集规则设置1.日志级别。默认采集INFO及以上级别日志，关键组件需采集DEBUG级别。2.采集频率。核心组件采用5秒采集频率，非核心组件可提升至10秒。3.过滤规则。仅允许设置安全过滤规则，禁止设置业务逻辑过滤。三、传输与存储规范（一）传输协议要求。日志数据传输必须采用加密传输方式，具体要求1.传输加密1.TLS协议。采用TLS1.2及以上版本加密传输，证书有效期不超过6个月。2.加密算法。必须使用AES-256加密算法，禁止使用DES、RC4等弱加密算法。2.传输方式1.Flume传输。采用FlumeAgent进行日志收集，配置JMS传输方式。2.Kafka传输。生产者采用同步发送模式，消息重试次数设置为3次。（二）存储管理规范。日志存储必须符合以下要求1.分级存储策略1.热数据存储。7天内高频访问日志存储在SSD存储介质，容量不低于500TB。2.冷数据存储。7天以上日志迁移至HDFS分布式存储，采用分层存储机制。2.存储生命周期1.保留周期。核心业务日志保留90天，安全日志保留180天。2.清理策略。采用滚动清理机制，按时间戳分批次清理过期日志。四、采集系统运维（一）采集节点管理。各业务部门需指定专人负责日志采集节点管理1.节点监控1.采集状态。每日检查采集Agent运行状态，异常率不得超过1%。2.延迟监控。实时监控日志采集延迟，超过阈值需立即处理。2.节点维护1.更新周期。采集Agent更新周期不超过30天，禁止在生产环境直接更新。2.权限管理。采集Agent必须采用最小权限原则，禁止root权限运行。（二）故障处理流程。日志采集系统故障需按以下流程处理1.故障识别1.自动告警。采集系统故障自动触发告警，告警级别为P1级。2.手动巡检。运维人员每日进行采集节点巡检，检查日志文件完整性。2.处理流程1.初步排查。10分钟内完成采集Agent状态检查。2.问题定位。30分钟内定位故障原因，如网络中断、配置错误等。3.处理措施。根据故障类型采取重启Agent、调整采集规则等措施。五、日志质量保障（一）完整性校验。日志采集系统必须实现完整性校验机制1.校验方式1.校验和比对。采用MD5算法对原始日志进行校验和计算，与传输端比对。2.数据统计。实时统计日志条目数，与采集源统计值差异不得超过5%。2.异常处理1.自动修复。发现完整性异常自动触发重传机制。2.手动干预。重传失败需人工介入，检查采集规则配置。（二）质量监控指标。日志质量必须符合以下指标要求1.缺失率指标1.日志缺失。单日日志缺失率不得超过0.5%。2.组件覆盖率。所有目标组件日志采集覆盖率必须达到100%。2.准确性指标1.错误日志。错误日志占比不得超过3%。2.重复日志。重复日志率不得超过1%。六、安全与合规管理（一）访问控制要求。日志系统访问必须符合公司安全规范1.访问权限1.分级授权。日志管理员拥有最高权限，业务用户仅可查看授权日志。2.访问审计。所有访问操作必须记录在审计日志中，保留180天。2.安全防护1.网络隔离。日志采集系统部署在DMZ区，禁止直接访问生产网络。2.数据脱敏。对敏感信息如IP地址、用户名等进行脱敏处理。（二）合规性要求。日志管理必须满足以下合规要求1.法律法规1.网络安全法。日志保存期限符合《网络安全法》要求。2.数据安全法。敏感日志数据采用加密存储，禁止跨境传输。2.行业规范1.PCI-DSS。支付业务日志符合PCI-DSS审计要求。2.ISO27001。日志管理流程符合ISO27001标准。七、附则说明本规范由信息技术部负责解释，各业务部门需指定专人负责