第15章 可观测性之日志管理

第15章可观测性之日志管理云原生架构师实战课资深云原生架构师CONTENTS容器日志挑战Pod重建后日志丢失问题分析日志采集架构对比Sidecar模式vsDaemonSet模式EFK/ELKStack方案日志的集中化存储、检索与分析实战案例演示采集所有Pod日志并在Kibana集中展示常见问题排查日志采集失败的诊断与解决方法课后实操任务部署DaemonSetFluentd并配置Kibana容器日志挑战：Pod重建后日志丢失容器日志的核心特点短暂性：Pod生命周期短，重建即丢失内部文件分散性：日志散落在集群各节点，难以集中查看多样性：应用日志格式不一，输出方式混杂传统管理方式的局限性数据丢失风险：本地文件存储，Pod重建即永久丢失运维效率低：大规模集群下，逐节点手动排查不可行日志采集架构：SidecarvsDaemonSetSidecar模式架构：在每个应用Pod中部署采集容器，共享存储卷。+解耦灵活，隔离性好-资源开销大，容器数量多DaemonSet模式架构：每个节点部署一个采集Pod，负责该节点所有应用。+资源开销小，节点级管理-配置相对固定，隔离性较差EFK/ELKStack：日志集中化存储与分析核心组件架构Elasticsearch:分布式搜索分析引擎，负责存储与索引。Fluentd/Logstash:日志采集管道，负责过滤、转换与转发。Kibana:数据可视化平台，提供查询与仪表盘展示。数据流转流程采集：从应用Pod或节点实时拉取日志处理：清洗数据格式，进行过滤与转换存储：将结构化日志写入Elasticsearch集群展示：通过Kibana进行检索、分析与大屏展示实战案例：采集所有Pod日志并集中展示案例场景采集K8s集群中所有Pod的日志，并将其集中存储和展示。实现步骤创建ServiceAccount与ConfigMap配置权限与采集规则使用DaemonSet部署Fluentd，确保节点全覆盖部署Elasticsearch和Kibana用于存储与可视化关键配置(DaemonSet)apiVersion:apps/v1kind:DaemonSetspec:template:spec:serviceAccountName:fluentdcontainers:-name:fluentdimage:fluent/fluentd-kubernetes-daemonset...架构流程图：Fluentd日志采集链路实战案例：按namespace和service聚合日志案例场景目标是在Kibana中实现日志的多维分析，核心需求是按namespace和service两个维度对海量日志进行聚合统计，以识别系统瓶颈。实现步骤配置索引模式：匹配Elasticsearch日志索引创建Dashboard：添加柱状图、饼图等可视化组件配置聚合规则：按namespace和service进行分组统计KibanaDashboard可视化效果示例避坑指南：日志采集失败怎么办？Fluentd无法采集日志原因：配置错误或权限不足，无法访问日志文件。方案：检查配置文件正确性；验证ServiceAccount权限。Kibana无法连接ES原因：ES地址/端口配置错误，或网络连接不通。方案：核对配置文件中的ES地址端口；排查网络连通性。日志显示乱码原因：日志编码格式与Kibana配置不匹配。方案：检查日志编码格式，在Fluentd中配置字符编码转换。课后实操：DaemonSet部署Fluentd并配置Kibana任务目标使用DaemonSet部署Fluentd采集Pod日志部署ES和Kibana进行存储与展示创建Dashboard聚合Namespace/Service日志任务步骤创建ServiceAccount、ConfigMap及DaemonSet使用Helm快速部署Elasticsearch和Kibana配置索引模式，创建可视化Dashboard评判标准Fluentd、ES及Kibana组件部署成功Kibana中可实时查看采集到的日志流Dashboard成功展示聚合分析结果本章总结容器日志挑战容器日志具有短暂性、分散性和多样性的特点，传统的日志管理方式难以满足需求。日志采集架构对比Sidecar(灵活但开销大)与DaemonSet(轻量但配置固定)两种主流模式。EFK/ELKStack方案由Elasticsearch、Fluentd/Logstash和Kibana组成的成熟日志集中化存储与分析方案。最佳实践建议生产环境建议使用D