基于开源的全栈全链路可观测性建设实践

源的全栈全链路向阳云杉网络研发VP个人简介GGOPS全球运维大会2022·深圳站3434录和一个崭新的希望录 2从自动化到精细化，全栈性能指标建设实践精细化，无盲点分布式追踪建设实践/01从心碎到希望一个心碎的故事，和一个崭新的希望心碎的故事我们加了一些，业务需求太多，我们实在忙不过来了，赶紧来接……好吧…是要我们上，还老卡上线…GGOPS全球运维大会2022·深圳站GGOPS全球运维大会2022·深圳站让观测更自动，让开发者更自由Apache2.0GGOPS全球运维大会2022·深圳站/02全栈性能指标建设实践从自动化到精细化，StepbyStep系统指标业务指标我系统指标业务指标应用应用指标GGOPS全球运维大会2022·深圳站DeepFlowAutoMetrics：基于eBPF的全景、全栈指标能力Kernel4.14+Kernel3.10+GGOPS全球运维大会2022·深圳站DeepFlowAutoMetrics的能力：全景务、K8sLabel，随心过滤、随心聚合零插码，释放开发生产力GGOPS全球运维大会2022·深圳站DeepFlowAutoMetrics的能力：全栈建连异常、建连时延、传输时延、零窗、重传、并发零插码，释放开发生产力GGOPS全球运维大会2022·深圳站PodNodePod PodPod谁在摧残我的RDS？GGOPS全球运维大会2022·深圳站AutoMetrics解决的痛点：快速定位在哪ententSeServerSerServer总时延Δ总时延Δ=K8s时延K8s团队Δ=云时延云平台团队K8s团队业务开发团队ΔK8s团队业务开发团队服务端时延GGOPS全球运维大会2022·深圳站AutoMetrics解决的痛点：快速定位在哪ententSeServerSerServer总时延业务开发团队Δ=K8s时延K8s团队网络建连时延、网络传输时延应用响应时延、应用等待时延重传、零窗、新建、活跃Δ=云时延云平台团队K8s团队业务开发团队ΔK8s团队业务开发团队服务端时延GGOPS全球运维大会2022·深圳站 deepflow-agent deepflow deepflow-agent deepflow-agent fCloudHost deepflow-agent Self-hosted/ManagedK8sClusterLegacyHost+ deepflow-server deepflow-agentK8sCluster deepflow-agent Self-hosted/ManagedK8sClusterPrometheus、Telegraf集成：多集群、异构环境数据集成能力GGOPS全球运维大会2022·深圳站Prometheus的自动集成能力：作为RemoteStorage#prometheus-serverconfigurl:http://${DEEPFLOW_AGENT_SVC}/api/v1/prometheusMilestone#deepflowconfigvtap_group_id:<your-agent-group-id>external_agent_http_proxy_enabled:1#默认关闭，零端口监听/docs/zh/agent-integration/metrics/prometheus/GGOPS全球运维大会2022·深圳站Telegraf的自动集成能力：作为OutputEndpoint#telegrafconfigurl="http://${DEEPFLOW_AGENT_SVC}/api/v1/telegraf"dataformat"influx"#deepflowconfigvtap_group_id:<your-agent-group-id>external_agent_http_proxy_enabled:1#默认关闭，零端口监听/docs/zh/agent-integration/metrics/telegraf/GGOPS全球运维大会2022·深圳站1资源申请时定义标签减少在指标中1资源申请时定义标签减少在指标中注入标签释放研发生产力4资源申请时定义标签2业务上线时定义标签原始3容器云GGOPS全球运维大会2022·深圳站SmartEncoding：消除资源消耗焦虑ClickHouse稀疏索引解决高基数问题•自动同步标签•云资源•K8s资源•K8sLabel自动注入编码后的标签•云资源•K8s资源查询时自动关联自定义标签•K8sLabel10x性能提升/docs/zh/auto-tagging/smart-encoding/GGOPS全球运维大会2022·深圳站应用指标系统应用指标系统指标开发和运营开发和运营关心的关心的手业业务指标eBPFeBeBPFeBPFPromethes…GGOPS全球运维大会2022·深圳站/03无盲点追踪建设实践从自动化到精细化，StepbyStep分布式追踪之痛：治理难、追不全GGOPS全球运维大会2022·深圳站DeepFlowAutoTracing：基于eBPF的自动追踪能力IstioBookinfoDemoGGOPS全球运维大会2022·深圳站Jaeger追踪的怎样•单击此处添加文本GGOPS全球运维大会2022·深圳站DeepFlowAutoTracing：零插码，全自动GGOPS全球运维大会2022·深圳站感受DeepFlow的自动化分布式追踪感受DeepFlow11.零插码：且无需向HTTP头注入TraceID或SpanIDGGOPS全球运维大会2022·深圳站感受DeepFlow2的自动化分布式追踪感受DeepFlow244个调用1.零插码：且无需向HTTP头注入TraceID或SpanIDGGOPS全球运维大会2022·深圳站Ratings(Node.js)curl(CRatings(Node.js)curl(C)Productpage(Python)31.零插码：且无需向HTTP头注入TraceID或SpanIDGGOPS全球运维大会2022·深圳站感受DeepFlow的自动化分布式追踪41.零插码：且无需向HTTP头注入TraceID或SpanIDKsNode上两个Pod之间的网络路径GOPS全球运维大会2022·深圳站G感受DeepFlow的自动化分布式追踪IPIPIPIP/VXLAN/…1.零插码：且无需向HTTP头注入TraceID或SpanIDKsNode上两个Pod之间的网络路径GOPS全球运维大会2022·深圳站G感受DeepFlow的自动化分布式追踪61.零插码：且无需向HTTP头注入TraceID或SpanIDKsNode上两个Pod之间的网络路径GOPS全球运维大会2022·深圳站GDeepFlowAutoTracing：零插码，全自动，团队协作业务开发团业务开发团队网格运维团队容器运维团队云运维团队1.零插码：且无需向HTTP头注入TraceID或SpanID4.全栈：追踪同K8sNode上两个Pod之间的网络路径5.全栈：追踪跨K8sNode上两个Pod之间的网络路径，即使有隧道6.全栈：追踪Pod内从EnvoyIngress➔服务➔EnvoyEgress全过程zhautotracingistiobookinfodemoGGOPS全球运维大会2022·深圳站deepflowserver尝到甜头了吗？从自动化走向精细化！deepflowserver+ deepflow-agent deepflow-agent deepflow-agent otelotel-instrumentswsw-instrumentrumentswsw-instrumentotelotel-instrumentswsw-instrumentLegacyLegacyHostK8sClusterCloudHostdeepflowdeepflow-agentdeepflowdeepflow-agentrumentstrumentrumentstrumentSelf-hosted/ManagedK8sClusterSelf-hosted/ManagedK8sClusterOpenTelemetry、SkyWalking集成：应用、系统、网络无盲点的分布式追踪能力GGOPS全球运维大会2022·深圳站与OpenTelemetry集成：作为traceendpoint#otel-agentconfigtraces_endpoint:"http://${HOST_IP}:38086/api/v1/otel/trace"reedtrue#deepflowconfigvtap_group_id:<your-agent-group-id>external_agent_http_proxy_enabled:1#默认关闭，零端口监听/docs/zh/agent-integration/tracing/opentelemetry/GGOPS全球运维大会2022·深圳站与SkyWalking集成：经由otel-agent做转换#otel-agentconfig#addthefollowingconfigendpoint:11800endpoint:12800ces#addreceiver`skywalking`rsskywalking#otel-agentserviceyamlport12800protocol:TCPtargetPort:12800port11800protocol:TCPtargetPort:11800#deepflowconfigvtap_group_id:<your-agent-group-id>external_agent_http_proxy_enabled:1#required/docs/zh/agent-integration/tracing/skywalking/GGOPS全球运维大会2022·深圳站以一个SpringBootDemo为例展示追踪效果GGOPS全球运维大会2022·深圳站OpenTelemetry+Jaegerv.s.OpenTelemetry+GGOPS全球运维大会2022·深圳站感受DeepFlow的无盲点分布式追踪GGOPS全球运维大会2022·深圳站感受DeepFlow的无盲点分布式追踪1.全链路：追踪到了96个Span：46个OTelSpan、20个eBPFSpan、30个BPFSpan22.全栈：支持追踪同K8sNode上两个Pod之间的网络路径GGOPS全球运维大会2022·深圳站感受DeepFlow的无盲点分布式追踪1.全链路：追踪到了96个Span：46个OTelSpan、20个eBPFSpan、30个BPFSpan32.全栈：支持追踪同K8sNode上两个Pod之间的网络路径3.全栈：支持追踪跨K8sNode上两个Pod之间的网络路径，即使有隧道GGOPS全球运维大会2022·深圳站感受DeepFlow的无盲点分布式追踪1.全链路：追踪到了96个Span：46个OTelSpan、20个eBPFSpan、30个BPFSpan42.全栈：支持追踪同K8sNode上两个Pod之间的网络路径3.全栈：支持追踪跨K8sNode上两个Pod之间的网络路径，即使有隧道4.全链路：对OTel无插码的服务(loadgenerator，C)，通过eBPF自动追踪补齐GGOPS全球运维大会2022·深圳站感受DeepFlow的无盲点分布式追踪1.全链路：追踪到了96个Span：46个OTelSpan、20个eBPFSpan、30个BPFSpan52.全栈：支持追踪同K8sNode上两个Pod之间的网络路径3.全栈：支持追踪跨K8sNode上两个Pod之间的网络路径，即使有隧道4.全链路：对OTel无插码的服务(loadgenerator，C)，通过eBPF自动追踪补齐5.全链路：对OTel无法插码的服务(MySQL，autocommit)，通过eBPF自动追踪补齐GGOPS全球运维大会2022·深圳站感受DeepFlow的无盲点分布式追踪1.全链路：追踪到了2.全栈：支持追踪同K8sNode上两个Pod之间的网络路径K8sNode上两个Pod之间的网络路径3.全栈：支持追踪跨K8sNode上两个Pod之间的网络路径，即使有隧道4.全链路：对OTel无插码的服务(loadgenerator，C)，通过eBPF自动追踪补齐5.全链路：对OTel无法插码的服务(MySQL，autocommit)，通过eBPF自动追踪补齐6.无盲点：eBPF和BPFSpan穿插在OTelSpan之间，让追踪无盲点，满满的协作感♥♥GG♥PS全球运维大会2022·深圳站业务开发团队网格运维团队容器运维团队云运维团队eBPF+OpenTelemetry：无盲点的分布式追踪业务开发团队网格运维团队容器运维团队云运维团队2.全栈：支持追踪同K8sNode上两个Pod之间的网络路径栈：支持追踪跨K8sNode上两个Pod之间的网络路径，即使有隧道4.全链路：对OTel无插码的服务(loadgenerator，C)，通过eBPF自动追踪补齐5.全链路：对OTel无法插码的服务(MySQL，autocommit)，通过eBPF自动追踪补齐pflowyunshannetdocszhagentintegrationtracingopentelemetryGGOPS全球运维大会2022·深圳站“预警雷达”“预警雷达”GGOPS全球运维大会2022·深圳站/04赋能NewOpsDeepFlow作为NewOps打造可观测性产品的基石系统后端应用前端应用eBPFOTelOTel成告警 IP进程EndpointEndpoint功能追踪：调用链追踪(Request-scoped)应用EndpointEndpointFunctionAction基于开源DeepFlow建设全栈全链路可观测性服务系统后端应用前端应用eBPFOTelOTel成告警 IP进程EndpointEndpoint功能追踪：调用链追踪(Request-scoped)应用EndpointEndpointFunctionAction服务开放服务开放原始流量输出数据输出追踪数据展现指标数据展