计算密集型应用以ServiceMesh为支点解决分布式问题的探索与实践-京东集团+王志龙

计算密集型应用以ServiceMesh为支点解决分布式问题的探索与实践京东集团架构师/王志龙10年+互联网一线研发及架构经验，KubernetesContributor,LayottoWasmMaintainer,专注云原生领域，擅长性能极限优化。云平台从0到1云平台从0到1建设，阿里ServerlessC++和Golang目前工作于京东集团搜索与推荐部，负责京东搜推微服落地挑战和方案选型业务赋能探索&实践InfoQ极客传媒一、Mesh溯源及背景介绍起源于Buoyant内部分享，从落地到概念专门的一层基础设施；负责可靠传输；轻量的网络代理；对应用程序透明2016.01.15初次发布2016.09.29概念诞生ServiceMesh一脉相承服务网格理念的提出典型形式——Sidecar部署nfoQ极客传媒从微信Svrkit框架与业务分离方案，回看Mesh的意义栏目细分方案1业务(so)方案2业务(bin)方案3框架，业务一起编译方案4业务(bin)方案5框架(bin+支持插件)+业务(bin)方案6务(bin+多方案7务bin方案八框架bin容器+多bin目标消除框架侵入√√√厂√√√消除代码浸入厂厂√√√厂√可观察性中中中高高高高高可测试性中中中高高高高高可扩展性中中中较高高很高很高很高分离度中中低较高高很高很高很高业务代码修改量低低不需要低低低低低运维修改量较高较高低中中高高高基础模块梳理量高高中高高高高高框架开发量中中低较高高高高高与框架发展契合度低低低高高高高高潜在风险So符号未定义和符号冲突符号冲突--So符号未定义和符号冲突54321xDSxDSxDSAA66ClusterListener77filterchainsfilterchainsenvoy.echohttpfiltersClusterListener88ServiceAService321xDSAClusterfilterchainsFiters:ListenerPort:15001ServiceAxDSPort:15006Listenerfilterchainsenvoy.echoClusterServiceB456nfoQ极客传媒如今的ServiceMesh百家争鸣，百花齐放GlooMeshConsulConsulgreymatter.io:SermantCONTOURZuulGIMBALOpenELBMesh-—协调微服务能力和分布式压力的一个支点跨部门跨语言联动解决系统性能问题搜推广等计算密集型应用特点及落地挑战地区A地区B地区C数据数据量大机房B(k8s集群2)机房C(k8s集群3)搜推专区zone复杂性高namespce1namespce1物理机namespce1namespce1128核机器96核机器namespce2namespce2namespce3技术选型Proxy性能损耗vsProxyless业务耦合-—Proxy无损耗?!sidecarsidecarapp1app1app1app1app1MOSNMOSN多协议框架快速落地，中长期使用MoE研发效能高StreamfilterX-protocolMetricsAdminServiceA口ServiceBServiceBServiceAControlPlaneControlPlane多形态数据面&多数据面+多控制面架构数据面containercontainercontainerSvcSvcMosnMosnMosnbrpc/grpccr/apiMosn控制面集群jsf/ttpcontainercontainercontainercontainercontainercontainercontainercontainerJSFServiceJSFServicejsf异构控制面jsfMosnMoEjsf/httpMosnMoEnfoQ极客传媒业务赋能探索&实践跨语言、多协议去中心化网关HTTP网关下沉到数据面=>私有协议RPC调用TP99降低50%,抖动明显好转，可用率提高一个数量级HinCatawHttpGatewayjsf05/2405/2705/3006/0206/AVo:72.38%AVo:72.38%TP75:75.08%复合多策略负载均衡——加权&本地耗时感知&远端负载感知可根据业务需要设置CPU保护水位，打开远端负载感知常规流量CPUTP7563%=>60%,TP99降8mstimecostpartion23TO总总T2T3TnTimequeuesize=nSelectCPUUsageTP⁷5(1mavg)QPS*WEIGHTSCALE/latency^pAddRemove67%应对突发大流量与业务内嵌限流的关键指标对比对比项业务内嵌MOSN差值生效速度-36%限流CPU-2.5%限流可用率T≈QPS*Avg(RT)CPU/QPS动态限流应对常规流量，可用率更高，TP99更低2.0s测试环境治理——单模块Mock测试劳永逸；目前测试提效20%+控制面数据面控制面数据面流量分组——以Debug流量为例路由动态别名，实例按需分组，赋能异常流量测试，跨集群流量调度，动态扩分片，全流量实验接口1:CreateServiceEndpoint:接口2:DeleteServiceEndpoint:接口3:GetServiceEndpoint:debug请求com.jd.search.Searcher.Mosncom.jd.search.Searcher.Mosn基于eBPF的旁路无侵入观测零侵入，跨语言，高扩展，低损耗-—有效快速解决跨语言异构系统、多模块的问题紧急排查和定位数据面brpc/grpc/httpbrpc/grpc/httpcontainerbrpc/grpc/httpcontainerbrpc/grpc/httpcontainerbrpc/grpc/httpjsf/httpjsf/httpcontainercontainerServicesidecarproxystatisticsPrometheusJaeger—load—load-async/readmapsInfoQ极客传媒SecretSecretjimdb/Redis.APP-BMSclientsendOS-KernelRuntimeSDKSocketsdevicedriverAvg-Latency:431,90th-Latency:437,99th-Latency:443,99.9th-Latency:446,Throughput:1942.76MB/s,QPS:1.98938k,ServerCPU-Avg-Latency:632thLatencyth1459.37MB/s,QPSServerCPUThroughput:2040.34MB/s,QPSAvg-Latency:189thLatencythLatency:235thLatencyutlization:26%Throughput:2188.17MB/s,QPSThroughput:1830.62MB/s,QPS:0Avg-Latency:6127,9thLatencythServerCPU-utilization:86%,ClientCPU-群Istio群X3xurbernetesk8scluster1Xurbem