企业IT服务治理实践

1、企业IT服务治理实践技术创新，变革未来主要内部一、为什么需要服务治理二、58到家服务治理实践 三、小结WHY为什么需要服务治理早期 - 到家技术架构代码重复率高，可维护性差，开发、测试、部署成本高 系统可伸缩性差、可靠性差需求变更困难，无法敏捷交付家政家政收银台家政订单数据库集群其他丽人丽人 收银台丽人 订单其他速运速运 收银台速运 订单其他三方平台三方 收银台三方 订单其他服务化 + 立体化监控家政丽人速运平台用户登录商家CRM评价支付交易收银台会员卡短信短网址消息平台图片服务. . . . . .MCRedisMySQLHDFS整体架构监控接口监控异常关键字监控JVMHttp机器状况应 用

2、 层服 务 层数 据 层CacheDB服务化 + 立体化监控 + 服务治理家政丽人速运平台用户登录商家CRM评价支付交易收银台会员卡短信短网址消息平台图片服务. . . . . .MCRedisMySQLHDFS整体架构监控接口监控异常关键字监控JVM调用跟踪服务治理Http服务发布&订阅集群容错&路由流控 & 流控告警服务依赖机器状况应 用 层服 务 层数 据 层CacheDB资源数调控(DB连接&线程)到家实践到家服务治理实践到家实践 - 服务发布&订阅发布 & 订阅 机制服务增、删节点，对服务消费方透明； 方便做分组管理和安全策略；服务健康状况监测TCP长连接、心跳监测；高可用注册中心H

3、A；Consumer本地配置3 notify2 subscribe1 registerRegistry ClusterConsumerProvider4 invokeLocal provider config到家实践 - 服务集群路由&容错路由常见路由方式：随机、轮询、基于权重、基于负载； 路由策略配置：IP地址段、方法名匹配、服务分组； 路由策略扩展：提供路由策略接口，满足个性化路由；容错故障转移(幂等服务) 失败缓存失败通知 快速失败服务无状态、 重试、 超时时延到家实践 - 流量控制 & 流量告警流量控制 保命流控阈值80%使用率提前告警； 自动扩容或手动快速扩容；流控阈值在线调整，实时

4、生效；流量告警 阈值告警； 波动告警；到家实践 数据库连接控制最小(min)、最大(max)连接数 dbConnectionDbConnectionPool建立连接DBServerminmax最大并发连接数(Max_ConcurrentConnection_Count)建立连接建立连接ApplicationgetDbConnection()releaseDbConnection()public DbConnection getDbConnection()if(concurrentConnectionCount.get() Max_ConcurrentConnection_Count)throw

5、 new SQLException( 并发同时创建的链接数据超过 + Max_ConcurrentConnection_Count);concurrentConnectionCount.incrementAndGet(); ConnectionWrapper connection = null;try / connection = createConnection();/ catch (SQLException e) throw e; finally concurrentConnectionCount.decrementAndGet();return connection ;到家实践 工作线程

6、数控制线程模型工作线程组 n；每个线程组独享一个工作队列； 线程组内工作线程数 m；细化锁粒度，提高并发； AsyncWorkerThreadGroup0BlockingQueue获取任务，放入ThreadPool AsyncWorkerGroup1BlockingQueue获取任务，放入ThreadPool AsyncWorkerThreadGroupnBlockingQueueWorkThreads获取任务，放入ThreadPoolthread-0thread-1 thread-mthread-0 thread-1 thread-mthread0thread1 thread-mAsyncW

7、orkerThreadGroup WorkThreadsWorkThreadsweb框架service框架cache客户端Db-tool日志收集平台日志组件日志组件日志组件日志组件调用信息traceid, spanId,IP地址,系统类型, URL或接口,执行耗时.调用信息调用信息息调用信kafkaHDSFES调用链Web后台到家实践 - 调用跟踪系统基于日志的分布式调用跟踪系统到家实践 - 调用跟踪系统效果图：到家实践 - 调用跟踪系统相关技术点1、全局唯一的traceid将单次请求调用链串联；2、spanId描述调用层级关系；3、traceid、spanId的透传；4、数据采集：全量 或

8、采样机器2机器Iweb-applicationtraceid: unique_id spanId: 0 serviceAProxyspanId: 0.1 serviceBProxyspanId: 0.2 serviceCProxyspanId: 0.3 ServiceAtraceid: unique_id spanId: 0.1.1traceid:unique_id spanId: 0.1Cache-Clienttraceid: unique_id spanId: DB-tool访问表1 traceid: unique_id spanId: DB-tool访问表2traceid: unique_id spanId: CacheDB到家实践 - 服务依赖service1service2Service3Memcache1MySQLdb_xyz避免框架腐蚀： 循环依赖依赖链过长redis1redis2小结WHY服务化+服务治理H