高效可控的数据库技术架构

1、技术创新，变革未来高效可控的数据库技术架构PART ONE背景介绍存在的问题待做的事情线程堆栈CPUGC01没权限02排查类目多03问题现场难记录排 查 问 题 效 率 低01统计灵活但复杂02统计延时长03存储压力大日 志 系 统 不 足01时间紧任务重02AB测试效果难评估03趋势难判断业 务 统 计 需 求PART TWO技术选型选型标准先天基因开源 or 闭源 项目维护度 维护团队代码质量未来前景发展的方向或趋势 长期支持适用场景是否多样化契合度功能 团队掌握能力优缺点后天成长社区成熟度 周边生态graphiteinfluxdb官方330K指标/秒， 实测(非ssd)可达到 300K/

2、秒写入稳定， 简单查询较快类SQL查询，上手快官方300k 指标/秒, 实测未达到预期写入队列积压，双写出现数据丢失，查询出现假死情况类关系数据库， 分区tag和field支持多种数据类型， int、float、bool、 string时间精度为纳秒key-value, 仅支持float 时间精度为秒 存储成本为influxdb10倍左右influxdbgraphiteinfluxdbgraphite原生支持，但是扩容繁琐且 成本较高商业版支持集群开源版本需自行 寻找解决方案graphiteinfluxdbtelegraf:采集代理, chronograf:界面组件 Kapacitor:告警组

3、件statsd:统计分析组件 graphite-web:界面 组件ONEstatsd作为重要采集数据的工 具如何兼容？TWOstatsd作为服务端聚合工具，如何分发？THREE如何实现复制、分片及扩缩容？FOUR采集客户端性能、稳定性、高可用如何保证？待 解 决 问 题精准统计，set大数据量情况下资 源消耗较大除支持statsd外还支持多种输入 输出协议兼容influxdb且支持duplicate和s hardingset类型针对大数据量情况进行了 HyperLogLog算法优化，资源占 用优势明显支持多种输出（例如：graphite、influxdb、openTSDB等， 不支 持indl

4、uxdb的多tag、field特性支持duplicate不支持sharding支持分发，仅支持udp方式转 发支持udp和tcp，使用一致哈希将惟一的指标发送到相同的 telegraf实例，确保聚合的正 确性支持分发支持udp和http支持写入功能，不支持查询代理支持http支持写和查询代理功能influxdb支持多写及表级别的分片支持失败重试、批量提交无tcp采集客户端支持协议单一协议转化数据采集设计复杂，自研成本高、自研+第三方结合难度大PART THREE部署架构client数据协议influxdb数据协议statsd数据协议graphite采集采集服务端statsrelay采集服务端t

5、elegraf服务注册发现注册中心consul配置模板consul-template分发influx-proxy双写influxdb存储influxdb第一阶段 原始状态双写读写配置相同第二阶段 过渡阶段A全量写，B按分片规则写读节点配置不变A/B分片，A-1/A-2、 B-1/B-2复制读写节点配置同步第三阶段 扩容完成PART FOUR业务应用快速总览文件打开数，CPU，load， GC，QPSJVM线程数、内存占用、GC情 况、类加载Datasource最大/小连接数、活动连接数&其他自定义指标请求情况服务器、状态码、URL维 度请求量及耗时Tomcat线程数、请求量、接收发送数 据Sentinel熔断状态、线程数、延迟、错 误数Grafana同环比插件：/AutohomeCorp/