千亿级日志采集传输服务技术实践

1、技术创新，变革未来千亿级日志采集传输服务技术实践网易数据传输体系1.0 基于flume的日志采集方案2.0 完全自研的日志采集方案ng 自研+开源结合的日志采集方案离线端到端数据传NDI实时同步数据库NDC日志采集和归档DS业务特点&内部情况数据量大数据链路长数量波动大业务用户自 有日志组件业务自建 维护Kafka整体架构总体设计目标支持海量的日志采集，低延迟高吞吐高可用高可运维底成本数据链路任意节点异常无感知监控报警完善、平台产品化、用 户自助服务器成本、网络带宽、存储成 本低整体设计原则便于监控运维，节约资 源。反压数据流反压机制，无孤 点、断点。风险规避，如果不能处 理则触发上游重试，确

2、 保数据不丢。版本管理，不同版本灵 活兼容。协议数据流在各个节点的处 理必须高效简洁。管理控制信息 + 实际 数据信息。流转只解析 修改管理控制部分。容错感知下游的变化，包括 节点的扩容和异常失效， 要能自适应的保证高可 用。整体设计原则-反压基于信用的流量控制（credit-based flow control）核心原则保证每个传输单元就能保证整体传输整体At Least Once关键逻辑ACK：传输单元的目端发送给源端，表示序列P 之前的消息都被可靠的接收了（持久化&被下游 可靠的接收）Checkpoint：源端用来记录最近的从目的端收到 ACK的序号当目的端发生异常，无法正常返回ACK的

3、时候， 源端不会更新Checkpoint，并尝试重传当源端发生异常恢复的时候，可以从持久化中恢 复Checkpoint，也可以从上游收到消息中恢复 Checkpoint整体设计原则-协议管控信息 + 数据信息数据信息只进行传输流转，不进行解析， Agent采集的时候就确定并且固定管控信息协助监控，具体节点&到达时间戳版本管理版本兼容，通用协议头快速确定有效信息版本升级，高版本组件升级信息版本便于抽样，特定版本不做后续处理解析原则避免整体解析，不能过于灵活比如JSON增加信息方便差值压缩优化等Agent反压正确识别应该采集 的文件文件身份低资源占用率资源控制数据安全传输Agent的设计-反压反压

4、ACK：来自Router的ACK关联 日志文件采集PositionCheckpoint：FileID-ACK，保 存在本地文件，定期dump文件IDFileId:设备号 + Inode + 文件 行首md5（前8位）定期兜底check，冲突检测故障恢复Agent的设计-资源控制CPU区分快、慢、不活跃任务，慢任 务异步唤醒控制业务线程内存内存预分配动态回收调整磁盘IO限流Agent的设计-资源控制采集、发送线程数可配置buffer自动扩缩容credit-based flow control采集限流阻塞逻辑信道分离Router反压优化链路选择 避免相互影响高吞吐整体的链路实时性负载均衡数据安全传

5、输Router设计-反压ACK：计算出当前最大的安全位置P， 确保P之前的消息都收到Kafka的ACK， P作为Agent的ACKCheckpoint:从自Agent的Msg中获取本地不存储消息，故障恢复直接拉起即 可，Router实现无状态化位点索引基于BitMap等减少内存开销Router设计-链路选择调用去阻塞分区选择策略分区容错分区标签分类缓存统计反压Router设计-负载均衡Client迁移Router迁移Router重定向统一监控采集Sink反压多层级的容错高可用合理shuffle压缩低层本数据安全传输Sink设计-反压基于Flink反压：ACK：HDSF FlushCheckPo

6、int:Kafka Source + File List故障类型：HDFS File不可写目标HDFS故障CPK文件失效Flink Yarn故障Sink设计-高可用目标端HDFS故障切换Sink目的端到备HDFS集群重启Sink任务，基于CPK初始化 Kafka Source源HDFS恢复以后，重启Sink任务 切回源HDFS从备HDFS集群copy故障期间归档 的文件到源HDFSFlink Yarn故障迁移CPK到新Flink YarnDistcp迁移CPK文件定期dump Source Offset启动Sink恢复tmp目录下文件到线上目录低层本-存储Kafka分区数据分布实时和离线归档对

7、数据离散 性要求不同优先保障实时场景分区轮询保障分区均衡基于日志特点进行shuffle用户行为，基于上传服务Nginx，基于upstream ip压缩效果平均6：1低层本-存储去中心化的hash避免再依赖其他服务，增加系统 复杂度每个并行度最终一致Partition数据分布轮询：所有host数据Hash：固定host数据Source算子维护独立路由表轮询：hostname Sort 映射具 体sink bucket达到最终一致Hash：基于制定Hash算法映 射sink bucket低层本-网络Agent-Router，无压缩流量，要避免跨 机房Router-Kakfa，如果开启了流量压缩，

8、压缩比高可以跨集群Kafka-HDFS，压缩比高，可以跨机房避免无压缩跨集群流量，最好做到整体 单元内必要的情况下建议用户迁移Kafka低层本-计算资源小任务，统一 session cluster，提高资 源利用率大流量任务，基于实时计算平台，动态 并行度调整一般性任务，和离线集群混合部署，利 用错峰定期扫描任务流量进行整理高可运维-用户自助关联CMDB，自动拉去机器节点状态， 用户自助选择安装agent关联部署环境，k8s&NDP，自动同步 应用服务节点信息，减少操作链路和错 误根据机房节点拓扑，自动分析推荐数据 链路，尽量避免跨机房用户自助选择kafka、配置参数、归档 路径一目了然的报错信息多维度的自定义报警机制高可运维-用户自助高可运维-用户自助-Agent健康检查高可运维-多维度监控基于NTSDB，高性能时序数据库。组件单独上报metric。关联周边监控系统协同定位，数据 链路各个环节关联分析。支持按任务，机器维度查看实时与 历史的采集速率，采集堆积，分流 延迟。支持按任务，时间维度查看日志数 据采集条数，采集大小。重点任务关键节点监控。对比历史数据监控报警。高可运维-多维度监控Agent监 控宿主机监 控Router监 控交换机监 控Kafka监 控Hdfs监控Agent堆 积限流上线采集延迟磁盘IO/ 网卡流量上传延迟GC/lo