面向智算服务构建下一代可观测Pipeline

01云原生智算服务关键技术 02智算服务可观测需求与挑战智算服务可观测Pipeline智算服务可观测Pipeline技术实践 03下一代可观测Pipeline 05未来展望•AI在计算机视觉、语音、•AI在计算机视觉、语音、NLP等领域取得突破，已深入影响各行各业，并催生出了自动驾驶等领域。•AI服务上云形成趋势，深度学习/AIGC应用广泛采用容器等云原生技术。深度学习的特点深度学习的特点•持续迭代优化–梯度下降,超参数调优,Prompt工程•任务长时运行–小时/天/周/月•消耗海量数据和大量算力AI工程中的计算需求常常具有高度的动态性，如模型训练和推理AI工程通常涉及多个团队，不同任务需要独立的资源隔离，避免环境一致性海量小文件数据集读取•资源管理分散•资源管理分散、资源利开发模型训练模型发布模型AI工程平台GPU池存储池到2025年，接近50%的企业内部的数据密集型或性能密集型计算工作负载都将迁移到云云原生AI云原生AIAI异构工作负载TensorflowPytorchTensorflowPytorchDeepspeedHuggingfaceLangchain统一工作流，统一工作流，统一调度统一管理统一管理模型训练可观测人工智能平台PAI（PaaS）模型推理可观测模型训练可观测人工智能平台PAI（PaaS）模型推理可观测容器服务ACK（CaaS）智算服务PAI-灵骏（IaaS）生态扩展、集成工具链、APIAI作业生命周期管理高性能计算、存储、网络容器平台云计算、存储、网络等资源异构,数据丰富度与时效性要求高。可观测数据异构:不同的模型的观测计算、存储、网络等资源异构,数据丰富度与时效性要求高。可观测数据异构:不同的模型的观测•可观测数据采集的隔离性•全面的数据采集能力、灵活的数据处理弹性:工作负载增删频繁、生命周期不确定、流量突发大据大,扩容速度10kpod/min源变动等,需要弹性保证训练连续性化实现扩缩容集群规模大•分布式训练多个节点协同工作,可观测数据一致性•跨地域/多集群的稳定性与可管控性•强大的弹性能力•性能好、资源开销低、稳定可靠•支持多租•管控能力强，易用LoongCollectorLoongCollector是一款集卓越性能 iLogtail 服务发现LoongcollectorTelemetry一个轻量、高效、稳定、可靠的架构，能够实现高吞吐量，Agent采集速率参数：logs-per-15Vector4488645iLogtailiLogtail在采集速率上优势明显。”——《性能与可靠的超强碰撞！第三方测评基于时间片调度ZeroCopy：减少内存拷贝Schema固定(where/extend)Schema-free处理Schema固定(where/extend)Schema-free处理(project-away/keep)Schema-free处理(parsejson/csv/regex)TaskTaskTaskTaskTask开放的管控协议百万级机器管控、灵活分组及采集配置分发支持采集配置、进程配置、自定义命令开放的管控协议百万级机器管控、灵活分组及采集配置分发支持采集配置、进程配置、自定义命令商业版管控（百万级机器管控，企业级稳定性）开源版管控服务（完全开源，可自由扩展）托管版管控服务（免运维，敬请期待）任何遵守开源管控协议v2的自有实现管控IP型机器组IP型机器组标识型机器组（相同user_defined_id）增强型机器组（基于ECS属性，即将支持）言法SPL处理/编排VRL力现无无无力强中中后续通过eBPF能力持续中强中低中列t机制.列型GPUGPUGPUGPUGPUGPURoCERDMA网络并行文件存储并行文件存储CPFS云产品用户Target1Target2Target3…云产品用户Target1Target2Target3…Worker管理、服务发现、负载均衡、水平扩容、平滑升级采集目标TargetN•MetricsServer云产品工程师容器GPU容器GPU监控能力GPU坏卡状态检测多集多卡AIGPU坏卡状态检测多集多卡AI训练，存储时延增加导致GPU等待高性能计算，重负载情况下时延增加，毛刺增多高性能计算，重负载情况下时延增加，毛刺增多K8s每个Node部署一个日志Agent。负责采集当前Node所有容器标准输出、文件日志或宿主机文件。一个POD中运行一个Sidecar仅采集该POD内业务容器产生的文件日志。Logging-E.g.Ingress Logging-AuditLogging–ApplicationLogsLaongLaongcollector样例通过字节流解析应用层协议，屏蔽了编程语言和编程框架的影响，大幅减少开发的复杂度。集群网络拓扑-连通性诊断Thread1Thread1……Thread1Thread1Thread1 ……Thread8…•LoongCollector单机极限性能•极简模式440M/s•多行切分模式400M/s•客户端•服务器资源•LoongCollector•LoongCollector整体状态