大模型在日志运维场景的应用实践

分享主题大模型在日志运维场景的应用实践饶琛琳日志易产品副总裁实践运用大模型的路径实践运用大模型的路径产品设计“扬长避短”大模型在金融企业应用案例效果：故障排查时间缩短40%大模型在日志场景的应用方向谷歌Sec-PaLM的日志概要效果谷歌Sec-PaLM的日志概要效果资源消耗估算场景看起来很美好，但实际部署时存在一定成本压力。我们进行了一些简单的资源估算:•场景看起来很美好，但实际部署时存在一定成本压力。我们进行了一些简单的资源估算:•1000条SSH日志大概包含5-6万个tokens。对于这个长度，L•按ChatGLM规模预估,80G显存的单卡最多只能处•并行计算时，8块80G卡也只能同时处理约1600行。结论:产品设计“扬长避短”Text2SPL场景介绍/背景据集有：数据、执行效率。目前ChatGPT评分为通用大模型的表现(1)：GPT对比T5的飞跃searchsourcetype="a就这一条是不能直接用的。两次追加提示后改对：searchsourcetype="asearchsourcetype="asearchsourcetype="aEQ\*jc3\*hps19\o\al(\s\up5(statsva),rename)EQ\*jc3\*hps19\o\al(\s\up5(ic),ct)EQ\*jc3\*hps19\o\al(\s\up5(ro),as)EQ\*jc3\*hps19\o\al(\s\up5(uctNam),Product)两次追加提示后改的更高效，并且能记住：EQ\*jc3\*hps19\o\al(\s\up4(statsva),rename)EQ\*jc3\*hps19\o\al(\s\up4(ic),ct)EQ\*jc3\*hps19\o\al(\s\up4(e),N)EQ\*jc3\*hps19\o\al(\s\up4(s),m)EQ\*jc3\*hps19\o\al(\s\up4(P),e)EQ\*jc3\*hps19\o\al(\s\up4(c),s)EQ\*jc3\*hps19\o\al(\s\up4(b),P)EQ\*jc3\*hps19\o\al(\s\up4(ypr),rodu)EQ\*jc3\*hps19\o\al(\s\up4(o),c)EQ\*jc3\*hps19\o\al(\s\up4(d),t)EQ\*jc3\*hps19\o\al(\s\up4(uctN),Nam)EQ\*jc3\*hps19\o\al(\s\up4(a),e)通用大模型的表现(2)：提示工程不是万能的训练数据筹备(1)：内外网数据搜集n指令说明文档nn指令说明文档n手动编写，含多轮对话训练数据筹备(2)：问答类数据增强n添加prompt声明圈定问答范围：ActasaSplunkExpertn然后人工复核，调整数据。训练数据筹备(3)：丰富提问方式n通过A/B角色扮演，让starcoder说出对应SPL语句的提n效果一般，清洗后去掉了三分之二的数据。训练数据筹备(4)：加入其他产品知识n来自北交大transGPT交通大模型的模型的评估与迭代•尝试不同基础模型的效果：•baichuan2的loss长期不收敛•尝试不同数据配比的效果：•尝试构建除文本匹配以外的验证方案：•引入SPLparserAPI语法校验•对比索引实际响应内容•有趣的是：和Splunk得到了相似的结论。扬长避短的产品设计案例背景ChatSPL效果ChatSPL客户收益•在“争分夺秒”的故障定位过程中，相比复杂的向量数据库召回方案，ChatSPL场景设计简单•在“争分夺秒”的故障定位过程中，相比复杂的向量数据库召回方案，ChatSPL场景设计简单•业务线运维均可通过ChatSPL进行关键字查询、分组统计、趋势分析，极大的解放了维护平台未来展望