大模型在it运维场景的应用-脱敏

分享主题大模型在日志运维场景的应用实践饶琛琳

日志易产品副总裁02.实践运用大模型的路径构建高质量的训练数据模型的评估和迭代优化产品设计“扬长避短”03.大模型在金融企业应用案例背景：某金融企业大量业务日志难点：关键字复杂多变方案：实现知识库增强的自然语言查询效果：故障排查时间缩短40%01.大模型在日志场景的应用方向更快捷的分析海量日志更智能的解读和预测故障理想vs现实：估算资源目录

Contents01大模型在日志场景的应用方向

更快捷的分析海量日志

更智能的解读和预测故障

理想vs现实：估算资源谷歌Sec-PaLM的日志概要效果问题

1：窗口不会无限大，日志却无限多。问题2：对于长文本中部的内容，LLM不太敏感。日志问答方案(1)：超大窗口问题

1：运维知识理解的要求较高问题2：agent/functioncall能力要求较高日志问答方案(2)：AgentChain日志问答方案(3)：模式提问

+分段选择场景看起来很美好，但实际部署时存在一定成本压力。我们进行了一些简单的资源估算:•1000条SSH日志大概包含5-6万个tokens。对于这个长度，LLM推理速度较慢，需要10多秒。•使用最新的Yi-6b-200k模型测试，24GB显存仅能处理约3ktokens，相当于50行日志。•按ChatGLM规模预估,80G显存的单卡最多只能处理200行SSH日志。•并行计算时，8块80G卡也只能同时处理约1600行。结论:•直接进行日志问答，在理论上可行，但算力需求巨大。•该方案实际成本过高，目前的硬件条件难以支撑实际应用。•

生成和调用现有分析工具相对更现实。资源消耗估算

02实践运用大模型的路径

构建高质量的训练数据

模型的评估和迭代优化

产品设计“扬长避短”•Text

to

SQL任务是

NLP

领域的经典课题之一。常见的数

据集有：•WikiSQL，维基百科数据集主要是单表查询

，语句比较简单。•

Spider

，数据集包含join等多表和嵌套，语句比较复杂。在seq2seq之前，模板技术一般评分20+；bert/T5之前，一般评分60+；ChatGPT将评分提升

到

85+。•CoSQL

，在

Spider

的基础上添加了模糊语义多轮对话。目前评分在

50+。•

BIRD

：新一代数据集，不光考虑表结构，还要考虑脏数据、执行效率。目前ChatGPT评分为40。•SPL对比SQL的差异：没有预知的tableschema。要自行判断

prompt里哪些名词疑似字段名。•无法直接套用

ChatGPT，SPL

目前只是概念通用，语法层无标准

：•日志易SPL语法和splunk/kusto/esql/ppl/humio有差别。•日志易内置字段也和CIM/ECS有差别。Text2SPL场景介绍/背景自然语言提问splunk-google-t5ChatGPTsearchforthetermserror,failfailure,

failed,

or

severeintheeventsthatalso

mention

buttercupgamesindex=_internalfail*

not

[search

index=_internal

error,fail*errorsearch

(errorORfailORfailure

ORfailed

OR

severe)

AND

buttercupgamessearchthesourcetypefieldforanyvalues

that

beginwithaccess_,status200,and

action

"purchase".

use

thechartcommandtocountthe

number

of

purchases.thesearchspecifiesthe

purchases

madeforeach

productby

usingcategoryId.Thedifferenceisthat

the

count

ofpurchases

is

nowanargumentofthe

sparkline()function.index=access_*status=200action=purchase

|chart

count(price)就这一条是可以直接运行的，还和期望输出有差距searchsourcetype="access_*"status=200a|

(

i

"n)

by

categoryId|eval

purchases=sparkline(count)就这一条是不能直接用的。两次追加提示后改对：searchsourcetype="access_*"status=200a|

cli

s(

unt(action))

by

categoryIdsearchthesourcetypefieldforanyvalues

that

beginwithaccess_,geteventswith

status

200,

and

action"purchase".thencomputethe

mostcommoncategoryIdvalues.sourcetype=access_*status=200actionpurchase

|top

categoryIdsearchsourcetype="access_*"status=200a|

I

se"searchthesourcetypefieldforanyvalues

that

beginwithaccess_,geteventswith

status

200,

and

action"purchase".thencomputetheone

mostcommonclientip.sourcetype=access_*status=200actionpurchase

|top

clientipsearchsourcetype="access_*"status=200a|

=c"lpi

i

ase"searchthesourcetypefieldforanyvalues

that

beginwithaccess_,theget

priceas

"Price"

by

productName,

then

rename

productNamecolumnas

"Product

Name"sourcetype=access_.

|statsvalues(price)as

price

by

productName

|s|

lhP

i

e="access_*"|

l

a

ep

eName"两次追加提示后改的更高效，并且能记住：

|

l

eeseaNamuctNtdcoduprscsePccmsacticpdu(prtyoscrerpuuetarseProductuctNamasrocticproduues(Prrenamestatsvaeppricetyceoursvaarceephenturcpotcyhegorpurcp

caon=tccoe"eapark"purartonccoectastcoun"purartoncc通用大模型的表现(1)：GPT对比T5的飞跃问题

1：基础模型较差时，复杂逻辑完全无法处理问题2：模型的预训练知识在细节处有严重干扰通用大模型的表现(2)

：提示工程不是万能的原始数据来源n指令说明文档n手动编写，含多轮对话n

内部应用配置：图表标题及SPL语句n

github上公开的常用日志关键字n

github上公开的es/splunk/kusto安全分析规则训练数据筹备(1)

：内外网数据搜集ChatGPT自生成n

alpaca式的self_instruct方案：通过GPT-3.5接口，自动生成部分微调数据。n添加prompt声明圈定问答范围：ActasaSplunk

Experttowrite

SPL。n然后人工复核，调整数据。训练数据筹备(2)

：问答类数据增强StarChat角色扮演n

starcoder是开源LLM

中编码能力最强的。实验发现他甚至能给出具体的splunk文档url。n通过

A/B角色扮演，让starcoder说出对应SPL语句的提问。n效果一般，清洗后去掉了三分之二的数据。训练数据筹备(3)

：丰富提问方式文档自问答n利用pandoc工具将word文档转为markdown纯文本。n来自北交大

transGPT

交通大模型的LLMforDialogDataGenerate方法，基于文本生成问答。训练数据筹备(4)

：加入其他产品知识•尝试不同基础模型的效果：•baichuan2的

loss

长期不收敛•尝试不同数据配比的效果：•

1:2

>

1:5

>

1:1•尝试构建除文本匹配以外的验证方案：•引入SPLparser

API

语法校验•

对比索引实际响应内容•有趣的是：

和

Splunk得到了相似的结论。模型的评估与迭代扬长避短的产品设计

•浏览器插件形式：兼容全部主产品版本、独立迭代•锚定搜索页：获取数据集、字段列表等即时知识•敏感数据拦截：注重数据安全，避免个人隐私外发03

背景：金融企业大量业务日志

难点：关键字复杂多变

方案：实现知识库增强的自然语言查询

效果：故障排查时间缩短40%大模型在金融企业应用案例案例背景