通义大模型加持的对话型数据分析ChatBI

阿里云百炼·析言GBI对话型数据分析Dr.

罗智凌目录背景对话型数据分析困难与挑战Key

idea析言GBI解决方案架构流程多代理关键技术攻关关键技术问题XiyanSQL实验结果最佳实践样例进一步思考a2m.msup背景-对话型数据分析昨天的营收是多少？昨天营收6000元产品名日期销量营收XXX2024/5/92004000XXX2024/5/102104200XXX2024/5/111803900XXX2024/5/122304300XXX2024/5/133006000本月的日营收的趋势如何从本月初至今的日营收如下图650060005500500045004000350030002024

/5/92024

/5/120024

/5/121024

/5/122024

/5/1

32024

/5/92024

/5/102024

/5/112024

/5/122024

/5/13营收40004200390043006000业务/销售/管理部门数仓/BI团队数据仓库/数据库a2m.msupLLMChatBI对话型数据分析ChatBI解决取数/计算/分析需求交互友好

vs

复杂撰写SQL/需求文档自动化

vs重人工介入背景-对话型数据分析中国某著名企业GPT

BI交互友好自动化a2m.msup背景-困难和挑战变化快一线业务变化快数据分析及时性要求高要求高数据分析门槛高业务人员上手难资源紧BI分析师资源有限排期开发滞后成本高定制报表成本高局限性大a2m.msup痛苦+浪费背景-关键idea企业人员管理者运营/分析师一线业务员自然语言对话式交互析言GBI智能语义理解智能体任务编排数据查询NL2SQL智能总结图表绘制分析结果端侧返回析言GBI：问答式交互，助力数据分析全链路智能化升级a2m.msup析言GBI解决方案a2m.msup析言GBI-产品架构曘扥Ἢ䜗䅕⼌⒉㜓冖㗒∲㜓冖悢夁422972⏮夁暇䯭僭夁㡾屻㜓冖佱➗⊟㠩ピ佬’☳副␍ᾔ⌺婝⊫㜓冖Ῥ㘉㐇⊟㠩㜓冖Ῥ㘉㐇㡾屻㜓冖Ῥ㘉㐇夁悢⑯㜓冖Ῥ㘉㐇⒈婟⎯㜓冖Ῥ㥙䶻⤷⿓⹾∐㘉㐇㡾屻⹾∐ẳ⌺'6/⹾∐ὼ䢚婼扣✁㟬副⃅副␍曘扥Ἢ'*(㟅⟉3_972佬㠝⎯㘉㐇曘扥Ἢ6URGX*( 曘扥Ἢ.URUMXKY柷佬㠝⎯㘉㐇⒝䴔㘠㟅㘉㐇㛢㓠䀂䴓䕸〇ⶴ⿥╢a2m.msup析言GBI工作链路㘉㐇夁㵔䒟ⱖ夁⌹⹾ẳ⌺㘉㐇⼬9INKSGⲕ⇾Ậ㞢⒦屦婼扣⒥Ợ屦ⰳỢ㎠㢠尺䰰∅⾨䌒㰣ẳ⌺惔怪ẳ⌺㘉㐇Ậⱏ㛢㓠㸭䕸ᾌ␓䥗崸㣶ぬ䡾屟⒪扨⎯ᾅⷐ㮓⣽崟倵ҡⴌ⎨Ң㛢㓠核㣶ぬẳ⌺屆作束ẳ⌺屝㷤束❷㷚HGJIGYK㘉㐇⤷⼘㪺⠤ぇ岜㠩媙ⰳ⋏㪺⠤䡾屟㥙䶻⼬㠩媙SO^SO^ⰳ⋏ⰳ⋏夁⊰⃕Ả佀㘉㐇ⲕ⇾䰰㵮Ậⱏẳ⌺㘉㐇Ậⱏ䩔佘斗庈*()UTTKIZUX9KRKIZUX

'MKTZ

:KGS⪌惠⵫嵏䚚㎩杠樊屉た⯱⅁7]KT

()NGZ

'MKTZ慻姚

䥗崸╞⡐⒥Ợ屦⒅❷屉た㥙䶻⦳怇㗒∲⑦暇䀝㺞␓嬶⎄⪌惠㚫⌋杠樊ᾔ⌺㍟婼㯾欽婝⊫婝⊫岜㘍ᾚẳ⒦屦⒅❷夁⊰⃕Ả佀⒅❷Z[XHU

SO^ⰳ⋏ẳ⌺暇椱㗒∲ⰳ⋏䋡:[XHUẳ⌺椟⡸⒅❷⒥Ợ屦⒅❷ᾚẳ⒦屦⒅❷夁⊰⃕Ả佀⒅❷ẳ⌺暇椱㗒∲ⰳ⋏䋡:[XHU972

-KTKXGZUX

:KGSZ[XHU㛢㓠㥗嵔SO^ⰳ⋏972䖸㊩㢠≟䋡:[XHU972䖸㊩㢠≟䋡

3O^972欥屚972₇㯼972䖸㊩ⰳ⋏䋡:[XHU'TGR_`KX

'MKTZ:KGSẳ⌺川㘲㡾屻⒈婟⎯㌾夁䖸㊩⍸㤂偅㤎䚑㎂㛢㓠㥗嵔偅㤎

972傔屪972㌀壥⊟㠩佬㠵㳠ピ⷇䪬3[RZO

'MKTZ㌀壥⾮㕧⟁佘斗庈*(

)UTTKIZUX ẳ⌺㘉㐇⼬／嬶⎄┿櫺6RGTTKX┿杠

䃶㽷⦳佝⯩ᾔ⌺a2m.msup析言GBI解决方案-多代理模式数据问答维护对话记忆多轮改写消岐、反问澄清等QWen对话上下文数据库MemoryputingStorage指标计算公式同义词等业务逻辑行业术语等行业知识Schema枚举值等数据库元信息领域级别的召回问题级别的召回问题改写XiyanSelectorAgentChatAgent对话记忆领域、schema、枚举、evidence等任务记忆questionSQLGeneratorAgent

TeamSQLagentverifier

agentrefineragent SQLXiyanSQL方案优势：a2m.msup自然对话多轮交互领域+问题两阶段召回的问题改写，更懂行业和业务逻辑高精度的SQL生成+多agent校验模式，保障执行准确率chat

agent

负责对话selector

agent

负责根据业务逻辑关联数据库表格和改写SQL

Generator

Team

负责生成sqlSQL

agent

直接生成sqlverifier

agent

校验sql逻辑refiner

agent

校验sql语法析言GBI解决方案-算法方案数据分析拆解任务规划子任务QWen对话上下文writerAgentvisualizer

agentXiyanWriterAgent

Team数据库MemoryputingStorage公开的资料行业、企业资料文档资料InquiryAgent

TeamPlannerAgent对话记忆任务清单查询的数据任务记忆questionReportSelectorAgentSQLGenerator

TeamXiyanSQL方案优势：a2m.msup支持复杂任务自动拆解每个任务各自查询数据图表可视化并自动撰写报告planner

Agent负责规划Inquiry

Agentteam负责查询数据Selector

agentSQLgenerator

Team- writer

agentteam

负责构造报告visualizer

agent

负责画图writer

agent

负责撰写完整报告展示a2m.msup关键技术攻关-关键技术问题NL2SQL任务的关键技术挑战：【看不懂问题】question的分布挑战，过拟合的模型在question的泛化上表现不足。【看不懂业务】业务问题的理解挑战，业务问题会带有特有缩写，自定义公式，隐含默认说法等非标准的特点，导致模型无法理解这些逻辑。【看不懂业务表】业务表非标挑战。业务表不是标准表，往往包含中英混合、随意命名、枚举值不规范等问题，导致模型无法理解。产品名日期销量营收XXX2024/5/92004000XXX2024/5/102104200XXX2024/5/111803900XXX2024/5/122304300XXX2024/5/133006000SQLselect营收fromdbwhere

日期>2024/05/01;用户的question本月的日营收的趋势如何数据库结构schemaa2m.msup指标计算挑战a2m.msup业务中使用的问法标准NL2SQL的问法背后的逻辑通识级别的指标Model

S销量的月完成率Model

S销量的当月销量除以当月目标月完成率=当月实际值/当月目标值通识级别的指标Model

S销量4月环比Molde

S

4月销量-3月销量

,

除以3月销量环比=（本期数－上期数）/上期数客户级别的指标Model

S历史月STD月完成同比Model

S本月月末STD月累总和与去年本月月末STD月累总和的差值，除以去年本月月末STD月累总和历史月STD月完成同比=(当月月末的STD月累之和-当月月末的STD去年月累之和)/当月月末的STD去年月累之和客户级别的指标Model

S在2024年3月的整体库存系数Model

S在2024年3月的经销商库存与厂家库存之和，除以2024年AAK集团日目标总和整体库存系数=（当前经销商库存数+当前厂家库存量）/AAK集团日目标总和每个行业每个场景都有特有的指标，其计算口径并不通用。在没有指标的情况下，无法生成正确的SQL。可以分成几类通识级别指标：即普通人都大约可以理解的指标，比如同环比，完成率之类。这类指标大模型本身已经知晓无需额外辅助客户级别指标：在客户场景（比如财务，金融）的工作人员所熟悉，而普通人未必知晓。比如库存系数。这类指标大模型无法知晓，更无法计算。业务术语挑战a2m.msup业务中使用的问法标准NL2SQL的问法术语解释业务术语Model

S的长库龄车有多少？Model

S的库存中

库龄>6个月或库龄>180天的车的数量长库龄指的是

库龄>6个月或库龄>180天业务术语Model

S

4月AAKMolde

S

4月交付量AAK指Anlieferung

anKunden

交付给客户的数量：以车辆零售出库，建立车辆档案，视为交付客户在业务场景中使用时，会使用大量其公司常用的一些缩写，或者约定俗成的表述，比如“长库龄车”。这些概念的定义对于大模型难以准确知晓默认逻辑挑战a2m.msup客户在业务场景中带有一些默认的逻辑，包含三类：默认排序逻辑，即以何种顺序对输出结果排序，比如时间默认升序，销量默认降序。大模型在做查询时会保障查询的列正确，但并不会对齐默认排序逻辑，导致排序缺失（缺失orderby）特殊处理逻辑，由于客户公司的一些特殊原因，导致某些部门、物品并不计入某些口径，导致需要在查询条件中过滤掉一些默认不考虑的对象异常处理逻辑，有些SQL语法正确，但在DB查询中会报错，比如SQL查询会出现除法，如果分母为0，则需要做异常处理，需要知晓如何处理此异常情况具体默认逻辑影响面经销商的销量默认对销量降序排列需要增加order

by

sales特殊经销商展示逻辑提问“神州红旗”时，展示“吉林神州红旗”、某省市神州红旗”两个经销商的信息在对“神州红旗”计算销量等值时，查询条件需要只写“吉林神州红旗”、某省市神州红旗”订单完成率的分母=0或null如果分母为0或null，完成率值为-999在select时增加case

whenVerifierSQLgenerationSQL数据库连接error

info样例<question+schema+sql>样例库真实数据库DDL

Schema枚举值等数据库元信息questionquestionnormalizedemo召回ReplyDemoQWen-Max表向量粗召TableselectorM-schemasSchemaXiyan-SelectorEvidenceevidence召回Evidence全局偏好等global

evidence局部偏好等local

evidenceDemosverifierMemory你现在是⼀个

<SQL-dialects>

⽣成师，需要阅读⼀个客户的问题，参考的数据库schema，⽣成⼀句SQL。以下样例供你参考[schema][参考信息][问题]{question}[SQL][schema]{schema1}[question]{question1}[SQL]{SQL1}[schema]{schema2}[question]{question2}[SQL]{SQL2}[schema]{schema3}[question]{question3}[SQL]{SQL3}{localevidence

1}{localevidence

2}{global

evidence}这是之前执⾏的SQL，和对应的错误信息{SQL}.{global

evidence}M-Schemaa2m.msupXiyanSQL的关键设计

- Prompt-learning基于M-schema的异源demonstration参考样例包含schema+question->sql的对齐它山之石Evidence加持的NL2SQL将业务术语、指标作为localevidence，通过召回动态组装将默认逻辑作为global

evidence执行错误的信息作为memoryM-Schema风格的数据库描述你现在是一个

<SQL-dialects>生成师，需要阅读一个客户的问题，参考的数据库schema，生成一句SQL。以下样例供你参考[schema][参考信息][问题]{question}[SQL][schema]{schema1}[question]{question1}[SQL]{SQL1}[schema]{schema2}[question]{question2}[SQL]{SQL2}[schema]{schema3}[question]{question3}[SQL]{SQL3}{localevidence

1}{localevidence

2}{global

evidence}这是之前执行的SQL，和对应的错误信息{SQL}.{global

evidence}M-Schemaa2m.msupXiyanSQL的关键设计-M-schemaa2m.msup扩展MacSQL

Style的M-Schema更紧凑

vs

DDL

style

vs

MacSQLstyleSQL方言specifictext(PG),varchar

(MySQL)枚举值参考字符串类型枚举参考，比如品牌，地名日期、时间戳类型参考，比如YYYY-MM-DD支持table

description和coldescription更好的理解使用哪，哪些列支持外键更好的join语句生成【DB_ID】

dbname【Schema】【foreign

key】table1.col1=

table2.col2#Table:table1,tablediscription…[(col1:col_type,description,Examples:[1,2,3]),(col2:col_type,description,Examples:

[1,2,3]),…]#Table:table2,tablediscription…[(col1:col_type,description,Examples:[1,2,3]),(col2:col_type,description,Examples:

[1,2,3]),…]XiyanSQL的关键设计

–

其他设计a2m.msup高召回的表/列选择器基于向量检索的粗召专用的精排模型验证+重试遇到语法错误，重试生成关键技术攻关-XiyanSQLVerifier

AgentdemoretrievalSQLgenerationQWen-MaxSQLverifierresult数据库连接error

infoembeddingevidence样例<question+schema+sql>样例库全局偏好等Tableselector真实数据库DDL

Schema枚举值等数据库元信息evidencequestionselected

M-schemastable

numberembeddingselected

M-schemasquestionSchemaFormatorM-SchemaquestionnormalizeembeddingquestionembeddingReplyembeddingRefinerGenerator

AgentSelector

AgentQWen-Max【DB_ID】

activity_1【Schema】#Table:

Activity

[(actid,activity

id.),(activity_name,activityname.Valueexamples:['Volleyball','SquareDancing','Spelunking','Soccer','Proselytizing'].)]QWen-MaxQWen-MaxTableselectorembeddingquestionnormalizea2m.msup关键技术攻关-实验结果on

spiderXiyanSQL各版本XiyanSQL(Base)+qwenmaxXiyanSQL(SingleAgent)+qwenmaxXiyanSQL(multi-agent)+qwenmaxXiyanSQL(global-verify)+qwenmaxXiyanSQL(multi-agent)+GPT4ex74.76%79.05%82.84%84.45%86.98%79.05%82.84%84.45%86.98%75.00%70.00%65.00%60.00%80.00%74.76%85.00%90.00%ex

指标DAIL-SQL+GPT4:

86.6%miniseek:

91.2%a2m.msup关键技术攻关-消融实验GeneratorSelector+GeneratorGenerator+VerifierSelector+Generator+Verifierex79.05%82.58%81.73%82.84%ex-ext79.76%82.84%82.58%83.49%executable94.90%97.27%98.69%99.34%100.00%99.00%98.00%97.00%

96.00%95.00%94.00%

93.00%92.00%91.00%90.00%81.00%79.00%77.00%75.00%89.00%87.00%85.00%83.00%Generator单独使用有79%的准确率在qwenmax上各组件消融实验exex-extexecutablea2m.msupselector

增加ex

1.1pt-3.5ptverifier

增加ex

0.3pt-2.7pt关键技术攻关-agent能力对比LLMas

selector效果初步可用LLMas

generator效果很好LLMas

verifier仍需提升表选择的准确率100%90%80%70%60%50%40%30%20%10%0%a2m.msup表选择的召回表选择的精度生成器的值准确生成器的可执行率生成器的逻辑准确率验证器的值准确率验证器的可执行率提升率验证器的可执行率的保持率验证器的逻辑提升率

验证器的逻辑保持率各项agent能力比较关键技术攻关-链表查询单表两表三表及以上XiyanSQL+qwenmax91.13%78.81%62.35%95.00%90.00%85.00%80.00%75.00%70.00%65.00%60.00%55.00%50.00%EX链表数量Ex相对于链表查询的表数量单表两表三表及以上XiyanSQL+qwenmax99.22%97.27%93.98%a2m.msup100.00%99.00%98.00%97.00%96.00%95.00%94.00%93.00%92.00%91.00%90.00%Executable链表数量Executable相对于链表查询的表数量实践样例-

某著名企业智能BIa2m.msup基于自然语言理解生成SQL（NL2SQL）问题：动力电池月度累计装机量增长情况？实际意图：今年动力电池各品牌月度累计装机量某省市场占有额环比是多少问题：上个某省市全新H5的STD完成情况？实际意图：11月份东北大某省市的车系型号H5-2的STD月度累计销售额除以月度累计集团销售目标问题：Get

the

Monthly

Cumulative

Replacement

Achievement

of

All

Brands

on

2023/09实际意图：2023年9月份各品牌的月度累计销售额、月度累计销售额除以月度累计销售目标专有业务名词扩展专有指标计算AAK实际值=AAK日销量STD完成情况=月度累计销售额除以月度累计集团销售目标用电负荷偏差=预测用电负荷减去实际用电负荷电量情况=发电量、储电量、弃电量复杂指标（微调）例如“库存系数”，需要根据特定条件join表之后，再进行多表计算例如

“超过平均值的前5”，需要group

byhaving再排序中等指标（部分支持，微调）例如“环比”、“同比”，需要单表多条数据计算简单指标（默认支持）例如：“销量总和”，求和、求平均、数量等实践样例-

某著名企业智能BIGBT-BI现有推理调用链路，基于AI云原生路径，完成LLM-DataAgent的升级，并对外提供服务；阿里公共云XX本地环境端（某