大模型驱动下的数据分析技术探索和实践

chatBI:大模型驱动下的数据分析技术探索和实践张佃鹏：网易有数张佃鹏：网易有数BI技术负责人DataFunSummit#202403ChatBI:03ChatBI:网易有数AI+BI的产品新模式探索02AI技术给数据分析带来的机遇与挑战01网易有数BI产品简介0606总结与展望04ChatBI04ChatBI的技术实现原理ChatBI的开放能力及落地应用案例01完善的产品矩阵••报告：快速构建可视化分析系统•chatBI：自然语言数据分析工具•自助取数：可视化取数+SQL取数•数据门户：构建企业级数据产品门户•数据填报、复杂报表、数据准备等简单易用••PPT式的报告制作能力•拖拽式的数据应用搭建•支持多终端，随时随地掌握数据•面向业务人员，零代码实现数据分析企业级的查询性能保障•高性能MPP，亿级数据秒级响应•结合BI场景自研的物化视图加速能力•高效的智能缓存，90%以上的缓存命中率•数据医生，企业级的性能诊断和治理工具•SQL查询合并、维值加速、查询分级优化等行业顶级安全保障•私有化部署：买断制、订阅、企业域•权限管控：数据权限、资源权限、分级授权•全链路的用户操作日志审计•支持国产化信创•完善的审批流程引擎数据接入分布式(hive、impala...)文本型(excel、csv...)填报表单数据准备数据抽取数据建模跨引擎构建物化视图字段元信息定义(维度/度量、数据类型、字段分类、计算字段、别名等)关系建模(解决笛卡尔积产生的数据膨胀问题)数据应用数据门户引擎决策数据表格数据大屏自助获取复杂报表流式填报+制式填报+动态表格数据分发定时推送、导出(邮件、短信、分享/集成移动端app、钉钉、企业微信驾驶舱华福证券华夏银行马上消费上汽保险金融零售物流教育江苏农信华福证券华夏银行马上消费上汽保险金融零售物流教育江苏农信华泰证券九州通九州通福建电力福建电力中山七院中山七院温氏集团能源农业未央广东壳牌四川壳牌温氏集团能源农业未央广东壳牌四川壳牌记忆科技南方日报记忆科技南方日报海亮教育宁波钢铁有道媒体制造好未来昆钢海亮教育宁波钢铁有道媒体制造好未来昆钢0202AI技术给数据分析带来的机遇与挑战•按需开发报表•成本高、周期长•技术门槛较高••面向业务人员和分析师•自助式报表开发（拖拽式）•分析效率提升10倍以上•零代码，需要数据分析基础••面向全员分析•自然语言对话分析（生成式AI）•理解和推理能力大幅提升•更加智能的数据分析•普及所有人，人人都是分析师赋能数据分析：价值：数据查询NLNL2SQLNL2API数据记忆数据记忆多轮交互问答问答纠错数据理解数据理解图表智能推断图表数据总结效率更高数据推理自动归因洞察自动归因洞察数据预测分析数据预测分析分析更准确性和可信问题性能问题客户场景落地问题0303网易有数AI+BI的产品新模式探索••数据建模•数据查询•数据可视化•用户权限体系•完善的运营方案•高效的问答辅助工具•对外开放能力，与业务系统融合•Copilot助手，增强已有产品能力用户对数据的信任是chatBI可用可落地的前提追求准确率的同时,更要追求数据的数据的可信理解用户需求理解业务数据理解用户需求理解业务数据数据解释100%可信通过SQL验证准确性用户可干预查询条件可修正数据表可切换用户可干预查询条件可修正数据表可切换提示词+知识库快速干预模型结果反馈，持续迭代优化模型规范表元信息，让模型更懂数据v•利用大模型能力，能准确理解用户自然语言提问，同时理解业务数据。•自研NL2SQL大模型：v•利用大模型能力，能准确理解用户自然语言提问，同时理解业务数据。•自研NL2SQL大模型：生成SQL的准确率高于GPT4，同环比/分组/排序/子查询能力增强。05••将SQL执行过程翻译成用户可理解的需求描述•数据解释百分百可信•通过解释用户可以验证数据的对错••专业人员可以通过查看SQL快速判断数据的正确性•逻辑SQL：描述了SQL基于逻辑表的执行过程•物理SQL：背后真正执行的SQL，可以直接到数据库执行•将数据的查询过程结构化•用户可以干预调整查询条件获得正确结果•筛选、分组、计算、排序、分页等可以调整0404的技术实现原理模型基座•评测国内外20+模型•目前选取表现最优的网易玉言模型•支持私有化部署•支持中/英文多语言提问构造数据•十万数据表，基于教育、金融等十大领域•百万自然语言问题到PostgreSQL对•200BToken无标注语料：通用、代码、问题、SQL领域训练•继续预训练•监督指令微调•基于saas环境几十万次客户真实问答持续微调优化精准评测•合理的评测指标•多场景、多维度•整体准确率优于GPT4销量最好的产品？销量最好的产品？如何定义”销量最好”？今年的销冠是谁？销冠是怎么定义的？每个季度的销售额分布？每年的每个季度还是所有年份对应的季度综合？每个季度的销售额分布？每年的每个季度还是所有年份对应的季度综合？最近一个月的利润是多少？本月还是从今天往前推一个月呢？的数据的平均数SQL2：***WHEREnum≥1ANDnum≤5•NL•NL2SQL大模型核心资产是SQL训练集•训练样本的量级很重要，数据的质量更重要•规范先行，先定义数据表基础规范和SQL生成规范•在规范的基础上持续迭代优化，增强数据质量，优化basecase•字段类型•字段名称•快照表•发•发现badcase•定位来源•数据修复•结果评测•规范现行•持续迭代•常见术语标准05独立评测集：•实际业务场景•口语化问法•多答案候选yesyesyesr••正确率：SQL执行结果+SQL的逻辑，均完全符合query的要求•模型指标：视业务场景变化而略有波动，整体性能优于GPT4通用模型等•核心和难点：SQL2DSL•DSL：dimensions、measures、expr、orderby，filters......•只有把SQL转换成通用的查询结构才能够实现查询过程的可解释和可干预SQLASTAST子查询难点攻克：解析过程中遇到SQL子查询，先化归为独立的SQL2DSL问题，再把结果转化为LOD表达式LOD实现跨视图粒度分析：期])}额])}嵌套的子查询相减转化为嵌套的LOD表达式相减ChatBI面临的性能挑战：•真实落地场景都是百万级或者千万级的数据量•自然语言问答都是灵活的查询分析，缓存技术已经无能为力•复杂的模型关联会带来巨大性能开销•80%的查询都是筛选部分数据，每次却进行全表扫描物化视图的产品能力：物化视图的产品能力：•将复杂的join关系物化成单张表•按需物化：可以只物化部分列、部分行的数据•一个模型支持配置多个物化视图，针对不同查询场景走不同物化视图•丰富的任务调度和管理能力物化视图的实现原理：物化视图的实现原理：•ETL转换：利用产品ETL的处理能力•物化智能推荐：根据查询历史自动推荐物化配置•物化视图优先级计算•QueryDSL查询改写•充分利用ClickHouse大宽表查询性能优势基于统一的结构化的查询语法树改写基于统一的结构化的查询语法树改写,屏蔽SQL改构建物化视图的构建物化视图的优点：物化视图在网易严选的应用效果：•每天平均有10万+次图表查询，每天访问uv有1000次左右物化视图在网易严选的应用效果：•整体落库查询5s内图表比例从55%提高到80%左右•配置了物化视图的模型物化命中率超过90%0505的开放能力及落地应用案例•BI和ChatBI都是服务于业务的工具，成熟的开放能力是落地•用户权限、数据模型、大模型接入、系统嵌入是实现与业务系统打通考虑的四个维度•ChatBI是基于数据模型构建的，使对接第三方BI产品系统成为可能•可以实现对接第三方大模型，但是准确率肯定是低于自研的私有大模型•在网易办公软件popo中实现了XP•通过对接ChatBI的标准开放API接口，实现了深度的集成嵌入•解决了管理者灵活问答的场景，打开手机即可以问答员工数据•业务日益增长的数据需求与开发团队有限人力之间不可调和的矛盾，使业务取数变得越来越困难86420看数据分析数据算法预测精细化数据运营业务报表系统业务报表系统敏捷BI数仓数据中台05chatBI自助取数：•降低用户取数门槛，扩大用户使用规模，提升数据消费的频率•SQL取数+可视化取数+chatBI取数，三者相辅相成，全面覆盖取数场景•周取数人数：50→220+，提升4倍，•原先取数耗时1到5天，现在94%的取数需求都可以自助完成0606指导型预测型诊断型描述型指导型预测型诊断型描述型•全面、准确、实时的数据•有效的可视化•能够深入了解问题的根本原因•隔离所有混淆信息的能力•通过历史数据来预测特定的结果•通过算法和技术自动完成•根据已有的算法策略，推荐最好的方法•运用先进的分析技术提出