大模型时代 金融大数据构建

大模型时代金融大数据构建腾讯云大数据首席架构师GenAI时代数据分析方式发生极速变化数据平台使用对象的演进路径由内部IT应用数据分析师终端用户AIAgent由Gartner预测，2028年33%的企业会将AgenticAI用于分析和决策，而2024年这个占比不及1%现在现在未来AI-poweredanalyticsmakesdecisi①“分析最近三个月的销售趋势并预测下季度的库存需求。”②Agent自动连接到销售数据库，调用AI模型生成预测，并以③Agent还能主动提出建议，比如“根据趋势，建议增加A产品的库存，同时减少B产品的采购量。”AgenticAnalytics是一种数据分析过程，通过在Data-to-Insight的工作流程中应用AIAgent，以半自主或自主的方式协调任务，朝着AI主动洞察&决策的目标推进。传统数据生产业务人员人无感知的后台人无感知的后台是建模工程师是建模工程师否否是数据管理员数据工程师数据管理员数据工程师GenAI时代数据生产GenAI时代数据应用场景发生变化传统数据平台传统数据平台AI时代的数据平台AI时代的数据平台典型应用场景大数据+AI融合典型应用场景Data+AI场景延伸Data+AI场景延伸BI看板&离线报表分析师精心处理、分析而形成的“固定“数据洞察DataOpsBI看板&离线报表分析师精心处理、分析而形成的“固定“数据洞察DataOps+AIOps一体化一体化数据分析和AI应用，降低运维与开发成本Data+AI一体化Data+AI一体化离线数据处理（ETL）数仓分层&数据预处理离线数据处理（ETL）数仓分层&数据预处理AISearch（RAG）可提供一站式的高精度全文检索+向量检索RAG方案在一份数据基础上，支持离线处理和AD-Hoc业务负载Data+AI高效实时Data+AI高效实时交互式分析毫秒级实时数据AD-Hoc分析批流一体增量计算增量计算框架实现批处理+实时处理一体化智能体（Agent）交互式分析毫秒级实时数据AD-Hoc分析批流一体增量计算增量计算框架实现批处理+实时处理一体化企业内业务数据融合LLM，产生更好的GenAI应用智能化智能化大数据自治系统AI-Driven的数据平台资源管理与运维管理，极大简化超大规模数据平台的系统运维工作GenAI时代数据平台的变革趋势一应用”传统数据平台趋势一应用”传统数据平台CC示例：基于用户购物数据的创意推荐创意内生成容趋势二趋势二面向数据工程+数据科学的一体化平台X“更一体化”面向数据工程+数据科学的一体化平台Xae一份数据ae趋势三趋势三智能化大数据自治系统“更智能”智能化大数据自治系统AIDriven的方式提升运营效率和系统效率趋势1：数据分析进入3.0时代根据需求自助问数数据分析师基层业务人员ChatBI适用人群：老板、业务负责人等学习成本：定制根据需求自助问数数据分析师基层业务人员ChatBI适用人群：老板、业务负责人等学习成本：定制数据分析师高基层业务人员问答式分析小白都会用秒级响应出结果随时随地便捷分析核心能力：自然语言查询NL2SQL用户可通过自然语言描述，快速查询分析数据，无需SQL相关的专业培训与学习接着上文继续提问，能结合上下文回答接着上文继续提问，能结合上下文回答提问太模糊时智能追问，澄清意图简单输入关键词，快速找到想要的提问智能推荐相关问题，持续分析不间断交互方式从SQL到自然语言交互分析SQLSQLContent-basedSchemabasedKnowledgeKnowledge混核心能力：AISearch关键需求用户可通过自然语言描述，快速查询分析数据，无需SQL相关的专业培训与学习关键需求解决方案：一站式AISearch•企业知识文档格式多样需良好多模态处理能力•严谨场景应用下，知识问答要求准确率要求高知识检索难度大，包括多文档组合知识检索、大表格、不规则表格检索等业界难题知识、无关知识能力要求高文本自定义模型上传趋势2：以Data-CentricAI重新定义数智融合训练评测训练评测训练微调配置评测训练微调配置评测模型设计 训练数据开发评测数据开发数据维护数据切片数据合成{{{数据理解样本分布内数据收集数据切片数据合成{{{数据理解样本分布内数据收集算法资源数据嫁接数据标注算法资源数据嫁接数据标注数据质量数据准备数据降维数据质量数据准备数据降维{{样本分布外{数据加速数据增强对抗扰动样本分布外{数据加速数据增强对抗扰动分布偏移分布偏移数据验证数据验证数据可视化数据可视化质量检测质量检测质量改进质量改进资源分配资源分配查询加速查询加速核心能力：新一代数智开发平台在一份数据基础上，支持多种大数据及AI业务负载，帮助企业有效简化架构，提升数据分析效率未来：Data+未来：Data+AI一体化架构批处理批处理|交互式查询|流式处理|数据科学|LLM批处理批处理|交互式查询|流式处理|数据科学|LLM流式处理数据科学交互式查询交互式查询VirtualWarehouseCompactionVirtualWarehouseCompaction数据拷贝-拷贝数据湖存储机器学习平台存储数仓存储挑战开发成本高系统复杂度高挑战开发成本高系统复杂度高趋势3：智能化大数据自治系统AI-Driven的系统交互、资源管理与运维管理功能，显著提升数据平台易用性、系统效率AIOps实现运维“自动驾驶”基于AI的负载感知与弹性资源规划AIOps实现运维“自动驾驶”资源利用率最大化，降低客户资源成本基于传统ML模型与DeepSeek，实现系统资源利用率最大化，降低客户资源成本时序预测异常检测参数调优智能体MetricEventDeepSeek时序预测异常检测参数调优智能体MetricEventDeepSeek+混元基础数据底层依赖用户查询智能查询优化智能负载感知多虚拟集群计算资源分析预测模型智能资源预测资源调度弹性资源池核心能力：存算独立扩展公共层计算层存储层MetadataServiceSparkFlinkTrinoTCHouseHiveLogicalDataLake分布式文件系统兼容POSIX、HDFS和S3协议腾讯云COS腾讯云COS对象存储…对象存储支持多厂商Hadoop数据系统和对象存储，兼容客•存算按需伸缩，高度弹性•存算故障域相互隔离•计算层无状态，扩容时无需数据重分布•支持数据共享，无需搬迁•计算引擎支持多版本，方便升级与回滚•不锁定组件和厂商，计算插件化，存储多样化，支持多厂商Hadoop数据系统和对象存储•基于对象存储原生实现分布式文件系统，兼容POSIX、HDFS和S3协议•提供统一的元数据服务和存储缓存加速机制核心能力：元数据统一管理统一数据管控面，旨在帮助用户快速构建和管理湖仓架构，实现全方位湖仓管理统一数据/元数据管理视图数据智能调优调优全托管，优化可观测，大幅提升性能并降低管理成本