2025AICon全球人工智能开发与应用大会-上海站:金融领域大模型数据集管理与应用_第1页
2025AICon全球人工智能开发与应用大会-上海站:金融领域大模型数据集管理与应用_第2页
2025AICon全球人工智能开发与应用大会-上海站:金融领域大模型数据集管理与应用_第3页
2025AICon全球人工智能开发与应用大会-上海站:金融领域大模型数据集管理与应用_第4页
2025AICon全球人工智能开发与应用大会-上海站:金融领域大模型数据集管理与应用_第5页
已阅读5页,还剩28页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

演讲人:

史鑫鑫蚂蚁集团/大安全数据研发专家01

引言与背景02

智能数据管理03

CoT思维链数据工厂04

多模态数据管理与应用05

业务场景应用案例分享06

总结与展望TransformerVisionTransformerDiffusionTransformerMoE

人工智能的三架马车数据

算法

算力A100H100H800结构化

非结构化图片视频音频其他模型数据业务数据策略模型特征

小模型到大模型的变迁小模型用户

交易

设备业务知识专家经验NNCVXGBoost行为序列法律法规网络…LLM作案手法策略交易时间设备支付方式MoE业务知识用户特征对手特征VLLM大模型知识DCAI(Data-Centric

AI)

是一种大模型研发范式,其以高质量数据集为核心迭代大模型的性能。

Data-CentricAIData(V3)Data(V2)Data(V1)交易数据交易方、商品、时间、地点用户数据性别、年龄、常住地业务知识法律法规、作案手法设备数据型号、OS、网络

金融大模型数据金融大模型

业务复杂、数据分散在不同的业务场景、数据看不全、看不清

数据存在孤岛、重复使用困难

数据存储和计算与大模型训练平台之间链路长、应用效率低

在重点业务场景,数据精细化运营困难

以数据集、数据专题的数据管理能力

统一数据管理平台

打通数据应用上下游关键链路,

让数据应用走上“高速路”

重点业务场景数据,精细化打标,实现数据标签化运营

看清、看全业务数据

打破数据孤岛,加速数据流通

提升数据应用效率

标签化管理的精细化数据运营

关键问题专题数据集交易特征图/文/音/视…样本湖

数据管理体系内容风控内容风控资金风控…资金风控样本库面点u看清安全域数据集/样本库/知识库全貌①核心板块:列表页,详情页(简介、详情、下载);②功能列表:数据集注册,编辑,标签级连,预览,权限管理,高敏内容处理,核心数据更新(浏览、下载等),样本量级;

数据集全u聚焦核心数据集应用:秒级样本精细化标签体系分析与策略运营,一键对接各业务系统①

能力建设:标签体系自定义;样本列表模板化;列表样式模板化;功能标准化(增/删/查/改/接口/上传);内嵌页模板化;数据回流标准化;②

功能列表:样本上传,编辑,标签管理,高敏内容处理,系统对接,帮助文档。

样本库深文本•

Token数•

语种图片•分辨率•

大小视频•分辨率•

时长音频•

码率•

比特率•

金额•

时间•双方关系•

型号•系统版本•

可信•

性别•

年龄•

省份

主体交易设备

标签化数据管理基础标签业务标签应用系统配置线上应用、训练、评测可视化配置展示形式、布局权限管控审计、数据安全标签管理业务标签、通用标签

“0”代码数据管理产品化"代码?上下文构造数据科学

样本合成模型评估模型训练

设计理念“飞轮”驱动的数据研发,加速大模型应用落地•

业务数据•

知识库•

专家经验•

大模型生成•

数据合成•

基于AI的数据质量评估体系•

小批量快速验证•

数据科学体系

CoT构建车间流程编排批量生产…

…任务N

样本集N上下文构造思维链生成质量管理效果评估任务队列任务1任务2任务3训练样本样本集1样本集2样本集3任务调度业务输入prompt知识库1原始样本集Q核心数据角色指令

场景输出格式样本

TargetQ

Filter筛选高质量样本质量过滤器

难度过滤器

多样性采样器Rule

Based

Model

BasedRAG样本领域知识补齐实体识别

检索

LLM总结A

长上下文构造Q上下文核心数据业务报告业务知识行为序列系统日志法律法规场景定义主体画像业务数据角色定义名词解释输出定义指令定义Target样本补充知识角色指令业务数据仓库输出格式场景输入样本集上下文A32格式校验

•

语言一致性

•格式正确

CoT样本质量管理多样性控制

•

业务场景覆盖全•

高

•中•

低•

思考过程准确性逻辑核验难度分层

“手搓”CoT进化到自动化、流程化

高质量CoT样本构建进入日产十万+,解决业务CoT样本慌的问题

样本产出到模型训练进入流程化

CoT样本构建简单模版复杂模版•

长图•

横图•

JPG、

PNG、WebP•

长音频、短音频•

纯音乐•

单人、多人•

表格•

JSON•

CSV•

Excel•富文本•

长视频•

短视频•

MP4、

MOV、AVI、WebM缓存视频图片音频结构化/半结构化数据湖OSS标签检索业务标签、内容标签数据应用模型训练、评估权限管控数据安全、合规可视化检索、结构化"代码

入库

模型训练…业务系统

特征提取

业务数据数据应用人工标注AI预标注质量过滤n

资金风控场景大模型数据管理思维链构建业务知识

知识点

RAG

策略2·

策略1

·

条件N...·

条件2

策略N条件1切片欺诈主体…交易设备特征

风险管控策略语义化,将专家经验及业务知识转化为文本内容,制定模型思考框架

业务特征语义化,数字化特征语义化,转化为模型可理解的内容,为模型提供关键判断依据

资金风控场景CoT构造案例模型训练风险样本数据服务质量管理数据ETL标注截帧

切片

特征提取

结构化

半结构化

内容风控场景多模态数据管理数据源影视作品业务数据法律法规合成数据开源数据书籍

总结与展望

数据管理:从「杂乱无章」到「整齐划一」的提升

数据生产革命:从「人工标注」到「AI增强闭环」,

从「纯手工」到「工业化」

数据质量评估体系:从「准确」到「高质量

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论