版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
演讲人:
史鑫鑫蚂蚁集团/大安全数据研发专家01
引言与背景02
智能数据管理03
CoT思维链数据工厂04
多模态数据管理与应用05
业务场景应用案例分享06
总结与展望TransformerVisionTransformerDiffusionTransformerMoE
人工智能的三架马车数据
算法
算力A100H100H800结构化
非结构化图片视频音频其他模型数据业务数据策略模型特征
小模型到大模型的变迁小模型用户
交易
设备业务知识专家经验NNCVXGBoost行为序列法律法规网络…LLM作案手法策略交易时间设备支付方式MoE业务知识用户特征对手特征VLLM大模型知识DCAI(Data-Centric
AI)
是一种大模型研发范式,其以高质量数据集为核心迭代大模型的性能。
Data-CentricAIData(V3)Data(V2)Data(V1)交易数据交易方、商品、时间、地点用户数据性别、年龄、常住地业务知识法律法规、作案手法设备数据型号、OS、网络
金融大模型数据金融大模型
业务复杂、数据分散在不同的业务场景、数据看不全、看不清
数据存在孤岛、重复使用困难
数据存储和计算与大模型训练平台之间链路长、应用效率低
在重点业务场景,数据精细化运营困难
以数据集、数据专题的数据管理能力
统一数据管理平台
打通数据应用上下游关键链路,
让数据应用走上“高速路”
重点业务场景数据,精细化打标,实现数据标签化运营
看清、看全业务数据
打破数据孤岛,加速数据流通
提升数据应用效率
标签化管理的精细化数据运营
关键问题专题数据集交易特征图/文/音/视…样本湖
数据管理体系内容风控内容风控资金风控…资金风控样本库面点u看清安全域数据集/样本库/知识库全貌①核心板块:列表页,详情页(简介、详情、下载);②功能列表:数据集注册,编辑,标签级连,预览,权限管理,高敏内容处理,核心数据更新(浏览、下载等),样本量级;
数据集全u聚焦核心数据集应用:秒级样本精细化标签体系分析与策略运营,一键对接各业务系统①
能力建设:标签体系自定义;样本列表模板化;列表样式模板化;功能标准化(增/删/查/改/接口/上传);内嵌页模板化;数据回流标准化;②
功能列表:样本上传,编辑,标签管理,高敏内容处理,系统对接,帮助文档。
样本库深文本•
Token数•
语种图片•分辨率•
大小视频•分辨率•
时长音频•
码率•
比特率•
金额•
时间•双方关系•
型号•系统版本•
可信•
性别•
年龄•
省份
主体交易设备
标签化数据管理基础标签业务标签应用系统配置线上应用、训练、评测可视化配置展示形式、布局权限管控审计、数据安全标签管理业务标签、通用标签
“0”代码数据管理产品化"代码?上下文构造数据科学
样本合成模型评估模型训练
设计理念“飞轮”驱动的数据研发,加速大模型应用落地•
业务数据•
知识库•
专家经验•
大模型生成•
数据合成•
基于AI的数据质量评估体系•
小批量快速验证•
数据科学体系
CoT构建车间流程编排批量生产…
…任务N
样本集N上下文构造思维链生成质量管理效果评估任务队列任务1任务2任务3训练样本样本集1样本集2样本集3任务调度业务输入prompt知识库1原始样本集Q核心数据角色指令
场景输出格式样本
TargetQ
Filter筛选高质量样本质量过滤器
难度过滤器
多样性采样器Rule
Based
Model
BasedRAG样本领域知识补齐实体识别
检索
LLM总结A
长上下文构造Q上下文核心数据业务报告业务知识行为序列系统日志法律法规场景定义主体画像业务数据角色定义名词解释输出定义指令定义Target样本补充知识角色指令业务数据仓库输出格式场景输入样本集上下文A32格式校验
•
语言一致性
•格式正确
CoT样本质量管理多样性控制
•
业务场景覆盖全•
高
•中•
低•
思考过程准确性逻辑核验难度分层
“手搓”CoT进化到自动化、流程化
高质量CoT样本构建进入日产十万+,解决业务CoT样本慌的问题
样本产出到模型训练进入流程化
CoT样本构建简单模版复杂模版•
长图•
横图•
JPG、
PNG、WebP•
长音频、短音频•
纯音乐•
单人、多人•
表格•
JSON•
CSV•
Excel•富文本•
长视频•
短视频•
MP4、
MOV、AVI、WebM缓存视频图片音频结构化/半结构化数据湖OSS标签检索业务标签、内容标签数据应用模型训练、评估权限管控数据安全、合规可视化检索、结构化"代码
入库
模型训练…业务系统
特征提取
业务数据数据应用人工标注AI预标注质量过滤n
资金风控场景大模型数据管理思维链构建业务知识
知识点
RAG
策略2·
策略1
·
条件N...·
条件2
策略N条件1切片欺诈主体…交易设备特征
风险管控策略语义化,将专家经验及业务知识转化为文本内容,制定模型思考框架
业务特征语义化,数字化特征语义化,转化为模型可理解的内容,为模型提供关键判断依据
资金风控场景CoT构造案例模型训练风险样本数据服务质量管理数据ETL标注截帧
切片
特征提取
结构化
半结构化
内容风控场景多模态数据管理数据源影视作品业务数据法律法规合成数据开源数据书籍
总结与展望
数据管理:从「杂乱无章」到「整齐划一」的提升
数据生产革命:从「人工标注」到「AI增强闭环」,
从「纯手工」到「工业化」
数据质量评估体系:从「准确」到「高质量
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- GB/T 48198.2-2026可靠性仿真试验方法第2部分:机械部件
- 中西医结合治疗干眼病疗效的临床观察
- 大肠杆菌的培养与分离
- 医疗保险政策改革与保障体系完善
- 蜗牛的危害与防治措施
- 糖尿病烧伤患者创面植皮愈合情况分析
- 疼痛治疗中的物理康复技术
- 二年级语文真题卷(2027年5月月考)
- 2027年四川省高考三模地理提优卷及答案
- 服装制造企业设计部设计师工作态度考核表
- 2026年心内科常见模拟试题及答案
- 2025年河南省省直机关公开遴选公务员考试笔试真题附答案
- 2025年北安市辅警招聘考试试题题库附答案(综合题)
- 阵发性室上性心动过速的急救及护理措施分析
- 小微型企业安全生产标准化管理体系文件汇编
- 2026年农艺工高级题库(附答案)
- QC-T 484-2023 中文版 汽车油漆涂层 技术条件与试验方法(整车涂层分级验收规范)
- 员工宿舍改造专项施工方案
- 2025-2026学年八年级数学下册 第二十三章 一次函数 单元测试提升卷 人教版
- 泛光照明施工方案安全措施
- 2026年银行笔试练习题附答案详解【模拟题】
评论
0/150
提交评论