王刚-大模型时代的工业质检方法论

2024.06Tencent腾讯90+腾讯明星产品业务线接入300+1000+30亿+开源移动端推2020年5月开源移动端推2020年5月在国际物体分类挑战赛Pascal得世界第一2020年12月●在国际物体分类挑战赛Pascal得世界第一2020年12月●算法在ActivityNet上获得世界第一分割挑战赛第一2018年4月●●在百万级别人脸识别测试中刷新世界纪录新世界纪录取得世界第一数据集ADE20K、PascalContext刷新Tencent腾讯3C锂电3C光伏汽车半导体光伏汽车Tencent腾讯品质保障是否良品综合判定检测能力量化能力生产工艺Tencent腾讯•场景多•零件：结构及材质复杂，拍摄面上千，反光问题，多种光源相机组合•缺陷：种类繁多、缺陷微小、形态变化随机-外观型\测量型\有无型等-脏污干扰严重，标准不清晰，存在模糊态-过杀率-漏检率：0%漏检-数据需求大，收集交付时间长-部分缺陷占比低收集难，长尾效应明显-单次训练时间长、训练占用资源大-整个交付周期要多次训练•模型推理效率：单图推理慢，推理机消耗大•迁移换型效率：新产品型号、新场景•非专业人员使用效率Tencent腾讯1成像算法1成像算法光度立体2基础视觉算法实例分割3高效视觉学习方法3高效视觉学习方法4通用视觉模型个目标4大技术模块•成像算法•通用视觉模模型3类应用场景Tencent腾讯缺陷检测更准确罕见缺陷不漏检缺陷成像更明显成像位置更一致缺陷检测更准确罕见缺陷不漏检缺陷成像更明显成像位置更一致视觉语言通用大模型大模型微调轻量部署提升模型鲁棒性和迭代效率通用数据生成通用数据生成模型增效数据基础算法能力----b数据基础模块实例分割通用模型模型增效数据基础算法能力----b数据基础模块实例分割通用模型光度立体发展发展趋势少量数据下模型高效迁移迭代海量数据驱动下的无数据应用少/无监督模型Tencent腾讯Visualpromptstextprompts模块跨模态Transformer模块跨模态Transformer感知感知DiffusionTencent腾讯lLPM的设计：纯transformer生成式大模型架构设计，相比传统算法效果更好，范化性更强统一输入范式：让模型可以理解不同自然语言的指令提示，引入图文融合，同时接受多个指令提示，针对特定目标感知；统一输出范式：引入基于query的感知结构，解耦分类、检测和分割任务的输出，不同任务并行输出，先后依赖关系解除；检测和分割的输出范式Tencent腾讯l新范式：基于公有云/私有化集群利用多场景数据打造质检通用大模型，并在应用时结合子场景数据实现模型快速调优新范式：通用大模型，不同项目仅需小样本精调新范式：通用大模型，不同项目仅需小样本精调模型-n 模型-n …挑战：数据需求大、换型成本高、项目周期长经典范式：烟囱式系统，项目之间数据/模型隔离…质检通用大模型（质检通用大模型（MLLM）优势：小样本/零样本、快速换型、快速应用新范式下的应用场景示例•待检测原图•限度缺陷Prompt••文本Prompt•待处理原图•目标区域Prompt•缺陷参考+文本描述Tencent腾讯A：该样品表面有2条黑色划伤，与限度样品比，两条划伤的颜色更深，深度更深，根据指示的规则判断，该样品为NG样品。陶瓷制品外观缺陷检测金属制品外观缺陷检其他场景异常检测…Tencent腾讯lAI质检系统由光/机/电/软/算5大模块构成，腾讯聚焦于软件和算法，硬件由合作伙伴负责异构计算服务加速模型加速服务封装效果验证模型训练PPL调试数据封异构计算服务加速模型加速服务封装效果验证模型训练PPL调试数据封装练线服务下发结果后处理服务接口自动化署服务下发结果后处理服务接口自动化署线结果应用展示应用展示共享存储训练端运营端模型训练 模型评估 加速封装 训练端运营端模型训练 模型评估 加速封装 策略调整Tencent腾讯训练端负责构建高精度工业质检模型并输出SDK，运营端部署在产线机台进行高性能推理和运维 **部署上可支持公有云、Windows单机、Linux集群等多种形态**Tencent腾讯全流程产品能力覆盖，助力硬件批量验收、模型持续迭代、交付环节：硬件入场验收软件部署调试模型效果提升交付后用户使用界面点位阈值设定模型/SDK一键部署Badcase训练模型评测产品：硬件接入管理业务规则管理AI模型管理业务运营管理点位阈值设定模型/SDK一键部署Badcase训练模型评测 差值分布一致性验证Tencent腾讯常规项目x数百张图片高难度项目x数万张图片快速迭代项目x数张图片针对复杂度不高的常规项目（数十种缺陷、上百个点位），通过数千张NG图片实现有竞争力的指标，达到上机跑料条件，并进行针对性迭代直至最终验收针对复杂度较高的项目（数百种缺可支持多机多卡训练模式，通过数万张数据进行模型迭代，输出极致效果的模型针对难度不高的快速迭代项目（少仅需数张缺陷图片，通过弱标注或无标注、在数十分钟内完成模型迭代流程，高效响应产线需求Tencent腾讯对复杂质检场景，也支持小样本评估以实现快速上线案，适配市面主流产品质检支持产品迁移支持产品迁移支持同一模型适配不同点位，支持提供公有云、windows单机、linux集群等多种Tencent腾讯成像算法通用视觉模型能力AAAl2024AAAl2024SoftCLIP:SofterCross-mo《工业AI质检标准化研究报告》选工信部《大数据融合创新赋能新