淘系端智能技术建设和业务创新

2050MonitoringDataCollection2050MonitoringDataCollectionBadCaseFeedbackModelManagementModelDebugrGartner1到2022年,80%的手机将内置端侧AI能力。AI论文数目2010-2019ForecastPeriodbyMarketsandMarketsAttractiveOpportunitiesinMobileAIForecastPeriodbyMarketsandMarkets17.83B5.1B20182023最新研究利用通过手机音频检测COVID-19ModelSDKintegrationFeatureExtractionMLMLEngineModelValuation端智能算法完善,应用涌现,但简单到移动开发快速上手了吗2移动工程师型结构型产出结果问题定义数据采集算法设计模型训练压缩/转换推理预测业务调用场景应用无案例,定义问题难无案例,定义问题难无模型,训练门槛高有模型,部署调试难有模型,高效运行难厂商各自做生态厂商各自做生态缺少一个站在应用开发视角,构建完整端AI技术体系普及AI应用。Usagescenarios搜索推荐拍立淘消息触达推送Usagescenarios搜索推荐拍立淘消息触达推送直播DomainSpecificFrameworkDataProcess(Walle)Image/VideoProcess端AI技术栈跨生态:覆盖碎片终端硬件和系统生态全链路:覆盖端侧AI应用开发全流程低门槛:开箱即用算法和低门槛训练MLDevSystemMLFrameworkChips&OS多异构设备,多OS支持AppARAR导购集团App>30,外部App>20手淘场景>25,算法任务>65ASRAudioProcessMNN工作台MNN工作台MNN服务端MNN运行时NumpyNumpyLiteMNN.jsMNNOpenCVLiteARMARM站在App视角,让移动开发成为端侧AI普及应用的生力军。3x3s1d13x3s2d1ARM3x3s1d13x3s2d1ARM系统碎片化硬件碎片化挑战:环境碎片、算力不足、资源受限depthwsieTransformerTransformerCaffeTensorFlowPyTorchPaddlePaddle参数碎片化模型碎片化框架碎片化MNN本质:实现不同模型在不同设备上最高效运行化、搜索用化、搜索用消除冗余(结构、数值、指令、读写消除冗余(结构、数值、指令、读写)匹配硬件特性模型小型化内存缓存重用多后端不同OP归一化Caffe转换前端TensorFlow转换前端转换前端MNN模型优化模型量化何计算OP/算子硬件无关:维度、类型资源分配硬Caffe转换前端TensorFlow转换前端转换前端MNN模型优化模型量化何计算OP/算子硬件无关:维度、类型资源分配硬件相关:内存、计算基础算子O(B)*~20工作量:O(NxB)N:OPnumber,B:BackendMNNARMARM模型转换擎支持OP模型转换ARM/X86OpenCLMetalCUDAMNN/MNN(几何计算)owLite/形状计算OP几何计算00MNN业界方案1业界方案261.7563.8264.34MoblieNetv1MobileNetv2骁龙845CPUMNN业界方案1业界方案2 8.289.078.289.070MoblieNetv1MobileNetv2骁龙845GPU缩能力ngMNN训练;TF训练插件;PAI取决于训练数据、量化层,一般高于PTQOverflow-awareQuantizationMNN训练;TF训练插件;PAI取决于训练数据、量化层,一般高于PTQMNN量化工具;MNN工作台;PAI取决于校准数据集仅权值量化模型权值整型存储,浮点计算MNN量化工具;MNN工作台精度高,DataFree枝随机非机构化剪枝+稀疏编码;结构化剪枝开发中;可结合量化取决于训练数据、稀疏比率DAMOSAN-MbasedASRTrainASRSDKDAMOSAN-MbasedASRTrainASRSDKredictdata业务情况:淘宝直播语音抢答玩法”一猜到底”,薇娅、李佳琦等头部明星主播参与。技术指标:模型大小<15MB,内存占用<60MB,1秒语音20ms实时识别。工业界首个用于直播的移动端语音识别AAppaudiotextmodeaudiotextmodelscalesMNNMNNConvert&Quant模型首次部署SDK封装调试效模型首次部署SDK封装调试效果打包集成模型\代码更新用开发算法需求现有算法能力NO低门槛训练模型部署应用开算法开发:部署链路长且阻,难以实现独立迭代。AI普惠应用开发:场景碎片化,算法模型不足,训练门槛高。基本思路1、解耦算法和移动开发,让算法开发独立迭代;2、降低AI门槛,让AI成为普通开发的有力武器;MNN工作台 端AI研发范式MNN服务端MNN运行时AI服务跨平台SDK运维监控&算法迭代极简部署&高效运算前后处理Python转换、优化MNNPlayground业务App模型MNN标准APINumPyOpenCV…前后处理Python转换、优化MNNPlayground业务App模型MNN标准APINumPyOpenCV…1、解耦算法和移动开发,让算法开发独立迭代;2、降低AI门槛,让AI成为普通开发的有力武器;算法工程师移动工程师端AI服务端模模型服务模模型tf/pytorch验证无门槛训练无门槛训练预预置模型集MNN工作台(MNN工作台(PC软件)AIForEveryone核心功能IDE工具:前后处理代码编写、调试、发布;模型训练:GUI引导式实现低门槛模型训练;应用市场:开箱即用算法集+成熟解决方案;核心价值算法开发:一站式开发部署,实现独立迭代;移动开发:零门槛交互训练,实现创意落地;端AI门户:全域端AI门户,透出有什么能做什么;dAppPlayground试(模型+py代码)看点算法处理过程视频帧算法算法模型转换(tf/py)模型压缩前后处理优化评估 MNN工作台(PC软件)推流直播间看点分发(搜索、推荐推流直播间(模型+py代码)MNNMNNPlayground(三端一致)K收集欺诈图片迭代数据客户端服务端 上报提提醒举报目标检测-识别二维码区域文本分类-内容是否欺诈线MNN工作台、MNN运行时、MNNPlayground公测中,官网:https://www.mnn.zone/任务配置模型更新…新任务配置模型更新…新荐结果上报荐请求数据计算数据计算特征提取推理预测…特征提取、模型运行前置到端侧本质:将云端特征提取、模型运行前置到端侧核心优势:•实时性•丰富数据•数据隐私•降低成本端端手淘手淘天猫闲鱼CBU…云任务管理灰度发布Walle平台/灰度发布AB实验实时数据通道VMMNNMNN工作台任务开发调试验证任务发布背景:50个/页,推荐结果实时性不强目标:边浏览边调整推荐结果,提高推荐的用户感知和触达方案:端侧采集手势、速度、时长、详情,实时判断意图,优化点击率为正负反馈新ctr背景:50个/页,推荐结果实时性不强目标:边浏览边调整推荐结果,提高推荐的用户感知和触达方案:端侧采集手势、速度、时长、详情,实时判断意图,优化点击率为正负反馈新ctr预测首猜分坑位2019/2020年双11大规模应用,DPV和GMV获得明显提升。应用生态算法能力、解决方案一站式AI开发平台推理引擎模型优化Python模型转化C+应用生态算法能力、解决方案一站式AI开发平台推理引擎模型优化Python模型转化C++(iOS/Android)Transform、Bert模型压缩JS(Web/小程序)终端设备做ML模型推理运行+训练,及创新应用。MNN官网:https://www.mnn.zone/集团App>30,外部App>20,MNNstar终端设备做ML模型推理运行+训练,及创新应用。手淘场景>25,算法任务>65,运行次数>500亿次/天MNN工作台端AI研发范式MNN服务端MNN端AI研发范式MNN服务端