边缘云创新实验室：边缘AI研发落地生态挑战调研报告

zimu.zheng@随着边缘设备的广泛使用和性能提升，将机器学习相关的部分任务迁移到边缘，也即边缘AI技术，已成为必然趋势。但仅凭技术是不足够完成落地和产业转化的。近日我们启动了边缘AI研发落地生态挑战调研。我们发现，当前学界业界在落地过程已经遇到各式各样的困难，重点生态挑战包括数据集和配套算法难以获取、通用方案无法满足特定业务需求、缺乏商业成功案例等。边缘AI研发落地生态挑战调研报告EdgeAIecosystemchallengereportforsolutionlanding摘要：随着边缘设备的广泛使用和性能提升，将机器学习相关的部分任务迁移到边缘，也即边缘AI技术，已成为必然趋势。但仅凭技术是不足够完成落地和产业转化的。近日我们启动了边缘AI研发落地生态挑战调研。我们发现，当前学界业界在落地过程已经遇到各式各样的困难，重点生态挑战包括数据集和配套算法难以获取、通用方案无法满足特定业务需求、缺乏商业成功案例等。作者简介：郑子木，19年博士毕业于香港理工大学，后加入华为云边缘云创新实验室作为算法专家。研究方向为边缘智能、多任务迁移学习及AIoT。发表AI算法与系统、分布式计算等领域国际顶级会议及期刊论文十余篇，多次获得最佳会议论文奖项及华为公司技术贡献奖项。目前正带领团队参与云原生计算基金会KubeEdgeSIGAI的开源工作。zimu.zheng@本文已刊登于CSDN、开源中国、今日头条、ACMSIGBEDCN、AI数据派、AI科技评论、容器魔方、知乎专栏、博客园、51CTO、掘金等，欢迎在各媒体阅读相关内容。0.绪论边缘AI技术，已成为必然趋势，甚至能够同时结合云侧算力和边侧数据来完成机器学习任务。机器学习服务将边缘产生的数据转换为知识的过程中，需要在边缘快速响应加尖锐。基于一些落地经验，华为云边缘云创新实验室(ECIL，EdgeCloudInnovationLab，HuaweiCloud)系列文章中曾介绍过数据异构等四大技术挑战。针对这些挑不足够完成落地和产业转化的。当前学界业界很多团队已经遇到各式各样的困难，比如数据集难以获取、通用方案无法满足特定业务、缺乏商业成功案例等。因此除了技术挑战外，我们一直密切关注边缘AI的生态挑战*。为了让更多边缘AI领析，信度Cronbach.a**为0.975。研发资源难获取、工具链不完备等主要依赖社区分工与共享的非技术挑战，在本文中定义为生态挑战。靠。如果在0.8以上,重新设计题项。算法开发者：“真实业务数据集及其基线算法、预训练模型难以获取”服务开发者：“通用方案整体性能不一定满足特定业务需求”技术布道者：“缺乏商业成功案例”象调研对象职业主要是工业界从业者(53.45%)，其次是在校学生(31.03%)和学术界研究者(25.86%)。调研对象的技术方向主要是边缘AI及其应用(55.75%)、AI及其应用(49.43%)、 (25.86%)，以及少量的其它方向(13.22%)。AI80.46%调研对象填写了边缘AI算法开发者相关问卷调研选项。对每个挑战的负面影响有四种选项，包括“不了解可跳过”“可维持现状”“建议改本章先介绍答卷中关于各个算法开发生态挑战的不同维度调研结果，本章末尾将小结2.1.平均分AI示。对比为各挑战都有改进的需求。其中，平均分值最高(6.87分)的挑战是：“真实业务数据集及其基线算法、预训练模型难以获取”在截尾均值*6.09分以上的其它头部挑战还包括：“缺乏AI工具，包括资源监控、节点仿真、标注工具等”*截尾均值指是指在一个数列中，去掉两端的极端值后所计算的算术平均数。在本问卷中用于屏蔽最后一个开放选项的从“边缘AI及其应用”方向细分工业界、学术界和在校学生等不同职业调研对象(三者在调研对象中的比例大致为2:1:1)，细化算法开发者各项挑战平均分：.68)在截距均值以上的其它头部挑战还包括：工业界(截距均值6.19)：“真实业务数据集及其基线算法、预训练模型难以获取”(平均分7.1)“算法研发迭代中，重复部署整套端边云系统过于沉重”(平均分7)“边缘AI系统部署等起步过程中缺乏指南文档”(平均分6.35)学术界(截距均值6.30)：“真实业务数据集及其基线算法、预训练模型难以获取”(平均分6.96)“缺乏AI工具，包括资源监控、节点仿真、标注工具等”(平均分6.72)在校学生(截距均值6.77)：“缺乏真实业务及其研究需求的固定来源”(平均分7.41)“算法找不到对应业务场景，或很难得知实际业务落地性能”(平均分7.59)2.2.亟需改进对于边缘AI算法开发者，问卷中提及的挑战被选为“亟需改进”的比例通常三分之一左右，高于“还有其他重要挑战”的6.36%，可以认为各个挑战都有相当的迫切需求。其中被选为“亟需改进”的挑战中比例最高(42.77%)的是：“真实业务数据集及其基线算法、预训练模型难以获取”在截尾均值(33.33%)以上的其它头部挑战还包括：“缺乏AI工具，包括资源监控、节点仿真、标注工具等”“边缘AI系统部署等起步过程中缺乏指南文档”可以看到，除了一个挑战，“亟需改进”和“平均分”头部挑战基本保持一致，这个有区别的挑战是：“边缘AI系统部署等起步过程中缺乏指南文档”但可以观察到，除了“亟需改进”维度，该挑战其实在“平均分”维度也是非常接近头部(距离截尾均值0.02)，这说明其重要性。2.3.可改进问卷中的绝大部分挑战都以较大比例(63.1%-69.94%)被选为“建议改进”和“亟需改进”(下总称“可改进”)，对比认为“有其他重要挑战”需改进的比例仅为关挑战大部分都明显有改进的需求。其中，被认为“可改进”的挑战中比例最高(69.94%)的是：“真实业务数据集及其基线算法、预训练模型难以获取”在截尾均值(67.06%)以上的其它头部挑战还包括：“缺乏真实业务及其研究需求的固定来源”“边缘AI系统部署等起步过程中缺乏指南文档”“缺乏AI工具，包括资源监控、节点仿真、标注工具等”定的重要性，但相对不那么紧急。这些可能看上去更“长远”的“重要不紧急”挑战“缺乏真实业务及其研究需求的固定来源”“边缘AI系统部署等起步过程中缺乏指南文档”2、在“亟需改进”维度头部选项中，比“可改进”排名更高的挑战，可以认为是一定“缺乏AI工具，包括资源监控、节点仿真、标注工具等”2.4.小结AI下结论：1、平均分值最高(6.87分)的挑战是：“真实业务数据集及其基线算法、预训练模型难以获取”2、其它头部重要挑战中系统部署等起步过程中缺乏指南文档”重”“缺乏AI工具，包括资源监控、节点仿真、标注工具等”问卷中也尝试调研边缘AI算法开发其余重要挑战，调研结果词云如下所示，包括边缘AI概念与定义、硬件方案、人才协作、工具与文档、场景需求、AI效果等24条意见，由于篇幅限制不一一阐述。器人等边缘AI服务的角色。有74.90%的调研对象填写了边缘AI服务开发者相关问卷调研选项。对每个挑战的负面影响有四种选项，包括“不了解可跳过”“可维持现状””。本章先介绍答卷中关于各个算法开发生态挑战的不同维度调研结果，本章末尾将小结3.1.平均分AI示。对比为各挑战都有改进的需求。其中，平均分值最高(6.76分)的挑战是：“通用方案整体性能不一定满足特定业务需求”分以上的其它头部挑战还包括：“自研业务算法和系统方案周期长成本高”“方案效果复现困难或通用方案应用范围存疑”从“边缘AI及其应用”方向细分工业界、学术界和在校学生等不同职业调研对象(三者在调研对象中的比例大致为2:1:1)，细化服务开发者各项挑战平均分：在截距均值以上的其它头部挑战还包括：工业界(截距均值5.99)：“自研业务算法和系统方案周期长成本高”(平均分6.63)“方案效果复现困难或通用方案应用范围存疑”(平均分6.1)学术界(截距均值5.75)：“自研业务算法和系统方案周期长成本高”(平均分7.00)“方案效果复现困难或通用方案应用范围存疑”(平均分6.60)在校学生(截距均值5.84)：“方案效果复现困难或通用方案应用范围存疑”(平均分6.88)“自研业务算法和系统方案周期长成本高”(平均分6.46)3.2.亟需改进对于边缘AI服务开发者，问卷中提及的挑战被选为“亟需改进”的比例都在20%以“还有其他重要挑战”的6.36%，可以认为各个挑战都有一定的迫切需求。其中被选为“亟需改进”的挑战中比例最高(36.78%)的是：“通用方案整体性能不一定满足特定业务需求”在截尾均值(25.57%)以上的其它头部挑战还包括：“自研业务算法和系统方案周期长成本高””1、在“亟需改进”维度才进入头部的挑战有一个，在“平均分”部分其实也是非常接近头部(距离截尾均值0.06)，这可能说明该挑战比较重要，而且需求比较迫切，这”一个头部挑战在“亟需改进”维度排名下降，意味着其有一定这个挑战是：“方案效果复现困难或通用方案应用范围存疑”3.3.可改进问卷中的绝大部分挑战都以较大比例(59.77%-68.96%)被选为“建议改进”和“亟需改进”(下总称“可改进”)，对比认为“有其他重要挑战”需改进的比例仅求。其中，被认为“可改进”的挑战中比例最高(68.96%)的是：“通用方案整体性能不一定满足特定业务需求”在截尾均值(61.78%)以上的其它头部挑战还包括：“自研业务算法和系统方案周期长成本高”“方案效果复现困难或通用方案应用范围存疑”“方案效果复现困难或通用方案应用范围存疑”。2、在“亟需改进”维度头部选项中，比“可改进”排名更高的挑战，可以认为是一定”。3.4.小结AI下结论：1、平均分值最高(6.76分)的挑战是：“通用方案整体性能不一定满足特定业务需求”2、其它头部重要挑战中头部重要挑战还包括：“自研业务算法和系统方案周期长成本高”问卷中也尝试调研边缘AI服务开发其余重要挑战，调研结果词云如下所示。包括场景I项。对每个挑战的负面影响有四种选项，包括“不了解可跳过”“可维持现状”“建本章先介绍答卷中关于各个算法开发生态挑战的不同维度调研结果，本章末尾将小结AI示。对比为各挑战都有改进的需求。其中，平均分值最高(6.61分)的挑战是：“缺乏商业成功案例”分以上的其它头部挑战还包括：“受众对边缘AI不了解”从“边缘AI及其应用”方向细分工业界、学术界和在校学生等不同职业调研对象(三者在调研对象中的比例大致为2:1:1)，细化技术布道者各项挑战平均分：AI)在截距均值以上的其它头部挑战还包括：工业界(截距均值5.98)：“受众对边缘AI不了解”(平均分6.15)“缺乏商业成功案例”(平均分6.43)学术界(截距均值5.40)：“受众对边缘AI不了解”(平均分5.91)“缺乏与现有方案系统对比，包括成本、部署要求”(平均分5.68)在校学生(截距均值5.46)：“缺乏商业成功案例”(平均分6.05)“缺乏直观的UI界面和Demo”(平均分6.05)“缺乏与现有方案系统对比，包括成本、部署要求”(平均分5.53)4.2.亟需改进对于边缘AI技术布道者，问卷中提及的挑战被选为“亟需改进”的比例都在20%以“还有其他重要挑战”的1.72%，可以认为各个挑战都有一定的迫切需求。其中被选为“亟需改进”的挑战中比例最高(32.18%)的是：“缺乏商业成功案例”在截尾均值(25.00%)以上的其它头部挑战还包括：“缺乏直观的UI界面和DEMO”1、在“亟需改进”维度才进入头部的挑战有一个，在“平均分”部分其实也是非常接近头部(距离截尾均值0.06)，这可能说明该挑战比较重要，而且需求比较迫切。这个“重要且紧急”挑战是：“缺乏直观的UI界面和DEMO”一个头部挑战在“亟需改进”维度排名下降，意味着其有一定“受众对边缘AI不了解”4.3.可改进问卷中的绝大部分挑战都以较大比例(54.02%-62.07%)被选为“建议改进”和“亟需改进”(下总称“可改进”)，对比认为“有其他重要挑战”需改进的比例仅求。其中，被认为“可改进”的挑战中比例最高(62.07%)的是：“缺乏商业成功案例”在截尾均值(57.61%)以上的其它头部挑战还包括：“受众对边缘AI不了解”“受众对边缘AI不了解”。2、在“亟需改进”维度头部选项中，比“可改进”排名更高的挑战，可以认为是一定“缺乏直观的UI界面和DEMO”。4.4.小结AI下结论：1、平均分值最高(6.61分)的挑战是：“缺乏商业成功案例”2、其它头部重要挑战中头部重要挑战还包括：“缺乏与现有方案系统对比，包括成本、部署要求”AI)AI价值和方案配套等7条意见，由于篇幅原因不一一阐述。KubeEdgeSIGAIAIKubeEdge作为KubeEdge中唯一的AI特别兴趣小组(SpecialInterestGroup)，KubeEdge已开源边缘AI平台Sedna，包括其跨边云的协同推理、联邦学习、增量学习和终身然也不例外。为了交出一个更有竞争力和创意的提案，本次调研了解每位关注开源与边缘AI的朋友对相关方案落地过程遇到的困难，然后选取Bestidea，对社区内容进体现