计算机行业：AI模型下沉至终端提升边缘计算需求

证券研究报告行业动态报告yanguichengAC编号：S1440518040002SFC编号：BNS315wuchaozeAC编号：S1440513090003SFC编号：BEM208wangjietxz@SAC编号:S1440523050003发布日期：2023年06月15日。在遵守适用的法律法规情况下，本报告亦可能由中信建投(国际)证券有限公司在香港提供。。 2I•连接提升ASP：5G模组单价平均400-500元，4G模组单价平均100-200元。•算力提升ASP：算力用量方面，智能家居等场景典型算力需求是小于1Tops，自动驾驶随着级别升高算力需求在20Tops~4000Tops。算力成本方面，量化匡算算力成本为5元/Tops-10元/Tops。•现有场景用量增加：车载、智能家居、智能音箱等。身智能、VR/AR眼镜、工业控制等。•风险提示：国际环境变化对供应链的安全和稳定产生影响；AI芯片进展不及预期；AI算法、模型压缩等进展不及预期；产品形态变化导致模组需求不及预期；AI应用发展不及预期等。目录CONTENTS一、AI算力将在边端云端灵活分配透初见端倪万物互联场景中至关重要4•边缘计算是一种分布式计算架构，将数据处理能力和应用程序部署在更接近数据源的位置，以提高响应性，增强安全性和保护用户隐私(参考边缘计算联盟(ECC)的定义)。•所谓边缘，一般包括：设备边缘和云边缘。•设备边缘：一般包括直接的终端设备以及一些异构加速卡、边缘网关等设备。•云边缘：一般是在设备边缘和中心云之间，比如就近部署的边缘云节点/边缘IDC。数据来源：沃思互联，中信建投AIAI相互补充5云端AI机制•边缘AI将AI能力引入到边缘计算场景。云端AI机制边边缘AI机制数据来源：EETimes，英伟达，中信建投6数据来源：高通，中信建投7yirm•高通表示未来几个月内100亿参数的模型将有望在终端侧运行。数据来源：量子位，中信建投I •我们认为AI算力将综合考虑硬件能力、成本等因素，在边端和云端灵活分配，简单涵盖：•边端AI小模型场景：本地跑一些语音识别、图像识别等算法复杂度比较低、对算力要求比较小的AI模型，同时也可以通过API调用云端AI算力/应用来实现更加丰富的AI功能。数据来源：英伟达，ITFWorld2023，中信建投.5联邦学习等方法研究在边缘计算架构下进行分布式训练 EdgeComputing，MEC)架构，通过利利用的计算和通信资自的数据集和学到的知识，于使用所有终端数据进行训EdgeComputing，MEC)架构，通过利利用的计算和通信资自的数据集和学到的知识，于使用所有终端数据进行训确。FL (federatedlearning,FL)技术应运而生。图6：联邦学习FL方法目录CONTENTS一、AI算力将在边端云端灵活分配透初见端倪2.1大模型在边缘端渗透的条件：模型压缩+算力提升图7：针对推理端AI应用性能优化方法数据来源：浪潮，中信建投 grch图8：模型压缩方法知识蒸馏：知识是指模型的参数本身。知识蒸馏就是想把这种映射能力从大模型(Teacher)迁移到小模型(Student)上。模型剪枝：清除对模型性能的贡献较小的神经元或某些神经元为深度神经网络本质上是稀疏的。数据来源：CDSN，清华大学，中信建投模型量化：标准的神经网络数值计算是浮点计算，表示的数位多。量化使用较低精度的数据类型来存储模型权重和执行计算，比如采用8位整数而不是32位浮点数等。 SparseGPT回归求解器用于解决•SparseGPT可以在OPT家族的1750亿参数变量中剪枝到高达60%的均匀分层稀疏性。SparseGPT：给定一个固定的修剪掩码M，使用Hessian逆序列，增量地修剪权重矩阵W的每一列的权重，并更新这些行中的其余权重(位于正在处理的列的右侧)。修剪权重的右边(深蓝色部分)将被更新以补偿修剪错误，而未修剪的权重不生成更新(浅蓝色部分)。SparseGPT可以在OPT家族的1750亿参数变量中剪枝到高达60%的均匀分层稀疏性。数据来源：网易，中信建投幅度剪枝(MagnitudePruning)的准确率仅保持到10%数据来源：网易，中信建投逐步蒸馏法：使用思维链在多任务训练框架内为小型模型提取LLMrationales(基本原理/解释/依据》，作为额外的监督，取得了以更少的训练数据和更小的模型规模超越更大的语言模型•首先，给定一个LLM和一个未标记的数据集，提示LLM生成输出标签以及支持标签的rationales，rationales为模型预测的标签提供支持，是自监督LLM的一种新兴行为特性。•其次，利用这些rationales以及任务标签来训练较小的下游模型，rationales提供了关于为什么输入映射到特定输数据来源：DataLearner，中信建投原驼650亿参数版只需要48GB显存单卡微调24小时，330亿参数版只需要24GB显存单卡(消费级RTX3090或RTX4090显卡即可满足)微调12小时。LoRA是微软团队在2021年提出的低秩适应(Low-RankAdaptation)高效微调方法。通常LoRA微调与全量微调相比效果会更差，但微软提出将LoRA添加到所有的线性层解决了这个问题。QLoRA结合了4-bit量化和LoRA，以及三个技巧：新数据类型4-bitNormalFloat、分页优化器(PagedOptimizers)和双重量化(DoubleQuantization)，最终让4-bit的原驼在所有场景和规模的测试中匹配16-bit的性能。数据来源：量子位，中信建投图12：谷歌AI大模型PaLM2数据来源：华尔街见闻，中信建投2.2.6模型压缩：MLCLLM提供各类硬件终端原生部署大模型解决方案数据来源：机器之心，中信建投cshape焙 (bake)为具有原生避免了对最大输入长度进行额外填充的需化许多模型部数据来源：机器之心，中信建投cshape焙 (bake)为具有原生避免了对最大输入长度进行额外填充的需化许多模型部 ry码优化可以很容易地合并为TVM•利用低位量化来压缩TensorIR为不同的压缩编码方案快速定制成•基于ApacheTVMUnity/通过扩展TVM后端使模型编译更加透明和高效•MLCLLM可将大模型应用于移动端(例如iPhone)、消费级电脑端(例如Mac)和Web浏览器，旨在让每个人都能在个人设备上本地开发、优化和部署AI模型，而无需服务器支持，并通过手机和笔记本电脑上的消费级GPU进行加速。MLCLLM支持的平台包括：•iPhone•MetalGPU和英特尔/ARMMacBook;•在Windows和Linux上支持通过Vulkan使用AMD和NVIDIAGPU；•在Windows和Linux上通过CUDA使用NVIDIAGPU；•浏览器上的WebGPU(借助MLCLLM的配套项目WebLLM)。•TVM编译生成的库VMruntime在设备原生，TVMruntime支持CUDA/Vulkan/Metal等主流GPU驱动以及C、JavaScript等定算力t显存t数据来源：壁仞科技，高通，中信建投数。算力t显存t数据来源：壁仞科技，高通，中信建投内存(10B*2Bytes)，优化器状态需要40GB内存(10B*2Bytes*2)，总计需要80GB内存。电量、待机时长等也都有不同要求。en•骁龙8gen2是全球首个支持INT4精度格式AI计算的移动平台，计算精度有了大幅度提升，能够运行更大更复杂的神经网络模型，与INT8精度格式相比，INT4将带来60%的能效提升和90%的AI推理性能提升。•在骁龙8gen2全新AIEngine传感器中枢中，高通又增加了一枚AI处理器，共有两枚AI处理器用于处理低功耗的情景感知任务。在双处理器的加持下，骁龙8gen2传感器中枢的AI性能提升2倍，内存提高50%，大大增强了处理器低功耗状态下的始终感知能力。GenAI能大幅提升数据来源：高通，中信建投20•参考集微网信息，L2(ADAS)需要的AI计算力小于10TOPS；L3的AI计算力为30~60TOPS；L4的AI计力>100TOPS；L5需要的AI计算力为500-1000TOPS。数据来源：英伟达，新浪科技，中信建投 21•手机：ChatGPT已推出IOS应用，安卓版后续也会发布。高通在搭载第二代骁龙8移动平台的Android智能手机上部署StableDiffusion(参数超10亿个)，在15秒内执行20步推理，生成一张512x512像素的图像。•PC：微软和高通、英特尔在AI领域展开合作，部署推出搭载AI引擎的PC产品。•具身智能：英伟达创始人黄仁勋表示AI下一个浪潮将是“具身智能”，并且公布了多模态具身人工智能系统NvidiaVIMA。图17：高通在搭载最新第二代骁龙8移动平台的Android智能手机上部署StableDiffusion数据来源：高通，中信建投目录CONTENTS一、AI算力将在边端云端灵活分配透初见端倪边缘计算市场快速增长23CAGR47%4373031359211607412282904629CAGR47%4373031359211607412282904629025年中国边缘计算产业规模预计年复合增速达到46.81%，2025年边缘计算市场整体规模将达1987.68亿元。国边缘计算产业市场规模(亿元)全球边缘潜在市场规模，亿美元边缘硬件边缘软件5000450040003500300025002000150010005000 4450 R 90202020302020数据来源：STLPartners，中信建投25002000250015001000500020212022202320242025数据来源：亿欧智库，中信建投24数据来源：高通，C114，Wind，中信建投 25智能芯片，FPGA和ASIC则分别是针对人工智能需求特征的半定制和全定制芯片。图21：图像识别AI运算系统不同环节所需芯片类型AI数据来源：美格智能，中信建投6 2•高通表示已经出货了20亿件具有人工智能功能的产品。 2•英伟达表示已经有超过100万开发人员、超过6000家客户使用Jetson平台。等厂商在MCU或SoC上增加边缘AI功能。同时也有大量初创企业投入AI芯片研发。数据来源：亿欧智库，搜狐，中信建投 27920776630490361255069850427191124场规模及预测•Frost&920776630490361255069850427191124场规模及预测•亿欧智库数据，2021年中国AI芯片市场规模达426.8亿元，同比大幅增长123.9%，预计2025年中国AI芯片市场规模将达到1780亿元，CAGR42.9%。图24：图24：中国AI能芯片市场规模及预测(亿元)全球人工智能芯片市场规模，亿美元中国AI芯片市场规模，亿元10009008007006005004003002000202020212022E2023E2024E2025E2026E20001800160014001200100080060040020002019202020212022E2023E2024E2025E数据来源：Frost&Sulivan，观研天下，中信建投数据来源：亿欧智库，中信建投3.4.1模组：标准化的模组形态可以有效满足物联网碎片化需求28借现通信或定位。•物联网的碎片化需求，基于芯片的开发技术门槛高，客户会选用标准的模组，直接使用模组的标准硬件数据来源：中国移动，中信建投29•AI在边缘场景中的渗透，一方面会带动连接功能需求的提升：的数据，智能汽车的智慧座舱领域，未来可能会配备1个高算力模组以及2-3个5G无线通信模组。数据来源：counterpoint，中信建投0•AI在边缘场景中的渗透，另一方面，预计也将大幅带动算力模组的需求：将典型场景算力+通信方案固定的边缘计算设备高算力模组+千兆以太网的连接方式智能汽车辅助驾驶端侧的超强算力模组+Cat.4通信模组信模组域高算力模组+2-3个5信模组域工业互联网高算力模组+5GR16高速传输模组全屋智能算力模组+强Wi-Fi6室内传输+室外5GODU数据来源：美格智能，中信建投1•智能控制器和边缘节点算力同样直接相关。图28：AI极大提升冰箱智能化能力数据来源：云米科技，中信建投目录CONTENTS一、AI算力将在边端云端灵活分配透初见端倪3II4.2.1用量和成本维度量化算力弹性4景对于AI芯片的算力需求着级别升高算力需求在20Tops~4000Tops。AI大模型往终端渗透有望进一步提升算力需求。景对于AI芯片的算力需求图29：存算一体芯片演进数据来源：乘势资本，中信建投数据来源：爱集微，JWInsights数据来源：乘势资本，中信建投4.2.2重点推荐物联网模组板块5•AI逐步渗透有望带动物联网模组行业量价齐升，对于物联网模组行业的中长期拉动预期乐观。•连接提升ASP：参考通信世界网数据，5G模组单价平均400元-500元，4G模组单价平均100元-200元。随着5G量增加及redcap成熟，5G模组均价预计会明显下降，但较4G模组平均单价仍将有所增长。U提升价值量。•新增典型场景：具身智能、VR/AR、工业控制、AI助手等。AI们认为2024年开始有望规模起量，在此前预测基础上，AI带来的增量有望带动蜂窝物联网模组行业进入CAGR25%-30%的新一轮景气周期。表2：AI带动物联网模组行业市场规模匡算2023e2024e2025e全球物联网蜂窝模组出货量，亿个yoy4.84.814%719%.615%12%基准模组单价全球物联网蜂窝模组市场规模，亿元yoy算力模组渗透率算力ASP算力ASP平均算力单价，元亿元3%0%20%54.03.22.630.1%26%0%2%5%5%0%0%0%全球物联网蜂窝模组市场规模，亿元yoy27%28%29%数据来源：counterpoint，中信建投4.2.3重点推荐智能控制器板块 36能家电控制器行业市场规模。表3：AI带动家电控制器行业市场规模匡算202220232024202599.67.6oyoy智能控制器市场规模，亿元oy22算力单价，元亿元 全球家电智能控制器市场规模，亿元264290332401yoy数据来源：Gfk，Website(twice.om)，艾媒咨询，中信建投 37高达15TOPS的算力支持；FM1605G模组与安提国际AI边缘计算平台AN810-XNX成功联调。集成高通旗舰IoT芯片QCS8250数据来源：广和通官网，中信建投8OPSTOPS数据来源：美格智能，中信建投9拓邦股份智能解决方案相关业务布局数据来源：拓邦股份官网，拓邦股份公众号，中信建投4.6和而泰：在智能化产品中引入AI技术40AI相关信息进行反馈智数据来源：和而泰官网，中信建投数据来源：网宿科技官网，中信建投 41目录CONTENTS一、AI算力将在边端云端灵活分配透初见端倪 43大影响。AI预期，将会影响大模型在边缘场景的渗透。造成较大影响。•AI应用发展不及预期等。44分析师介绍云计算、物联网、5G等领域研究。近8年中国移动工作经验，6年多证券研究经验。系2019-2021年《新》通信行业最佳分析师第一名，2017-2018年《新财富》、《水晶球》通信行业最佳核心成员。券研究所所长兼国际业务部负责人，董事总经理，TMT行业首席分析师。新财富白金分析师，2013-2020年连续八届新财富最佳分析师通信行业第一名；2014-2020年连续七届水晶球最佳分析师通信行业第一名。专注于5G、云计算、物联网等领域研究。中国证券业协会证券分析师、投资顾问与首席经济学家委员会委员。入中信建投通信团队，主要研究物联网、控制器等方向。评级说明投资评级标准评级说明报告中投资建议涉及的评级标准为报告发布日后6个月内的相对市场表现，也即报告发布日后的6个月内公司股价(或行业指数)相对同期相关证券市场代表性指数的涨跌幅作为基准。A股市场以沪深300指数作为基准；新三板市场以三板成指为基准；香港市场以恒生指数作为基准；美国市场以标普500指数为基准。股票评级买入相对涨幅15％以上增持相对涨幅5%—15％相对涨幅-5%—5％之间减持相对跌幅5%—15％卖出相对跌幅15％以上行业评级强于大市相对涨幅10%以上相对涨幅-10-10%之间弱于大市相对跌幅10%以上45分析师声明本报告署名分析师在此声明：(i)以勤勉的职业态度、专业审慎的研究方法，使用合法合规的信息，独立、客观地出具本报告,结论不受任何第三方的授意或影响。(ii)本人不曾因，不因，也将不会因本报告中的具体推荐意见或观点而直接或间接收到任何形式的补偿。法律主体说明本报告由中信建投证券股份有限公司及/或其附属机构(以下合称“中信建投”)制作，由中信建投证券股份有限公司在中华人民共和国(仅为本报告目的，不包括香港、澳门、台湾)提供。中信建投证券股份有限公司具有中国证监会许可的投资咨询业务资格，本报告署名分析师所持中国证券业协会授予的证券投资咨询执业资格证书编号已披露在报告首页。在遵守适用的法律法规情况下，本报告亦可能由中信建投(国际)证券有限公司在香港提供。本报告作者所持香港证监会牌照的中央编号已披露在报告首页。一般性声明本报告由中信建投制作。发送本报告不构成任何合同或承诺的基础，不因接收者收到本报告而视其为中信建投客户。本报告的信息均来源于中信建投认为可靠的公开资料，但中信建投对这些信息的准确性及完整性不作任何保证。本报告所载观点、评估和预测仅反映本报告出具日该分析师的判断，该等观点、评估和预测可能在不发出通知的情况下有所变更，亦有可能因使用不同假设和