《人工智能 端侧大模型推理引擎技术要求》GBZ 243-2026

1人工智能端侧大模型推理引擎技术要求本文件确立了功能视角下的端侧大模型推理引擎参考架构，规定了大模型在端侧部署的技术要求。本文件适用于端侧大模型推理引擎的设计、开发、测试和部署。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于GB/T41867—2022信息技术人工智能术语GB/T45288.1—2025人工智能大模型第1部分：通用要求3术语和定义GB/T41867—2022、GB/T45288.1—2025界定的以及下列术语和定义适用于本文件。端侧大模型推理引擎on-devicelarge-scalemodelinferenceengine部署在端侧设备上，用于对已训练的大模型进行加载、调度和执行，利用设备本地计算资源实现高效推理，并支撑特定端侧智能任务运行的基础软件。模型剪枝modelpruning通过删除冗余参数或结构，降低模型规模与计算成本的模型轻量化方法。知识蒸馏knowledgedistillation用复杂大模型(教师模型)指导轻量化模型(学生模型),将核心知识压缩迁移，在降低模型资源占用的同时，尽可能保留推理精度的模型轻量化方法。4缩略语下列缩略语适用于本文件。CPU:中央处理器(CentralProcessingUnit)GPU:图形处理器(GraphicProcessingUnit)NPU:神经处理器(NeuralProcessingUnit)PTQ:后训练量化(Post-TrainingQuantization)QAT:量化感知训练(QuantizationAwareTraining)25参考架构功能视角下，端侧大模型推理引擎的参考架构见图1,包含以下组件：a)端侧大模型数据功能：针对输入输出数据的不同类型和模态提供数据处理、存储与管理的b)端侧大模型轻量化部署功能：涵盖量化、剪枝、知识蒸馏等大模型轻量化算法；c)端侧大模型异构软硬件适配功能：针对端侧CPU、GPU、NPU等异构硬件后端的适配，以及针对移动端主流操作系统的适配；d)端侧大模型推理计算加速功能：涵盖算子、计算图层面优化与计算资源动态调度，加速端侧大模型内容生成；e)端侧大模型推理内存优化功能：在端侧大模型推理过程中有效管理内存资源，包括内存的分配推理内存优化推理内存优化内外存布局键值缓存管理推理内存资源动态调度异构软硬件适配端侧异构硬件适配数据输出数据处理数据存储与管理推理计算加速算子优化计算图优化推理计算资源动态调度轻量化部署轻量化大模型格式转换与加载量化剪枝知识蒸馏数据类型输入数据处理端侧异构软件适配图1功能视角下的端侧大模型推理引擎参考架构6技术要求6.1.1数据类型根据端侧生成式智能服务需要，端侧大模型推理引擎的输入输出应具备能够处理和展示不同模态数据的能力，包含但不限于以下类型：a)文本；b)音频；e)感知数据。6.1.2输入数据处理端侧大模型推理引擎的输入处理能力宜包括但不限于以下功能。31)标准化处理：统一大小写、去除或替换特殊符号、控制空白等，以保证输入一致性；2)文本增强：处理错别字、语侧大模型能够在用户输入含噪声的文本时仍能做出准确预测；3)编码与令牌化：实现多种字符编码格式转换，对文本进行分词/分字操作，生成令牌，并映射为向量表示。b)音频：1)格式与采样率：具备WAV、MP3等常见格式输入与采样率标准化处理功能；2)音频增强：通过回声消除、减少干扰降噪等算法减少音频中由于回声或混响产生的干扰噪3)特征提取：捕捉时域与频域变化，提取MFCC、梅尔频谱图等音频特征，将其转化为向量c)图像：1)格式与尺寸：具备JPG、PNG等图像格式输入及图像尺寸调整与编码格式转换功能；2)归一化处理：对像素值进行归一化或标准化，减少数据分布差异；3)图像增强：处理图像中的干扰噪声，如模糊、低光照或物体遮挡，通过去干扰降噪算法(如高斯模糊或卷积降噪网络)增强图像质量；4)特征提取：基于卷积神经网络、视觉Transformer等网络结构抽取高维语义特征，并转化为可处理的向量。d)视频：1)格式与帧率：具备MPEG、MP4等视频格式输入及帧率、分辨率统一调整功能；2)视频增强：通过时域滤波或3D卷积去干扰技术减少视频中的随机噪声，特别是低光、夜间拍摄时出现的噪点；3)帧级提取：从视频中抽取单帧图像，进行语义特征提取；4)时序建模：捕捉帧间的时间关系，采用时序卷积或Transformer等方法进行编码；5)音视频同步：若视频包含音频，支持视频帧与音频特征的严格对齐与同步处理。e)感知数据：1)格式标准化：具备IMU、GPS、雷达、激光雷达、温湿度等多种端侧主流传感器所采集的感知数据格式(如JSON、CSV、ROSbag等)的解析与转换功能，能统一数据结构便于模型2)噪声滤除与插值补全：针对传感器采集过程中产生的随机噪声、失真或数据缺失问题，采用滤波器与插值算法进行数据修复；3)归一化与特征工程：对数值范围不一致的多维传感器数据进行归一化、标准化处理，并结合领域知识提取统计特征；4)时序对齐与融合：对来自多源传感器的数据按时间戳进行对齐，必要时对不同频率的数据进行重采样处理，支持多模态数据的同步融合；5)向量化编码：将处理后的感知数据转化为向量形式，可直接供端侧大模型进行推理或多模态联合建模。6.1.3输出数据处理端侧大模型推理引擎的输出数据宜包括以下功能。a)模态支持：具备单模态或混合模态数据输出功能。对于多模态输出，需保证模态内准确性、模态间一致性，例如文本描述应准确反映图像或音频内容，避免出现模态间语义不一致的情况。4GB/Z243—2026b)生成质量：输出内容应流畅自然、符合人类阅读或听觉习惯，满足用户预期。在关键细节(如专c)生成多样性：在满足输入约束及采样参数设定的前提下，具备生成多样化内容的能力，避免模式坍塌。对于用户个性化任务，应支持根据偏好配置调整输出的丰富度与差异化程度。e)输出审计与校正：对输出进行语义与上下文准确性评估，核对生成内容是否真正呼应输入意图，及时修正偏差；在审计环节再次校验各模态之间及不同时序段落的内容是否前后一致，消除潜在矛盾；确保输出不侵犯版权、遵守行业规范和所在地法律法规，对引用素材进行必要标注或替换；避免生成可能引发歧视、偏见、误导或其他有害信息，符合社会责任；严格遵循数据保护与隐私原则，杜绝敏感数据或个人信息泄露，对可能涉及的敏感场景或用户数据进行加密或脱敏处理。6.1.4数据存储与管理端侧大模型推理引擎中用户数据的存储与管理应符合以下要求：a)实现端侧用户数据的本地化存储与处理，包括文本、图像、视频、音频等格式要求，提供统一的数据表示与自动格式转换机制，保障数据在推理阶段的兼容性与高效b)强化本地数据安全防护机制，结合大模型对个性化与隐私数据的依赖特性，采用端侧加密存储、最小权限访问控制、本地数据脱敏与差分隐私等技术，确保用户敏感信息在端侧处理过程中不被泄露，严格遵守相关隐私保护法规；c)设计高效的数据索引与缓存机制，具备快速数据访问与动态加载功能，满足端侧大模型推理和连续上下文交互的实时需求；d)制定本地数据的备份与恢复机制，增强端侧设备的断电恢复和异常容错能力，保证模型上下文数据和用户个性化数据在不同使用周期内的持续性与一致性；e)构建可控的数据更新机制，动态维护用户数据并适配模型，结合数据筛选与清洗流程，确保数据的时效性、有效性及训练/推理适配度；f)基于端侧设备存储、计算和能耗限制，设计具备动态扩展能力的数据管理框架，支持按需加载、模态扩展和分级存储，同时保持系统性能稳定和资源效率优化；g)明确用户数据留存期限，默认留存不超过1年，超出期限自动脱敏清理；提供用户主动删除或保留个人数据的功能入口，删除后相关缓存及备份数据应同步清除。6.2.1量化面向端侧推理引擎的大模型量化宜包括以下功能：b)量化感知训练：在大模型训练过程中引入量化操作，通过QAT提升模型在端侧实际部署时的量化适应性和精度保留能力，避免因量化带来的性能显著下降；d)模块化量化策略：对大模型的不同模块(如注意力模块、前馈模块、嵌入模块等)采用差异化的5量化策略，根据各模块对模型性能的敏感度灵活调整量化精度，提升整体压缩效率和精度保留效果。面向端侧推理引擎的大模型剪枝宜包括以下功能：a)结构敏感剪枝：针对大模型结构的敏感性进行剪枝，如基于Transformer架构中的注意力头、全连接通道、层级模块等进行粒度化剪枝。剪枝后模型结构应保持高度模块化与可部署性，适配端侧设备对模型计算图优化与高效执行的需求；b)重要性评估机制：适用于大规模参数的剪枝评估，通过使用参数权重大小、梯度累积、激活稀疏性、信息熵等多种维度评估参数和网络模块重要性，从而确保剪枝操作尽可能保留核心能力，适配大模型冗余高但性能敏感的特点；c)资源约束下的动态剪枝策略：根据端侧设备的算力、存储、能耗等实际约束，动态调整剪枝策略，实现自适应的模型裁剪与重构。通过训练时和部署时的剪枝策略差异配置，满足在线学习、自适应部署等复杂场景下的灵活需求；d)剪枝后精度恢复与优化机制：在大模型剪枝后，基于再训练、蒸馏或增量微调等手段，恢复模型精度，提升模型稳定性与泛化能力，确保在端侧部署后能在限定资源下仍具备大模型的核心推理能力与任务性能。6.2.3知识蒸馏面向端侧推理引擎的大模型知识蒸馏宜包括以下功能：a)知识蒸馏功能支持：通过知识蒸馏方式，将云侧原始教师模型的知识迁移至轻量化学生模型，使学生模型在端侧具备高效运行能力，同时尽可能保持教师模型的推理性能；b)蒸馏范式多样性：实现多种知识蒸馏范式，包括但不限于基于输出的软标签蒸馏、基于中间表示的特征对齐蒸馏、基于关系的结构蒸馏等，适配不同模型结构和任务场景的蒸馏需求；c)层级蒸馏机制：通过在教师模型与学生模型的多个层级之间建立对齐关系，实现从浅层特征到深层语义的全面知识传递，提高学生模型的表达能力和泛化性能；d)端侧部署优化：在蒸馏过程中综合考虑端侧设备的计算资源限制，包括模型大小、计算复杂度与推理延迟等指标，指导蒸馏目标优化学生模型的部署效率与运行稳定性；e)端侧任务适配性蒸馏：结合端侧具体下游任务进行有针对性的蒸馏训练，使学生模型不仅压缩高效，同时具备良好的任务适配能力，提升端侧实际应用效果。6.2.4轻量化大模型格式转换与加载在大模型轻量化的基础上，将云侧推理引擎所支持的模型格式转换成端侧推理引擎所支持的模型a)具备模型格式转换功能：将云侧推理引擎常用的模型格式高效转换为端侧推理引擎支持的模型格式。转换过程中应保留计算图结构，并对不包含参数的中间表示进行处理，确保模型结构与权重分离导出，从而提升转换效率和灵活性。b)具备强结构兼容性：转换工具应支持大模型中关键算子(如线性、嵌入、注意力)的结构替换与融合，例如将线性算子替换为端侧优化实现的自定义算子，融合RMSNorm和Attention等算子，提升模型结构的端侧执行效率与一致性。c)具备分级混合存储加载能力：根据不同存储介质特性优化模型参数加载策略，例如通过DRAM-Flash内外存混合存储机制，对模型嵌入、层结构及语言模型头参数进行分类加载，例如嵌入参数可优先放置在Flash中，而模型层级结构和模型头参数则应加载到DRAM,以降GB/Z243—20266低内存使用并保持推理性能。d)具备可扩展性：转换工具应具备标准化分词器、低秩适配器权重加载及切换机制，确保多模型、多任务的支持能力。6.3异构软硬件适配6.3.1端侧异构硬件适配端侧大模型推理引擎适配端侧CPU、GPU、NPU等异构硬件后端的技术要求包括但不限于以下几个方面。a)CPU适配：应充分发挥CPU多核处理器的并发能力，引入高效的多线程调度机制，实现大模型推理任务的并行化执行，提升计算资源利用率并降低推理时延。同时，需兼顾端侧设备对能b)GPU适配：应针对端侧GPU在大规模并行计算方面的优势，适合大模型中并行度高的算子(如注意力机制、矩阵乘等),通过OpenCL、Vulkan、Metal等端侧GPU编程框架，可将大模型中的关键计算图节点高效映射至GPU,并配合内存访问模式的优化、缓存策略调整、异构协同调度等手段，降低数据搬运开销，提升端侧大模型推理吞吐量。c)NPU适配：应针对NPU高能效比和定制化加速能力，需将大模型编译为厂商特定的中间表示(如IR、NN模型格式等),并基于NPU的指令集和计算模式进行指令级调优。采用模型压缩技术，降低模型体积和运行时内存占用，匹配NPU有限的片上资源。6.3.2端侧异构软件适配端侧大模型推理引擎适配端侧异构操作系统的技术要求包括但不限于以下几个方面。a)底层张量计算通用引擎：应通过C/C++编写跨平台通用张量计算引擎，覆盖大模型常用的算子类型，具备良好的平台兼容性和高效的运算性能，统一异构硬件后调用与内存管理机制，为端侧大模型推理提供稳定、高效的执行基础。b)跨平台接口抽象：应统一接口封装底层差异性，屏蔽Android(Java/Kotlin)、iOS(Objective-C/Swift)、鸿蒙(OpenHarmony)平台在系统调用、硬件访问、线程模型等方面的差异，保证各平台下应用层代码的一致性与可移植性。c)计算图与数据布局一致性：应统一管理大模型计算图结构，并在推理过程中保持跨平台的数据布局一致性，确保算子之间的数据接口对齐。端侧大模型加载阶段需根据设备指令集与缓存结构，自动完成权重重排、张量对齐及缓存友好排序。端侧大模型推理运行阶段针对线性与注意力等算子所涉及的矩阵乘法操作，在不同平台之间确保分块策略、张量排列顺序和量化布局的统一，避免由于内存访问方式不同而导致性能差异或精度偏移。d)精度一致性验证机制：在多平台适配过程中，应建立统一的模型精度校验体系，对大模型在Android、iOS、鸿蒙等平台上推理结果进行比对，确保浮点或量化运算差异不会导致语义偏移，保障端侧推理结果的可靠性。6.4推理计算加速6.4.1算子优化端侧大模型推理引擎中算子优化的技术要求包括但不限于以下几个方面：a)算子覆盖全面性：应完整覆盖大模型中的算子类型，包括但不限于矩阵乘法、归一化、激活函数、张量操作、数据类型转换、注意力机制与嵌入类算子，并同时支持FP32、BF16、FP16、INT8、INT4等常见数据类型，确保模型在不同精度和场景下均可正确执行；7b)硬件特性针对性优化：应针对端侧设备上的CPU(如ARMCortex系列)、GPU(如Mali、Adreno)、iOSMetal及NPU等硬件后端，需根据其指令集特性进行算子优化，充分利用SIMD指令集优化向量与矩阵操作，结合不同架构的访存特性与并行能力，制定适配性的算子实现策略，保障在主流端侧异构硬件架构下获得高性能；c)汇编级优化：对于计算量大、执行频次高的核心算子(如线性层、注意力计算、Softmax等),应提供面向特定硬件平台的汇编级优化版本，通过手写汇编方式控制寄存器调度、循环展开与数据对齐，有效提升执行效率与资源利用率；d)算子实现算法选择：应为核心算子提供多种可选算法路径，例如矩阵乘法需具备标准GEMM、Winograd、分块乘等实现算法，在模型编译或加载阶段根据张量形状、数据精度和目标硬件性能自动选择算法，确保每次推理都采用最优实现方式，实现结构灵活性与性能优化的统一；e)算子融合：应将强依赖关系的算子进行融合，实现如线性变换与归一化、注意力内部各阶段的计算一体化等优化路径，以减少中间数据转存与重复调度开销；6.4.2计算图优化端侧大模型推理引擎中计算图优化的技术要求包括但不限于以下几个方面。a)计算图结构标准化：应具备从主流大模型格式导入计算图，并对图结构进行标准化处理的功能，包括节点类型统一、输入输出顺序规整与冗余算子移除，确保转换后的图结构适配端侧执行路径。在大模型结构导出阶段，将模型结构与参数分离导出，以减少初始图转换开销。b)静态计算图优化：在模型转换过程中，应对计算图进行静态优化，包括常量折叠、冗余节点裁剪、计算路径合并、张量形状推导等操作，在图层面进行特定组合的多个间内存分配与调度开销，提升执行效率。c)动态计算图优化：对于支持动态计算图的硬件后端，应基于运行时输入变化进行动态图优化，能够在保持图结构灵活性的同时实现动态形状推导、即时算子重排与缓存复用。在首次执行阶段动态生成优化图执行路径，并在后续执行中重用图编译结果，减少重复图构建开销。d)结构性图分区与模块裁剪：针对端侧内存受限场景，应对计算图进行结构性分区或裁剪，按模块、层次或阶段(如预填充与解码)划分执行子图，并在运行时按需加载。同时可根据部署需求裁剪部分不必要结构，减少运行开销与加载延迟。e)计算图调度与执行顺序优化：计算图执行顺序应结合算子计算量、内存依赖与硬件并发特性动态调整，合理安排并行执行与数据预取流程。在多核环境下，图调度应适配不同核心的计算特性，结合拓扑排序与代价模型，生成适合异构核架构的调度计划，提升整体计算吞吐量。f)优化策略可插拔设计：具备图优化策略的模块化配置功能，允许开发者自定义图优化插件、指定优化级别或路径(如保守优化、性能优先等),并兼容未来新增算子与结构，为多样化模型计算适配提供扩展能力。6.4.3推理计算资源动态调度端侧大模型推理引擎中计算资源动态调度的技术要求包括但不限于以下几个方面。a)任务粒度控制与切分机制：大模型推理计算任务应使用子图、算子或张量计算块为单位进行任务切分，并根据任务粒度特性结合端侧设备缓存容量与并发能力，合理划分执行片段，提升多核利用率与数据局部性，根据不同推理阶段的计算特征选择合适的并行或串行调度策略，如在预填充阶段可充分并行化矩阵操作任务，解码阶段则优先保证关键路径的串行逻辑执行效率。b)异构计算单元协同调度：在CPU、GPU、NPU等多种计算单元的端侧设备上，应具备对多计算8后端的识别与任务分配能力；在运行时分析任务类型、算子计算密度与设备空闲状态，动态决定执行设备并实现任务转移；结合调度策略将模型任务合理划分至CPU、GPU与NPU等计算单元，实现计算负载均衡，将矩阵乘法、张量变换等计算密集型任务优先调度至GPU和NPU,控制路径与低并发算子保留在CPU上执行，支持异构算力协同利用。c)运行时调度机制：应构建统一的运行时调度框架，具备计算图解析、调度计划生成与线程任务绑定功能。调度器结合大模型计算图结构信息、算子特征、历史性能统计与硬件指令集特性，自动选择最优的执行策略与线程映射方式；通过线程亲和性设置，将高负载任务固定绑定至高性能核，提升执行一致性；通过运行时路径缓存与再调度机制，在首次执行后记录高效调d)调度性能与资源平衡保障：在多线程推理执行过程中，应考虑线程创建与销毁开销，合理控制并发线程数量，并实现调度粒度与线程并发度的平衡，避免因过度线程化导致系统资源竞争和性能下降，通过低开销的线程池机制与绑定核心的策略提升调度稳定性与系统响应能力。e)运行时调度监测与回馈机制：应提供资源使用监控能力，在大模型推理过程中持续监测端侧计算资源占用率、内存占用、线程活跃度等关键指标。结合监测数据进行动态调度策略修正，并支持将调度结果回馈给上层应用用于能耗管理、负载感知与任务迁移等场景决策。f)调度策略可调与自适应：应具备可配置的调度策略接口，开发者可根据具体场景设定性能优先、能效优先或内存优先等调度目标。此外，具备基于历史运行情况的自适应策略优化能力，持续调整大模型推理任务调度方式，以适应端侧运行时硬件资源状态变化和应用场景负载变化。6.5推理内存优化6.5.1内外存布局端侧大模型推理引擎中内外存布局的技术要求包括但不限于以下几个方面。a)多级存储分层：应具备DRAM与Flash(UFS/eMMC)之间的多级存储管理体系，结合大模型参数访问频率与计算阶段特点，动态分配参数至不同存储介质；频繁访问的核心算子参数(如解码阶段使用的线性层权重与语言模型头参数)应优先加载至DRAM,而嵌入层等低访问频率参数可常驻Flash,在提升整体内存可用性的同时避免关键路径性能瓶颈。b)内存布局优化：应结合算子形状、访问模式与平台缓存特性，对大模型参数进行数据重排，提升内存访问局部性。应在计算图构建阶段执行内存优化，包括中间张量的生命周期分析与复用计划制定，减少内存碎片与多次分配行为，结合图结构和算子调度关系，应应用内存共享、重叠计算等策略，降低整体内存占用，在端侧推理过程中，序对齐策略，确保矩阵计算中数据按缓存行排布，减少缓存失效与访存延迟。c)量化参数与激活数据布局一致性：对于采用INT4/INT8等量化参数模型，应保持权重量化数据与激活数据在内存中的对齐与布局一致性。具备按通道、按块等多种量化格式自动适配不同算子计算需求的能力，同时合理安排张量位置，便于SIMD指令加载与矢量化操作，提升量化模型的运行效率。d)异构后端内存共享：针对CPU、GPU与NPU等异构硬件协同推理，应具备统一内存管理与跨设备内存共享机制。为减少数据在不同计算单元之间频繁拷贝所带来的带宽消耗与延迟，应优先采用零拷贝策略或共享内存机制，使张量在异构后端间复用同一物理地址空间。应根据算子调度计划，自动分析张量的读写权限与数据流动方向，选择适合的共享策略并在底层完成异构后端间的同步与缓存一致性控制。96.5.2键值缓存管理端侧大模型推理引擎中键值缓存管理的技术要求包括但不限于以下几个方面：a)键值缓存结构适配：大模型在解码阶段需持续访问历史上下文的键和值，键值缓存会随生成长度线性增长，显著增加内存占用。应按层级、序列位置等方式组织键值缓存结构，确保缓存在长文本生成场景下具备可扩展性，适配大模型在多层注意力机制下的连续访问需求；b)键值缓存访问优化：应针对端侧大模型推理过程中的频繁读取操作进行内存优化。根据注意力机制的计算顺序，将缓存按时间步或序列方向进行连续排列，配合缓存行对齐规则，提升数据的局部性与命中率，对于多头注意力机制，还应具备头间并发访问优化，减少内存带宽冲c)长上下文分页管理：应具备键值缓存分页管理，将缓存划分为多个