中国信通院-行业大模型标准体系及能力架构研究报告

II腾讯云计算(北京)有限责任公司液冷GPU服务器液冷GPU工作站自动驾驶辅助平台智能相机算法平台机器学习分析平台异构资源管理调度平台推荐序带来更多的帮助。”——腾讯集团高级执行副总裁、云与智慧产业事业群果。愿本次研究成果，助力大模型产业发展和生态建设。”——腾讯法务副总裁江波行业大模型标准体系及能力架构研究报告版权声明V编委会吴运声、魏凯、王麒、吴永坚、徐炎、江波、杨鹏、徐樱丹、张孙星、曹峰、黄晶莹、李荪、侯方、韩旭、李牧青、王萍、黄小明、梁小龙、王川南、尹迪、赵登梧、胡哲雁翔、戚蕴、汪凯峰、叶国宇、周为洲、韩利明、严敏、胡纯、李建慧、蒋增增、王永霞、武杨、郑剑锋、倪平、李克鹏、刘震宇周威、王成、程力鑫、周军军、赵紫良、方海璇前言 1 3 6 第二章行业大模型构建路线图，指导企业建设大模 20 22 24 28 33 33 34 35 36 37 38 39 40 1第一章行业大模型开启产业升级的“黄金时代”随着ChatGPT（ChatGenerativePr2模型均利用Transformer架构搭建。近期，Google发布的通才模型34行业用户利用MaaS构建专属的行MaaS通常内置了行业大模型和工具箱，配套标准第一，MaaS可以通过基础行业大模型、定制场景大模型、模型5第二，MaaS可以提供公有云的部署流程、私有化的部署流程，6789第二章行业大模型构建路线图，指导企业建设大模型能力（1）业务数据：明确需要处理的数据模态。不同的数据模型影（2）业务指标：将业务需求初步细化为多个子任务，明确各子（3）业务服务方式：明确行业用户需要的服务方式。服务方式算力层评估主要是确定行业大模型在实际训练和部署中需要使（1）模型训练算力评估，以通用单卡芯片为例，计算能力可达（1）对象存储COS（CloudObjectSt），载数据到训练机器本地，读写速度可以超过0.42GB/s，若采用COS+GooseFS存储方案，可以提供基于对象存储的多层缓存加速，当训练数据大于50GB时，行业用户可采用COS+GooseFS或CFS性能的网络支持，通常需要至少支持RDMA100G的网络。RDMA经可以实现RDMA路由在第三层以太网络中传输，可以支持高性能包括有监督的参数精调（SFT）或参数高效精调（Parameter-Efficient模型建设需要400—500万条数据，根据不同的场景可以有一定的浮经过标注的数据，数据格式可以为json或Query格式。确定平台适配性和训练流程。通常模型训练平台具有从数据预处理、（1）模型训练平台是否包含需要的基础大模型或基础行业大模（2）数据标注平台是否可以提供数据标注作业、场景数据挖掘（3）训练和部署加速库是否具有加速组件，相应加速组件会有（4）数据应用平台是否支持快速接入模型、数据和智能设备，（5）部署兼容性，行业用户需要评估希望部署的平台与行业大（6）模型加密，行业用户需要确认是否需要针对内置的模型加目标主要为风险预警精确率、召回率、F1值等；在客服顾问场景，果行业用户的场景目标为智能客服领域，模型应选择NLP大模型。CV大模型主要用于机器视觉，CV大模型可以在图多模态大模型主要用于跨模态场景，其相较于NLP类大模型，的整体效率。模型训练平台会预置多种AI2021证集可以用于模型超参数（hyper-parameter）的调整，以及过模型训练应采用分布式并行训练技术，在训练过程中使用GPU模型并行是指在多个设备上切分模型参数到各个GPU，每个设备输2223参数高效精调（PEFT）一般针对特定的参数进行有效微调。常用的参数高效精调技术，包括模型蒸馏（distillation）、适配器训练目前在行业大模型精调中，参数高效精调（PEFT）的主流方法24保证参数高效，通过加入到更深层结构中的Prompt能给模型预测带许更多的每个任务容量，而它仍比原预训练语言模型会小得多。25对于NLP类型大模型而言，其评估维度可以包括功能覆盖度、确率、召回率、F1值等，必要时需要引入人工进行主观判断，以保功能。性能评估可以通过准确率、召回率、F1值、命中率、平均交262728第三章大模型标准体系先行，全面建立能力指标体系293031323334顾、文档处理、知识管理、客服等通用场景3536373839学科的支持度和对知识问答、教学辅助、学习辅导等场景的支持度，课程大纲、教学方案、个人学习计划等能力项。能力指标可从记忆、服务方式、交互形式等，服务稳定可考察教育4041全隐私和系统成熟两个能力子域展开，安全隐私性可4243第四章行业大模型应用“百花齐放”，价值不断释放4445）；46473—4个关键词；指定字数的内容摘要，正文陈述新闻内容。智能摘4849第五章行业大模型“千行百业”落地，驱动AI原生应用发展转变为芯片、框架、模型、应用四层架构。近期，国内企业