AI大模型开源生态及大模型平台实践

智源研究院Al大模型开源生态及大模型平台实践演讲人：华为昇思MindSpore开源生态总监胡晓曼MindSpore智源研究院[M]⁵p[M]⁵p生态基石：Al大模型开源生态发展洞察分析分析数据给出建议产业辅助AI技术里程碑控制论NLPCV深度学习GANAI产业发展“三叠浪”图像生成：AI重点事视觉识别超过人类蛋白质结构预测深蓝机器人战胜国际象棋大师达特茅斯会议定义：合成数据创造结果新产业件里程碑1956年安防-视觉互联网-推荐专家系统 ”La4+PT4+”ww6声(E)TruthulQA()rou画加面t加面Msddsnk(tabegFL在哪，将是NLP未来的重要研究方向 增加模型参数增加训练数据增减训练轮数增大模型根本方法；(1)模暨结构需要基于先验设计；高高能与模型麻稿；(1)增加数据是部贵的行为中中充分利用模型容量；低低为什么近年模型容量提升速度却在放缓?·模型参数持续提升，当前模型性能提升逐渐趋于平缓·模型参数提升带来了极大的成本提升2022年12月解决了GPT-3的问题，实现90%+的准确性生成创造，已接近人的水平效果：单一模型统一所有NLP任务，超越现有模型问题：会生成错误信息，结果不可控ChatGPT是在GPT-3的基础上，通过高质量人工数据进行强化学习所训练出的模型互联网爬取海量数据基于人工标注数据代码数据无标注数据100人标注1年高质量数据(2000字文稿)大规模分布式训练2019年2月参数：15亿催熟算法架构2020年6月参数：1750亿参数量提升100倍2018年6月参数：1.17亿核心训练流程&强化学习增量训练GPT-3自监督学习(如代码)1.5万条超高质ChatGPT生城文本5万条越高质盈人工标注整据鸡鸡RM对生成文本内容评价好坏的模型的模型道声制采客户高速旋转的数据飞轮、大算力驱动模型更快的进化AA治理与伦理庞大的算力训练/次：460万美元万美元高质量的垂直领域人工标注数据可显性化的推理范式与基于人类反馈的迭代更新5年探索研究巨量的通用领域无标注数据GPT-3:从45TB原始文本语料筛选出570+GB高质量数据(约3000亿单词) RLHF:ReinforcementLearningfromHumanFeedback·即，人类反馈的强化学习：增强了人对模型输出结果的调节，并且对结果进行了更具理解性的排序。口为什么需要RLHF?RLHFRLHF带来的威力·有效的回应：·翔实的回应：默认倾向长答案·公正的回应：特别针对政治事件·拒绝不当问题：·对话者更倾向于“业界先进企业一·其他回答对于对话者无帮助；答案有效性；企业运营效率多少最为合适?问题我也不知道，请你告诉我； 第一步：精心标注语言以Prompt方式微调模型据此给出回答.第二步：对答案优劣排序，训练奖励模型·老师阅卷：通过OpenAI开放的若干API收集数据(模型对同一问题的不同国答),收集人类的评分并排序。以此数据训练奖励模型，告诉机器人类的喜分，值形洋华力1要营2指约然通没画，国费二第三步：通过强化学习训练出策略模型提升策略模型的效果。打分使用奖励模型考察策略模型的输出，类似模拟考消善电子产盐数下旅流，光通信.新险全2第二位.6722人网；道·全栈技术难：ChatGPT大模型+大数据持续学习、基于人类反馈强化学习和微调、多机多卡/单卡推理等全栈全流程技术要求；·参数大：GPT-3/ChatGPT训练数据·全栈技术难：ChatGPT大模型+大数据持续学习、基于人类反馈强化学习和微调、多机多卡/单卡推理等全栈全流程技术要求；算力费用高达2000万美元(OpenAI万卡V100/A100持续迭代3年);·行业结合难：优质模型+专业知识投入+厂商AI技术支撑，是大模型可以产业落地的关键。·模型老：ChatGPT·行业结合难：优质模型+专业知识投入+厂商AI技术支撑，是大模型可以产业落地的关键。模型名算力ChatGPT商业模式：云服务、传统业务升级、垂类解决方案云服务变现●微软●微软Azure业务升级模型和数据解决方案图像Al图像Al换脸文本收集大量原始数据并对其进行预处理，以便提供给模型训练。1)使用注释数据开发和训练AI模型以生成内容；2)在垂直细分领域进行模型的二次开发，以便适应定制化需求。生成)Bard(聊天机器人)统)生成》(语言理解、(语言理解、推理)言理解与图像生成)(图像生成)生成)生成)(图像生成)生成)下游：应用与分发1)协助用户使用模型和算法生成内容，如图像、文本、语音等。2)将生成的内容芬发到各种渠道，如社交媒体、娱乐平台、新闻媒体等。音频AI配音代码中游主要包括文字、图像、音频、视频等数字内容的处理加工方，下游主要是各类数字内容分发平台、消费方及相关服务机构等。相关算法/模型研究机构相关开源算法嵌入/结合能力的业务平台/业务生态个性化市场营销数据梳理内容制作工具内容设计各内容创作及分发平台内容终端生产厂商第三方内容服务机构下游上游中游-M-La姆*0ic-2*①心6读4uD加-m--ms1次血塞Ainn的0智源研究院智源研究院模型底座：华为AI大模型全景架构及应用案例华为大模型方案：集群全栈软硬件能力，使能大模型开发、训练、微调、部署大模型使能层AI框架大模型部署组件大模型在线微调推理服务平台跨模态社区竞赛社区活动大模型开发套件大模型微调组件语言图像检测分布式并行、异构计算、内存优化策略自动生成多级存储优化内存复用重计算CPU稀疏特征暖存NVMeOffload·NLP、CV、多模态、AIGC等12+基础大模型，E2E极简、开箱即用·微调组件：5%参数微调即实现全参精度调优·小型化组件：量化/蒸馏/剪枝/部署一站式工具链，多维混合压缩20X压缩比，精度损失<0.5%·多维混合井行：自动寻优，数据、算子、pipeline、模型自动切分，大规模并发执行·多级存储优化：全局内存复用、稀疏特征缓存，·芯片内置200G网卡，NPU规模从1K→8K·千卡规模集群线性度55%→80%巡检盘古电力华为云推荐搜索基因研究药物研发城市治理防灾减灾变化监测地物分类智能客服金融大脑皮带异物识别智慧城市煤矿流体仿真紫东太初.多模态海河.谛听秦岭.用语特发布盘古矿山发布科研创新使能计划，推动大模型研究与创新业界AI框架均已开始布局大模型技术，探索通用AI能力 主流AI框架开始从并行及存储优化能力探索支持大模型dd基于PyTorch扩展的框架根据Transformer定制并行策略，TensorFlow也正探索框架内支持大模型技术国内深度学习框架市场份额现状飞桨：26%飞桨：26%飞桨：11%其他：14%+昇思：8%其他：7%+M,互联网：5(14.3%)医疗：25(7.1%)教育：30(8.6%)教育/科研交通：100(19%)数字政府：48(9%)金融：40(11.4%)能源：8(2.3%)金融：59(11%)互联网：5(14.3%)医疗：25(7.1%)教育：30(8.6%)教育/科研交通：100(19%)数字政府：48(9%)金融：40(11.4%)能源：8(2.3%)金融：59(11%)互联网：158(30%)零售：20(5.7%)物流：7(2%)其他：30(8.6%)医疗：32(6%)通信：59(11%)零售：20(5.7%)物流：7(2%)其他：30(8.6%)医疗：32(6%)通信：59(11%)制造：40(114%)交通：7(2%)制造：40(114%)交通：7(2%)p昇思：7%(243repos)2023年Q1基于昇思的顶会论文243+(连续全球第二)成为业界领导者；飞桨：依托上层应用套件得到部分行业认可；昇思：学术生态具备一定规模，产业影响力不足；AI框架随AI产业迭代演进的四个阶段AI框架的技术挑战和趋势07动静态图能力兼顾一、超大模型，高效能训练和推理·千亿参数、K级~万级集群高性能、高稳定训练·大模型及下游任务，高并发、低时延极致推·融合编程，数值方法和AI方法融合高效混合·融合计算，AI和HPC负载混合、异构硬件三、易用性覆盖开发、训练、部署全流程·生态锚点从API趋于模型和套件，简化端到端全流程夯实全场景AI能力，全面提升易用性融合AI与HPC,加速应用创新三方框架兼容兼容各类开发接口，降低90%迁移成本动/静态图能力提升编程门槛降低工具进一步完善端边云全场景部署统一API,模型格式免转换，支融合计算科学计算加速库，支持250+科学计算API自动并行，开发效率提升2倍+统一微分自动微分引擎，自持高阶高维混合微分，性能加速5倍+流体仿真套件机属气动仿真效率电磁仿真套件米级阵列天线仿真速度分子模拟套件自然界蛋白质预测范围5500+服务企业600+顶会论文Sig组人工Y计算中心Sig组人工Y计算中心下载量下载量·论文基金项目合作·众智项目合作·行业方案合作数据截止至2023.04月京津翼酸港澳部署态：动/静态图能力进一步提升动态图执行性能提升·静态图语法完备提升(60%->90%)升编译时间O编译时间O开发态：编程门槛进一步降低·新增400+API接口，覆盖90%·支持120+PandasAPI全插件网络表达类教程文档完善丰富社区资源官网使用体验优化开发&训练开发&训练高模块化，开箱即用预制预训练模型预制下游任务图像分类填词预制预训练模型预制下游任务1.支持TB级推荐模型2.支持Ascend异构平台的hashtable微调微调 低参微调，降低内存·在5%参数量上持平全参微调精度·降低30%的计算内存，有效提升吞吐量多种低参微调算法LowRankAdapterPrefi基于盘古alpha实验微调(静&动)微调无prefixbitfit精度部署部署·支持干亿参数单卡推理·支持百亿大模型分布式和增量推理，平均性能30ms/token多种优化特性自动并行多语言接口4488科学智能创新场景应用科学智能创新场景应用AI4S框架套件领域套件基础能力编译优化昇腾/鲲鹏融合计算融合表达验证有效，效率提升10X+;传统方法，性能提升10X+;200+,Pandas接口100+;支持微分方程表达00预训练nCV基础骨干模型(训练)(借数)1OCR文字检测/识别(训练)(倍数)OCR文字检测/识别(推理)(倍数)支持第三方框架兼容，实现低成本迁移三方生态编译优化硬件抽象层MSAdapter工具：<15%代码，全流程实现模型迁移数据处理代码一致模型表达代码一致数据处理代码一致完成70+主流PyTorch模型移紫东·太初2.0:全模态大模型基于昇思社区开源高效协同文本语音互联网干亿参数2首次提出全模态大模型首次提出全模态大模型4图文Chat◆基于昇腾昇思的紫东太初2◆基于昇腾昇思的紫东太初2.0-3.8B模型，开源图像-文识的视觉问答、更丰富的图像描述参数量参数量紫东太初2.0-3.8B相比1.0版本全面提升RBDRBD序列突变概率KITNLKP.CYPKK4亿蛋白质序列高通量筛选算法高通量筛选算法联合创新为本项目提供：4096卡/1000P算力鹏城实验室模型与算法研究为本项目提供：4096卡/1000P算力鹏城实验室模型与算法研究高院士领队三5个月时间实验验证实验验证针对病毒快速生成或改造抗体，得到高活性、高可用抗体，助力抗体研发全自动解析取蛋白质动态结构，解析时间降至小时级，助力药物研发用依赖人工经验相比传统方法提升15倍超级应用静态结构型交互迭代Al方法与传统实验验证验证结果：A4设计的抗体针对多种毒株有效实验验证原始序列◆实现全自动解析，性能指数级提升，实验验证精度持平约束数目约束信息主流模型覆盖开箱即用全栈软硬件协同优化保留原有服务接口现金计数吞吐率从2>10fps·主流模型支持MindCon极客周(6/12海外直播(12MSG校园行坛(10+开发者活动奖基础模型之夏、新版本集训营(4+场)实战课程(4+场)、社区SIGG会议(40+场)、开源实习社区治理类(技术/专家委员会，4+场)技术专题类(分子动力学/调试调优/开发者体验/10类大模型等，15+场平台架构：大模型平台技术架构及技术分析大算力赋能大模型，大模型使能新应用，牵引生态聚合，加速产业发展使能大模型科研，收编大模型开发推动大模型行业新应用落地建立大模型产业集群牌业n人工帽能计算中心广鹏程神农生物医药平台大算力+大数据人工智能算力网络金融医疗教育遥感制造相武汉想事的机会：数字化基础-大模型时代新一代基础设施和工具大模型为先的新一代基础设施和工具·有些需要大量资本，但是是新时代早期的好“工具生意”能力提供通信网络、数据中心。数据堆栈。分布式系统、区块链芯片+模块+操作系统服务器、交换机，数据中心。卫星载荷/星座计算系统文字符号系统叠加向量系统量子计算系统基于硅的(芯片)计算基板量子(电子。光子、离子，原子)基于碳的(生物计算)①个人电脑/资料来源：20230423-陆新范式新时代新机会⑥元字由⑧脑机接口⑨量子事的机会：数字化基础-大模型时代的新平台数字化平台的解剖结构前端文楂、图片。音税频空间、世界。人类(化框架，文本3D具体化的元宇宙XR-现实端机接口能力提供;网络、数据中心、数据堆栈、分布式系统、区块链芯片+模块+操作系统：|新平台：基于大模型的模型可延申能力，自然语言全交互界面设备PC.手机、手表、眼镜.耳机、可穿戴设名完整：开箱即用，有足够的使用价值可植入设备、机器人、汽车、地点、设务(生物医学F)商业模式：为开发者和合作伙伴创造价值杀手级应用程序：垂直扩展，获取实质性的价值数字化发展·锚点：潜在的扩展——工具链、基础设施、硅堆栈计算系统文字好号系统锚点：未来的扩展——设备和设备基于硅的(芯片)规模空前的商业机会：可能有未来第一家$10T公司的机会计算基板基于碳的(生激烈竞争开始：OpenAI、微软、谷歌、创业公司、中国企业开发系统和环境：工具链、已发表的研究、开源软件、数据集、设计、信息安全、隐私、产权保护①个人电脑/⑨量子资料来源：2023.0423-陆奇博士-ChatGPT——新范式新时代新机会昇思大模型平台，打造大模型开源生态，使能垂直行业，赋能百万开发者提供优质的开