前瞻研究全球人工智能AI行业产业研究手册：从算法演进到产业逻辑构建

从算法演进到产业逻辑构建中信证券研究部2023年5月3日ChatGPT不会淘汰你！先驾驭ChatGPT的人会淘汰你！1各路大神畅聊AI使用指南和落地应用，分享商业化案例，碰撞思维火花AI绘画Midjourney保姆级教程,资料持续更新中3不定时分享AI智能、ChatGPT、AIGC、GPT-4等最新研报和相关资讯4不定期邀请行业大咖演讲互动交流学习识别二维码查看详情 识别二维码查看详情2n人工智能：ChatGPT推动产业迎来iPhone时刻，并从“小作坊”走向工业化时代。ChatGPT在全球市场的爆发，正将AI产业推到过去70年以来前所未有的高度，科技巨头纷纷入局，继微软、谷歌之后，国内企业百度、阿里巴巴等先后发布大模型，并进行用户测试和企业应用接入。全球一线科技巨头在AI领域的军备竞赛，以及在大模型方向的持续下注，必将极大加速全球AI产业的发展进程，并推动产业从过去的“小作坊”式发展快速进入“工业化”时代。n算法模型：AI发展的灵魂，技术路线料将快速向GPT方向收敛，并有望在中期形成少数大模型（底层）+若干垂类模型（应用层）的格局。ChatGPT的成功证明了高质量数据+反馈激励（大模型预训练+小数据微调）的有效性。GPT在自然语言理解、生成方面的整体优势，有望驱动AI大模型技术路线快速向GPT方向收敛，同时少数科技巨头&机构专注于基础大模型的研发，更多企业则发挥各自在垂类数据、场景理解等层面优势，并最终构建少数大模型+若干应用模型的生态格局。n芯片&算力：算法快速迭代，以及对算力的巨大需求，料推动通用AI芯片（GPU）、云厂商早期高确定性受益。目前AI大模型领域的创新正在以月、周为单位快速向前推进，短期维度，预计通用AI芯片仍将是底层算法快速迭代的核心受益者。同时当前大模型在训练、推理环节仍需要巨大的算力承载，云厂商在算力基础设施、基础软件框架等层面综合优势明显，AI带来的算力增量料将主要向云计算平台转移，云厂商有望充分受益。但若后续算法迭代速度放缓，以及针对部分应用场景的专门优化，ASIC芯片需求料将快速展开，AI单位算力成本有望快速下降，但亦同时带来应用需求的进一步增长。n数据：AI的粮食和血液。当前AI算法的发展正转向以大模型为主的数据依赖，丰富、高质量数据集是AI产业持续向前的核心基础。伴随公开数据集的逐步耗尽，借助算法实现数据合成，以及垂类领域专有数据集将是企业后续差异化优势主要来源，同时数据使用合规、用户隐私保护等亦将成为持续监管领域。3算法模型：n技术路线：以大语言模型为主导，向GPT方案靠拢：ChatGPT的成功证明了GPT模型的Prompting道路的正确性，同时也强调了数据质量的重要性。ChatGPT最重要的成功是在产品化上更进一步：ChatGPT在模型精度上并没有飞跃性的突破，但从FewShotprompt（需要输入范例示范）转换到Instruct（用人类语言描述想做什么）更加贴合用户的习惯。5）展望未来3-5年的人工智能模型技术路线，我们认为人工智能将继续沿着大语言模型的道路前景发展，并快速向GPT路线收敛。GPT路线已经表现出了其不可替代的产品化能力，这也将推动更多厂商想这个方向投入资源。随着多模态的不断成熟以及新模态的持续加入，我们预计将会看到通用求解能力更强的GPT类基础模型。n竞争壁垒：数据质量、资本投入、核心人才、工程实践能力等。1）从Bert开始到GPT-3再到谷歌的PALM，网络中的公开语言数据源已经在被尽可能地利用（论坛、新闻、维基百科等），而模型的进一步优化对数据质量要求也越来越高。我们认为优质的私有数据源将在未来3-5年里人工智能模型的精度优化上发挥更重要的作用。2）随着模型体量仍然在成倍数增加，大量的前期资本投入是阻碍新入者的重要因素。在过去五年内，我们看到人工智能模型的独角兽都在寻找互联网科技大厂作为其背后的依靠，主要因为能够得到充足而短时间内不求产出的资金支持并获取互联网大厂长期以来所积累的优质数据源。这也是我们看到为什么在过去五年内人工智能头部厂商逐渐从开源走向闭源，利用其资源优势来打造差异化的AI模型，而落后者更希望通过开源的模式以求缩小与头部厂商的距离。3）研发团队的工程能力是决定公司在大语言模型竞争力的另一个重要因素。随着语言模型的体积不断增加，在研究方法上现今千亿量级的模型与之前几十亿量级的小模型发生了本质变化，个体工程师没有能力通过自有资源积累对大模型的学习经验。一个合格的大模型研发团队需要依靠大公司的资源支持才能积累对模型调试、优化、实际部署等各个环节足够的经验。大厂商对大语言模型的底层研究构建了极高竞争壁垒，因此底层架构的研发与实践应用的分离将是必然趋势，前者由少部分大型企业机构主导，而中小型企业专注于后者。n数据：AI的血液与粮食。按照当前LLM的技术范式，数据集主要应用于预训练、模型调优阶段。预训练阶段需要大规模、多类别、高质量的训练数据，在模型调优阶段，垂类小数据集、提示词工程同样重要。近年来全球数据量呈现爆发式增长，据IDC统计，2019年全球产生的数据量为41ZB，过去十年的CAGR接近50%，预计到2025年全球数据量或高达175ZB，2019-2025年仍将维持近30%的复合增速，其中超过80%的数据都将是处理难度较大的文本、图像、音视频等非结构化数据。从Bert开始到GPT-3再到谷歌的PALM，网络中的公开语言数据源已经在被尽可能地利用（论坛、新闻、维基百科等），但模型优化仍需更多数据，这要求模型开发商有能力接触到优质私有数据来源，从而才能在模型的数据底层取得差异性的优势。n数据筛选：为AI提供高质量数据。ChatGPT以GPT3.5（生成式预训练）模型进行调优，注重数据质量，以及人类反馈强化学习，让模型在早期开放给大众测试并收集人类反馈数据，从而显著增强了模型在海量历史数据中挖掘知识的能力，并最终在人机对话领域获得理想效果。由于不同的行业、不同的业务场景对数据标注的需求存在一定的差异性，高质量的数据集成为提高数据标注质量的关键。公开数据集可以帮助数据标注团队减少从零开始创建和标注大量数据所需的时间和成本，且通常由专业团队或机构创建，其数据质量往往较高。同时，这些通常由专业团队或机构创建，其数据质量往往较高。这有助于提高数据标注项目的准确性和可靠性，从而提高整体项目的质量。根据IDC发布的《2021年中国人工智能基础数据服务市场研究报告》，预计中国AI基础数据服务市场近5年复合年增长率将达到47%，预期2025年将突破120亿元。n数据管理：AI产业趋势的核心受益者之一。数据库管理系统是大数据时代的底层软件和核心支撑。AI时代数据量爆发、数据结构复杂度攀升，驱动全球数据库市场长期稳定增长，云化趋势明确。2020年，IDC预计全球DBMS市场规模受疫情冲击小幅降至487亿美元，但云数据库仍然保持11.6%增速。IDC预测2024年全球数据库市场规模将稳步增长至739亿美元，其中云数据库市场规模将达404亿美元，4年CAGR27.3%。Gartner预测2024年云数据库占比将提升至75%。我们预计2024年中国数据库市场规模达200亿元，同比增长22%且近年来增速不断加快。随着国产化替代的推进，传统海外巨头份额不断缩小。45算力：n算力与算法相互促进、相互影响。大模型正在成为人工智能的中短期主流技术路线，随着模型参数日益增多，神经网络算法愈加复杂，相应带来底层算力消耗的持续、显著增长。同时，算力的增长亦为模型参数的增长与复杂性的提高提供基础，算力与算法相互促进，相互影响。n算力需求：ChatGPT在工程实践层面的创新推动全球AI领域军备竞赛，并在内容生成领域推动AIGC时代全面到来。1）成本测算方面，我们以英伟达HGX服务器(含8张A100卡)为算力载体并假定服务器成本为8美元/小时，我们测算ChatGPT算力成本约14.6亿美元（其中14.3亿美元为推理成本），生成式AI算力成本约189.6亿美元（训练环节15.4亿美元，推理环节174.2亿美元）。2）AI芯片方面，AI算力的需求增速显著高于摩尔定律的芯片性能增速，芯片设计端需要系统级创新，主要包括制程升级、计算单元数量提升、架构优化、Transformer计算单元的引入、采用混合计算精度等。n算力供给：AI芯片的需求增长，吸引全球科技巨头与创业公司加入赛道，硬件设备亦迎来新的需求增量。1）AI芯片：按应用分，AI芯片主要分为AI训练芯片与推理芯片。按技术架构分，AI芯片包括CPU、GPU、FPGA与ASIC，AI服务器正向“CPU+XPU”发展。而尽管异构计算正在成为主流，在训练端，GPU仍为主要角色。随着AI产业快速发展，多家公司积极入局，其中不仅包括英伟达、谷歌、亚马逊、华为海思、阿里巴巴、百度等公司在内的科技巨头，还包括Graphcore、Habana（被Intel收购）、寒武纪、地平线等公司在内的初创公司。2）硬件设备：除芯片外，硬件设备亦是算力供应的主要制程，主要包括：①AI服务器：为满足人工智能需求，搭载的XPU数量大幅上升，对AI服务器的散热性与稳定性亦提出更高要求；②交换机&光模块：随着数据量的快速提升，市场对高速、低延时的数据交换需求日益增长，并以此带动交换机与光模块需求，其中800G光模块正在成为行业主流；③算力承载：考虑到AI产业所需的巨大算力，云计算平台为更合理的承载对象。就目前行业情况看，云计算单位成本下降，总算力扩张是大概率事件。应用场景：nAIGC产业化方向众多、前景广阔。AIGC在需要高效处理大量客户需求、创意性内容行业以及标准化生产行业均有较大的应用空间，在诸如归纳性文字工作、代码开发相关工作、图象生成领域等领域均有广阔的产业化前景。海内外基于AIGC涌现出诸多应用，如作图领域的Midjourney、文字编辑领域的NotionAI、视频领域的Make-A-Video等。我们认为AIGC的应用方向可分为2C和2B两类：1）ToC端应用主要包括各类内容生产服务，比如图像生成、语音生成、视频生成、代码生成、文字生成等；2）ToB端应用主要包括各类融合业务、辅助工作效率类产品，比如：微软使用大模型能力赋能Office、Teams、Dynamics等多种应用场景，Salesforce使用EinsteinGPT赋能销售、营销、客服等全场景。n实现方式：基于第三方模型进行微调为主流方式，部分厂商通过自研模型构筑壁垒。大语言模型方面，目前主流厂商均选择和OpenAI进行合作，基于自身数据、业务流程等对GPT模型进行微调，在部署上线后亦结合用户数据对Prompting（提示）进行个性化精调，将人类语言的表述根据实际的数据情况更换成更符合大语言模型理解的Prompting，然后以此完成多模态之间的转换并提升指令的准确性。Adobe基于自身在创意领域长年的积累推出了创意生成式人工智能模型Firefly，可以生成图像和文本。一方面，Adobe专注于将其与现有创意流程整合；另一方面，训练数据来自于AdobeStock的授权内容、公开许可的内容以及版权过期的公共领域内容，以平衡创意生成的需求和内容商业化的可行性。n隐私&合规：控制数据及功能访问权限，规避版权等合规风险。数据安全、权限控制、隐私保护、版权合规是大模型在实际应用过程中的核心因素。目前微软在提供copilot相关服务时，在协议中明确表示使用的是公开数据+无版权数据以及微软的自有数据，一定程度降低了数据隐私性的风险。CopilotLLM不会根据用户的自有数据以及用户的提示上进行训练。在企业用户组内部，微软应用了相应的权限模型确保数据不会在用户组之间泄露。而对于Adobe，亦通过规范数据来源，较好地避免了StableDiffusion、Midjourney、Dall-E等其他图像生成模型存在的版权合规问题。与此同时，创意者可以选择其作品不进入训练数据集，而Adobe也计划向贡献训练数据的艺术家支付一定报酬。67n投资建议：ChatGPT在全球AI产业、技术领域带来的良好示范效应，有望推动AI算法模型结束当前的技术路线分叉，并不断向以GPT为主导的大语言模型（LLM）靠拢，加速全球AI产业“工业化”时代到来。中期维度，大语言模型领域“暴力美学”预计仍将是我们不断逼近通用人工智能的最可能路线，基于此基准假设，预计模型算法架构将遵从渐进的学术研究步伐，高质量数据集、工程实践能力、核心人才、资本将成为大模型研发领域的核心竞争壁垒。数据产业链（数据源、数据管理等）、算力设施（大算力芯片、云计算平台、Aiops等）、应用场景（内容生成、人机交互范式、信息检索等）等环节投资逻辑亦面临持续重构。作为中期最具确定性的产业方向之一，我们持续看好全球AI领域的投资机会，并建议持续聚焦芯片、算力设施、模型架构&工程实践、应用场景等核心环节。在美股市场，我们建议持续关注：英伟达、台积电、微软、谷歌、AMD、Arista、博通、Marvell、百度、Adobe、Snowflake等。n风险因素：AI核心技术发展不及预期风险；科技领域政策监管持续收紧风险；全球宏观经济复苏不及预期风险；宏观经济波动导致欧美企业IT支出不及预期风险；AI潜在伦理、道德、用户隐私风险；企业数据泄露、信息安全风险；行业竞争持续加剧风险等。下游应用下游应用没有专有模型的面向最终用户的B2B和B2C应用程序如:Jasper,GithubCopilotEnd如:Jasper,GithubCopilot模型中心共享与托管模型如:HuggingFace,模型中心共享与托管模型如:HuggingFace,Replicate具有专有模型的面向最终用户的应用程序如:Midjourney,Runway闭源基础模型通过API公开的大规模预训练模型开源基础模型如:StableDiffusion(Stability)算法模型云计算平台在云部署模型中向开发人员公开的计算硬件如:AWS,GCP,Azure,Coreweave算力基础芯片&硬件针对模型训练和推理工作负载优化的加速器芯片如:GPUs(Nvidia),TPUs(Google)89资料来源：《AttentionisAllYouNeed》（AshishVaswani,NoamShazeer,NikiParmar等），OpenAI，中信证券研光模块交换机光模块交换机AIAIAI推理芯片CPU+GPU/ASIC/FPGAAI训练芯片AI训练芯片GPU为主AMDAMD4339AristaANET480AVGO414Adobe484资料来源：Bloomberg（含一致预期），中信证券研究部注：市值日期为Chat-GPTChat-GPT相比于前代回答更加灵活，更接近人类反应面对有违人类伦理的问题，Chat-GPT会进行资料来源：SimilarWeb2018.62019.12020.52022.12022.112023.3在数据收集设置上优在数据收集设置上优 ），资料来源：OpenAI，中信证券研究部nGPT-4面对复杂问题能力时大幅提升，对AP考试、GRE考试等表现优异。OpenAI在官网表示，GPT在大多数现实场景中的能力不如人类，但在一些专业问题和学术基准上表现已经和人类持平。根据OpenAI在其技术文档所公布的数据，GPT-4在60%的AP考试科目中取得了5分（满分）的成绩，并较前一代GPT-3.5取得了30%以上的提升。而对于国外研究生入门考试的GRE，GPT-4取得了339+4的成绩，超越95%的n大量GPT-3.5模型针对事实类问题回资料来源：ChatGPT，中信证券研究部资料来源：ChatGPT，中信证券研究部n多模态能力成为GPT-4加入的新亮点。GPT-4在模型能力方面最大的提升在于引入了多模态的处理能力。除了此前ChatGPT就支持的文字外，GPT-4还可以接受图片输入，根据OpenAI在技术文档内给出的实例来看，GPT-4可以理解图中的各类含义甚至包括人类的幽默能力。不过在当前阶段，图片输入的功能暂时还没有开资料来源：OpenAI，中信证券研究部n尽管都是Transformer模型，Bert模型采用双向使用Mask的方法进行训练；而GPT则是采用了自回归+prompting的方式。这两者的区别根据谷歌资深AI科学家JeffDean在2020年的文章回答，Bert路线在摄像头技术大容量电池资料来源：Apple公司官网，雷科技，资料来源：Apple公司官网，雷科技，中信证券研究部25素0不含额外的训练数据含有额外的训练数 2013年3月2013年82013年3月2013年8月2014年1月2014年6月2015年4月2015年9月2016年2月2016年7月2017年5月2018年3月2018年8月2019年1月2019年6月2020年4月2020年9月2021年2月0 资料来源：斯坦福大学AI年度报告，中信证券研究部n我们认为，当前千亿量级的参数，一方面能够体现出大模型在泛化、涌现等领域的额外能力，同时也兼顾 1121418182848888 n通过调整数据集、奖励函数调整的方式，能够依靠chatGPT的思路向其他垂直领域迈进，文字、图片、视频n但由于chatGTP在训练初的数据限制，不能输出超过自身“学会”的内容，而搜索引擎所用的是发散和关联，智慧金融智能家居智慧交通智慧零售智慧教育智能制造智能医疗医疗影像贷款评估智能照明自动驾驶作业批改智能收银工业机器人远程诊断智能投影智能问答交通控制智能门锁无人商店智能供应链药物挖掘金融监管车辆识别远程辅导家居机器人智能配货智能运维疾病预测智能客服虚拟课堂车辆检测智能物联智能物流产品检测智慧金融智能家居智慧交通智慧零售智慧教育智能制造智能医疗医疗影像贷款评估智能照明自动驾驶作业批改智能收银工业机器人远程诊断智能投影智能问答交通控制智能门锁无人商店智能供应链药物挖掘金融监管车辆识别远程辅导家居机器人智能配货智能运维疾病预测智能客服虚拟课堂车辆检测智能物联智能物流产品检测算法理论开放平台应用技术智能语音计算机视觉自然语言处理机器学习算法基础开源框架技术开放平台类脑算法算法理论开放平台应用技术智能语音计算机视觉自然语言处理机器学习算法基础开源框架技术开放平台类脑算法数据计算硬件计算系统技术数据采集标注分析云计算大数据5G通信AI芯片数据计算硬件计算系统技术数据采集标注分析云计算大数据5G通信AI芯片强人工智能A强人工智能A保AI技术发展的保AI技术发展的资料来源：“数据与智能”微信公众号，中信证券研究部30AI交互AIGCAI交互AIGC资料来源：Logo摘自各公司官网，中信PC互联网：PC互联网：copytoChina移动互联网：copyfromChina19902000资料来源：各公司官网，Pixabay，ChatGPT资料来源：各公司官网，中信证券研究部谷歌最新人工智能AlphaFold2成功基于氨基酸序列预测了生命基本分子，蛋白质的三维结构。“未来几周或几个月”推出类似ChatGPT的2023.2.2成立硅谷人工智能实验室（SVAIL）），腾讯科技（深圳）有限公司申请的“人机对话方法、装置、设备及计算机可读存储介质”专利获授权，能此前小米在AI大模型上已有多路并行尝试，未来将加大相关领域人力和资源投入。小爱拥有庞大数据支撑，ANTHROP\CANTHROP\C0中国AI历年金额趋势（亿元）中国AI历年单笔融432100企业服务金融大健康机器人汽车其他下游应用下游应用没有专有模型的面向最终用户的B2B和B2C应用程序如:Jasper,GithubCopilotEnd如:Jasper,GithubCopilot模型中心共享与托管模型如:HuggingFace,模型中心共享与托管模型如:HuggingFace,Replicate具有专有模型的面向最终用户的应用程序如:Midjourney,Runway闭源基础模型通过API公开的大规模预训练模型开源基础模型如:StableDiffusion(Stability)算法模型云计算平台在云部署模型中向开发人员公开的计算硬件如:AWS,GCP,Azure,Coreweave算力基础计算硬件针对模型训练和推理工作负载优化的加速器芯片如:GPUs(Nvidia),TPUs(Google)0公有云部署收入本地/其他部署收入），0PubliccloudOnprem20152016），n小模型（2015年前）AI擅长特定领域的分析任务，但通用型任务的完成情况很差。硬件算力不够导致重新训练成本过高；数据来源过于稀少难以提升到更高精确度，整体表达能力与人类相差较远。n大模型（2015-2022年）Transformer模型的出现使得文字、图像识别等领域达到了超越人类的水平，但同时也极大增加了模型的体积，只有拥有强大算力支撑的科技巨头才有能力训练Transformer模型。nChatGPT的成功展现出Transformer模型的潜力尚未被完全发掘，而其本身所提供的通用问题解决能力有望随着算力成本的优化、算力的进一步提升，比如：•特斯拉：公司在自动驾驶原有的视觉模型基础上引入Transformer模块以融合多个摄像头模组间的信息•英伟达：在其芯片中引入Transformer引擎，实现计算能力的大幅提升n未来随着数据质量级算法能力的进步，我们认为Transformer模型有望朝着小算力终端更加友好的方向发展。资料来源：2022TeslaAIDaynChatGPT的成功一改往日大模型依靠堆积数据量的训练方式，RLHF（人类反馈强化学习）和Rewardmodel（奖励模型）是其核心训练逻辑。nChatGPT的成功推动AI算法模型展现出更加明晰的发展脉络，使行业迈向了兼顾经济性与可使用性的新发展阶段，展望未来，模型开放+快速优化迭代或将成为AI实现大规模应用落地的终极发展形态。资料来源：中信证券研究部预测、绘制n模型开放、快速迭代（2024以后）得益于AIGC基础设施可获得性的逐步提高，平台层变得更加稳固，算力成本持续下探，模型逐渐趋于开源与免费，应用层爆发式发展的节点正在靠近。正如GPS技术的普及打开了导航市场，我们认为AIGC整体产业链从底层硬件到中层技术再到产品思维的成熟正在催生新的杀手级应用。Chat-GPT的出现所带来的内容生成能力将会为当今从用户创作（UGC）到AI创作（AIGC）的转型提供关键的辅助支持。目前我们正经历从Web2.0开始向Web3.0转型的启航阶段，在过去五年我们已经看到内容创造从专业创作（PFC）转型为了用户创作（UGC）。而在不远的将来，AI协助内容生成（AIUGC）与AI创作（AIGC）将为我们提供更低的创作门槛以及更丰富的创作思路。在这两个阶段中。内容生产主体从人类本身开始向人工智能迁移，主要区别体现在内容的生产效率、知识图谱的多样性以及提供更加动态且可交互的内容上。人脑只能基于自己的知识图谱进行少数方向的信息处理，而AI能从更庞大的知识体系中进行多个方向的处理，进而提供更多的创作思路。Gartner预计，到2025年，生成式人工智能将占所有生成数据的10%。n底层算法与模型是贯穿人工智能技术发展的核心，从上世纪50年代第一次提出人工智能概念开始，底层算法经历了多次迭代。而贯穿多次迭代的主线是研发出真正的通用人工智能（AGI），即用一个模型解决大多数历史上对人工智能的关注经历了“三起两落”n1980S~1990S：专家系统是人工智能的第一次商业化尝试，高昂的硬件成本、有限的适用场景限制了市场的可以进行跳棋对战，实际硬件能力不足以支撑对人工智能复杂规则堆砌后导致总成本过高&系统难以维护，频繁对规则以及通用型任务的完成情况很差，硬件算力不够导致针对其他领域重新训练成本过高；数据来源稀少难以超越人资料来源：《StanfordAIIndex2020》Human-ce资料来源：《StanfordAIIndex2020》Human-cenAlphaGo是由DeepMind（后被谷歌收购）开发的人工智能程序，代表了从上世纪90年代开始深度学习、蒙特卡洛树搜索等先进技术的集大成者，实现了人工智能在围棋领域的重大突破n2015年，AlphaGo首次与欧洲围棋冠军樊麾对弈，并以5-0的成绩取得胜利。2016年，AlphaGo在一场备受瞩目的比赛中战胜了韩国围棋世界冠军李世石，向世人展示了其在围棋领域的强大实力nAlphaGo的成功引发了全球范围内对人工智能和深度学习的关注，展示了机器在复杂问题解决和策略制定方面的巨大潜力n虽然AlphaGo在围棋领域取得了巨大成功，但仍无法解决通用人工智能问题，其方法在其他领域的应用受到n在这一阶段，NLP（自然语言处理）开始展现其对通用人工智能（AGI）的潜力。语言是人类历史上最具表述力的工具，人类的所有知识都可以通过语言进行表述，因此以语言为基础的Nn研究者们开始尝试将NLP模型从特定任务的优化扩展到多任务学习，以便在各种任务上取得更好的表现。这n2017年-2020年：以谷歌Bert为代表的双向预训练+FineTuning（微调）的NLPTransformer模型谷歌的《Attentionisallyouneed》论文开创了Transformer模型，重新统一了自然语言模型(NLP)的研究范式以预训练的方式学习语言学特征，大幅简化了过去NLP繁琐的研究种类Transformer作为特征提取器效果好于CNN、LSTM模型等，让AI首次能在语言任务的部分场景中追平人类国内互联网大厂在这一阶段仍有出色表现，如百度在Bert的基础上改良了Mask训练方法发布了ERNIE2.0资料来源：《Attentionisallyouneed》（AshishVaswani,NoamShazeer,NikiParmar等）资料来源：《Attentionisallyouneed》（AshishVaswani,NoamShazeer,NikiParmar等）Google发布Transformer，成为后来所有LLM的基础架DeepMind提出RLHF方Google发布编码器的BERT（最大3.5亿参数），用于微调下游任务2019年10月Google发布基于TransformerDecoder的T5，兼容BERT和GPT的下游任务Google发布FLAN，转向decoder-only，提出InstructionTuningDeepMind发表Gopher（2800亿参数），加LLM大战Google再发LaMDA（1370亿参数），称其具有“意识”Google发布PaLM（5400亿参数，decoder-only提出神奇的思维链DeepMind发布Sparrow，加入RLHF和Retrival（GoogleSearch）资料来源：Google，OpenAI，中信证券研究部n2020年-2022年：以1750亿参数的GPT-3为代表，各大互联网巨头不断尝试增加模型体积以获得更好的效果通过预训练无监督学习的方法不断增加模型大小成为了这一时段的主流GPT-3为代表的自回归+Prompting的方法开始展现产品化能力的优越性，与Fine-tuning方法的Bert模型成为两条道路Fine-tuning对于小公司更难部署，从产品化的角度上更加困难Prompting的方法更符合我们对以人类的方式使用AI的愿望，正如开头所描述的ChatGPT与Siri的区别谷歌等巨头在这一阶段也意识到了Prompting方法的重要性，逐渐开始转向。国内AI研究在这一段时间内出现了明显落后，仍然沿着Bert模型的方向继续前进，对GPT-3的研究很少；同时受制于中文优质语料的稀缺，模型大小也较难提升n此前接触的人工智能如·Siri、小爱、小度音箱等，底层技术是Bert类的双向+微调模型。通过以任务分类的形式运行，准备不同任务的标注数据分别进行训练。简单来说，将预先设置好的任务类型放于模型背后，使用者通过描述任务类型系统来匹配对应的模块，缺点是使用者的指令需要清晰且无法执行没有预先设置语音识别帮我放一首歌帮我发一条微信帮我查一下公式帮我写一下红黑树的左旋过程（没有预制代码类任务）资料来源：苹果公司，中信证券研究部ChatGPT在产品化上更进一步：ChatGPT在模型精度上并没有飞跃性的突破，但从FewShotprompt（需要输入范例示范）转换到Instruct（用人类语言描述想做什利用RLHF（人类反馈强化学习）展示了优质的真实ChatGPT:理想的人机交互接口，更接近想象中的“人工智能”模型针对任何问题都可以进行生成，缺点是面对理解类问题（分类等）精度不如以谷歌Bert为代表的微调模n从产品逻辑上，虽然牺牲了部分精度，但Prompting无需用任务区分器区别不同的任务，是理想的人机交互接口。面对用户不同的输入，模型可以自行判断给了用户更好的体验，这也更接近于大众理解的“通用人工智能”。资料来源：OpenAI，中信证券研究部资料来源：OpenAIChatGPT:技术上基于GPT-3的“微创新”使用PPO强化学习策略+第二阶段奖励函数RM，训练chatGPTv0.1至chatGPTv1.0资料来源：OpenAI官网nGPT-4的另一个突破在于支持了从图片格式到文本的多模态n在GPT-3.5将模型准确率进一步提升的前提下，继续扩大参数量提高准确性的遍及收益开始下降。产业界开始关注图片、语音、视频等多模态输入及输出的可能性。支持多模态也意味着模型本身泛化能力的进一步提升。目前语音、图片的模态转换相对较为成熟关于视频的模态相关研究尚不成熟，受制于提取器的能力、存储空间占用过大、算力限制n大语言模型虽然通过文本数据进行训练，但通过将图像展平为一维数组，我们让图像数据也可以通过大语言模型进行训练nViT(visiontransformer)&SwinTransformer:ViT是谷歌研究团队在2020年推出的一种将Transformer应用于计算机视觉任务的方法。ViT通过将图像分割成小块并将其线性嵌入，将图像任务转化为序列任务，从而使Transformer能够在图像领域发挥作用。SwinTransformer是微软在2021年提出的一种基于窗口的计算机视觉Transformer模型，同样将图像分割成小块，但通过滑动窗口的方法进行局部自注意力计算，有效减少了计算复杂度。n展望未来3-5年的人工智能模型技术路线：我们认为人工智能将继续沿着大语言模型的道路前景发展，并向GPT路线收敛nGPT路线已经表现出了其不可替代的产品化能力，这也将推动更多厂商想这个方向投入资源。而其良好的问题泛化求解能力也是历代学者们不断逼近通用人工智能的主要寄托n随着多模态的不断成熟以及新模态的持续加入，我们会看到通用求解能力更强的GPT类基础模型n国外AI巨头在这一过程中逐渐从开源走向闭源，数据源、模型实现的工程能力以及训练、维持模型运转消耗的大量资本投入成为核心壁垒。而目前后入者没有公有云大厂的支持非常困难，这要求后入者能够在几乎没交媒体等等）。ChatGPT证明了结合人工生成数据能获得更好的效果，未来人工生成数据与算法合成数据将资料来源：LifeArchitectn工程能力决定了AI研发团队对模型的部署、迭代以及维护的速度，这也变相增加了模型的成本。当前的大语言模型参数量在2000亿以上，整个预训练过程长达最少一个月，这其中包含了大量的工程实施问题。如何优化工程细节，以及缺乏实践工程经验导致的试错n目前大语言模型在资本投入方面根据我们测算，在2022年底使用英伟达A100显卡训练GPT-3模型需要约151万美元，耗时30.7天。而后续部署模型实际运营时的推理成本，以175B的GPT-3.5为例，假设模型模型使用了96层、12288HiddenDimension、FP16和INT8混合精度，理论成本最高约在2.7美分每次生成，实际根据模型优化的情况应在0.1-1.2美分浮动n假设ChatGPT日活用户数为1000万，平均每个用户每日提问10次，HGXA100服务器的价格为8美元/小时的前提下，我们测算ChatGPT推理每日所消耗的服务器成本约为81万美元n假设服务器的实际使用率为70%，每日的GPU小时为10万小时，需要5000台HGXA100服务器以维持1000万日活用户的日常需求，约合需要40000张A100显卡，折合到英伟达收入约7.5亿美元158n通过上述分析,大厂商对大语言模型的底层研究构建了极高的竞争壁垒，因此底层架构的研发与实践应用的分细分行业定制AIChatGPTGPT类大模型聊天（ChatGPT）、文字补全（GPT类）、编码器（Embeddings）、音转文字（Whisper）、图像生成n谷歌&Deepmind在之前五年始终是技术端的引领者，但ChatGPT的成功让谷歌意识到GPT路线比Bert路线n谷歌重新在GPT路线追赶微软&OpenAI，并于2023年3月开始测试其对ChatGPT的对标模型Bard。但从测试结果看，Bard目前相较ChatGPT仍有差距，使用感觉接近于OpenAI9个月前nDeepmind被谷歌收购后，两个最重要的成果分别是AlphaGo（围棋）与AlphaFold（蛋白质研究），这两者nDeepmind在围棋与医药领域取得成功的背后也展现出了Deepmind的公司定位：Deepmind的研究目标较为分散，研究主线围绕强化学习。尽管对大语言模型也有突出成果（Chinchilla），但始终没有像OpenAI一样资料来源：Deepmind官网资料来源：Deepmind官网nMeta在人工智能技术上始终是紧随微软与谷歌之后的追赶者，Meta的研究院FAIR常年在人工智能顶级刊物上发表论文位居前列。FAIR在NLP方面有着大量研究，一个著名的项目是BERT的前身——ELMo，这是一个通过双向语言模型训练得到的上下文相关词向量表示方法n作为微软与谷歌的追赶者，FAIR非常积极推动开源项目的建设和资源共享。例如，FAIR开发了PyTorch，这是一个非常受欢迎的深度学习框架，广泛应用于学术界和工业界。2023年3月Meta又开源发布了其最新的大语言模型LLaMA0资料来源：NeurIPS，中信证券研究部n百度于2023年3月16日发布语言大模型“文心一言”，展示其在文学创作、商业文案创作、数理推算、中文理解、多模态生成等五个场景的应用，并针对技术进展、商业化前景等进行分享，开放测试申请n得益于之前五年在人工智能方向的积累，百度是目前国内厂商中起步最快的，但国内厂商的普遍问题是之前投入了大量资源在Bert路线的模型上，因此文心模型的表现仍有很强的Bert风格。对百度而言，下一步仍需要迅速将资源转向GPT路线模型的研发资料来源：《ERNIE3.0:Large-scaleKnowledgeEnhancedPreGeneration》（YuSun,Shuohuann阿里巴巴在自然语言处理领域的研究主要由达摩院承担，2022年曾发布M6与PLUG两个大语言模型，从评测n阿里在人工智能领域的主要优势在于算力储备丰富，此外可以快速扩展到电商领域的应用场景。不足之处在于同样也是走的Bert路线，GPT方向的积累不足，此外自nMaaS是目前模型层最主要的商业模式，具体包含订阅与API按需收费两种模式。订阅模式下，用户根据使用需求支付周期性费用，享受一定时期内的模型服务。API按需收费模式下，用户根据实际调用API的次数或数据量支付费用，这样用户可以根据业务量灵活调整支出。n实践情况看，用户部署大语言模型非常困难，MaaS模式提供了用户足够的灵活性。由于大型AI模型通常需要强大的计算能力和资源，很多企业和个人难以承担部署和运维成本。MaaS通过云服务平台将复杂的技术问题进行封装，使用户无需关注底层实现，可以轻松地访问和使用AI模型。n对于有需求的用户，MaaS也可以在模型之上添加微调（Fine-tune）层。MaaS平台可以根据用户需求，对通用AI模型进行特定任务的微调，提高模型在特定领域的表现。用户可以通过上传自己的训练数据，实现模型的个性化定制，进一步提升业务场景中AI模型的实用性和准确性。nOpenAI2023年3月在ChatGPT中推出插件接口，这也可能成为底层模型的另一种商业模式n插件将ChatGPT连接到第三方应用程序。这些插件使ChatGPT能够与外部定义的API进行交互，增强ChatGPT的功能并使其能够执行各种操作。例如：获取实时信息：体育比分、股票价格、最新新闻等；获取知识库信息：公司文档、个人笔记等；代表用户执行操作：预订航班、订购食物等n第三方厂商无需接触部署大语言模型，简化了微调环节的实施难度。现在第三方厂商将可以自有的数据源及部分算法作为ChatGPT之上的插件，ChatGPT可以调用插件中的外部API接口来获得信息。插件提供者使用OpenAPI标准编写API，然后这个API会被编译成一个prompt向ChatGPT解释如何使用API来增强其答案n最近几年来，AI产业的技术演进路线主要呈现如下特征：底层模块性能的不断提升，注重模型的泛化能力，从而帮助AI算法的通用性优化，并反哺数据收集。资料来源：百度AI官网资料来源：百度AI官网n数据结构复杂度不断提升，半结构化、非结构化数据。不同场景、不同应用、不同来源的数据都汇聚在数据库中等待分析，数据结构本身的复杂高，但价值仍然没有被充分发掘。根据Ovum数据，视频类数据流量占据超过77%的总流量比例。根据IDC数据，非结构化数据占整体量比重高达80%以上，在排除一定比例的半结构化数据后，现阶段真正用于大数据分析支撑企业决策的只有占较小比例的结构化数据，这意n存储技术和云计算的发展使企业能够存储海量非术、资源和数据库技术的限制，非结构化的数据无法有效保存和调用。但随着存储技术和云计算的的存储资源和存储方法。机器学习、自然语言处理、图像识别等人工智能技术也增加了对海量非结后，赋能应用之前，必须经过数据库管理系统才能够对非结构化数据进行调用、处理和分析VR通信n近年来全球数据量呈现爆发式增长，据IDC统计，2019年全球产生的数据量为41ZB，过去十年的CAGR接近50%，预计到2025年全球数据量或高达175ZB，2019-2025年仍将维持近30%的复合增速，其中超过80%的数据都将是处理难度较大的文本、图像、音视频等非结构化数据。全球数据量（ZB)同比增速—f40），n按照当前LLM的技术范式，数据集主要应用于预训练、模型调优阶段。预训练阶段需要大规模、多类别、00心资料来源：中国人民大学《ASurveyofLargeLanguageModels》（WayneXi），0资料来源：中国人民大学《ASurveyofLargeLanguageModels》（WayneXinZhao,Ku资料来源：中国人民大学《ASurveyofLargeLanguageModels》（WayneX），资料来源：中国人民大学《ASurveyofLargeLanguageModels》（Wayne），资料来源：中国人民大学《ASurveyofLargeLanguageModels》（Wayne），n在进行实例封装的过程中，需要将现有的数据进行详细的标注，并统一格式，为后续提供任务输出提供基资料来源：中国人民大学《ASurveyofLargeLanguageModels》（WayneX），资料来源：中国人民大学《ASurveyofLargeLanguageModels》（Wayne），n市场规模：2022年中国数据标注市场总规模达50.8亿元，较2021年增长17.3%，CAGR（2022-2029）达22%。稳步落地阶段的人工智能行业叠加国家产业政策支持，持续促进行业发展。同时，随着ChatGPT成为AIGC现象级应用，优化了上游国内数据标注厂商的工作，带来更多的机会。n应用场景：现阶段计算机视觉仍占据主流，NLP有待场景需求拉动，随着AI不断落地，与各行各业深度融合，尤其是在自动驾驶、新零售、人工智能教育、工业机器人、智慧农业等领域，数据标签化的应用场景越来越广泛。n发展趋势：1）场景化、定制化会成为主流；2）数据标注行业将从单一模式向多模式标注发展；3）新的人机耦合标注将成为大势所趋。i资料来源：观研天下，中信证券研究部93n由于不同的行业、不同的业务场景对数据标注的需求存在一定的差异性，高质量的数据集成为提高数据标注质量的关键。公开数据集可以帮助数据标注团队减少从零开始创建和标注大量数据所需的时间和成本，且通常由专业团队或机构创建，其数据质量往往较高。这有助于提高数据标注项目的准确性和可靠性，从而提高整体项目的质量。同时，这些通常由专业团队或机构创建，其数据质量往往较高。这有助于提高数集n数据安全管理问题已成为当下基础的安全管理问题，数据安全治理也逐渐被提升到国家安全治理的战略高度。近年来，国家多次发布相关法规法案，将保障数据安全管理放到了重点突出的位置。n根据《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》，中国政府将以维护国家数据安全、保护个人信息和商业秘密为前提，以促进数据合规高效流通使用、赋能实体经济为主线，以数据产权、流通交易、收益分配、安全治理为重点，深入参与国际高标准数字规则制定，构建适应数据特征、符合数字经济发展规律、保障国家数据安全、彰显创新引领的数据基础制度，充分实现数据要素价值、促进全体人民共享数字经济发展红利，为深化创新驱动、推动高质量发展、推进国家治理体系和治理能力现代化提供有力支撑。），《个人信息安全法（草案）》《网络安全审查办法》《数据安全法》院n数据标注领域，按参与模式主要分为众包和自建工厂两种模式：其一，以百度众包、京东众智、龙猫数据为代表的众包模式厂商；其二，以贝赛、云测、爱数智慧、海天瑞声、阿里数据标注为代表的自建工厂厂商。从市场供给来看，当前第三方服务商提供了整体数据标注市场79%的服务，企业自建只占21%。这反映出当前国内数据标注行业仍处在高速发展、粗放竞争的初级阶段，市场上可见的针对数据处理的软件较少，国产化需求高。n同时，随着ChatGPT聊天机器人成为AIGC现象级应用，给上游国内数据标注厂商带来了“后跑发力”的机会，与AIGC技术融合成为数据标注公司发展的第二曲线。n精细化、场景化、专业化的数据采集和标注，可以满足日益增长的人工智能细分和专业垂直赋能需求，数据标注行业将继续向专业服务方向发展，这为非上市中小企业带来了发展机遇，这些企业可以根据自身优势和市场需求，打造差异化竞争优势，从而在数据标注市场中脱颖而出。除此而外，从单一模式向多模式专注于教育领域的数据服务。知学网络为教育机构和企业提供数据是一家提供计算机视觉数据标注平台和服务的公司。SuperAnnotate专提供专业化的数据标注服务，涉及图像识别、视频分析、文本处理等领域。Hive为广告、零售、金融等Alegion专注于提供定制化、专业化的数据标注服务。Alegion的服务覆盖了计算机视ScaleAI是一家美国的数据标注公司，为自动驾驶、无人机、机器人等领域提供定制 Flume一个分布式、可靠的、高可用的用于数据采集、聚合和传输的系统。常用于日志采集系统中，支持定制各类数据发送方用基于GoogleBigtable的开源实现，是一个具有高可靠性、高性能、面向列、可伸缩性、典型的key/value分布式存储的nosql数据库系统，主要用介于HDFS和HBase之间的基于列式存储的分布式数据库。兼具了HBase的实时性、HDFS的高吞吐，以及传统数据库的sql支持。分布式文件存储系统，具有高容错、高吞吐、高可用的特性。HDFS非常适合大规模数据集上的应用，提供高吞吐量的数据访问，可Spark是一个快速、通用、可扩展、可容错的、内存迭分布式的大数据处理引擎，可以对有限数据流和无线数据流进行有状态的计算。Flink在设计之初就是以流为基础发展的，然后再进入,相对于spark而言，它是一个真正意义上的实时计算引擎。由Twitter开源后归于Apache管理的分布式实时计算系统。Storm是一个没有批分布式运算程序的编程框架，适用于离线数据处理场景，内部处理流程主要划分map和reduce两个阶段。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供HQL语句（类SQL语言）查询功能，存储依赖于支持DAG作业的开源计算框架。相对于MapReduce性能更好，主要原因在于其将作业描述为DAG（有向无环图），这基于Hadoop的大规模数据分析平台，它包含了一种名为PigLatin的脚本语言来描述数据流，并行地执行数据流处理的引擎，为复杂的海量数据并构建在HBase之上的一个SQL层，能让我们通过标准的JDBCAPI操作HBase中的数据。 200920102011201220132014）， 201920202021E2022E2023）， 云数据库市场同比增速本地部署市场同比增速201920202021E资料来源：OraclePartnerNetwor），2008年。阿里巴巴已经感到“IOE”提供的“大集中模式”不能适应公司业务快速扩张的节奏，IOE架构已经显现出瓶颈。为了提高业务的可扩展性，直到2013年，淘宝核心系统中的最后一台Oracle数据库下线，阿里宣布成功完成去"2010年以来，国家电网公司以自主可控和国产化改造工作为信息系统安全工作的落脚点，持续提升公司信息系统的安全保障能力。2014年动。江苏电信提出“从IOE”到LAMP转变，中国联通在北京，重庆，浙江，黑龙2014年，中国银监会发布了39号文即《关于应用安全可控信建设银行以及工商银行五大银行和城商银行都在积极投入“去IOE”的运动中。很多银行在做互联网金融等新兴业务拓展时，已经在试资料来源：21世纪经济报道，国家电网报，程序园网站，中国银监0 20092010杭州政府城市数据大脑2.0建设银行-腾讯金融科技联合创新实验室图”gaussDB数据库联合创///////实践平台”//资料来源：各公司官网，公司公告，CSDN，Wind资讯，中信证券研究部注：加粗案例为核心系统n随着算法模型、技术理论和应用场景的优化和创新，AI产业对训练数据的拓展性需求和前瞻性需求均快速n根据IDC发布的《2021年中国人工智能基础数据服务市场研究报告》，预计中国AI基础数据服务市场近5年0），资料来源：Wei.et.al.2022.Chain-of-Tho经历约经历约58年公司模型模型参数OpenAIGPT3谷歌LaMDALLaMA6500亿华为盘古2000亿微软&英伟达Megatron-LM5300亿阿里巴巴文心2600亿腾讯混元DeepmindSparrow700亿AlexNet(2012）），VGG-16(2014)AlibabaPERSEUS-BERT8.3亿个参数，放大版OpenAlGPT-2(突出显示为24倍大小的 下游应用下游应用没有专有模型的面向最终用户的B2B和B2C应用程序如:Jasper,GithubCopilot模型中心共享与托管模型如:HuggingFace,Replicate具有专有模型的面向最终用户的应用程序如:Jasper,GithubCopilot模型中心共享与托管模型如:HuggingFace,Replicate具有专有模型的面向最终用户的应用程序如:Midjourney,Runway闭源基础模型通过API公开的大规模预训练模型开源基础模型如:StableDiffusion(Stability)云计算平台在云部署模型中向开发人员公开的计算硬件如:AWS,GCP,Azure,Coreweave计算硬件针对模型训练和推理工作负载优化的加速器芯片如:GPUs(Nvidia),TPUs(Google)算法模型算法模型算力基础算力基础0201820202025E），STEP描述1模型pre-training搭建算法架构，基于大数据集对模型进行自监督训练，生成大模型2模型fine-tune基于小数据集、RLHF等对模型进行调优和对齐3模型推理响应用户调用需求，并输出计算结果n假定预训练单次，且训练过程中没有出现错误时的成本。实际情形中，考虑到训练过程中出现工程类错误的可能性，实际成本会高于我们计算的理想情况成本。n假设参数量为175B、训练数据500BTokens的情况下，根据《ScalingLawsforNeuralLanguageModels》（JaredKaplan,SamMcCandlish,TomHenighan等），我们在使用256个英伟达HGXA100服务器(包含2048个A100GPU卡）的情况下，模型FLOPsUtilization（MFU）假设为Megatron-LM的51.04%，我们推测单次训练时长约为30.7天，对应约151万GPU小时。假设训练使用成本价约为1美元/GPU小时的情况下，耗费服务器端成本约为151万美元。模型大小22B41.50%43.70%51.40%52.80%530B56.00%57.00%56.30%57.00%资料来源：英伟达官网），倾向于构建一套自己的大模型，因此我们做出如下敏感度分析：保守情形下2222158xA100服务器成本（美元/小时）nChatGPT推理环节成本测算：我们假定企业会在推理环节对通信延迟、内存带宽等进行必要优化，因此假定用户访问ChatGPT的单次成本为理论最高成本（2.7美分/次）的30%，