计算机行业：GPT产业梳理GPT-1到ChatGPT

1告计算机告计算机华泰研究专题研究增增持(维持)计算机ChatGPT：三个阶段打造智能对话交互式AI模型ChatGPT从诞生到现在，经历了三个大版本阶段演进。2018年，生成式预型通用性为目标，移除GPT-1的微调，以更大的参数量和多任务训练，进参数增加到1750亿，再次提高模型表现性能。2022年，InstructGPT引入基于人类反馈的强化学习(RLHF)，在GPT-3基础上进行奖励训练，以13亿训练参数实现了更好的模型性能。2022年11月，基于InstructGPT，OpenAI正式推出对话交互式模型ChatGPT，5天时间突破了100万用户。GPT-1阶段：开启生成式预训练模型时代rmerDecoderGPT-1的训练过程包括预训练和微调两个阶段。1)阶段一：预训练采用内含长段连续文本的BooksCorpus数据集，进行高容量无监督学习。2)阶段下游任务时，首先根据任务类型将其转换为不同的输入形式，再针对不用类型任务用特定训练集进行微调训练。GPT-1的参数量为1.17亿。GPT-1在常识推理、问题回答、文本蕴涵等任务上分别比对比方法进步了1.5%。研究员SACNo.S0570519080006SFCNo.BQZ938联系人SACNo.S0570122080053春生xiechunsheng@+(86)2129872036yuanzeshi@+(86)2128972228行业走势图计算机沪深300(%)6(3)(12)(21)(30)Feb-22Jun-22Oct-22Feb-23资料来源：Wind，华泰研究GPT-2阶段：无监督训练替代有监督训练GPT-2通过海量数据和庞大的模型参数训练出更为通用的模型，无需经过特定的数据集训练也能解决各类问题，即zero-shotlearning(零次学习)，从而提高模型的泛化能力。GPT-2在架构上与GPT-1基本保持相同，预训练以无监督的训练方式进行zero-shot学习，通过增加prompt文本提示的方式提示模型具体任务类型。GPT-2的参数量增加到15亿。GPT-2在命名实体识别、阅读理解等任务上表现优异，在部分任务上不及预期。GPT-3阶段：性能不断突破，开启商业探索GPT-3在GPT-2架构基础上，舍弃极端的zero-shot，采用few-shot理念，对于特定任务给予少量(10-100个)样例。GPT-3最大训练参数量为1750亿，训练结果准确度随着few-shot样例的增加有明显提高。基于GPT-3，OpenAI发布了Codex和InstructGPT。Codex是通用代码生成模型，能够将自然语言转换为代码，支持十几种编程语言。InstructGPT在GPT-3基础上通过RLHF训练奖励模型来进一步优化训练结果，仅用13亿参数量即可实现更符合人类需求的输出。此外，2020年6月，OpenAI开始对外提供接入GPT-3服务的API，并按照模型类型进行收费，开启商业探索第一步。ChatGPT阶段：各大互联网厂商争相推出类似产品2022年11月，基于InstructGPT，OpenAI发布了以对话方式交互的ChatGPT。ChatGPT训练方法与InstructionGPT基本相同，区别仅在于在GPTOpenAI推出了按月订阅的ChatGPTPlus服务，开启第二次商业尝试。国内外互联网厂商纷纷跟进，微软发布基于ChatGPT的新版Bing，谷歌发布Bard对标ChatGPT；百度宣布推出类ChatGPT应用“文心一言”，京东推出智能人机对话平台ChatJD，阿里宣布公司正在研发“阿里版”ChatGPT，网易有道和360也表示推出类ChatGPT应用。风险提示：宏观经济波动，下游需求不及预期。本报告内容均基于客观信息整理，不构成投资建议。ChatGPT：三个阶段打造智能对话交互式AI模型 3GPT-1阶段：开启生成式预训练模型时代 4GPTTransformer 4 GPT-2：取消微调，用更大参数和数据集进行zero-shot学习 5OpenAI：得到微软注资，关注技术滥用问题 6 ot odeXGPT InstructGPT：人类反馈强化学习技术加持下的“最强”GPT-3 10ChatGPT阶段：各大互联网厂商争相推出类似产品 12ChatGPT：以对话方式交互的进化版InstructGPT 12ChatGPTPlus：商业模式二次探索 13微软继续加注OpenAI，推出基于ChatGPT的新版Bing 13各大互联网厂商均表示将推出类ChatGPT产品 14 GPT-12018.6GPT-22019.215亿GPT-32020.5Codex2021.8InstructGPT20GPT-12018.6GPT-22019.215亿GPT-32020.5Codex2021.8InstructGPT2022.3120亿13亿数量•微软投资10亿美元•先后发布参数为124M、355M、774M的小中大模型•对774M参数GPT-2语言模型进行了微调•发布参数大小为1.5B的模型•提供GPT-3API，第一次商业探索•基于GPT-2架构，证明语言模型在图像补全和采样上同样有不错的效果•向微软提供GPT-3产品和服务•超300个应用程序接入GPT-3的API，平均每天生成45亿单词•对GPT-3进行微调，改善模型•开发人员现可以根据自己的数据对GPT-3进行微调•训练GPT-3像人类一样使用基于文本的web奖励模型提高准确性和有用性•在API中引入文本和代码embedding，将文本等内容转变创数字序列•发布GPT-3和Codex新版容插入现有文本•Codex通过API为70个不同应用程序提供各种用例•训练“评论写作”模型，探讨AI协助人类监督AI的应用前景ChatGPT从诞生到现在，经历了三个大版本阶段的演进。GPT6月，OpenAI发表论文《ImprovingLanguageUnderstandingbyGenerativePre-Training》，标志着GPT-1的诞生。论文首次提出生成式预训练概念，基于Transformer架构的解码器搭建训练模型。训练过程包括预训练和微调两个阶段，模型参数GPTLanguageModelsareUnsupervisedMultitaskLearners》GPT诞生。GPT-2取消了GPT-1中的有监督微调阶段，将其变成了无监督的模型，采用更大的参数和多任务(multitask)学习进行预训练，提高了模型面对未知任务时的推理能力(zero-shot零次学习)。GPT-2-训练参数量为15亿。提出GPT-3模型。GPT-2模型中的zero-shot在某些任务上性能不及预期，因此OpenAI在GPT-3中提出了few-shot少量(10-100个)样本学习，提高了模型的表现性能。在模型参数量上，从GPT-2的15亿提升到1750亿。2021年8月，OpenAI推出基于GPT-3的通用编程模型Codex，可以将自然语言转换翻译、解释和重构为代码。2022年3月，OpenAI将基于人类反馈的强化学习(RLHF)技术引入GPT-3，通过奖励(reward)机制进一步训练模型，提高模型性能和准确度，InstructGPT诞生。InstructGPT训练参数量仅13亿，与GPT-3的1750亿相比大大减少，能给出更符合人类思维的输出结果。TChatGPT和InstructionGPT为同代产品，只是在InstructGPT的基础上增加了聊天功能，同时向公众开放使用，产生更多有效标注数据。ChatGPT上线5天便突破100万用户。目前，微软已整合ChatGPT推出新版浏览器EDGE和搜索引擎Bing。谷歌也发布了对标产品Bard。此外，国内厂商如百度、京东、阿里等也宣布进军“ChatGPT行业”。2018.6-2019.22019.2-2020.72020.7-2022.112022.11-CChatGPTGPT-1chatGPchatGPT2022.1120亿••更新了2021年提出的embedding在文本搜索、代码搜索和句子相似性任务上性能更好•OpenAI和微软扩大合作伙伴关系•ChatGPTPlus服务推出，售价20美元/月，是又一次商业探索•微软整合ChatGPT推出新版Bing资料来源：OpenAI官网、arxiv论文、华泰研究我们将对GPT的每个发展阶段进行详细复盘和模型拆解，对技术和理念进行溯源。ExtractClassification分类任务 TransformerLinearStartDelimAnswer1ExtractContextTransformerStartContextLinearTransformerMultipleChoiceExtractClassification分类任务 TransformerLinearStartDelimAnswer1ExtractContextTransformerStartContextLinearTransformerMultipleChoice问答任务ContextStartTransformerLinearrGPT-1仅保留了Transformer架构的解码器部分。从架构上看，GPT-1基于Transformer架构，但是仅保留了架构中的解码器部分。其中，解码器共有12层(layer)，整个模型相比Transformer更加简单，训练速度更快，GPT-1更擅长自然语言处理生成类任务。Transformer架构GPTGPT-1架构文本预测文本预测文本分类extPredictionTaskClassifier12×带掩模自注意力层Text&PositionEmbed文本&位置向量矩阵LayerNorm归一化层+FeedForward前馈神经网络MaskedMultiSelfAttentionLayerNorm归一化层+资料来源：ImprovingLanguageUnderstandingbyGenerativePre-Training、华泰研究GPT-1的训练过程包括预训练和微调两个阶段。1)第一阶段：采用多层Transformer模型的解码器(Decoder)为语言模型，进行基于大文本语料库的高容量无监督学习。2)第二阶段：在做下游任务时，当输入的问题具有结构化特征，例如有序的句子对或文档、问题和答案的三元组，首先将不同类的问题转换为不同的输入形式，再针对不同任务采用不同数据集进行微调训练。GPT-1训练的参数量为1.17亿，预训练阶段采用BooksCorpus数据集，该数据集包括7000多本来自风格不同的未出版书籍，内含长段的连续文本，微调阶段则根据不同任务类型选择数据集。训练结果上看，GPT-1在常识推理、问题回答、文本蕴涵等任务上分别比对比方法进步了8.9%、5.7%和1.5%。StartEntailment推理任务StartPremiseDelimHypothesisExtract TransformerLinearTransformerTransformerStaStartTextText1DelimTextText2ExtractSimilarityLinear相似性任务StartText2DelimText1ExtractTransformeTransformerLinearDelimAnswer2ExtractDelimAnswerNExtract资料来源：ImprovingLanguageUnderstandingbyGenerativePre-Training、华泰研究GPT-2用更大的训练集尝试zero-shot学习。有监督的NLP模型(如GPT-1)能取得不错的效果，原因在于其针对单个特定任务使用大量有标注数据进行训练，当任务目标分布发生变化时则可能会失效，即模型的泛化能力不够强。GPT-2希望通过海量数据和庞大的模型参数训练出更为通用的模型，无需经过特定的数据集训练也能解决各类问题，即zero-shotlearning(零次学习)，提高模型的泛化能力。为了达到这一目的，GPT-2采用了涵盖800万网页、40GB大小的数据集WebText进行预训练，并将模型参数量最大提升到15亿，模所所见类别数据属性特征斑马特征描述斑马预测器这是斑马！资料来源：CSDN、华泰研究GPT-2在架构上与GPT-1基本保持相同，在处理下游问题时取消了微调。架构上，GPT-2的结构类似于GPT-1模型，仍然使用单向的Transformer模型，只做了局部修改：将归一化层移到输入位置，在最后一个自注意力块之后加了一层归一化等。训练步骤上，预训练阶段与GPT-1方法基本相同，使用了更大参数的Transformer，以及覆盖范围广、质量更高的数据集WebText，采用多任务学习，保证训练出的模型有更好的通用性。在具体处理GPTzeroshot为了使模型能识别任务的具体目标，GPT-2使用一种新的输入形态，增加prompt文本提示。例如，翻译训练示例可以写成序列(翻译成法语、英语文本、法语文本)，阅读理解训练示例可以写成(回答问题、文档、问题、答案)。在WebText数据集下，随着GPT-2模型参数规模的扩大，其zero-shot学习能力更强，且优于部分已有模型。阅读理解阅读理解翻翻译摘摘要问问题回答资料来源：LanguageModelsareUnsupervisedMultitaskLearners、华泰研究GPTGPT-1架构GPTGPT-2架构文本预测文本分类文本预测文本分类PredictionClassifierLayerNorm归一化层Transformer+MaskedMultiSelfAttentionFeedForward前馈神经网络LayerNorm归一化层LayerNorm归一化层Text&PositionEmbed位置向量矩阵LayerNorm归一化层+FeedForward前馈神经网络LayerNorm归一化层+MaskedMultiSelfLayerNorm归一化层+FeedForward前馈神经网络LayerNorm归一化层+MaskedMultiSelfAttentionPredictionClassifierText&PositionEmbed位置向量矩阵资料来源：LanguageModelsareUnsupervisedMultitaskLearners、华泰研究GPT-2在7种任务中超过了最优水平；在儿童图书测试的命名实体识别任务中，超过最优水平7%；在文本长期依赖性建模能力测试数据集LAMBADA上，GPT-2将困惑度从99.8降到了8.6；在阅读理解任务中，GPT-2超过了3个基线模型；在法译英任务中，GPT-2在zero-shot学习的基础上，超过了大多数的无监督方法，略逊于有监督的方法；在文本总结任务中的效果接近有监督的模型。OpenAI：得到微软注资，关注技术滥用问题微软向OpenAI投资10亿美元，并提供独家云支持。2019年7月，微软向OpenAI投资10亿美元，帮助OpenAI构建人工通用智能(AGI)。此外，微软作为OpenAI的独家云提供商，与OpenAI合作开发MicrosoftAzure中的软硬件平台并考虑将其扩展到AGI，以及共同开发新的AzureAI超级计算技术。OpenAI出于对技术滥用问题的考虑，分阶段发布GPT-2完整版。OpenAI出于对技术滥用问题的考虑，在GPT-2诞生后并未发布完整版的训练模型。2019年2月，OpenAI发布了124M参数的小型GPT-2模型，5月发布355M参数的中型GPT-2模型，8月发布7.7415亿参数GPT-2，以及代码和模型权重。在此过程中，OpenAI还使用各种任务的人类反馈对774M参数GPT-2语言模型进行了微调，提高了模型在部分任务上的表现。PTFew-shot取代zero-shot，训练效果得到进一步加强。GPT-2模型中，在下游训练时采用zero-shot理念，在执行各类子任务时不给任何样例，属于较为极端的情况。虽然在GPT-2在某些测试中取得了不错的效果，但在一些任务上结果不达预期。因此，OpenAI引入了few-shot，即对于特定任务仅给予少量的样例(10-100个)，和GPT-2一样不做微调处理，仅通过与模型的文本交互来指定任务和few-shot。从多种训练基准训练结果看，few-shot能够取得比zero-shot更好的准确度结果。ot注：图中为多种训练基准综合的结果资料来源：LanguageModelsareFew-ShotLearners、华泰研究GPT-3架构基本不变，最大训练参数达1750亿。GPT-2模型已经验证，在大参数和大数据集预训练模型后，即使采用zero-shot也能取得较好的训练效果。因此，GPT-3延续这一思想，采用了8种不同大小的训练模型，最小参数量为1.25亿，最大为1750亿。在架构GPTGPT将Transformer从48层提升到96层。型名称小资料来源：LanguageModelsareFew-ShotLearners、华泰研究GPT-3训练数据集为多种数据集的混合。数据集以CommonCrawl为基础，其大小为45TB。但CommonCrawl数据集的质量低于更精确的数据集，为了保证数据集质量，一方面对CommonCrawl进行过滤，大小压缩到570GB，另一方面增加了质量更高的数据集，如WebText2、Wikipedia等。在训练期间，数据集的采样不与其大小成比例，而是质量更高的数据集采样频率更高，因此CommonCrawl和Books2数据集在训练期间采样次数少于一次，其他更高质量的数据集采样次数为2-3次，以换取更高质量的训练数据。模型类型细分价格(美元)512x5120.018/张256模型类型细分价格(美元)512x5120.018/张256x256Ada0.016/张0.0004/千字符Babbage0.0005/千字符Curie0.0020/千字符Davinci0.0200/千字符语言模型集(tokens)在训练组合每3000亿tokens经历的hs资料来源：LanguageModelsareFew-ShotLearners、华泰研究在大训练参数、few-shot的加持下，GPT-3准确性得到极大提高。从训练结果准确度来看，GPTfewshot增加，准确度提升并不明显。但是当模型参数大小达到1750亿时，few-shot样例的增加会带来准确度较为明显的提升。在大训练参数和few-shot的加持下，GPT-3准确性提高明显。资料来源：LanguageModelsareFew-ShotLearners、华泰研究OpenAI发布API，开启首次商业尝试，并授权给微软。2020年6月，OpenAI开始对外提供能够接入GPT-3服务的API，并提供通用的“文本输入，文本输出”界面，支持英语任务。其他厂商可以请求访问，并将API集成到产品中，按不同模型类型收费。API的优势在于：1)GPT-3模型庞大，需要大量的专业知识来开发和部署，运行成本非常高。API年9月，OpenAI将GPT-3授权给微软，微软可以将其用于自己的产品和服务，同时不会影响其他应用通过API继续访问GPT-3模型。截至2021年5月，共有超过300个应用程序通过API提供GPT-3支持的搜索、对话、文本完成和其他高级AI功能。模型类型模型类型细分训练价格(美元)使用价格(美元)1024x10240.02/张图像模型微调模型Ada1024x10240.02/张图像模型00.0006/千字符0.0024/千字符Babbage00.0030/千字符0.0300/千字符0.0120/千字符0.1200/千字符CurieDavinci价格(美元价格(美元)0.0004/千字符模型类型嵌入模型细分Ada资料来源：OpenAI官网、华泰研究Codex是基于GPT-3在代码生成上的应用。2021年8月，OpenAI发布Codex通用代码生成模型，能够将自然语言转换为代码。Codex是GitHubCopilot的主要构建块，支持Python、JavaScript、Go、Perl、PHP、Ruby、Swift和TypeScript等十几种编程语言。Codex可以通过OpenAIAPI使用，在初始阶段提供免费服务。资料来源：OpenAI官网、华泰研究Codex代码生成能力显著优于GPT-3。Codex的训练数据包含自然语言和来自公共数据源中的数十亿行源代码，其中包括GitHub库中的公开代码。Codex拥有14KB的Python代码内存，而GPT-3只有4KB，这就使得它在执行任务的过程中可以涵盖三倍于GPT-3的上下文信息。Codex的最大版本拥有120亿参数，准确率达到了72.31%。资料来源：EvaluatingLargeLanguageModelsTrainedonCode、华泰研究人类反馈奖励预测观察环境行动InstructGPT术加持下的“最强”GPT-3人类反馈奖励预测观察环境行动InstructGPT在GPT-3的基础上，引入基于人类反馈的强化学习(RLHF)技术。强化学习通过奖励(Reward)机制来指导模型训练，奖励机制可以视为传统模训练机制的损失函数。奖励的计算要比损失函数更灵活和多样(例如AlphaGO的奖励是对局的胜负)，代价是奖励计算不可导，不能直接拿来做反向传播。强化学习的思路是通过对奖励的大量采样来拟合损失函数，从而实现模型的训练。类似的，人类反馈也不可导，也可以作为强化学习的奖励，从而产生基于人工反馈的强化学习。预预测的奖励强强化学习算法资料来源：CSDN、华泰研究InstructGPT的训练流程包括有监督微调、奖励模型训练和强化学习。架构上，InstructGPT与GPT-3基本相同。训练过程包括：1)利用人类的标注数据(demonstrationdata)对GPT-3进行有监督训练首先，OpenAI设计了包含大量提示样本的promptdataset，给出了不同类的任务描述；其次，委托标注团队对promptdataset进行标注(本质就是人工回答问题)；最后，用标注过的数据集微调GPT-3，得到SFT模型(监督微调)，该模型具备了最基本的预测能力。2)通过RLHF的思路训练奖励模型RM首先用SFT模型去回答promptdataset某个问题，通过收集4个不同的SFT输出获取4个回答；其次，利用人工对4个回答的好坏进行标注和排序，排序的结果用来训练奖励模型RM，让RM模型理解人类偏好。3)通过训练好的RM模型和PPO算法优化SFT模型策略再次让SFT模型去回答promptdataset某个问题，通过近端策略优化(ProximalPolicyOptimization，PPO)算法产生输出。然后，不再借助人工评估结果好坏，而是利用阶段2训练的RM模型去对SFT模型的预测结果进行打分排序，即用“AI训练AI”。该阶段可以循环多次。通过以上步骤训练出的结果，一方面能够尽可能地对齐(Alignment)GPT的输出与对用户友好的语言逻辑，微调出用户友好型GPT；另一方面，人工反馈的引入，帮助模型更好的理解人类思维和意图，训练结果更符合人类的需求。收集描述性数据，并训练一个有监督略收集比较性数据，并训练一个奖励模型用PPO强化学习算法通过奖励模型优化策略从prompt数据库中取样由人类训练师撰写期望的输出值收集的数据用来以监督学习的方式微调 GPT-3模型学习对行为给出奖励与对行为给出奖励与惩罚……从prompt数据库数个模型的回答由人类训练师对回答进行排序收集的数据用来训练我们的奖励模型DD向一个6岁智力的模型解释强化学习ABAB.”CCDD＞C＞A＞BDD＞C＞A＞B从prompt数据库中另外取样策略给出回答奖励模型对回答打分用奖励通过PPO算法优化策略PPORMPPORM示例：“写一段关于..的故事”示例示例：“很久以前……”资料来源：Traininglanguagemodelstofollowinstructionswithhumanfeedback、华泰研究训练参数与GPT-3相比降低了超100倍。InstructGPT训练参数最大为13亿，与GPT-3的1750亿相比减少了100倍之多，且InstructGPT输出的训练结果更符合人类的要求。InstructGPT证明了对人类反馈进行微调是使语言模型与人类意图保持一致的重要发展方向，且基于RLHF的训练方法能够大大减少对模型参数量的要求，提高训练速度，降低训练成本。此外，由于InstructGPT是在GPT-3基础上做的微调，且涉及了人工标注，数据集总量并不大，总计77K，其中涉及人工的为46K。资料来源：OpenAI官网、华泰研究SFT数据RMPO资料来源：Traininglanguagemodelstofollowinstructionswithhumanfeedback、华泰研究并训练一个有监向一个6岁智力的模型学习对行为给出奖励与惩罚……收集描述性数据，督的策略从prompt数据库中取样由并训练一个有监向一个6岁智力的模型学习对行为给出奖励与惩罚……收集描述性数据，督的策略从prompt数据库中取样由人类训练师撰写期望的输收集的数据用来以监督学习的方式微调 GPT-3.5模型并训练一个奖励向一个6岁智力的模型解释强化学习ABAB.”C由人类训练师对回答进行排序收集的数据用来训练我们的奖励模型DD＞C＞A＞BD＞C＞A＞B收集比较性数据，模型从prompt数据库数个模型的回答PTChatGPT模型能够以对话方式进行交互。对话方式使ChatGPT能够回答后续问题、承认错误、质疑不正确的前提和拒绝不适当的请求。ChatGPT同样基于RLHF理念，从训练步骤上看，ChatGPT训练方法与InstructionGPT基本相同，区别仅在于在第一步利用人类标注数据进行有监督训练时，InstructGPT基于GPT-3，而ChatGPT基于InstructGPT。用PPO强化学习算法通过奖励模型优化策略从prompt数据库中另外取样示例：“写一段关于..的故事”由有监督的策略初始化PPO模型PPO策略给出回答奖励模型对回答打分RM用奖励通过PPO算法优化策略示例：“很久以前……”资料来源：OpenAI官网、华泰研究资料来源：OpenAI官网、华泰研究ChatGPTPlus模式二次探索OpenAI推出ChatGPTPlus服务，支持按月订阅。随着ChatGPT用户数激增，当网站负ChatGPT响应速度会受影响。ChatGPT推出了Plus会员服务，收费标准为20美元/月。Plus用户可以享受：1)当网站负荷过高继推出API后第二次在商业模式上的探索。我们认为，技术变现是推动技术进步的重要方式。随着OpenAI推出的模型参数量、复杂度增加，单次训练成本不断提高。OpenAI通过探索技术的商业变现模式，能够更好的支持其技术发展，未来或将推出更多的付费服务。服务负载低时可服务负载低时可用标准响应速度定期模型更新服务高负载可用更快的响应速度优先体验新特性资料来源：OpenAI官网、华泰研究g微软继续对OpenAI投资100亿美元，并扩大技术应用。2023年1月23日，微软以290亿美元的估值继续向OpenAI投资约100亿美元，获得OpenAI49%的股权。微软将OpenAI的技术融入其大部分软件中。例如，微软在其Azure云中推出了一套OpenAI工具和服务，允许Azure客户访问OpenAI的GPT和DALL-E工具；在搜索引擎Bing中发布了图像生成器、以及新的Designer图形设计工具，由OpenAIDALL-E提供支持；PowerApps软件此外，微软正在准备将OpenAI的语言AI技术引入Word、PowerPoint和Outlook等应用程序。未来，微软或将增加对专业超级计算系统部署的投资，以加速OpenAI研究进度。浏览器和Bing搜索引擎，这是是微软与OpenAI技术最新结合的产品。在提供传统搜索内容的同时，用户可以与搜索引擎进行对话交流，获得更全面的答案。资料来源：微软官网、华泰研究谷歌发布ChatGPT对标竞品—Bard。Bard由谷歌的大型语言模型LaMDA(对话应用语言模型)提供支持。LaMDA(LanguageModelforDialogueApplications)是谷歌于2021年5月的GoogleI/O大会上提出的人工智能系统对话应用语言模型，具有1370亿参数，略少于GPT-3，远多于13亿参数的InstructGPT。LaMDA可以利用外部知识源，专注于生成对话，类似ChatGPT。其目的不是提供信息搜索，而是通过对自然语言问题的回答来帮助用户解决问题。资料来源：谷歌官网、华泰研究ChatGPT产品。2023年2月7日，百度宣布推出类ChatGPT应用、自然语言处理大模型新项目“文心一言”，预计三月份面向公众开放。2月10日，京东云旗下言犀人工智能应用平台宣布将推出“产业版ChatGPT”—智能人机对话平台ChatJD，预计参数量达千亿级，聚焦零售、金融两个垂直行业领域。2月8日，阿里巴巴宣布公司正在研发“阿里版”ChatGPT，目前处于内测阶段。同日，网易有道宣布公司未来或将推出ChatGPT同源技术产品，应用场景围绕在线教育。360也表示，正计划尽快推出类ChatGPT技术的试用版本应用。公司代码公司简称公司简称MSFTUS微软GOOGLUS谷歌未上市OpenAIBIDUUS百度JDUS京东BABAUS阿里巴巴9999HK601360CH360资料来源：Bloomberg、华泰研究提示宏观经济波动。若宏观经济波动，产业变革及新技术的落地节奏或将受到影响，宏观经济波动还可能对IT投资产生负面影响，从而导致整体行业增长不及预期。下游需求不及预期。若下游数字化需求不及预期，相关的数字化投入增长或慢于预期，致使行业增长不及预期。本报告内容均基于客观信息整理，不构成投资建议。分析师声明本人，谢春生，兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见；彼以往、现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬。一般声明及披露本报告由华泰证券股份有限公司(已具备中国证监会批准的证券投资咨询业务资格，以下简称“本公司”)制作。本报告所载资料是仅供接收人的严格保密资料。本报告仅供本公司及其客户和其关联机构使用。本公司不因接收人收到本报告而视其为客户。本报告基于本公司认为可靠的、已公开的信息编制，但本公司及其关联机构(以下统称为“华泰”)对该等信息的准确性及完整性不作任何保证。本报告所载的意见、评估及预测仅反映报告发布当日的观点和判断。在不同时期，华泰可能会发出与本报告所载意见、评估及预测不一致的研究报告。同时，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。以往表现并不能指引未来，未来回报并不能得到保证，并存在损失本金的可能。华泰不保证本报告所含信息保持在最新状态。华泰对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。本公司不是FINRA的注册会员，其研究分析师亦没有注册为FINRA的研究分析师/不具有FINRA分析师的注册资华泰力求报告内容客观、公正，但本报告所载的观点、结论和建议仅供参考，不构成购买或出售所述证券的要约或招揽。该等观点、建议并未考虑到个别投资者的具体投资目的、财务状况以及特定需求，在任何时候均不构成对客户私人投资建议。投资者应当充分考虑自身特定状况，并完整理解和使用本报告内容，不应视本报告为做出投资决策的唯一因素。对依据或者使用本报告所造成的一切后果，华泰及作者均不承担任何法律责任。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。除非另行说明，本报告中所引用的关于业绩的数据代表过往表现，过往的业绩表现不应作为日后回报的预示。华泰不承诺也不保证任何预示的回报会得以实现，分析中所做的预测可能是基于相应的假设，任何假设的变化可能会显著影响所预测的回报。华泰及作者在自身所知情的范围内，与本报告所指的证券或投资标的不存在法律禁止的利害关系。在法律许可的情况下，华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易，为该公司提供投资银行、财务顾问或者金融产品等相关服务或向该公司招揽业务。华泰的销售人员、交易人员或其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。华泰没有将此意见及建议向报告所有接收者进行更新的义务。华泰的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。投资者应当考虑到华泰及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突。投资者请勿将本报告视为投资或其他决定的唯一信赖依据。有关该方面的具体披露请参照本报告尾部。本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布的机构或人员，也并非意图发送、发布给因可得到、使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员。本报告版权仅为本公司所有。未经本公司书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人(无论整份或部分)等任何形式侵犯本公司版权。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并需在使用前获取独立的法律意见，以确定该引用、刊发符合当地适用法规的要求，同时注明出处为“华泰证券研究所”，且不得对本报告进行任何有悖原意的引用、删节和修改。本公司保留追究相关责任的权利