陈红兵-揭开-ChatGPT-面纱-寻找投资机会

陈红兵-揭开-ChatGPT-面纱-寻找投资机会陈红兵-揭开-ChatGPT-面纱-寻找投资机会全文共5页，当前为第1页。揭开ChatGPT面纱寻找投资机会陈红兵-揭开-ChatGPT-面纱-寻找投资机会全文共5页，当前为第1页。2022年11月，OpenAI公司推出聊天机器人ChatGPT，目前已有1亿多用户使用。与普通的聊天机器人相比，ChatGPT更能听得懂“人话”，不仅可以理解复杂语句内容及上下文语境，快速给予用户一个清晰的、高质量的解答，并且连写小说、改代码、进行考试答题等复杂任务也可取得良好的效果。一、懂聊天的机器人（概述）ChatGPT中，Chat指聊天对话，GPT全称为GenerativePre-TrainedTransformer，其中Transfomer正是ChatGPT的技术基础。ChatGPT做的事情和BERT差不多，也就是预训练，只是预训练的方式不一样。GPT用生成式方法预训练的Transformer，BERT是预测式的方法（MLM+NSP）。作为一个语言模型，存储了巨大的知识量，才使得ChatGPT能够理解和生成类似人类的文本，这就可以帮助人们完成诸如理解问题、回答问题，甚至协助研究、分析、计算等任务。二、我也想训练一个ChatGPT，可以吗？这就要看资源与算法了众所周知，模型有三大基本盘，也是三大护城河。行业内专家较为一致地认为：1.超大规模无标注数据集，几乎涵盖全网任何领域的数据，45TB的训练数据（1TB=1000GB），约1万亿个单词，大概是1351万本牛津词典。这就是涉及知识版权了，相关公司受益。2.算力与存储，A股中这类公司大有可为！ChatGPT训练所需的计算资源包括：285000个CPU和10000个GPU，24小时不间断输入数据，训练一次花费约1200万美元的费用（依据GPT-3的450万美元/次，估计而来），以及相应的数据存储资源，训练生成的模型达1750亿参数，存储学习的知识，对相关的硬件要求非常高，相关公司直接受益。三、“无所不能”1.模型的能力人工智能和大数据技术不断地给产业带来质的变化，下图为各阶段技术与生产力的关系。模型是人工智能的灵魂，本质上它是一套计算公式和数学模型。“参数”可以看作是模型里的一个个公式，这意味着，参数量越大，模型越复杂，做出来的预测就越准确。陈红兵-揭开-ChatGPT-面纱-寻找投资机会全文共5页，当前为第2页。AI模型可大致分为决策式/分析式AI（Discriminant/AnalyticalAI）和生成式AI（GenerativeAI）两类。陈红兵-揭开-ChatGPT-面纱-寻找投资机会全文共5页，当前为第2页。决策式AI：学习数据中的条件概率分布，根据已有数据进行分析、判断、预测，主要应用模型有用于情感分类、实体（关系）抽取、推荐系统等，以Bert为代表的一系列预训练模型配合下游任务已在CV、NLP等领域取得很好的效果。生成式AI：学习数据中的联合概率分布，并非简单分析已有数据，而是学习归纳已有数据后进行创造，基于历史进行模仿式、缝合式创作，生成全新的内容，也能解决判别问题，以GPT为代表的预训练模型，在文本辅助生成等任务中也有着较好的应用。2.ChatGPT的不足ChatGPT是一个大型、复杂的系统，不管训练还是推理都需要大量的计算资源才能运行，这在某些情况下会使其难以使用或使用成本高昂。抛开这点，从模型本身能力来看还有哪些弱点呢？（1）理解能力虽说ChatGPT在某些领域已达到甚至超越人类的水平，把一定的计算能力嵌入大语言模型里，确实是可以的。但也是有瓶颈的，带着任务导向的算法模型，也意味着只能在某个层级的形式语言的处理任务方面有着不错的效果，但是自然语言毕竟不同于形式语言，语义上比较绕，它就可能不胜任了。（2）错误执念生成式模型可控性相对差，会出现一些不合乎实际的内容，当模型表达对某事的观点时，如果该观点是错误的，我们可能很难纠正它，这在有些领域是无法接受的，比如，请证明18是奇数，强调多次后，它会选择证明而不是否定问题。虽然GPT模型训练不仅有着大量高质量、正确的标注数据作为基础，算法专家会持续进行参数优化引导模型走向正确的方向，但是如前文中讲到的标注数据的整体量级远远低于无标注数据，而无监督数据中的错误信息可能远大于正确的信息量（如造谣数据），那么模型就有可能学习到错误的知识，这也是导致错误执念的因素之一。这就导致“一本正经地胡说八道”的原因之一。（3）知识的局限性（泛化迁移能力）由于推理能力来源于训练时遵循的指令，因此指令的数量至关重要，很少的指令在新任务的能力方面很难达到举一反一（比如，一个苹果+一个苹果=两个苹果，那：一个恐龙+一个恐龙=？）。（4）数学推理在数学形式严格的证明中推理能力差（比如经典的鸡兔同笼问题）。预测能力差（需不断迭代）语料集是历史数据（ChatGPT数据截至2021年），那么模型学到的知识是有局限的，因此，对于未来的事情，即使是无需推理就能得到的答案，也无法较好地回答。知识是需要不断迭代，如何降低迭代成本且提高模型能力？四、如何落地无论ChatGPT本身还是跟它功能类似的大语言模型或者是以Bert为代表已成熟应用的预训练模型，要在行业落地，它就不能只是一个供大家调戏的流量黑洞，它必须有专业的解决垂直领域实际问题的能力。1.模型加法要用本领域的私有、专有数据对它进行增强样本的训练，补足通用模型在该领域的短板，这可能会牵涉到大量的人力物力进行标注和陪练，还得懂业务。陈红兵-揭开-ChatGPT-面纱-寻找投资机会全文共5页，当前为第3页。2.模型蒸馏陈红兵-揭开-ChatGPT-面纱-寻找投资机会全文共5页，当前为第3页。模型蒸馏，要把垂直领域里根本用不到的参数或者结构摘除，因为毕竟ChatGPT是1750亿个参数的超大模型，不仅存储资源是问题，跑起来需要的算力（哪怕只是用于推理）也是问题，资金投入都是不小的开支。所以，做减法也是必需的，直接关乎落地的技术可行性。3.领域应用业务自动化靠大语言模型自身的“嵌入”能力来解决领域问题，有它的固有瓶颈，也有很多不可控因素。尤其金融领域有它固有的严肃性。一个专业性问题，你告诉客户一个错误的答案，由此引发的后果可能是比较严重的。怎么把专业性的应用系统，比如领域已经有的专业数据库、专业知识图谱和其他的资源，跟ChatGPT的意图理解能力、语言生成能力以及场景掌控能力进行对接，至关重要。现阶段在可控性好的场景下可进行应用尝试，例如，问答搜索，在专业领域的知识库和问题匹配规则的约束下，几乎可以避免不可控问题的发生。4.等待与跟进等待：ChatGPT出来以后，国内有能力建大模型的大厂，比如百度和腾讯等，都有相应的动作。即使是作为同样技术路线的跟随者，国内的大厂也会很快跟进，一些轻量化的、定制化的模型必然会有产出，行业解决方案也会更加成熟。跟进：以深挖业务和专业化数据沉淀为基础，同时对生成式AI算法进行跟进，及时高效地落地。五、计划与建议OpenAI（ChatGPT）、谷歌（Bard）、百度（文言一心）等大型语言模型（LLM）的推出让人们去思考大模型作为AI新型基础设施的可能性，同时，随着算法的日趋成熟，模型的智能越来越依赖数据的加持，人工智能逐步由“ModelAI转向DataAI”。由此可以看出，大型语言模型（LLM）+知识图谱（KG）很有可能是未来人工智能新的驱动模式。1.知识图谱促进GPT意图理解能力，结合领域知识图谱、数据库知识对用户输入内容标准化，转化为GPT更易于接受的提问方式，方便GPT更好地理解问题。2.知识图谱规范与过滤GPT生成内容，对于GPT生成的结果，一方面，通过领域知识库进行规范化；另一方面，利用黑名单、敏感词库、规则等方式就行筛选过滤，减少错误。3.知识图谱与GPT融合，用通用大语言模型自身“嵌入”的能力来解决领域问题，存在固有瓶颈与不可控因素，尤其金融领域有它固有的严肃性，同时，超大模型工程落地在速度与资源占用方面也是不可回避的问题。因此，训练领域GPT是落地的有效途径之一。4.文本摘要，对于单篇文本或者一定数量的文本，可利用GPT进行抽取式或者生成式摘要。对于抽取式摘要可通过GPT进行摘要润色，提高可读性；对于生成式摘要，专业知识库为GPT提供专有名词、术语的标准化，实体消歧等能力，尽力修正摘要错误，规范文本表述。5.模型领域化与轻量化，借助大型AI企业与学校的科研能力，在领域数据上进行定向增量训练，补足通用模型在领域内常规任务上的短板，增加定制化与个性化任务的处理能力，同时压缩模型参数、模型瘦身，提高预测速度，降低资源开销。梳理了一些落地方式与场景，那么有哪些问题与难点呢？以搜索（问答）为例，包括五个部分：问题输入、问题理解、初步结果、结果融合、最终结果。具体步骤如下：陈红兵-揭开-ChatGPT-面纱-寻找投资机会全文共5页，当前为第4页。陈红兵-揭开-ChatGPT-面纱-寻找投资机会全文共5页，当前为第4页。（1）问题输入：问题可以是单一问题或者一题多问。（2）问题理解：传统的问题理解借助分词系统、问题图谱进行问题拆解与核心词匹配；GPT强大的理解能力在进一步借助领域知识库的规范领域名词表述、解决指代消歧等问题，模型可以更好地来解释查询的意图（包括一题多问是否是包含上下文的互动式交互等）。（3）初步结果：传统的搜索问答直接在知识图谱（数据库）中匹配出多个可能的结果集，通过排序算法、权重模型等进行相关性排序；GPT可根据问题意图获取最相关的原始数据集，自动生成易于理解的结果。（4）结果融合：由于GPT的知识局限性和不可控性，在结果融合中需要做三方面的工作：第一，根据问题判定结果的时效性；第二，根据过滤规则库、黑名单过滤敏感或者错误的结果；第三，将GPT生成结果和传统的排名结果结合生成最终的搜索结果，并记录溯源信息。（5）最终结果：一方面，输出该轮问题的回复；另一方面，作为多轮问答中的上文，支撑开展更有深度和延展性的交互。六、系统构建问题与难点1.图谱构建：将企业数据整合为知识图谱，在知识建模、知识存储、知识查询等方面需要大量的存储资源与研发投入。2.领域GPT：GPT要达到又好又快，一方面，需要基于领域海量无标注数据和大量强化任务的标注数据进行模型迭代；另一方面，需要降低模型部署资源开销与提高推理速度。这就需要跨越“三座大山”，标注数据需要大量的专业人员，训练与优化算法需要有大模型研发经验的专家支持，模型迭代与轻量化需要服务器系统提供数据存储与算力。这需要合作方在算法上给予支持，模型架构上支持增量训练。（1）高质量图谱构建难度大：如何构建问题理解、结果查询与融合等环节需要的高质量问题图谱、知识图谱、领域知识库至今是业界难题；（2）初步结果准确性：尽管ChatGPT基于海量的数据训练而来，具有很高的回答率，但它仍然存在错误和误导信息的可能，可控性差且不易发现（当然，传统搜索引擎同样存在错误和误导，但可控性好、易溯源）；（3）结果融合：有效控制最终结果输出比较困难，一方面，GPT错误的隐蔽性、黑名单与过滤算法的滞后性都可能造成错误被放出去；另一方面，算法也存在对正确结果误杀的情况，导致回答不全面或者没有结果，后续的交互也有所折扣；（4）领域GPT：毋庸置疑，增加专业的数据集与强化任务标注，在领域内可以带来更好的效果，但是“三座大山”很难跨越；同时，与传统搜索引擎相比，生成结果的速度可能更慢，降低资源开销与提速对于落地同样至关重要；而且，模型训练时知识是有局限性的，如何更新迭代，目前来看成本较高。2023年是科技投资的元年，从国家层面