邓志东《ChatGPT、AIGC与生成式人工智能加速数字中国的发展》

ChatGPT：大模型、大数据、大算力带来大进步一什么是AIGC二生成式人工智能加速数字中国的发展三主要内容一ChatGPT：大模型、大数据、大算力带来大进步人工智能被定义为研发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用的一门综合性学科。人工智能实际是模拟人类解决复杂问题的能力第一次浪潮深度卷积神经网络深度学习成为自然语言处理、计算机视觉、语音处理、大数据分析等的主流方法，赋能从人脸识别到自动驾驶等各个垂直应用领域第二次浪潮深度强化学习深度强化学习+蒙特卡洛树搜索AlphaGoAlphaGo

ZeroAlphaZeroMuZeroAlphaZeroMuZero第三次浪潮ChatGPT、AIGC与生成式人工智能什么是GPT（Generative

Pre-trained

Transformer）？OpenAI发布的生成式预训练Transformer模型Transformer模型（小屏出）新一代神经网络模型Transformer的主要特点模型规模与泛化性能呈单调递增关系新一代神经网络模型Transformer的主要特点结构上通过自注意力学习机制的实现，能够学习、表达与记忆token序列的长程相关性token序列（小屏出）新一代神经网络模型Transformer的主要特点对序列数据具有并行处理能力，能够极大地缩短模型的训练时间在编码器—解码器深度生成式框架下由数千个Transformer堆叠的大型语言模型，具有1750亿参数，训练数据十分庞大（全球人类数据）。大模型预训练下游多任务监督微调或少样本学习OpenAI的GPT是1980年以来最重要的技术进展ChatGPT的意义不亚于PC和互联网诞生全球上亿的用户正每天帮助ChatGPT进行持续的学习与性能迭代。ChatGPT是NLP领域某种意义的通用人工智能。单一模型可完成大量NLP任务ChatGPT=GPT-3.5+强化学习预训练后的GPT-3.5具有1750亿连接权参数监督微调核心技术，如上下文学习，CoT学习，指令学习，RLHF等“调教”技术ChatGPT的主要难点2022年，OpenAI的计算和数据费用支出约为4.1645亿美元。ChatGPT的局限性GPT-4是一个大型多模态通用模型根据OpenAI的内部评估，相对于GPT-3.5，对敏感或被禁止的内容，GPT-4响应请求的可能性，降低了82%，但做出价值对齐回应的可能性却提高了40%。创新了多模态连接关系的特征表达与学习具有多模态图文阅读理解能力具有更强的推理能力与语言翻译能力更长的上下文具有更强的考试能力更具创造力，即能够完成一些复杂任务的能力二什么是AIGC文本提示词一碗汤：它是通向另一个维度的入口，如数字艺术文本提示词泰迪熊在时代广场骑滑板可根据一段文本描述，利用AI生成逼真的视频可根据一段文本描述与几秒真实语音，利用AI换音生成逼真的音频可根据一段文本描述与几张照片，利用AI生成逼真的3D图形可根据一段简单的文本要求，利用AI生成可基本运行的程序代码什么是AIGC（AI

Generated

Content）？利用AI生成的文本、图像、视频、语音、3D图形、代码等大型生成式人工智能所谓大型语言模型，

就是利用具有自注意力机制的

Transformer神经网络，将几千到上万个Transformer串接起来，通过对大规模文本数据的学习，去建立单词、短语、句子和段落等不同层次实体之间的连接关系，也就是利用一系列的编码器构建从微观到宏观的连续关系，从而构建出一个统一的、整体的知识图表达，这就完成了所谓的文本阅读理解。然后就是同样用上千的Transformer作为解码器，去完成从宏观到微观的文本生成。三生成式人工智能加速数字中国的发展思考NLP领域某种意义上的通用人工智能思考ChatGPT/GPT-4有可能带来的颠覆性改变必须警惕的安全、伦理与价值对齐重大挑战思考科创产业的规模化落地加速数字中国的蓬勃发展思考经济社会的AI自动化带来生产力与生产效率的极大提升内容生成的机器化、自动化与人工智能化，赋能经济社会发展，带来整体生产力与生产效率的极大提升。基于AI大模型，通过中间层面向下游应用场景的数据喂养与各种监督微调，催生大量的AI创新企业，获得人类专家水平的垂域问题求解方案，可望推动智能制造等千行百业的创新发展。AI自动化的大规模商业化落地与部署，也将给就业市场带来巨大冲击。展望大模型什么时候能够达到人类大脑的规模展望符号涌现与人类智慧对深度神经网络而言，从智能到智慧可以说就是从特征层到符号层，显然目前还没有这样的涌现。