大学计算与人工智能 课件第7章人工智能与大模型

大学计算与人工智能（第7章人工智能与大模型）配套清华大学出版社《大学计算与人工智能》通识教材本章目录7.1人工智能的产生与发展7.2人工智能的核心技术7.3人工智能大模型7.4人工智能的典型应用

2计算思维+人工智能本章学习目标：（1）理解人工智能的基本概念，了解人工智能的产生与发展历程。1（2）理解专家系统的概念，并能够在专业实践中进行应用。（3）理解神经网络的概念，区分不同类型神经网络的应用场景。（4）理解机器学习的概念，区分不同类型机器学习模型的应用场景。（5）了解自然语言处理的主要方法，区分不同大模型的应用效果。（6）了解人工智能的典型应用，能够在机器视觉、对战游戏等领域进行具体编程实验。

37.1人工智能的产生与发展人工智能(ArtificialIntelligence，AI)是计算机科学的一个分支领域，致力于让机器模拟人类思维，执行学习、推理等工作。下面，主要介绍人工智能的产生、发展过程和人工智能的三大学派。人工智能(ArtificialIntelligence，AI)是计算机科学的一个分支领域，致力于让机器模拟人类思维，执行学习、推理等工作。早在公元前，人工智能就已经开始萌芽。亚里斯多德（Aristotle，公元前384－公元前322）就在他的名著《工具论》中提出了形式逻辑的一些主要定律，他提出的三段论至今仍是演绎推理的基本依据。近些年，随着物联网、云计算、大数据等新一代信息技术的发展，以及深度学习的提出，人工智能在算法、算力和算料（数据）等“三算”方面取得了重要突破，直接支撑了图像分类、语音识别、知识问答、人机对弈、无人驾驶等人工智能的复杂应用。

47.1.1人工智能的产生1942年，科幻作家阿西莫夫（IsaacAsimov）在小说《我,机器人》中提出了机器人三定律：第一，机器人不得伤害人，也不得见人受到伤害而袖手旁观；第二，机器人应服从人的一切命令，但不得违反第一定律；第三，机器人应保护自身的安全，但不得违反第一、第二定律。但机器人三定律中隐含着两个逻辑悖论：机器人可以杀害正在行凶杀人的人吗？人类自我伤害时而不自知时，机器人该怎么做？1950年，图灵（AlanTuring）发表了“计算机器与智能”的研究论文，探讨了智能的本质，以及机器智能能否实现。论文的开篇第一句话是：我提议考虑这个问题，“机器能够思考吗？”。而结尾最后一句是：我们只能看到前面一小段距离，但可以看到有大量要做的事情。

57.1.1人工智能的产生图灵提出了“模仿游戏”（即图灵测试）的概念，用来检测机器智能水平。比较流行的图灵测试标准版本为：A是计算机，但要假装是真人；B是真人，要向C证明自己是真人；C是质问者，只能通过书面问答来考察。通过图灵测试的条件是：质问者无法区分计算机和真人。图灵测试，用图灵的话总结起来就是：“如果一台计算机可让人误认为它是人，则可称它具有智能”。1955年，达特茅斯学院的教师，约翰•麦卡锡（JohnMcCarthy），首次提出了“人工智能”的概念来概括神经网络、自然语言等“各类机器智能”技术。1956年夏季，麦卡锡推动召开了称为“人工智能夏季研究项目”的达特茅斯会议，与明斯基、罗切斯特、纽厄尔、西蒙和香农等一起共同研究和探讨用机器模拟智能的一系列有关问题，标志着“人工智能”这门新兴学科的正式诞生。达特茅斯会议上的主要参会者，就有四位获得过图灵奖，西蒙还是诺贝尔经济学奖的获得者。

67.1.2人工智能的发展人工智能技术的发展不是一帆风顺的，主要经历了六个阶段，分为三大学派。

77.1.3人工智能的三大学派

8（1）符号学派又称为逻辑学派、心理学派或计算机学派。（2）连接学派又称为仿生学派、生理学派、连接主义，包含感知器，人工神经网络，深度学习等技术，当前占据主导地位。（3）行为学派又称为进化主义或控制论学派，包含控制论、马尔科夫决策过程、强化学习等技术。7.1.3人工智能的定义有人认为，人工智能是研究理解和模拟人类智能、智能行为及其规律的一门学科。其主要任务是建立智能信息处理理论，进而设计可以展现某些近似于人类智能行为的计算系统。有人认为，人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。有人认为，人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。还有人认为，人工智能是关于知识的学科――怎样表示知识以及怎样获得知识并使用知识的科学。还有人认为，人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。

97.1.3人工智能的定义人工智能按照其智能程度可以分为弱人工智能、强人工智能和超人工智能三个层次。（1）弱人工智能指的是擅长于解决特定领域问题的人工智能。比如，能战胜象棋世界冠军的人工智能AlphaGo，它只会下象棋，如果问它怎样更好地在硬盘上储存数据，它就无法回答。（2）强人工智能指的是能够在任何领域都能够胜任人类所有工作。它能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作，并且和人类一样得心应手。（3）超人工智能是一种超越人了的存在，牛津哲学家、知名人工智能思想家NickBostrom把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能”。

107.2人工智能的核心技术人工智能的研究范畴非常广泛，其核心技术涉及了专家系统、神经网络、机器学习、自然语言处理和视觉认知等诸多领域。7.2.1专家系统专家系统作为一种计算机系统，继承了计算机快速、准确的特点，在某些方面比人类专家更可靠、更灵活，可以不受时间、地域及人为因素的影响。所以，专家系统的专业水平能够达到甚至超过人类专家的水平。专家系统定义为：“专家系统是一种智能的计算机程序，它运用知识和推理来解决只有专家才能解决的复杂问题。”也就是说，专家系统是一种模拟专家决策能力的计算机系统。

117.2.1专家系统的构成专家系统的主要组成部分如图12-1所示。①知识库用于存取和管理问题求解所需的专家知识和经验，包括事实、可行操作与规则等。②全局数据库用于存储求解问题的初始数据和推理过程中得到的中间数据，包含初始信息、推理的中间假设和中间结论、推理过程的信息等。因此全局数据库中的事实也是经常变化的。③推理机依据全局数据库中的内容，从知识库中选择可以匹配的规则，并通过规则的执行来获得新的结论。将新的结论（事实）添加到全局数据库中。④解释器用于向用户解释专家系统的行为，包含“系统是如何得出这样的结论的”、“为什么系统会提出这样的问题”等等用户需要解释的问题。⑤人机接口是系统与用户进行对话的界面。用户通过人机接口输入必要的数据、提出问题，然后系统再通过人机接口回答用户提出问题，并进行必要的解释。

127.2.1专家系统知识图谱是一种互联网环境下的知识表示方法。在表现形式上，知识图谱和语义网络相似，但语义网络更侧重于描述概念与概念之间的关系，而知识图谱则更偏重于描述实体之间的关联。知识图谱是由一些相互连接的实体及其属性构成的；知识图谱也可被看作是一张图，图中的节点表示实体或概念，而图中的边则由属性或关系构成。一个典型的知识图谱结构如图12-2所示。

137.2.1专家系统在知识图谱中，包括实体、关系、属性和属性值四个概念。（1）实体实体是具有可区别性且独立存在的某种事物。如某个国家，某个人、某个城市、某种商品等。（2）关系关系用来描述不同实体之间的关联关系。如国与国的关系，人与人的关系等。（3）属性属性是指实体具备的某种属性。如人的属性包括年龄、性别；城市的属性包括面积、人口、所在国家、地理位置等；不同的属性类型对应于不同类型属性的边。（4）属性值属性值是指实体具备的某种属性的值。人的年龄大小、国家的国土面积、城市的地理位置、学校的在校生人数等。

147.2.2神经网络1.生物神经网络生物神经网络（biologicalneuralnetworks）一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。生物神经网络是由大量的生物神经元构成。每个神经元由细胞体（soma）、树突（dendrites）、轴突丘（hillock）、轴突（axon）、突触（synapse）等组成，如图所示。

157.2.2神经网络2.人工神经网络的概念人工神经网络（artificialneuralnetwork，即ANN），是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activationfunction）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

162、人工神经网络的分类根据连接的拓扑结构，神经网络模型可以分为：（1）前向网络网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。（2）反馈网络网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

177.2.2神经网络3.BP神经网络BP（backpropagation）神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，它在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，则能影响输入与输出之间的关系，每一层可以有若干个节点。BP神经网络现在是应用最广泛的神经网络模型之一。一个典型的BP神经网络模型如图所示。

18BP神经网络在图中，每个神经元（图中圆圈）都接受来自其它神经元的输入信号，每个信号都通过一个带有权重的连接（图中的连接直线）传递，神经元把这些信号加起来得到一个总输入值，然后将总输入值与神经元的阈值进行对比（模拟阈值电位），然后通过一个“激活函数”处理得到最终的输出（模拟细胞的激活），这个输出又会作为之后神经元的输入一层一层传递下去。引入激活函数的目的是在模型中引入非线性。如果没有激活函数（其实相当于激励函数是f(x)=x），那么无论神经网络有多少层，最终都是一个线性映射，那么网络的逼近能力就相当有限，单纯的线性映射无法解决线性不可分问题。正因为上面的原因，引入非线性函数作为激励函数，使得神经网络的表达能力就更加强大。

19激活函数

20

激活函数有什么用？引入非线性因素。激活函数

激活函数是如何引入非线性因素的呢？在神经网络中，为了避免单纯的线性组合，我们在每一层的输出后面都添加一个激活函数（sigmoid、tanh、ReLu等等）激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。7.2.3深度神经网络2006年7月，加拿大多伦多大学杰弗里•辛顿（GeoffreyHinton）教授等受动物视觉机理的启发，提出深度神经网络（deepneuralnetworks，DNN）。深度神经网络的提出得益于高性能计算和大数据技术的快速发展。特别是图形处理器（GraphicsProcessingUnit，GPU）和大规模集群的应用。因为深度神经网络的训练需要耗费大量的计算资源。循环神经网络（recurrentneuralnetwork，RNN）和卷积神经网络（convolutionalneuralnetworks，CNN）都属于多层的深度神经网络。CNN的每层由多个二维平面组成，而每个平面由多个独立神经元组成。CNN输入层是一个矩阵，如一幅图像的像素组成的矩阵，适合于图形处理应用。相比BP神经网络这是一个重大进步。

21循环神经网络循环神经网络（RNN）是一种能够处理序列数据的神经网络模型，其最重要的特点是具有循环结构。它可以接收并处理任意长度的输入序列，并根据序列之间的时间关系进行学习和预测。RNN的基本原理是通过重复使用神经元来处理连续的序列数据，每一个神经元接收当前的输入和上一个神经元的输出，并将其作为下一个神经元的输入，这种循环的连接结构可以让信息在时间轴上进行传递和保存。

22长短期记忆神经网络长短期记忆神经网络（longshort-termmemory,LSTM）是一种特殊的循环神经网络（RNN），用于解决长序列数据的建模问题。相较于传统的RNN，LSTM通过引入三个门控结构，即输入门、输出门和遗忘门，能够更好地控制信息的输入和输出，有效地避免了梯度消失和梯度爆炸的问题双向长短期记忆网络（Bi-LSTM），相比于LSTM的优势在于能够处理文本序列的前向和后向双向上下文信息，而不是只能处理单向。Bi-LSTM的结构包括两个LSTM，一个前向LSTM和一个后向LSTM。

23卷积神经网络卷积神经网络（CNN）是一种前馈神经网络（feedforwardneuralnetworks），它通过卷积层（convolutionallayer）、池化层（poolinglayer）、全连接层（fullyconnectedlayer）等组成，它拥有局部连接、权值共享、平移不变性等特点，能够对图像、语音、文本等复杂数据进行高效的特征提取和分类，因此被广泛应用于计算机视觉、自然语言处理、语音识别等领域并做出重大贡献。

247.2.4机器学习简单点说，机器学习就是对计算机的一部分数据进行学习，然后对另一部分数据进行预测或者判断，换句话说，就是让机器去分析数据找规律，并通过找到的规律对新的数据进行处理。机器学习的核心任务是“选择某种算法解析数据，从数据中学习，然后对新的数据做出决定或者预测”。

257.2.4机器学习深度学习是机器学习的一个子领域，利用多层神经网络来建模和解决具有非结构化数据的复杂问题。深度学习具有非常强的模式识别和自我学习能力，近年来已经被广泛应用于图像识别、自然语言处理、语音识别等领域。其基本原理是模拟人脑神经元的结构和工作原理，通过多层次的神经网络对数据进行处理和提取特征，从而实现复杂的分类、预测和决策。深度学习在图像识别、自然语言处理、语音识别等领域具有广泛的应用场景。例如，在图像识别领域，深度学习可以通过对图像进行卷积操作提取特征，从而实现对不同物体的识别和分类；在自然语言处理领域，深度学习可以通过循环神经网络对自然语言文本进行处理，从而实现机器翻译、文本分类等任务；在语音识别领域，深度学习可以通过神经网络对语音信号进行建模，从而实现语音识别和语音合成等任务。

267.2.4机器学习联邦学习是一种分布式机器学习技术，它旨在解决在隐私敏感数据不能共享的情况下，多方合作训练机器学习模型的问题。其基本思想是将训练任务分发到各个参与方（边缘检测站），让每个参与方在本地训练模型，并将模型更新传递给数据中心进行聚合，以形成全局模型。图描述了典型的联邦学习训练过程，包括初始化、本地训练、参数传递和聚合。

277.2.5自然语言处理比尔·盖茨说过，“语言理解是人工智能皇冠上的明珠”。如果计算机能够理解、处理自然语言，将是计算机技术的一项重大突破。自然语言理解是指机器能够执行人类所期望的某种语言功能。这些功能主要包括如下几方面：（1）回答问题：计算机能正确地回答用自然语言输入的有关问题。（2）文摘生成：机器能产生输入文本的摘要。（3）释义：机器能用不同的词语和句型来复述输入的自然语言信息。（4）翻译：机器能把一种语言翻译成另外一种语言。

287.3人工智能大模型大模型兼具“大规模”和“预训练”两种属性，面向实际任务建模前需在海量通用数据上进行预先训练，能大幅提升人工智能的泛化性、通用性、实用性，是人工智能迈向通用智能的里程碑技术。

297.3.1人工智能大模型的发展人工智能大模型的发展主要经历了Bert模式、GPT模式和混合模式等三个阶段。（1）BERT模式2018年，谷歌公司的Devlin等人提出了具有划时代意义的预训练模型Bert。Bert采用遮蔽语言模型（MaskedLM）来解决在完全双向编码中的“自己看见自己”的问题，同时采用连续句子预测（NextSentencePrediction）的方法将适用范围扩展到句子级别。

（2）GPT模式GPT（generativepre-trainedtransformer）即生成式预训练Transformer模型，模型被设计为对输入的单词进行理解和响应并生成新单词，能够生产连贯的文本段落。预训练代表着GPT通过填空方法来对文本进行训练。

（3）混合模式各类大语言模型各有侧重，Bert模式有两阶段（双向语言模型预训练+任务Fine-tuning），适用于理解类以及某个场景的具体任务，表现得“专而轻”；GPT模式是由两阶段到一阶段（单向语言模型预训练+zero-shotprompt），比较适合生成类任务、多任务，表现得“重而通”。2019年之后，Bert模式的技术路线基本没有标志性的新模型更新，而GPT技术路线则趋于繁荣。

307.3.2Transformer模型2017年，谷歌提出了Transformer网络结构，成为了过去数年来人工智能大模型领域中GPT模型的底层架构。GPT模型利用Transformer网络作为特征提取器，是第一个引入Transformer的预训练模型。传统的神经网络模型例如RNN（循环神经网络）在实际训练过程中由于输入向量大小不一、且向量间存在相互影响关系导致模型训练结果效果较差。Transformer模型的三大技术突破解决了这个问题。

317.3.3GPT模型GPT相比于Transformer等模型进行了显著简化。相比于Transformer，GPT训练了一个12层仅decoder的解码器，原Transformer模型中包含编码器和解码器两部分。GPT-1采用无监督预训练和有监督微调，证明了transformer对学习词向量的强大能力，在GPT-1得到不足也较为明显，该模型在未经微调的任务上虽然有但是其泛化能力远远低于经过微调的有监督任务，说明了GPT-1只是一个简单的领域专家，而非通用的语言学家一定效果。GPT-2大模型是一个1.5B参数的Transformer，Transfomer堆叠至48层，数据集增加到8百万量级的网页、大小为40GB的文本。GPT-3是一个具有1750亿个参数的自回归语言模型，比之前的任何非稀疏语言模型多10倍，GPT-3在许多NLP数据集上都有很强的性能（包括翻译、问题解答和完形填空任务），以及一些需要动态推理或领域适应的任务（如解译单词、在句子中使用一个新单词或执行三位数算术），GPT-3也可以实现新闻文章样本生成等。GPT-3.5（InstructGPT）模型是GPT-3的进一步强化。使语言模型更大并不意味着它们能够更好地遵循用户的意图，例如大型语言模型可以生成不真实、有毒或对用户毫无帮助的输出，即这些模型与其用户不一致。

327.3.4典型大模型系统1、ChatGPTChatGPT是OpenAI采用“从人类反馈中强化学习”(RLHF)训练方式，在GPT-3基础上研发，并于2022年11月30日发布的能够对话的GPT-3.5版本。ChatGPT的本质是提高人脑对各种信息资料进行收集、整理、计算、分析等能力的智能工具，是为人脑"观念建构"提供丰富、精准的方案、图式等资料或条件等的工具体系。2023年3月，OpenAI推出GPT-4；2024年5月、9月、12月，OpenAI先后推出新旗舰模型GPT-4o、o1模型、完整版o1模型。ChatGPT是一款聊天机器人程序，能够基于在预训练阶段所见的模式和统计规律生成回答，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流。它还可以用作自动客服、语音识别、机器翻译、情感分析、信息检索等。

332.百度文心一言2023年3月16日，百度官方发布“文心一言”。“文心一言”是百度研发的知识增强大语言模型，拥有文学创作、商业文案创作、数理逻辑推理、中文理解和多模态生成五大能力。文心一言展现五大核心能力，对中文的深度理解以及多模态能力值得关注。百度针对文心一言的五大能力进行测试，模型在各项测试中展现出良好性能，其中对成语的理解和解释，以及音频（有方言版本）、视频生成样例，反映了文心一言在中文深度理解以及多模态生成方向的探索和实践，未来随着模型算法的持续优化，以及高质量训练数据的持续输入，文心一言有望在中文AI以及多模态领域不断进步，为未来的商业化落地奠定坚实基础。文心一言或将提供大模型API相关功能。技术上来说，文心大模型已经具备了搜索、文图生成等功能，并成功得到应用，这些能力或将集成于文心一言。

347.4人工智能的典型应用人工智能的应用领域非常宽广。从模糊控制、车牌识别、人员识别、场景认知、自动阅卷、智能问答、机器翻译、人机对战、无人驾驶、物运机器狗、工业机器人到智能家电，无不都是人工智能的应用。在每种应用背后，都包含有前面提到的一种到多种人工智能技术。

357.4.1模糊控制专家系统在日常生活中，经常要碰到有关模糊控制的问题，只是没有引起我们注意罢了。其中最典型的例子莫过于用桶装水。一般地，人们用桶装水时总是有意无意地这样做：当水桶是空的或有很少的水时，将水龙头开到最大。当水桶中的水较多时，把水龙头拧小一些。当水桶里的水快满时，将水龙头拧到很小。当水桶满时，关掉水龙头，以节约用水。上述规则就是我们控制装自来水的经验知识。它们是用语言来表达的。在这里，“很少”，“比较多”，“快满了”等均为模糊词，可以把模糊词定义为模糊集合。

361．知识的获取获取知识不外乎理论联系实际，密切联系群众，其主要途径有三条，其一是获取从事控制系统设计的专家的经验，其二是提炼系统操作者的经验，其三是对系统进行理论分析。三者相辅相成，不可分割。首先，通过了解从事控制系统设计的专家的设计思想，结合自己的控制经验，从已经有的控制系统中挖掘出有益的东西，经过提炼，从而获得系统的有关控制经验或方法。知识是组成知识库的基本构件，这些基