计算思维导论 课件 第16、17讲 深度学习与人工智能、大模型与人工智能生成技术

第16讲深度学习与人工智能哈尔滨工业大学计算学部教学委员会主任国家教学名师战德臣第16讲深度学习与人工智能一、人工智能与深度学习概述二、神经网络三、卷积与深度神经网络四、人工智能及其三大流派五、人工智能基本技术六、人工智能+X：国家人工智能规划人工智能与深度学习概述神经网络和深度学习是人工智能研究的一个重要流派人工智能能够感知、推理、行动和自适应的程序机器学习能够随数据量增加不断改进性能的算法深度学习利用多层神经网络从大量数据中进行学习并提高性能需要理解：1神经网络、2卷积、3深度神经网络人工智能与深度学习概述神经网络发展的几个阶段1943195819862012神经元--MP模型抽象模型单层神经网络--感知机基本计算模型，能表示并实现基本逻辑运算如与、或、非等两层神经网络--BP神经网络误差反向传播多层神经网络--CNN卷积神经网络卷积-特征提取，多层（已出现150层甚至更多）第16讲深度学习与人工智能一、人工智能与深度学习概述二、神经网络三、卷积与深度神经网络四、人工智能及其三大流派五、人工智能基本技术六、人工智能+X：国家人工智能规划神经网络生物神经元与生物神经网络一个神经元：多个树突（输入）+1个轴突+多个轴突末梢（输出），轴突末梢与其他神经元的树突产生连接，从而传递信号。连接位置被称为“突触”。神经网络基本神经元模型【示例】x1x2w3w1

非线性函数fyx3w2输入权值输出神经元模型y=f(x1*w1+x2*w2+x3*w3)=f(xi*wi)神经网络神经元的训练与学习x1x2w3w1

非线性函数yx3w2输入权值输出神经元模型可依据已有标签的样本训练，获得最优权值已有标签样本的y值偏差枚举枚举w使偏差最小已有标签的样本的x值损失函数lossfunctions或误差函数errorfunction或代价函数costfunction权重weight，或参数parameter激活函数activationfunction转移函数transferfunction

典型激活函数示例超参数：控制算法运行的一些参数，例如控制枚举量的参数Sigmoid函数Tanh(双曲正切)函数关于神经元相关的概念辨析，下列说法正确的是___________。激活函数或转移函数是改变数据分布的一种非线性函数损失函数是衡量样本由模型产生的值和样本真实值的偏差大小的一种度量函数神经元中的参数是指神经元模型中的权重，也即方程的系数神经元中的超参数是指控制神经元模型学习算法运行的一些参数ABCD提交多选题1分你知道下列激活函数：Tanh(x)、Sigmoid(x)、ReLU(x)和sgn(x)下列说法正确的是___________。（1）Tanh（2）

sgn（3）Sigmoid（4）ReLU（1）Tanh（2）Sigmoid（3）sgn（4）ReLU（1）Sigmoid

（2）Tanh（3）sgn（4）ReLU（1）

ReLU（2）

Sigmoid（3）sgn（4）TanhABCD提交（1）（2）（3）（4）单选题1分神经网络单层感知机x1x2w3w1

sgnyx3w2单层感知机模型可依据有标签的样本训练，获得最优权值输出神经元连接到下一神经元x1x2w3w1

yx3w21

(xi*wi)->=0y=

f((xi*wi)-)=

(xi*wi)-<001

(xi*wi)>0y=sgn((xi*wi)）=

(xi*wi)=00-1

(xi*wi)<0：阈值输出为二值权重来自前一神经元的输出已知x1,x2的值为0和1，问如右图感知机，其表达的运算是___________。y=x1andx2y=x1

orx2y=x1

xorx2上述都不正确ABCD提交x111

2x2y单选题1分神经网络用单层神经网络表达二值逻辑运算x111

2x2x1

x2x111

1x2x1

x2-1

0x1

x11-1

1x2x1

x1

x2

1x1

x21-1

111x1

x2=(x1

x2)

(x1

x2)X1X2

X2X1*1+X2*(-1)输出00100010-101011111000单层神经网络能够表达二值逻辑与或非运算，但难以表达异或运算。由此需要两层神经网络，但两层神经网络计算更为复杂。神经网络有近似任何函数的能力。神经网络两层神经网络模型x1x2w13w11

y1x3w12

Sigmoidy2w23w21w22

h11h12z1

z2h21h22x2w13w11

y1x3w12

y2w23w21w22

h11h12z1

z2h21h22SigmoidSigmoidSigmoidSigmoidSigmoidSigmoidSigmoid+1b1+1b2x1c1c2两层神经网络模型带偏置的两层神经网络模型神经网络BP神经网络：一种按照误差反向传播算法训练的多层前馈神经网络x1x2w13w11

y1x3w12

Sigmoidy2w23w21w22

h11h12z1

z2h21h22SigmoidSigmoidSigmoid期望值误差反向传播数据前向传播神经元模型的训练：枚举神经网络的训练：枚举（利用误差反向传播机制降低枚举量）超参数：控制算法运行的一些参数，例如控制枚举量的参数神经网络前馈神经网络与循环神经网络循环神经网络（RNN:Recurrent

NeuralNetwork），如双向循环神经网络（BidirectionalRNN）和长短期记忆网络（LongShort-TermMemorynetworks，LSTM），递归神经网络（recursiveNeuralNetwork）

。前馈神经网络仅向下一层传输计算数据循环神经网络/递归神经网络向下一层传输计算数据，同时也可能本层循环

x1x2xixnw11w12w1iw1nw21w22w2iw2nwm1wm2wmiwmn∑∑∑fSigmoidy分类层或输出层全连接网络层神经网络将方程组表达成图的形式—神经网络x1x2xixnw11w12w1iw1nw21w22w2iw2nwm1wm2wmiwmn∑∑∑输入层∑∑∑fSigmoidy分类层或输出层隐藏层1隐藏层i隐藏层全连接层特征层1神经网络典型的多层神经网络：卷积神经网络隐藏层有什么作用？什么是卷积？卷积神经网络的基本架构与层次卷积神经网络：ConvolutionalNeuralNetworks,CNN第16讲深度学习与人工智能一、人工智能与深度学习概述二、神经网络三、卷积与深度神经网络四、人工智能及其三大流派五、人工智能基本技术六、人工智能+X：国家人工智能规划143413431343425462343433441345435641010111010----15

-

-

-

------

-

-

-

----1*0+4*1+3*0+4*1+1*1+3*1+4*0+3*1+1*0=15ABC【卷积】是一种可作用于每一个元素上的计算。可在一维数据上进行卷积，也可在二维数据上进行卷积，还可在多维数据上进行卷积。有一个【卷积核】，又称为卷积【算子】,可以是3*3，5*5，7*7，…，k*k等大小卷积核原始图像卷积结果卷积与深度神经网络【卷积】的概念与计算

143413431343425462343433441345435641----

-

-

-

------

-

-

-

----AC15卷积与深度神经网络【卷积】计算示例BBBBBBBBBBBBBBBB1217181314161615161819211621201*0+4*1+3*0+4*1+1*1+3*1+4*0+3*1+1*0=151/91/91/91/91/91/91/91/91/90-10-15-10-10-1-1-1-18-1-1-1-1提取边缘锐化模糊卷积与深度神经网络【示例】卷积的作用：图像增强与特征提取卷积与深度神经网络利用【卷积】提取边缘特征：已知卷积核，进行卷积计算LBP（LocalBinaryPattern，局部二值模式）是一种用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等优点卷积与深度神经网络改变卷积的计算方式--提取纹理特征图像处理问题模型形式具有待确定卷积核的卷积运算图像处理（已知卷积核进行卷积运算）结果处理后的S已明确处理结果(标签)的样本图像集合{Si,<标签>}标签={合格1，不合格0}训练/学习已知处理结果,反求卷积核

模型具有明确卷积核的卷积运算待处理的图像数据S

卷积与深度神经网络机器学习中的卷积--依据有标签的样本数据，反求【卷积核】b11b12b13b21b22b23b31b32b33010111010卷积提取特征卷积与深度神经网络卷积神经网络：卷积层—特征提取什么是池化？1434134313434254623434334413454356414466将左侧像素矩阵划分为四个区域，可以区域内像素的最大值作为区域像素值--最大池化2.673.223.673.89将左侧像素矩阵划分为四个区域，也可以区域内像素的平均值作为区域像素值--平均池化【示例】通过池化层，将6*6的特征像素矩阵，降低为2*2的池化特征像素矩阵卷积与深度神经网络卷积神经网络：池化层—降维处理卷积神经网络通过逐层处理，提取出对图像分类起关键作用的特征。包括如下处理类型：---卷积；---降采样/池化；---等等…………卷积池化卷积全连接

池化dogcatlionbird分类卷积与深度神经网络计算机如何使用卷积神经网络精准识别图中的动物：深度神经网络以卷积、激活函数和池化层为基本结构，多次重复构成深度神经网络分类方程组神经网络卷积已知卷积核，提取特征已知分类结果，反求卷积核—机器学习深度学习，增加神经网络的层数卷积与深度神经网络小结第16讲深度学习与人工智能一、人工智能与深度学习概述二、神经网络三、卷积与深度神经网络四、人工智能及其三大流派五、人工智能基本技术六、人工智能+X：国家人工智能规划什么是人工智能人工智能通常是指通过计算机程序来呈现人类智能的技术人工智能是指由人制造出来的机器所表现出来的类人的智能人工智能是使机器能够模拟、延伸和扩展人类智能的功能的集合只要能展现人类智能的理论与技术就属于人工智能的范畴人工智能的基本研究范畴符号主义流派联结主义流派行为主义流派人工智能及其三大流派什么是人工智能【符号主义人工智能流派】有一个经典的假设，即人类认知和思维的基本单元是符号，认知过程就是对符号的一种运算，因此能够用计算机的符号操作来模拟人的认知过程“图灵机”本身和“启发式搜索算法”被看作是符号主义的尝试“图灵测试”也被认为是符号主义的尝试并被认为是人工智能的终极目标源于数理逻辑，其核心是知识表示和知识推理

可用符号表示知识，也可用符号进行推理

【示例】“我喜欢你”，可以推出“我不恨你”【示例】“我喜欢你们”，可以推出“我喜欢你”机器自动证明几何定理：将几何命题的条件和结论都转换成代数多项式，然后证明条件多项式能够产生的多项式集合中包含结论对应的多项式，即将定理证明转换为一个集合成员判定问题。【吴文俊】提出了“吴方法”。专家系统。知识库、推理机和解释器。知识工程理论与技术。人工智能及其三大流派人工智能：符号主义流派【图灵测试】怎样的机器才被认为是有智能的？1）测试人员通过对话界面输入一句话；2）对话界面会同时将测试人员的输入发送给应答人员和聊天机器人；3）应答人员和聊天机器人分别将各自的回复发送给对话界面；4）对话界面采用随机回复的机制，将应答人员的回复或聊天机器人的回复，发送给测试人员，完成一个轮次的对话交流；5）重复过程1）-4）至测试结束（测试结束的标准可以由测试人员主动发起或设置最多轮次数，达到即结束测试）；6）测试人员对对话记录中，非自己输入的句子（简称对话回复）进行身份标注，即对于这些句子标注其为“人类回复”或是“机器回复”；7）图灵认为，如果测试人员将聊天机器人给出的对话回复误判为应答人员给出的对话回复，并且这个误判数达到对话回复总数的1/3及以上的比例，则认为聊天机器人具有了人类的智能。人工智能及其三大流派符号主义流派：图灵测试【中文屋】图灵测试是否会得出错误结论？1）实验开始后，屋外的参与人发送一条中文消息给屋里的参与人；2）屋里的参与人收到消息后，由于看不懂中文，于是操作中英翻译机将消息拷贝粘贴，如果是打印的纸条形式的话，采用拍照扫描上传后进行OCR（OpticalCharacterRecognition，光学字符识别，一种文字识别技术）识别成中文文字后，再拷贝粘贴，并将其翻译成英文，从而理解输入的中文消息的含义；3）屋里的人根据其理解的中文消息的含义，输入相应的英文回复到中英翻译机中，将回复翻译成中文，并通过消息介质发送给屋外的人。人工智能及其三大流派符号主义流派：中文屋【联结主义人工智能流派】源起于二值神经元模型--MP模型(1943年由生理学家麦卡洛克(W.S.McCulloch)和数理逻辑学家皮茨(W.A.Pitts)创立，用二人名字首字母命名）.其把神经元视为二值开关，通过不同的组合方式可以实现不同的逻辑运算，开创了用电子装置模仿人脑结构和功能的新途径。感知机--神经网络模型BP神经网络：多层网络中的反向传播算法，一种按照误差反向传播算法训练的多层前馈神经网络。卷积神经网络CNN、循环神经网络RNN、长短时记忆网络LSTM、注意力神经网络ANN、图神经网络GNN人工智能及其三大流派人工智能：联结主义流派【行为主义人工智能流派】的主要观点

1机器(或称智能体)学习的方式和过程均处于真实世界环境；2机器(或称智能体)学习的对象、动作的反馈和效果的评估都是来自与真实世界环境的交互；3机器(或称智能体)体现智能的方式是一个感知-行动的循环过程；4机器(或称智能体)智能程度的提升，涉及到智能算法、感知元件和机械设计与控制等多方面的共同发展，而且这几个方面的发展相对独立。模拟人在控制过程中的智能行为和作用，如对自寻优、自适应、自镇定、自组织和自学习等控制论系统的研究，诞生了智能控制和智能机器人系统。智能安防机器人、无人驾驶汽车、智能清扫机器人、智能仓储机器人等。人工智能及其三大流派人工智能：行为主义流派第16讲深度学习与人工智能一、人工智能与深度学习概述二、神经网络三、卷积与深度神经网络四、人工智能及其三大流派五、人工智能基本技术六、人工智能+X：国家人工智能规划【蒙特卡洛树搜索】是人工智能的一项重要技术，其核心思想是在搜索过程中，通过多次模拟，根据模拟结果选择得分最高的下一步动作，进而在降低搜索空间的前提下能获得较好的决策结果。【示例】如何生成自然语言的问答语句？人工智能的基本技术蒙特卡洛树搜索与自然语言语句生成【语音识别】也称为自动语音识别(ASR)、计算机语音识别等,使计算机能够将人类语音转换为文本并进行话语理解，或转换为命令并控制相应程序的执行。【语音识别的基本任务】信号处理模式识别发声机理和听觉机理语音合成我想预约一个位置人工智能的基本技术语音处理【图像处理】通常是指通过计算机程序对图像进行处理，对图像要素进行识别，对图像内涵进行理解，以及将其结果作为特征完成其他的任务（如身份识别、物体自动抓取、自动避障等）【图像处理/视觉的基本任务】图像增强。改善图像的视觉效果图像恢复。力求图像保持本来面目图像识别。特征抽取并分类图像编码。解决数字图像占用空间大问题图像分割。有意义特征的提取图像描述。图像要素的结构性表达其他。如图像转换成文字，图像要素理解人工智能的基本技术图像处理及视觉【自然语言处理】通常是指通过计算机程序对自然语言进行分析及理解，以及将其结果作为特征完成其他的任务（如文本分类、文本生成、信息抽取、问答及对话）【自然语言处理的基本任务】词法分析：分词句法分析。结构化的语句框架

语义分析。语义依存结构语用分析。言外之意“地球/是/太阳系/中/的/一/颗/行星”“地球是太阳系中的一颗行星”分词句法分析语义分析语用分析?答：

问：“地球是什么？”“地球是哪个星系中的行星？”人工智能的基本技术自然语言处理第16讲深度学习与人工智能一、人工智能与深度学习概述二、神经网络三、卷积与深度神经网络四、人工智能及其三大流派五、人工智能基本技术六、人工智能+X：国家人工智能规划2017年颁布《新一代人工智能发展规划》人工智能重要性。人工智能的迅速发展将深刻改变人类社会生活、改变世界；人工智能发展进入新阶段、人工智能成为国际竞争的新焦点、人工智能成为经济发展的新引擎、人工智能发展的不确定性带来新挑战发展人工智能是一项事关全局的复杂系统工程，要按照“构建一个体系、把握双重属性、坚持三位一体、强化四大支撑”进行布局，形成人工智能健康持续发展的战略路径。一个体系：新一代人工智能基础理论和关键共性技术体系双重属性是人工智能技术属性和社会属性（二者高度融合）三位一体是指国家在研发攻关、产品应用和产业培育协同推进四大支撑是指要发挥人工智能对科技、经济、社会发展和国家安全的支撑作用人工智能+X：国家人工智能规划新一代人工智能发展规划构建开放协同的人工智能科技创新体系，从前沿基础理论、关键共性技术、创新平台、高端人才队伍等方面强化部署。培育高端高效的智能经济，发展人工智能新兴产业，推进产业智能化升级，打造人工智能创新高地。建设安全便捷的智能社会，发展高效智能服务，提高社会治理智能化水平，利用人工智能提升公共安全保障能力，促进社会交往的共享互信。加强人工智能领域军民融合，促进人工智能技术军民双向转化、军民创新资源共建共享。构建泛在安全高效的智能化基础设施体系，加强网络、大数据、高效能计算等基础设施的建设升级。前瞻布局重大科技项目，针对新一代人工智能特有的重大基础理论和共性关键技术瓶颈，加强整体统筹，形成以新一代人工智能重大科技项目为核心、统筹当前和未来研发任务布局的人工智能项目群。人工智能+X：国家人工智能规划新一代人工智能发展规划：六方面重点任务人工智能涉及到的：基础理论研究。如人工智能三个流派（符号主义流派、联结主义流派和行为主义流派）及其支撑理论、脑科学理论等技术研发。如语音识别与理解、图像识别与理解、视觉识别与理解、语言识别与理解等领域应用。如智慧城市、智慧教育、智能制造、智慧物流、智慧商务等“人工智能+”人工智能+X：国家人工智能规划新一代人工智能发展规划：人工智能涉及到的【智慧教育】：人工智能+教育教学。主要关注：人工智能技术如何助力教师在在线教学与课堂教学方面进行改革，如何制作并开放能够吸引学生的教学资源（如教学视频），如何辅助教师强化学生互动效率与效果（如辅助课堂教学），辅助教师自动评价学生学习成果（如智能评阅系统）人工智能技术如何助力学习者知识获取方法与学习能力提升，如何辅助学生强化知识脉络梳理、建构知识体系（如知识图谱），辅助学生评估学习资源有效性以及如何获取有效学习资源（如智能推荐），辅助学生评估自身学习效果与效率（如智能评估）等教育教学基础设施建设，如智慧校园、在线平台、立体化综合教学场等人工智能+X：国家人工智能规划人工智能+教育：智慧教育人工智能+X：国家人工智能规划人工智能+教育：智慧教育【示例】真人版视频数字人版视频虚拟场景-数字人-可互动-数字课堂知识图谱与大模型【智慧城市】人工智能+城市规划、建设、服务与管理。主要关注：人工智能技术在城市基础设施方面的智能化应用，如智能建筑，智能水电气管网管廊，形成城市大数据平台，并基于该平台开展城市运行智慧化服务和管理。人工智能技术在城市城市公共服务方面的智能化应用，社区公共服务的智能化，促进社区服务系统与居民智能家庭系统协同。城市规划、建设、管理、运营全生命周期智能化，即城市治理的智能化。人工智能+X：国家人工智能规划人工智能+城市：智慧城市【智慧农业】人工智能+农业生产、加工和服务。主要关注：人工智能技术在农业生产装备方面的智能化应用，如智能化农业装备。人工智能技术在农业生产方面的智能化，需要综合运用感知平台及其获得的大数据，智能农场、智能化植物工厂、智能牧场、智能渔场、智能果园、农产品加工智能车间、农产品绿色智能供应链等。农产品深加工与运输仓储方面的智能化。规划中强调，智慧农业研究主要关注信息、设备、环境、作物这四个方面的相互作用。人工智能+X：国家人工智能规划人工智能+农业：智慧农业【智慧交通】人工智能+交通运输复杂场景下的多维交通信息综合大数据平台营运车辆自动驾驶与车路协同技术智能化交通疏导和综合运行指挥调度，覆盖地面、轨道、低空和海上的智能交通监控、管理和服务系统等。自主无人系统、智能运载工具，如无人机自主控制以及汽车、船舶和轨道交通自动驾驶等，服务机器人、特种机器人，车载感知、自动驾驶、车联网、物联网等。人工智能+X：国家人工智能规划人工智能+交通：智慧交通【智慧医疗】人工智能+医疗、健康快速精准的智能医疗体系，如智慧医院，人机协同的手术机器人、智能诊疗助手，柔性可穿戴、生物兼容的生理监测系统，人机协同临床智能诊疗方案，智能影像识别、病理分型和智能多学科会诊。基于人工智能的大规模基因组识别、蛋白组学、代谢组学等新药研发，医药监管智能化，流行病智能监测和防控。智慧健康和养老，包括群体智能健康管理，人体物联网及健康大数据分析，可穿戴健康监测设备和家庭智能健康监测设备，智能养老社区和机构，智能化养老基础设施体系，老年人产品智能化和智能产品适老化，视听辅助设备、物理辅助设备等智能家居养老设备，面向老年人的移动社交和服务平台、情感陪护助手等。人工智能+X：国家人工智能规划人工智能+医疗：智慧医疗第17讲大模型与生成式人工智能哈尔滨工业大学计算学部教学委员会主任国家教学名师战德臣第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能大模型与生成式人工智能概述神经网络与大模型发展的几个阶段1943195819862012神经元--MP模型抽象模型单层神经网络--感知机基本计算模型，能表示并实现基本逻辑运算如与、或、非等两层神经网络--BP神经网络误差反向传播多层神经网络--CNN卷积神经网络卷积-特征提取；池化-降低数据维度；全连接-非线性-分类多层（已出现150层甚至更多）2020大模型与AIGC—人工智能生成内容阿里M6,100000亿；华为盘古-10850亿；百度文心大模型-2600亿OpenAIGPT4,18000亿、GooglePalM-E5060亿语言大模型(ChatGPT)；视觉大模型(DALL-E)；多模态大模型语言大模型视觉大模型多模态大模型OpenAI公司开发的大语言模型ChatGPT

—通过从大规模语料库中学习语言规律，从而生成与人类语言相似的输出。表现为一个对话机器人，能够理解自然语言，进行高质量的多轮对话—拟人化程度惊人被认为是人工智能里程碑式的突破，开启生成式人工智能新浪潮，推动人工通用智能的发展比尔盖茨：ChatGPT是我一生中见到的两项最具革命性技术之一

大模型与生成式人工智能概述ChatGPT开启了大模型-人工通用智能的浪潮大模型与生成式人工智能概述什么是大模型(LargeLanguageModels)大模型：是指具有大规模参数和复杂计算结构的机器学习模型，通常由超多层数的神经网络即深度神经网络构建而成，拥有数十亿甚至数千亿个参数，被认为是能够推动AI走向AGI的一种模型AGI：ArtificialGeneralIntelligence，人工通用智能。是一种能够完全模仿人类智能的行为，并可以执行复杂任务的人工智能。AGI可以被认为是人工智能的更高层次，它可以实现自我学习、自我改进、自我调整，进而解决任何问题而不需要人为干预AIGC：ArtificialIntelligenceGeneratedContent,人工智能生成内容或者是生成式人工智能，是一种新的人工智能技术，是一种基于语言大模型、视觉大模型和多模态大模型的技术，能够根据用户提示模仿人类自动产生文本、图像、音频等多种类型的内容大模型与生成式人工智能概述语言大模型的技术发展轨迹第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能TransformerTransformerTransformer模型是一种基于自注意力机制的深度学习模型。最早由Google在2017年提出，《AttentionisAllYouNeed》[Vaswani]自注意力机制实现了输入序列中元素之间的直接交互，从而能够更好地捕捉长距离依赖关系。采用Encoder-Decoder结构。其中Encoder部分负责将输入序列转换为中间表示，而Decoder部分则负责生成输出序列。解决了传统循环神经网络(顺序模型)和卷积神经网络(全局较弱)在处理序列数据时存在的问题：能够并行计算；能够更好地捕捉序列中的长距离依赖关系。引入了位置编码，以保留输入序列中元素的位置信息，也很重要。Transformer初步理解Transformer-1：词汇处理【Token-词向量-词嵌入】Token【术语】大模型中的“Token”是指在自然语言处理任务中，模型所使用的输入数据的最小单元，可以是单词、子词或字符等，具体取决于模型的设计和训练方式。在模型的输入端，通常会使用特定的编码方式将这些token映射为数字表示，以便计算机能理解和处理。【示例】“ThisistheintroductiontotheLargeLanguageModeltobeusedforAIGC”。“This”“used”等是单词级别的Token,“use”“d”则是子词级别的Token（处理词性、词形、词缀）“u”“s”“e”等则是字符级别的Token。词向量

词嵌入

【术语】词向量是单词的一种表达形式，它将单词映射为一种向量。【术语】词嵌入是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。通俗讲，词嵌入就是将自然语言中的词语映射为数值的一种方式。词嵌入技术是NLP领域的一项重要技术。Transformer初步理解Transformer-1：词汇处理【Token-词向量-词嵌入】【One-Hot（独热）编码模型】是一种词向量模型。一个维数为所有词的数量的向量，除当前词对应某个位置为1，其他均为0的一种词向量表示。例如： 1杭州[0,0,0,1,0,0,0,0,…,0,0,0,0,0,0,0] 2上海[0,0,0,0,1,0,0,0,…,0,0,0,0,0,0,0] 3北京[0,1,0,0,0,0,0,0,…,0,0,0,0,0,0,0]【BagOfWords(词袋)模型】是一种词向量模型。将分好的词放入一个袋子中，每个词都是独立的，这种模型不考虑语法、词的顺序，只考虑词出现的频率。【N-gram模型】是一种词向量模型。(1)将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度为N的字节片段序列,每个字节称为gram。(2)对所有字节的出现频率进行统计，并且按照事先设定好的阈值进行过滤，形成关键词列表，也就是这段文本的向量特征空间。(3)列表中每一个gram都是一个特征向量维度。【Word2Vec】【术语】是将Token转为词嵌入的一种方法/工具。可以将One-Hot编码转化为低维度的连续值，意思相近的词将被映射到向量空间中相近的位置。如何形成需要有理论支撑（略）。Transformer初步理解Transformer-1：词汇处理【Token-词向量-词嵌入】【Transfomer模型输入：词嵌入】在Transformer模型中，编码器接收的词嵌入（embeddings）可以被视为矩阵。这些词嵌入是将输入序列中的每个token映射到一个固定维度的向量空间中的结果。每个词嵌入都是一个向量，而这些向量按顺序排列形成一个矩阵。具体，如果你有一个句子或序列，包含了N个token，每个token都被映射到一个d维的向量空间中，则得到一个N×d的矩阵，其中N是序列的长度，d是嵌入向量的维度。这个矩阵就是词嵌入矩阵，它具有两个维度：序列长度（时间步长）和嵌入维度。【Transfomer模型输入：位置编码与位置嵌入】文本输入中每个token都有位置信息，被编码形成位置编码，然后再经过一个变换，形成一个向量，被称为位置嵌入。（详细解读略）Transformer初步理解Transformer-2：自注意力机制什么是自注意力？假设输入的要翻译的句子：“Theanimaldidn'tcrossthestreetbecauseitwastootired”问：“it”指的是什么？是street还是animal？自注意力机制通过分析句子的上下文和词语间的关联可以正确地理解这种指代关系。也即通过计算一个单词和句子中其他单词联合出现的概率来达到正确的理解。Transformer初步理解Transformer-2：自注意力机制Query、Key、Value的通俗理解Query(查询)：用户关注的信息点。Key(键)：用户可访问的信息点，用于匹配Query以获得相关答案。Value(值)：与每个Key关联的实际信息。【示例】一次关于今年知识图谱工作部署的会议记录。用户期望生成“今年做什么?”的回答。Query(查询)：“做”“什么”。Key(键)：会议记录中的每句话的主题或关键词。Value(值)：每句话的具体内容。【示例】电影推荐系统。Query(查询)：用户对电影的喜好信息，如兴趣点，演员，关键剧情等。Key(键)：电影的类型（年代、剧情分类、刻画影片的关键词等）。Value(值)：待推荐的每一部电影。Transformer初步理解Transformer-2：自注意力机制【自注意力机制】是一种神经网络模型，能够自动学习输入序列中每个元素与其他元素的关系，并根据关系的重要性加权。（1）输入序列经过线性变换，为每个元素生成三个表示，分别用于计算Query(查询)、Key(键)和值(Value)。（2）依据Query和Key计算注意力权重。注意力权重是通过计算Quey与Key的点积得到，然后进行归一化处理。（3）利用注意力权重对值的表示进行加权平均，得到最终的自注意力。X是词嵌入矩阵。W是权重向量，通过神经网络学习得到。Q(Query),K(Key),V(Value)是通过神经网络从输入数据中学习到的向量表示

通过计算Query和每个Key的相似度（通常使用点积），可以得到一个注意力分数，这个分数表明了每个Value的重要性，也即该Value对句子中其他Value的关注程度，分数越高关注度越高。根号dk是做缩放处理。

Softmax是逻辑函数的一种推广。它能将一个含任意实数的K维向量压缩到另一个K维实向量，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。然后使用这些分数对Values进行加权求和得到最终的输出，即是回答。Transformer初步理解Transformer-2：自注意力机制Transformer初步理解Transformer-2：自注意力机制【多头注意力机制】表示对每个Query和所有的Key-Value做多次注意力机制。做两次就是两头，做三次，就是三头。多头的意义在于获取每个Query和所有的Key-Value的不同的依赖关系。Transformer初步理解Transformer-3：通用架构Transformer通用架构：自注意力机制+矩阵计算并行处理（1）输入部分源文本嵌入层：将源文本中词汇的数字表示转换为向量表示，捕捉词汇间的关系位置编码层：为输入序列的每个位置生成位置向量，以便模型能够理解序列中的位置信息目标文本嵌入层（在解码器中使用）：将目标文本中词汇的数字表示转换为向量表示（2）编码器部分多个编码器层，多头自注意力计算，分析与理解（3）解码器部分多个解码器层，多头自注意力计算，生成（4）输出部分线性层：将解码器输出的向量转换为最终的输出维度Softmax层：将线性层的输出转换为概率分布，以便进行最终的预测残差连接与归一化层：(1)在增加层数时缓解退化问题。(2)加速收敛。(3)提高表示能力

前馈网络层：处理来自其他token的信息编码器自注意力层：token之间的关注度，均由编码器的状态计算Q、K、V.解码器自注意力层(掩码的)：tokens需关注先前的tokens，均由解码器的状态计算Q、K、V解码器-编码器注意力层：目标端tokens关注源端tokens。自解码器状态计算Q，自编码器状态计算K和V前馈网络层：处理来自其他token的信息位置编码层词嵌入层Transformer初步理解Transformer-4：Transformer的原理Transformer初步理解Transformer-5：Transformer架构的改进BERT：BidirectionalEncoderRepresentationsfromTransformers。一种仅堆叠编码器的深度学习模型。GPT：GenerativePre-Trained。一种仅堆叠解码器的深度学习模型。Transformer初步理解Transformer-5：Transformer架构的改进【BERT】是一种基于Transformer的预训练语言模型，侧重于堆叠编码器，是双向Transformer编码器，即它可以同时考虑输入序列的前后上下文信息。输入层（Embedding）TokenEmbeddings：将单词或字词转换为固定维度的向量SegmentEmbeddings：用于区分句子对中的不同句子PositionEmbeddings：提供序列中单词的位置信息编码器层（TransformerEncoder）BERT模型使用双向Transformer编码器进行编码输出层（Output）两类Pre-trainedTask-specificOutputMLM任务输出层：用于预测被掩码（masked）的单词。在训练阶段，模型会随机遮盖输入序列中的部分单词，并尝试根据上下文预测这些单词NSP任务输出层：用于判断两个句子是否为连续的句子对。在训练阶段，模型会接收成对的句子作为输入，并尝试预测第二个句子是否是第一个句子的后续句子Transformer初步理解Transformer-5：Transformer架构的改进【GPT】是一种基于Transformer的预训练语言模型，侧重于堆叠解码器，单向Transformer解码（即模型或者自左至右处理或者自右至左处理），利用掩码自注意力，即将后输入的词汇遮蔽掉然后计算自注意力。输入层（InputEmbedding）将输入的单词或符号转换为固定维度的向量表示可以包括词嵌入、位置嵌入等，以提供单词的语义信息和位置信息解码器层（TransformerEncoder）GPT模型使用单向Transformer解码器进行编码和生成输出层（OutputLinearandSoftmax）线性输出层将最后一个TransformerDecoderBlock的输出转换为词汇表大小的向量Softmax函数将输出向量转换为概率分布，以便进行词汇选择或生成下一个单词第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能由大语言模型到多模态大模型大语言模型的分类和发展编码器强调理解，解码器强调生成ChatGPT(2022-11)由大语言模型到多模态大模型大语言模型的演化GPT-2/GPT-3：生成预训练语言模型。GPT-1：生成式预训练模型(文字接龙，据前文预测下文，不是完型填空)+堆叠12层解码器GPT-2：多任务训练+堆叠48层解码器，模型容量达到了15亿个机器学习参数GPT-3：更多模型参数+堆叠96层解码器，模型容量达到了1750亿个机器学习参数ChatGPT：更多人类反馈+堆叠超120层(估计)，模型容量达到18000亿个机器学习参数5由大语言模型到多模态大模型由大语言模型到多模态大模型语言大模型、视觉大模型和多模态大模型由大语言模型到多模态大模型基于Transformer的视觉大模型-ViT模型ViT模型：将图像分割为一系列的小块Patch,并将每个小块作为序列输入Transformer模型。通过自注意力机制，ViT能够在图像中捕捉全局和局部的视觉信息，实现图像分类。由大语言模型到多模态大模型基于Transformer的多模态大模型示意多模态大模型：将视觉块Patch和语言块token,一起输入Transformer模型，进行训练。模态内掩码学习文本、语音、视觉自身token级别的mask模态间掩码学习不同模态信息的相互预测Mask视觉，输出对应文本…模态间匹配学习匹配与否的分类问题对比学习第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能生成式人工智能什么是AIGC？AIGC：ArtificialIntelligenceGeneratedContent,人工智能生成内容或者是生成式人工智能AIGC是一种新的人工智能技术，是一种基于语言大模型、视觉大模型和多模态大模型的技术，能够根据用户提示模仿人类自动产生文本、图像、音频等多种类型的内容例如：AI文献综述，AI文章摘要，AI文章要点；AI小说，AI诗歌，AI作词作曲，AI图像，AI视频等决策式AI：辅助人们做决策，通过评估多种选项和可能的结果，帮助用户或系统选择最佳的行动方案生成式AI：能够创造全新内容，给定一批素材或者一些样例，依据用户意图创作新的不同的样例生成式人工智能AIGC：AI生成内容越来越广泛文本生成（AITextGeneration）：生成模仿人类书写内容的文本。（大语言模型的应用）图像生成（AIImageGeneration）：生成非人类艺术家作品的图像。（视觉大模型的应用）语音生成（AIAudioGeneration）：可分为两类，(1)文本到语音合成，(2)语音克隆。（多模态大模型的应用）视频生成（AIVideoGeneration）：产生引人入胜且具震撼力的视频。（多模态大模型的应用）其他生成：代码生成、数学公式生成、设计生成、虚拟角色生成等生成式人工智能AIGC的典型原理示意判别器模型生成器模型大量的作品集合(真品和赝品的集合)赝品制作者作品(赝品)真品鉴别师鉴定过程输出的作品拟输出作品的意图提示赝品制作过程生成式人工智能视觉/图形生成的典型模型：生成对抗网络模型GANGAN：生成对抗网络模型，是广泛用于视觉图像等领域的一种机器学习模型，它通过让两个神经网络模型(生成器网络模型和判别器网络模型)相互竞争对抗的方式进行学习。生成器网络模型会求取X和不同的Y之间的联合概率：P(Y1,X)，P(Y2,X)，P(Y3,X)，...,P(Yn,X)，然后选取其中与X联合概率最大的那个Yi，将其作为预测结果。判别器网络模型则会求以X为条件的Y的条件概率：P(Y|X)，针对特定X直接得出P(Y|X)的结果，如果这个值大于某个阈值，则可以直接将其作为预测结果。GAN由Goodfellow等人在2014年提出生成式人工智能视觉/图形生成的典型模型：生成对抗网络模型GANGAN的两个关键角色：生成器和判别器。生成器：生成尽可能真实的数据。判别器：区分生成的数据和真实的数据。

生成器通过不断学习训练库中真实图片的概率分布，将输入的随机噪声转变为新的图片样本，使得生成数据的分布尽可能逼近真实数据的分布。判别器同时观测真实和虚构的数据，致力于判别输入数据的真实性。通过反复的交替训练和对抗，生成器和判别器的能力将不断增强，直至达到一种均衡状态。最终训练完成的生成器能够生成高质量、以假乱真的图片。生成式人工智能AIGC典型案例：图像转换将语义图像转化成城市和建筑景观图片；将图片转化成艺术绘画风格；将卫星图像转化成谷歌地图；将白天景观转化成夜晚景观；将夏景转化成冬景；将黑白图片转化成彩色图片；将素描转化成彩色图片；将动物图片转化成其他类别动物图片生成式人工智能AIGC案例：人脸编辑、合成、减龄与老龄处理生成式人工智能AIGC案例：AI创造的人脸、真人动漫形象生成式人工智能AIGC案例：老照片修复，低质量图片生成高质量图像生成式人工智能AIGC：AI论文对人工智能生成内容的典型尝试1.生成图像数据集案例；2.生成人脸照片;3.生成现实照片;4.生成动画角色;5.图像转换;6.文字-图片转化;7.语义图像-图片转化;8.生成正面人像图片;9.生成新体态;10.图片转表情;11.图片编辑;12.面部老龄与减龄;13.图片混合;14.超分辨率;15.图片修复;16.服装转化;17.视频预测;18.3D打印;第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能大模型的应用方法国内都有哪些大模型文心大模型：百度研发，涵盖基础大模型、任务大模型、行业大模型三级体系。通义千问：阿里云研发，可以多轮对话、文案创作，逻辑推理、多模态理解、多语言支持等。盘古大模型：华为旗下研发，包括L0基础大模型、L1行业大模型和L2场景模型。智谱清言：智谱华章研发，ChatGLM2，通用问答，虚拟对话，创意写作，代码生成等。豆包大模型：字节跳动发布。内容创作，知识问答，人设对话，代码生成等。混元助手：腾讯研发，计算机视觉、自然语言处理、多模态理解、文案生成、文生视频等。讯飞星火：科大讯飞研发，知识问答、代码编程、数理推算、创意联想、语言翻译”等昆仑天工：昆仑万维研发，文案创作、知识问答、代码编程、逻辑推演、数理推算等需求。商汤商量：是商汤科技旗下研发。多轮对话和超长文本理解，编程助手，健康咨询助手等。……大模型的应用方法大语言模型的获得和使用大模型的应用方法语言大模型的应用步骤prompt中国的首都在哪？大模型model中国的首都在哪？中国的首都在北京。completion大模型应用三大步骤：输入提示、模型处理和生成输出。用户向大模型提供输入提示(prompt)，通常是一段文本。大模型对输入进行处理和分析，理解输入的意图和上下文。基于对输入的理解，生成相应的输出，对问题作出解答或是执行对应的任务。大模型的应用方法AIGC的应用过程示意1-收集数据样本2-训练大模型3-意图表达与内容生成4-反馈改进(多轮)判别器模型生成器模型大量的作品集合(真品和赝品的集合)赝品制作者作品(赝品)真品鉴别师鉴定过程输出的作品拟输出作品的意图提示赝品制作过程大模型的应用方法大模型应用示例大模型的应用方法大模型应用示例DisasterResponseGPT：大型语言模型在灾害响应场景中加速行动方案制定“提示设计”(1)明确身份定位和任务(2)强调前提条件(3)回答内容具体要求(4)灾害知识(5)交互式对话Youareachatbotassistant.Yourusersarestaffmembersinchargeofplanningdisasterreliefoperationsandyour

roleistohelpthemdevelopaplanofactionforadisasterresponsescenario.——(1)Theusersarerequiredtoinformyouthefollowinginformationbeforeyoustartdevelopingtheplanofaction:XXX——(2)Youshouldalwaysasktheuserfortheinformationaboveifyouarenotsure.Giventhisinformation,youwilldevelopthreeplansofactionsotheuserscanpicktheirfavoriteonesanditerateonthemwithyou.——(5)Whengeneratingaplanofaction,makesureitfollowstheplanofactionformatdescribingtheobjectiveand

whatiscriticaltoit,mainandauxiliaryoperations,andendstatesforyourassets,victims,civilians,andterrain.Here’sanexampleofplanofaction:XXX——(3)Here’sadditionalinformationfromFederalEmergencyManagementAgency(FEMA)thatmightbeusefulwhen

generatingaplanofactionfordisasterresponse:XXX-Earthquakes:XXX-Protectiveactions:XXX-Landslides:XXX-Protectiveactions:XXX——(4)提示示例大模型的应用方法大模型应用中的生成式配置参数及其含义用于推理的生成式配置参数是指在生成模型（如GPT）进行推理（即生成文本或执行任务）时所使用的一组参数，这些参数影响模型的生成行为和输出质量。Maxnewtokens：通过设置最大长度，可以控制生成文本的长度，避免生成过长或过短的文本单词选择策略相关的三个参数：贪心：选择概率最高的单词/标记随机(加权)抽样：使用随机加权的策略选择一个单词。如何随机，需要这几个参数贪心：选择概率最高的单词/标记随机（加权）抽样：使用随机加权的策略选择一个单词大模型的应用方法单词选择的两种策略示例：随机抽样策略与TopK和TopPtop-k：在使用概率应用随机抽样策略后，从top-k个结果中选择一个输出top-p：使用随机加权策略选择一个输出，在每一步生成时，从累积概率达到p的词语集合中进行采样。大模型的应用方法单词选择的Temperature内涵及示例强峰值概率分布(温度值越低)更广泛更平坦的概率分布(温度值越高)Temperature是一个用于调整模型生成创造性和多样性的超参数，用于调整随机从生成模型中抽样的程度，即它影响模型生成文本时采样预测词汇的概率分布。因此，相同的提示可能会产生不同的输出。温度为0时，将始终产生相同的输出。温度越高随机性越大。大模型的应用方法单