人工智能应用通识教程 课件 -第二次课 AI大模型原理与应用

1第一章：AI大模型原理与应用算法基础目录全连接神经网络卷积神经网络手写数字识别实践第1部分：

全连接神经网络生物神经元生物神经元结构人体的神经元主要由三部分组成：1.树突（输入机制）：通过突触接受输入信息2.细胞体（计算机制）：细胞体收集所有树突的输入，并基于这些信号决定是否激活输出（脉冲）3.轴突（输出机制）：一旦细胞体决定有激活信号输出，轴突负责传输信号，通过末端的树状结构将信号传递给下一层神经元的树突。神经网络是一种人类受生物神经元结构的启发而研究出的算法体系。生物学的神经元启发我们构造了最简单原始的“人工神经元”输入连接

神经元接收外部的一组输入线性计算和激活函数

将这些输入“累加”，通过激活函数决定是否输出输出连接

将输入的信号传递至下一个神经元人工神经元与生物神经元有什么关联？人工神经元输入参数神经元神经元中线性模型神经元中非线性模型

线性与非线性在人工智能领域，对于线性模型与非线性模型的判断标准为：模型输入到输出的映射关系，能不能表示为特征的线性组合（即能否画直线/超平面分开数据）。能→线性不能→非线性人工神经元

人工神经元实例小王通过一定的算法决定明天是否外出？需要考虑三个因素：天气、节假日、温度天气：是否下雨（是=0，否=1）节假日：是否是节假日（是=1，否=0）温度：是否适宜（是=1，否=0）小王觉得天气和温度因素影响较小，因而我们可以分配权重1和2；而节假日的影响较大，可以分配权重4如果我们计算出来的结果>=3，那么小王就决定外出。人工神经元实例神经元与感知器x1（天气)x2（节假日）x3（温度）output权重w1=1权重w3=2权重w2=4x1，x2，x3三个输入值分别代表三个因素：天气、节假日、温度输入箭头->代表了输入权重w1=1，w2=4，w3=2圆圈代表了一次神经元计算output代表了输出值（1或者0）如果x1*w1+x2*w2+x3*w3>=3，则输出output=1，表示外出如果x1*w1+x2*w2+x3*w3<3，则输出output=0，表示不外出人工神经元实例情况1：天气晴，节假日，温度适宜计算结果：1*1+1*4+1*2=6>=3，则输出1结论：小王明天会外出情况2：天气雨，非节假日，温度适宜计算结果：0*1+0*4+1*2=2<3，则输出0结论：小王明天不会外出人工神经元实例阈值（threshold）

我们的判定数字3被称之为阈值偏置b（bias）

一般用阈值的相反数表达偏置，即b=-阈值因此，我们例子的决策过程就变成x1*w1+x2*w2+x3*w3+b>=0，则输出output=1x1*w1+x2*w2+x3*w3+b<0，则输出output=0神经元标准模型当我们的输入变成多个以后，就变成如下的标准的神经元模型x1x2xn输入求和激活……b1w1w2wnoutput神经元接收来自n个外界（或其他神经元）的输入信号这些输入信号通过带权重的连接进行传递给本神经元；通过“激活函数”处理，产生输出单层感知机模型弗兰克﹒罗森布拉特于1957年发明单层感知机模型多层感知机模型多层感知机可以看成是由多个单层感知机组成，相当于在输入层和输出层中间加入隐藏层，每个隐藏层会先经过线性模型得到结果，再利用激活函数对结果进行非线性化。全连接神经网络全连接神经网络包含输入层、隐藏层、输出层。同一层的神经元之间没有连接，隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元与隐藏层中各个神经元也完全连接，相连接的神经元之间都有一个权重（权值）。全连接神经网络层数=隐藏层数+

输出层数神经网络是如何运作的？视频链接：/zvideo/1645800559138623488推荐拓展学习视频链接：/88461692/lists/1528929?type=series第2部分：

卷积神经网络卷积神经网络卷积神经网络（CNN）是一种深度学习模型，专门用于处理具有类似网格结构的数据，如图像。卷积神经网络基本结构基本层级构造输入层：数据的输入（通常是图像）卷积层：使用卷积进行特征提取和映射激活函数：增加非线性映射池化层：下采样，对特征图稀疏处理，减少数据运算量全连接层：通常在尾部，对数据重新拟合并输出分类结果输入层CNN中图片的输入格式与全连接网络的输入格式不同，输入层保留了本身的结构。对于28*28的灰度图像，CNN的输入是28*28的二维矩阵，而全连接网络的输入是28*28=784的一维向量对于RGB格式的28*28的图片，CNN输入的是28*28*3的三维矩阵。卷积层卷积层尺寸的计算：（1）输入矩阵：（样本数，图像通道数，图像高度，图像宽度）（2）卷积核：（输入通道数，输出通道数，卷积核高度，卷积核宽度），训练时卷积核就是要调整的参数（3）输出矩阵：（样本数，图像通道数，图像高度，图像宽度）输入单通道卷积层输入多通道卷积层卷积层的目的就是通过卷积运算提取输入的不同特征。如第一层卷积可能只能提取到一些低级的特征，如边缘，线条等等，更深的卷积层能从低级特征中迭代提取更复杂的特征。卷积层代码示例参数共享减少模型中的参数数量还提高了模型的泛化能力

nn.Conv2d(1,32,kernel_size=3,stride=1,padding=1)#in_channels=1：输入图像的通道数。灰度图像，通道数为1；彩色图像（RGB）通道数为3。#out_channels=32：卷积核的数量，也就是卷积层输出的通道数。每个卷积核会生成一个输出通道。#kernel_size=3：卷积核的大小。这里是一个3x3的卷积核。#stride=1：卷积核在图像上滑动的步长。步长为1表示每次滑动一个像素。#padding=1：在输入图像的边缘填充的像素数。

卷积动图演示卷积输出满足公式其中：

O是输出大小；N是输入大小；P是填充大小；S是滑动步长；k是卷积核大小；

若结果是浮点数，向下取整。如上图：输入图像6*6，卷积核3*3，步长为1，没有填充，请计算输出长宽w,h的值是多少？输出的特征向量的大小是由步长stride和padding决定的。激活函数在使用卷积核对输入进行卷积运算得到特征图之后，往往需要使用激活函数对特征图进行激活，其主要目的是引入非线性特性，使网络能够学习复杂的模式和特征。常见的激活函数有以下几种：激活函数推荐卷积神经网络激活函数优先推荐ReLU。ReLU激活函数的优势：反向传播时，可以避免梯度消失Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生相对于sigmoid激活函数，relu激活函数，求导简单。采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多池化层池化层也叫下采样层，常用于卷积层之间，跟卷积类似，也有滑动窗口、步长和填充。常见的采样方式平均池化、最大/最小池化：（1）平均池化：对采样区域的数据求平均（2）最大/最小池化：对采样区域的数据取最大/最小值。特性：（1）特征不变性池化的作用类似于resize，压缩图像，去除了一些无关的信息，保留了重要信息。（2）特征降维去除无关的特征或者重复的特征。池化层代码示例参数共享减少模型中的参数数量还提高了模型的泛化能力nn.MaxPool2d(kernel_size=2,stride=2)nn.AvgPool2d(kernel_size=2,stride=2)#kernel_size=2：池化窗口的大小。这里是一个2x2的窗口。#stride=2：池化窗口在图像上滑动的步长。步长为2表示每次滑动2个像素。

全连接层与输出层

全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。最后一层全连接层的输出值被传递给一个输出层，在通常情况下，输出层使用softmax激活函数（把分类结果，转换成0-1的数值，表示分类的置信度），因此该层也可称为softmax层。第3部分：

手写数字识别实践MNIST数据集MNIST是一个手写字体的数字图像数据集，包含数字0-9共计70000张图像，其中训练集60000