《人工智能导论》课件 第7章 人工神经网络

7.1神经元与神经网络《人工智能导论

》学习要点神经元模型感知器模型神经网络的结构与工作模式神经网络学习神经元模型神经元是神经系统中的基本构成单元，负责接收、处理和传递信息，从而参与大脑的各种计算功能。神经元有两种状态：激活（active），或未激活（inactive）。比如我们规定0是未激活，1是全激活，那么0.5就是半激活的中间状态。激活函数：有时候可能计算得到很大的数字比如几百多，而我们还是希望把它缩小到0~1之间更合理。神经元模型激活函数对激活值进行处理，把它对应到0~1之间，最常用来做这个处理的函数就是Sigmoid函数。Sigmoid函数神经元模型激活函数对于数以万亿次的计算来说还是太复杂了，而且由于曲线过渡也太平滑，不利于干净利落的区分激活或不激活两种状态。所以后来大家就更多的改用RELU函数。RELU函数感知器模型感知器组成神经网络的最小单元感知器的输出为：w和b为感知器模型参数，w表示全权值，b表示偏置，wx表示w和x的内积。在感知层进行学习时，每一个样本都将作为一个刺激输入神经元。输入信号是每一个样本的特征，期望的输出是该样本的类别。感知器模型单层感知器单层感知器是最简单的一种人工神经网络结构，包含输入层和输出层。感知器模型多层感知器多层感知机是一种基本的人工神经网络模型，其结构由多个神经元组成。基本结构包括输入层、输出层和至少一层或多层的隐藏层神经元的结构与工作模式神经元的结构输入层（Inputlayer）输出层（Outputlayer）隐藏层（Hiddenlayer）神经元的结构与工作模式神经元的工作模式输入层、隐藏层和输出层，这三者共同协作完成神经网络的负责的任务。感知器代表单个神经元的工作方式。对于一个多层神经网络，顾名思义，信息是向前传递的—从左到右。在前向传播中，信息通过输入层进入模型内部，经过一系列隐藏层，最后到达输出层。这种神经网络架构本质上是前向的——信息不会通过两个隐藏层循环。神经网络学习神经网络的学习1949年赫布（D.O.Hebb）认为当神经元i与神经元j同时处于兴奋状态时，两者之间的连接强度应加强，处于抑制状态时应减弱。根据此假设定义的学习规则称为Hebb学习规则。学习信号：权向量的调整量公式为：每个分量的调整量公式为：该规则要求权值初始化，即为0附近的随机数。还需设置权的饱和值，以防止权值无约束增长。

7.2神经网络机器学习算法《人工智能导论》学习要点BP神经网络的结构BP学习算法BP神经网络算法实现BP神经网络的结构BP网络的网络拓扑结构是多层前向网络，同层节点之间不存在相互连接，层与层之间多采用全互连方式，且各层的连接权值可调节。BP神经网络的结构BP网络的每个处理单元均为非线性输入/输出关系，其作用函数通常采用的是可微的Sigmoid函数。BP网络的学习过程是由工作信号的正向传播和误差信号的反向传播组成的。BP学习算法给定训练集假设隐层和输出层神经元神经元都是用Sigmoid函数。目标函数为：神经网络的修改权值为：BP学习算法基于梯度下降策略，以目标的负梯度方向对参数进行调整。BP学习算法推导出下面的公式：可以得到公式：可以推导出输出层梯度项：BP学习算法得到BP算法的更新公式：同理可推导出：以上分别表示输出层阈值的变化量、隐层权重的变化量、隐层阈值的变化量。BP神经网络算法实现注意的问题BP神经网络采用有监督学习。解决具体问题时，首先需要一个训练集。然后神经网络的设计主要包括网络层数、输入层节点数、隐层节点数、输出层节点数、以及传输函数、训练方法、训练参数等。要注意要对输入输出数据进行预处理，即尺度变换。尺度变化也称为归一化或者标准化，是指变换处理将网络的输入、输出数据限制在[0,1]或者[-1,1]区间内。

7.3卷积神经网络《人工智能导论》学习要点卷积神经网络的结构权值共享与特征提取卷积层池化层全连接层卷积神经网络学习算法卷积神经网络的结构卷积神经网络主要由卷积层、池化层、全连接层等组成，其中卷积层和池化层是卷积神经网络的核心部分。C层为特征提取层（卷积层）S层是特征映射层（下采样层）。CNN中的每一个C层都紧跟着一个S层。输入图像通过与m个可训练的滤波器和可加偏置进行卷积，在C1层产生m个特征映射图，然后特征映射图中每组的n个像素再求和，加权值，加偏置，通过Sigmoid函数得到m个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入到传统神经网络，得到输出。权值共享与特征提取权值共享

权值共享是指对于网络中的某个卷积层，所有神经元都使用同一组卷积核进行卷积操作。实现权值共享的两种方法：网络深度：设计深层的卷积神经网络，其中每一层的神经元都使用相同的卷积核进行卷积操作。卷积层与全连接层的使用：在卷积神经网络中，全连接层通常被用于将卷积层的输出进行聚合。全连接层中的神经元与前一层的所有神经元进行连接，并共享相同的权值。卷积层卷积操作卷积操作是对图像和滤波矩阵做内积（元素相乘再求和）的操作注意：1x1卷积即用1x1的卷积核进行卷积操作，其作用在于升维与降维。升维操作常用于chennel为1（即是通道数为1）的情况下，降维操作常用于chennel为n（即是通道数为n）的情况下。降维：通道数不变，数值改变。升维：通道数改变为kernel的数量（即为filters），运算本质可以看为全连接。池化层池化层(也称为采样层)通过不同的池化操作对图像进行降维，并提高图像特征的变换不变特性常用的池化操作包括最大池化和平均池化平均池化最大池化

全连接层在全连接层中，每个神经元与前一层的所有神经元相连，每个连接都有一个对应的权重，这些权重用来调整输入数据的影响。全连接层通常出现在神经网络的最后几层，用于将前面层的特征进行组合和转换，最终输出网络的预测结果。需要注意的是，全连接层的参数量非常大，因此容易出现过拟合的情况。为了避免过拟合，可以使用一些正则化方法，比如Dropout、L1/L2正则化等。全连接层Dropout是一种常用的正则化方法，用于减少神经网络的过拟合现象。它的基本思想是在训练神经网络的过程中，随机地将一部分神经元的输出值置为0，从而使得神经网络的结构变得不稳定，从而强制网络学习到更加鲁棒的特征表示。需要注意的是，Dropout只在训练过程中使用，在测试过程中应该关闭Dropout，以便得到更加准确的输出结果。卷积神经网络学习算法以LeNet-5模型为例LeNet作为最初的卷积神经网络，其模型结构组成较为简单：两个卷积层、两个下采样、和三个全连接层卷积神经网络学习算法第一层：卷积层。卷积核大小为5*5，输入通道数根据图像而定。池化层中窗口大小为2*2，步幅为2。第二层：卷积层。卷积核大小为5*5，输入通道数即为上一层的输出通道数6，池化层和第一层相同，窗口大小为2*2，步幅为2。第三层：全连接层。第四层：全连接层。第五层：全连接层。卷积层和池化层负责对原始图像进行特征提取，全连接层负责对卷积池化提取到的特征进行学习，进一步根据这些特征来判断该输入图片属于哪一个类别。

生成对抗网络《人工智能》学习要点生成对抗网络的基本原理生成对抗网络的机构生成对抗网络训练生成对抗网络应用生成对抗网络的原理GAN的思想是一种二人零和博弈思想，博弈双方的利益之和是一个常数，比如两个人掰手腕，假设总的空间是一定的，你的力气大一点，那你就得到的空间多一点，相应的我的空间就少一点，相反我力气大我就得到的多一点，但有一点是确定的就是,我两的总空间是一定的，这就是二人博弈，但是呢总利益是—定的。在GAN中就是可以看成，GAN中有两个这样的博弈者，一个人名字是生成器（G)，另一个人名字是判别器(D)，他们各自有各自的功能。将GAN想象成一个伪造者和一个警察在一场猫捉老鼠的游戏中的对立，其中伪造者正在学习通过假钞，而警察正在学习检测它们。双方都在动态变化。生成对抗网络的结构GAN的结构包括一个生成网络和一个判别网络。生成网络的目标是生成尽可能真实的样本以欺骗判别网络判别网络的目标是尽可能准确地区分出真实样本和生成样本。生成对抗网络的结构生成对抗网络训练网络训练GAN的两个相互交替的训练阶段：固定生成网络，训练判别网络固定判别网络，训练生成网络两个网络相互对抗的过程，就是各自网络参数不断调整的过程，即学习过程。GAN极大地提高图像生成质量，进一步推动了计算机视觉领域的发展。GAN在训练中容易出现一些问题，训练过程具有强烈的不稳定性，

实验结果随机，具体表现：训练过程难以收敛，经常出现震荡；训练收敛，但是出现模式崩溃（modelcollapse）。训练收敛，但是GAN还会生成一些没有意义或者现实中不可能出现的图片。生成对抗网络训练整个训练的过程为：（1）从高斯分布中采样一批次长度为n的噪声向量。（2）利用(1)中噪声向量，使用生成器生成假图像。（3）从真实数据采一批次真实图像，与(2)中的假图像混合，做好标签，训练判别器。（4）再从高斯分布中采样长度为n的一批次噪声向量，标签为“True”，训练GAN，此时GAN中的判别器参数不能更新，只训练生成器。（5）按指定轮数重复上述步骤。生成对抗网络应用生成数据集生成对抗网络应用文字-图片转化图像转换生成对抗网络应用图像修复生成动画角色生成对抗网络应用生成不同年龄照片图像超分辨率生成对抗网络应用GAN可以生成逼真的、具有连续动态变化的视频内容。电影制作游戏开发虚拟现实（VR）和增强现实（AR）生成对抗网络应用除此之外，GAN还在医学、3D打印等方面发挥着极强的作用。

循环神经网络《人工智能》学习要点循环神经网络循环神经网络循环神经网络（recurrentneuralnetwork，RNN）源自于1982年由SarathaSathasivam提出的霍普菲尔德网络。循环神经网络，是指在全连接神经网络的基础上增加了前后时序上的关系，可以更好地处理比如机器翻译等的与时序相关的问题。循环神经网络进一步地，公式化RNN的结构：循环神经网络在RNN中，每一层都共享参数U、V、W，降低了网络中需要学习的参数，提高学习效率。输入层：表示时刻t的输入。隐藏层：f是非线性激活函数，比如tanh。输出层：softmax函数是归一化的指数函数，使每个元素的范围都在0到1之间，并且所有元素的和为1。循环神经网络训练时先对这个序列中的每个时刻的输入值进行正向传播，再通过反向传播计算出参数的梯度值并更新参数。有三种方法应对梯度消失问题：合理的初始化权重值。初始化权重，使每个神经元尽可能不要取极大或极小值，以躲开梯度消失的区域。使用ReLu代替sigmoid和tanh作