《模式识别原理、应用及实现》 课件 郭志强 第6-10章 特征提取与选择-模式识别的工程应用

6.1特征提取的基本概念6.1.1特征提取的目的①由于测量上可实现性的限制或经济上的考虑，所获得的测量值为数不多。②能获得的性质测量值很多。如果全部直接作为分类特征，耗费机时，且分类效果不一定好。有人称之为“特征维数灾难”。

特征选择和提取的目的：经过选择或变换，组成识别特征，尽可能保留分类信息，在保证一定分类精度的前提下，减少特征维数，使分类器的工作即快又准确。1．两种数据测量情况(1)具有很大的识别信息量。即应具有很好的可分性。(2)具有可靠性。模棱两可、似是而非、时是时非等不易判别的特征应丢掉。(3)尽可能强的独立性。重复的、相关性强的特征只选一个。(4)数量尽量少，同时损失的信息尽量小。6.1.2对特征的要求（1）特征选择：从L个度量值集合中按一定准则选出供分类用的子集，作为降维（m维，m<L）的分类特征。（2）特征提取：使一组度量值通过某种变换

产生新的m个特征，作为降维的分类特

征，其中。6.1.3特征选择和特征提取的异同(c)是具有分类能力的特征，故选(c)，扔掉(a)、(b)。BA解：[法1]①特征抽取：测量三个结构特征

(a)周长

(b)面积

(c)两个互相垂直的内径比——特征选择：一般根据物理特征或结构特征进行压缩。②分析：例：特征选择与特征提取的区别：对一个条形和圆进行识别。

当模式在空间中发生移动、旋转、缩放时，特征值应保持不变，保证仍可得到同样的识别效果。6.1.3特征选择和特征提取的异同[法2]：①特征抽取：测量物体向两个坐标轴的投影值，则A、B各有2个值域区间。可以看出，两个物体的投影有重叠，直接使用投影值无法将两者区分开。②分析：将坐标系按逆时针方向做一旋转变化，或物体按顺时针方向变，并适当平移等。根据物体在轴上投影的坐标值的正负可区分两个物体。——特征提取，一般用数学的方法进行压缩。BABA6.1.3特征选择和特征提取的异同6.2类别可分性测度武汉理工大学6.2.1基于距离的可分性测度5.2.1基于距离的可分性测度类别可分性测度：衡量类别间可分性的尺度。类内距离和类间距离类概率密度函数类别可分性测度空间分布：随机模式向量：错误率与错误率有关的距离1．类内距离和类内散布矩阵1)类内距离：同一类模式点集内，各样本间的均方距离。平方形式：Xi,，Xj：n维模式点集{X}中的任意两个样本。特征选择和提取的结果应使类内散布矩阵的迹愈小愈好。特征选择和提取的结果应使类内散布矩阵的迹愈若{X}中的样本相互独立，有式中，R：该类模式分布的自相关矩阵；

M：均值向量；

C：协方差矩阵；

：C主对角线上的元素，表示模式向量第k个分量的方差；tr：矩阵的迹（方阵主对角线上各元素之和）。2)类内散布矩阵：表示各样本点围绕均值的散布情况

——该类分布的协方差矩阵。6.2.1基于距离的可分性测度类间散布矩阵的迹愈大愈有利于分类。2．类间距离和类间散布矩阵1)类间距离：模式类之间的距离，记为。2)类间散布矩阵：表示c类模式在空间的散布情况，记为Sb。类间散布矩阵的迹愈。3)类间距离与类间散布矩阵的关系：3．多类模式向量间的距离和总体散布矩阵1）两类情况的距离q个p个共p×q个距离两个类区之间的距离=p×q个距离的平均距离多类间任意两个点间距离的平均距离类似地多类情况多类间任意两个点间平方距离的平均值（5-8）类的均值向量：（5-10）c类模式总体的均值向量：（5-11）2）多类情况的距离(2)Jd的另一种形式：将以下3式代入(5-8)式(1)多类模式向量间的平均平方距离Jd（5-9）平方距离：任意类的组合特定两类间任意样本的组合得某类类内平方距离平均值某类类间平方距离多类模式向量之间的平方距离=各类平方距离的先验概率加权和某类的平方距离模式类间的距离模式类内的距离多类模式向量之间的距离3）多类情况的散布矩阵多类类间散布矩阵：4）多类模式平均平方距离与总体散布矩阵的关系多类类内散布矩阵：——各类模式协方差矩阵的先验概率加权平均值。多类模式的总体散布矩阵：得6.3基于类内散布矩阵的特征提取武汉理工大学对某类模式：压缩模式向量的维数。对多类分类：压缩维数；保留类别间的鉴别信息，突出可分性。特征提取的目的：特征提取操作方法：m×1m×nn×1

(m<n)注意：维数降低后，在新的m维空间里各模式类之间的分布规律应至少保持不变或更优化。讨论内容：*根据类内散布矩阵如何确定变换矩阵A；*通过A如何进行特征提取。1．根据类内散布矩阵确定变换矩阵式中，X为n维向量，C为n×n的实对称矩阵。——n个特征向量相互正交。若选n个归一化特征向量作为A的行，则A为归一化正交矩阵：(1)(2)An×n(3)变换后的类内距离变换后：类内距离保持不变。根据以上特点得到构造变换矩阵的方法：思路：目标：构造一变换矩阵，可以将n维向量X变换成m维（m<n）。将变换前的C的n个特征值从小到大排队选择前m个小的特征值对应的特征向量作为矩阵A的行（m×n）对X进行A变换优点：压缩了维数；类内距离减小，样本更密集

——相当去掉了方差大的特征分量。后续2．特征提取的方法其中，第二步：计算C的特征值，对特征值从小到大进行排队，选择前m个。第四步：利用A对样本集{X}进行变换。则m维（m<n）模式向量X*就是作为分类用的模式向量。解：1)求样本均值向量和协方差矩阵。由得由归一化特征向量u1构成变换矩阵A：变换前变换后6.4KL变换特征提取武汉理工大学对一类模式：维数压缩。对多类模式：维数压缩，突出类别的可分性。特征提取的目的：卡洛南-洛伊（Karhunen-Loeve）变换（K-L变换）：*一种常用的特征提取方法；*最小均方误差意义下的最优正交变换；*适用于任意的概率密度函数；*在消除模式特征之间的相关性、突出差异性方面有最优的效果。离散K-L变换连续K-L变换分为：1．K-L展开式aj：随机系数；用有限项估计X时

：引起的均方误差：代入X、，利用由两边左乘得。uj为确定性向量R：自相关矩阵。：拉格朗日乘数说明：当用X的自相关矩阵R的特征值对应的特征向量展开X

时，截断误差最小。选前d项估计X时引起的均方误差为K-L变换方法：对R的特征值由大到小进行排队：均方误差最小的X的近似式：矩阵形式：式中，，。其中：

（5-49）——K-L展开式对式(5-49)两边左乘Ut

：——K-L变换系数向量a就是变换后的模式向量。2．利用自相关矩阵的K-L变换进行特征提取第一步：求样本集{X}的总体自相关矩阵R。决定压缩后的维数

3．不同散布矩阵的K-L变换

根据不同的散布矩阵进行K-L变换，对保留分类鉴别信息的效果不同。多类类内散布矩阵：若要突出各类模式的主要特征分量：选用对应于大特征值的特征向量组成变换矩阵；若要使同一类模式聚集于最小的特征空间范围：选用对应于小特征值的特征向量组成变换矩阵。类间散布矩阵：

适用于类间距离比类内距离大得多的多类问题，选择与大特征值对应的特征向量组成变换矩阵。总体散布矩阵：

把多类模式合并起来看成一个总体分布。

适合于多类模式在总体分布上具有良好的可分性的情况。采用大特征值对应的特征向量组成变换矩阵，能够保留模式原有分布的主要结构。1）变换在均方误差最小的意义下使新样本集{X*}逼近原样本集

{X}的分布，既压缩了维数又保留了类别鉴别信息。利用K-L变换进行特征提取的优点：3）C*为对角矩阵说明了变换后样本各分量互不相关，亦即消除了原来特征之间的相关性，便于进一步进行特征的选择。K-L变换的不足之处：1）对两类问题容易得到较满意的结果。类别愈多，效果愈差。2）需要通过足够多的样本估计样本集的协方差矩阵或其它类型的散布矩阵。当样本数不足时，矩阵的估计会变得十分粗略，变换的优越性也就不能充分的地显示出来。2）变换后的新模式向量各分量相对总体均值的方差等于原样本集总体自相关矩阵的大特征值，表明变换突出了模式类之间的差异性。模式识别36/justinruan/Learning-ML学以致用，知行合一（实践篇）主成分分析算例37PrincipalComponentAnalysis(PCA)1.构造样本矩阵Xn,d,n个样本，d个特征2.计算样本均值m，方差σ2，对样本进行标准化(x-m)/σ3.计算协方差矩阵Cd,d协方差矩阵(3维x,y,z)38

4.计算协方差矩阵C的特征值和特征向量5.排序,将特征值按从大到小的顺序排列，并根据特征值调整特征向量的排布。6.提取最大的k个特征值所对应的特征向量，构成基向量矩阵ed,k7.计算降维后的新样本矩阵Yn,k=Xn,d*ed,kPrincipalComponentAnalysis(PCA)39PCA的算例假设我们得到的2维数据如下：

行代表了样例，列代表特征，这里有10个样例，每个样例两个特征。第一步分别求x和y的平均值，然后对于所有的样例，都减去对应的均值。这里x的均值是1.81，y的均值是1.91，那么第一个样例减去均值后即为（0.69,0.49），得到40PCA的算例第二步，求特征协方差矩阵，如果数据是3维，那么协方差矩阵是这里只有x和y，求解得对角线上分别是x和y的方差，非对角线上是协方差。协方差大于0表示x和y若有一个增，另一个也增；小于0表示一个增，一个减；协方差为0时，两者独立。协方差绝对值越大，两者对彼此的影响越大，反之越小。第三步，求协方差的特征值和特征向量，得到这里的特征向量都归一化为单位向量。第四步，将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。我们选择其中最大的那个，这里是1.28402771，对应的特征向量是41

PCA的算例第五步，将样本点投影到选取的特征向量上。假设样例数为n，特征数为d，减去均值后的样本矩阵为DataAdjust(n,d)，协方差矩阵是d*d，选取k个特征向量组成的矩阵为EigenVectors(d,k)。那么投影后的数据FinalData为

FinalData(n,k)=DataAdjust(n,d)*EigenVectors(d,k)这样，就将原始样例的d维特征变成了k维，这k维就是原始特征在k维上的投影。42x-.8279701861.77758033-.992197494-.274210416-1.67580142-.912949103.09910943751.14457216.4380461371.22382056TransformedData(SingleeigenVector)PCA的算例正号表示预处理后的样本点，斜着的两条线就分别是正交的特征向量（由于协方差矩阵是对称的，因此其特征向量正交），最后一步的矩阵乘法就是将原始样本点分别往特征向量对应的轴上做投影。43PCA的算例如果取的k=2，那么结果是TransformedData=44xy-.8279701861.77758033-.992197494-.274210416-1.67580142-.912949103.09910943751.14457216.4380461371.22382056-.17511530.142857227.384374989.130417207-.209498461.175282444-.349824698.0464172582.0177646297-.162675287使用numpy实现PCA45手写数字的主成分分析数据准备46Classes10Samplesperclass~180Samplestotal1797Dimensionality64Featuresintegers0-16Eachdatapointisa8x8imageofadigit.使用numpy实现PCA值47去中值计算协方差矩阵Cd,d计算它的特征值和特征向量提取向最大的r个特征值投影后的特征计算每个特征值所对应的信息量使用numpy实现PCA特征降维48方差的比重：[0.148905940.13618771]特征值：[179.0069301163.71774688]手写数字特征PcA49画散点图的说明：y==i，返回Boolean数组，指出哪一行样本属于数字i的；X[y==i]返回对应数字i的特征，X中只有特征，这里是压缩后的两位特征；X[y==i，0]就是取第一维特征；将两个维度分别取出来，然后分别在二维图上按xy坐标进行画图。使用SK-learn实现PCA50手写数字特征PcA51方差的比重：[0.148905940.13618771]特征值：[567.0065665542.25185421](2,64)手写数字特征PcA52画散点图的说明：y==i，返回Boolean数组，指出哪一行样本属于数字i的；X[y==i]返回对应数字i的特征，X中只有特征，这里是压缩后的两位特征；X[y==i，0]就是取第一维特征；将两个维度分别取出来，然后分别在二维图上按xy坐标进行画图。手写数字特征PcA53压缩到32维时，方差比重之和0.96635421原始图像（8x8=64维）(压缩维数，方差比重之和)54PCA：32维，比重0.97PCA：21维，比重0.9PCA：13维，比重0.8PCA：9维，比重0.7PCA：6维，比重0.6PCA：2维，比重0.29

7.1模糊模式分类的直接方法7.1.1直接方法——隶属原则直接计算样品的隶属度，根据隶属度最大原则进行分类。——用于单个模式的识别隶属原则：

隶属原则是显然的，易于公认的，但其分类效果如果，十分依赖于建立已知模式类隶属函数的技巧。现有45岁、30岁、65岁、21岁各一人，问应分别属于哪一类？中：青：中年

老年青年年龄（岁）10.50451002070∴属于老年人。

7.2模糊模式分类的间接方法武汉理工大学7.2.1间接方法——择近原则——适合于模糊集求模糊集合之间接近程度的问题。1．模糊集合间的距离聚类分析中两向量间的明氏距离2.贴近度2）格贴近度内积、外积分别定义为3.择近原则7.3模糊聚类分析法武汉理工大学7.3.1基于模式糊等价关系的聚类分析法只有模糊等价关系才能用模糊等价矩阵进行截矩阵分类。称为：截矩阵分类法*对于模糊等价关系：可以用模糊等价矩阵的截矩阵直接进行模式分类。*对模糊相似关系：必须由相应的模糊相似矩阵生成模糊等价矩阵，然后对生成的等价矩阵利用截矩阵的办法分类。包括：要求按不同λ水平分类。1．模糊等价关系的截矩阵分类法动态聚类图：2．模糊相似关系的截矩阵分类法必须用模糊相似矩阵生成一个模糊等价矩阵。直接用模糊相似关系进行分类出现的问题：例6.5设有五种矿石，按其颜色、比重等性质得出描述其“相似程度”的模糊关系矩阵如下：（1）判断是什么矩阵：矩阵R的自反性、对称性是明显的，计算传递性：产生矛盾。给定一个模糊相似矩阵就可以得到一个模糊等价矩阵。7.4模糊Ｋ－均值算法武汉理工大学①任选K个聚类中心；②按最近邻规则聚类；③根据聚类结果计算新的聚类中心，比较新旧聚类中心是否相等；④新旧中心相等，结束；否则回到②。模糊K-均值算法基本思想：首先设定一些类及每个样本对各类的隶属度；然后通过迭代，不断调整隶属度至收敛。K-均值算法回顾：模糊K-均值算法

由聚类分析中动态聚类法中的K-均值算法派生出来。(1)确定模式类数K，1<K<N，N为样本个数。步骤：加权平均例如，3个样本时：！例当有两个聚类中心时，样本j对两个类别隶属度的计算：类似于相对距离例：由U(0)可知，倾向于X1、X2、X3为一类，X4为一类。得如对X3有：类似地，可得到U(1)中其它元素，有8.1人工神经网络的发展人工神经网络(ArtificialNeuralNetworks，ANN)：简称神经网络。模拟人脑神经细胞的工作特点：与目前按串行安排程序指令的计算机结构截然不同。*单元间的广泛连接；*并行分布式的信息存贮与处理；*自适应的学习能力等。优点：(1)较强的容错性;(2)很强的自适应学习能力；(3)可将识别和若干预处理融为一体进行；(4)并行工作方式；(5)对信息采用分布式记忆，具有鲁棒性。四个发展阶段：第一阶段：启蒙期，始于1943年。形式神经元的数学模型提出。第二阶段：低潮期，始于1969年。《感知器》(Perceptions)一书出版，指出局限性。第三阶段：复兴期，从1982年到1986年。Hopfield的两篇论文提出新的神经网络模型；《并行分布处理》出版，提出反向传播算法。第四个阶段：1987年至今，趋于平稳。回顾性综述文章“神经网络与人工智能”。8.2人工神经网络的概念武汉理工大学8.2.1生物神经元1．生物神经元的结构细胞体、树突、轴突和突触。2．生物神经元的工作机制兴奋和抑制两种状态。抑制状态的神经元由树突和细胞体接收传来的兴奋电位不应期产生输出脉冲输入兴奋总量超过阈值神经元被激发进入兴奋状态由突触传递给其它神经元人工神经元：生物神经元的简化模拟。人工神经元间的互连：信息传递路径轴突-突触-树突的简化；连接的权值：两个互连的神经元之间相互作用的强弱。图8.2人工神经元模型接收的信息(其它神经元的输出)

互连强度作比较的阈值n维输入向量X

输出输出函数8.2.2人工神经元及神经网络神经元的动作：输出函数f：也称作用函数，非线性。阈值型S型伪线性型f为阈值型函数时：设，点积形式：式中，8.2.3神经网络的学习学习：

同一个训练集的样本输入输出模式反复作用于网络，网络按照一定的训练规则自动调节神经元之间的连接强度或拓扑结构，使实际输出满足期望的要求或者趋于稳定。实质：1．Hebb学习规则典型的权值修正方法：Hebb学习规则、误差修正学习

如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度应该加强。神经网络的最重要特征之一。wij(t+1)：修正一次后的某一权值；η：学习因子，表示学习速率的比例常数；yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。由有：

神经元间的连接2.δ学习规则（3）更新权值，阈值可视为输入恒为（－1）的一个权值；（1）选择一组初始权值wij(1)；（2）计算某一输入模式对应的实际输出与期望输出的误差；式中，（4）返回(2)，直到对所有训练模式网络输出均能满足要求。dj，yj(t)：第j个神经元的期望输出与实际输出；xi(t)：第j个神经元的第i个输入。神经网络的学习体现在：η：学习因子；权值变化；网络结构变化。8.2.4神经网络的结构分类分层结构有明显层次，信息流向由输入层到输出层。——前馈网络

没有明显层次，任意两个神经元之间可达，具有输出单元到隐层单元或输入单元的反馈连接。——反馈网络相互连接结构8.3前馈神经网络武汉理工大学8.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。

感知器结构示意图*双层（输入层、输出层）；*两层单元之间为全互连；*连接权值可调。结构特点：*输出层神经元个数等于类别数（两类问题时输出层为一个神经元）。设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，θj：第j个神经元的阈值；wij：输入模式第i个分量与输出层第j个神经元间的连接权。令。取

有输出为

输出单元对所有输入数值加权求和，经阈值型输出函数产生一组输出模式。M类问题判决规则(神经元的输出函数)为*正确判决的关键：输出层每个神经元必须有一组合适的权值。*感知器采用监督学习算法得到权值；*权值更新方法：δ学习规则。算法描述第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。第二步：输入新的模式向量。第三步：计算神经元的实际输出。设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为第j个神经元的实际输出为第四步：修正权值。dj：第j个神经元的期望输出。第五步：转到第二步。当全部学习样本都能正确分类时，学习过程结束。经验证明，当η随k的增加而减小时，算法一定收敛。8.3.2BP网络BP网络：采用BP算法的多层感知器。误差反向传播算法认识最清楚、应用最广泛。性能优势：识别、分类1．多层感知器

针对感知器学习算法的局限性：模式类必须线性可分。输入层第一隐层第二隐层输出层中间层为一层或多层处理单元；前馈网络；结构：只允许一层连接权可调。2．BP算法两个阶段正向传播阶段：逐层状态更新反向传播阶段：误差BP算法的学习过程设：某层任一神经元j的输入为netj，输出为yj；相邻低一层中任一神经元i的输出为yi。jiwij：神经元i与j之间的连接权；f(∙)：神经元的输出函数。S型输出函数：θj：神经元阈值；h0：修改输出函数形状的参数。设：输出层中第k个神经元的实际输出为yk，输入为netk；与输出层相邻的隐层中任一神经元j的输出为yj。

对输入模式Xp，若输出层中第k个神经元的期望输出为dpk，实际输出为ypk，输出层的输出误差：若输入N个模式，网络的系统平均误差为：当输入Xp时，wjk的修正增量：其中，由式得到：令，可得输出单元的误差：输出单元的修正增量：

对于与输出层相邻的隐层中的神经元j和该隐层前低一层中的神经元i：

输出层中神经元输出的误差反向传播到前面各层，对各层之间的权值进行修正。改进的权值修正：——收敛快、权值平滑变化α：平滑因子，0<α<1。BP算法存在问题：*存在局部极小值问题；*算法收敛速度慢；*隐层单元数目的选取无一般指导原则；*新加入的学习样本影响已学完样本的学习结果。第八章

神经网络在模式识别中的应用武汉理工大学第八章

神经网络在模式识别中的应用8.1人工神经网络的基础知识8.2前馈神经网络8.3自组织特征映射网络8.4径向基函数（RBF）神经网络

8.1人工神经网络的基础知识8.1.1人工神经网络的发展历史其发展大致可细分为五个阶段：（1）起步阶段（1940年代-1950年代）：*1943年，心理学家McCulloch和数学家Pitts提出了形式神经元的数学模型，称为MP模型，标志着人工神经网络研究的开端。*1949年：心理学家Hebb提出了突触联系强度可变的设想，并基于此提出了神经元学习的准则，对后来的神经网络理论产生了深远影响。

8.1人工神经网络的基础知识（2）初步发展阶段（1950年代末-1960年代）：*1958年：Rosenblatt提出了感知器模型，引起了广泛关注。感知器具备了初步的学习、并行处理和分布存储特征，奠定了人工神经网络的研究基础。*1969年：Minsky和Papert在其著作《感知器》中指出了感知器的局限性，如无法解决异或（XOR）问题，导致神经网络研究进入低潮。（3）复兴阶段（1980年代）：*1982年：Hopfield引入了网络能量函数的概念，提出了Hopfield网络，适用于联想记忆和优化计算。*1986年：Rumelhart等人提出了多层感知器模型(MLP)，克服了单层感知器的局限性，成为广泛使用的网络模型。

8.1人工神经网络的基础知识（4）多样化发展阶段（1990年代）：*1990年代：支持向量机（SVM）的提出，与神经网络在性能上的优劣成为研究热点。（5）深度学习阶段（2000年代至今）：*2006年：Hinton提出了深度学习算法，使神经网络性能大幅提升，重新激起了研究热潮。

8.1人工神经网络的基础知识8.1.2生物神经元1．生物神经元的结构细胞体、树突、轴突和突触。

8.1人工神经网络的基础知识2．生物神经元的工作机制兴奋和抑制两种状态。抑制状态的神经元由树突和细胞体接收传来的兴奋电位不应期产生输出脉冲输入兴奋总量超过阈值神经元被激发进入兴奋状态由突触传递给其它神经元

8.1人工神经网络的基础知识8.1.3人工神经元人工神经元：生物神经元的简化模拟。连接的权值：两个互连的神经元之间相互作用的强弱。图8.2人工神经元模型接收的信息(其它神经元的输出)互连强度作比较的阈值n维输入向量X

输出输出函数人工神经元间的互连：信息传递路径轴突-突触-树突的简化；

8.1人工神经网络的基础知识图8-2人工神经元的结构

图8-2为一个简化的人工神经元结构，一个简化的人工神经元具有多个输入，每个输入与神经元之间有一定的连接权值。神经元的总输入是各输入的加权和，再减去一个阈值。表达式：：每个输入端与神经元之间

：神经元的输入：阈值的连接权值

8.1人工神经网络的基础知识神经元的输出y是对u的映射:其中

称之为激励函数，可以有很多形式，可以是简单的线性函数，也可以是具有任意阶导数的非线性函数。*当为阈值函数时，神经元就可以看成一个线性分类器。*当为Sigmoid函数时，神经元完成的是非线性映射：1个神经元的结构可以简化为如图8-3所示的形式。图8-3人工神经元的简化模型其中输入矢量为增广矢量最后一维=1，用代替阈值

8.1人工神经网络的基础知识8.1.4人工神经网络的特点1.非线性映射能力：能够逼近任意非线性映射关系，三层前馈网络理论上可逼近任意多元非线性函数。2.并行处理：采用并行处理方式，提高运算效率。3.联想记忆：具有联想记忆功能，可在执行阶段恢复出完整而准确的信息，即使输入信息不完整。5.鲁棒性和容错性：具有较强的鲁棒性和容错性，少数神经元的损坏不会破坏整个网络系统4.自学习能力：具备自我完善的自学习能力，对预测领域尤为重要。

8.2前馈神经网络8.2.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。

感知器结构示意图结构特点：*第一层（输入层）：将输入的特征值传输给下一层*第二层（计算单元）：结果输出

8.2前馈神经网络设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，θj：第j个神经元的偏置；wij：输入层第i个神经元与输出层第j个神经元间的连接权值。可能不止0和1。

输出为

如果把也看成一个权值，并且令写成更为简洁的形式：

感知器的学习算法同前面介绍的类似，只不过现在的输出权值可按如下式进行修正：

8.2前馈神经网络wij(t+1)：修正一次后的某一权值；η：学习步长，表示学习速率的比例常数；yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。

神经元间的连接由有：

8.2前馈神经网络8.2.2多层感知器图8-5多层感知器的结构*单层感知器只能解决线性可分的问题，多层感知器可以打破这一局限性，实现输入和输出之间的非线性映射。*图8-5表示的是n个输入、M个输出、若干个隐元的四层感知器,其中第一层为输入层、第2、3层称为隐层，第4层称为输出层。在多层感知器网络中，隐层的个数可以是一个，也可以是多个，隐层神经元的输出函数通常是Sigmoid函数。

8.2前馈神经网络从图8.5的网络结构中可以看出，多层感知器的神经元层级之间采用全连接的方式，上层神经元的输出作为输入推送给下一层的所有神经元。下面给出BP算法的具体步骤。（1）选定所有神经元权系数的初始值；（2）重复下述过程直到收敛为止。①从前向后计算各层神经元的实际输出②对输出层计算增量③从前向后计算隐层神经元的增量④修正各神经元的权值*BP算法的缺点：对初始值的依赖性较强，容易收敛到局部最小点，算法的收敛速度较慢*BP算法的改进途径：1.采用启发式学习方法2.采用更有效的优化算法

8.3自组织特征映射网络自组织神经网络是由Kohonen提出，通常称为自组织特征映射网络（SOM或SOFM），也叫Kohonen网络。SOM网络是一个两层结构，包括输入层和竞争层。输入层的神经元数量等于特征维数，竞争层由多个神经元组成一个方阵。输入层和竞争层之间是全互联的，竞争层的神经元在训练时存在侧向抑制，而在识别时没有任何连接。图8-6自组织神经网络结构8.3.1网络结构

8.3自组织特征映射网络8.3.2网络的识别过程在SOM网络中，训练完成后，通过输出层的某个区域来对应某一类模式。输入待识别模式时，计算输入特征向量与每个神经元权值之间的距离。以距离最小（欧氏距离）或矢量点积最大者作为获胜神经元，根据其所在区域确定模式类别。令输入输入特征矢量为X=,第j个神经元的权值为,则欧式距离为：矢量点积为：

8.3自组织特征映射网络8.3.2网络的学习过程下面给出网络训练算法：SOM网络的学习是一个迭代的过程。在第t次迭代中，一个神经元被选为获胜神经元，其领域内的神经元权值会被增强，领域外的神经元则受到抑制或不增强。邻域的形状可以是方形、圆形或多边形。（1）初始化：随机赋值所有竞争层神经元的权值每个神经元的权值矢量归一化单位长度，也就是，确定初始的领域，以及学习次数T和初始学习速率0<（2）输入训练样本归一化X=（3）计算训练样本X和每一个神经元之间的距离，并确定获胜神经元g<1

8.3自组织特征映射网络（4）调整连接权值：（5）对连接权值进行归一化：（6）重复（2）~（5）的过程，将全部训练样本训练一遍。（7）进行下一次迭代，t=t+1,更新和，小，最后变为0，一个神经元。（8）重复（2）~（7）的过程，直到t=T为止的区域也应该越来越小，最后只包含

8.4径向基函数（RBF）神经网络图8-7径向基函数神经网络的结构8.4.1网络结构

RBF神经网络是一种三层前向网络，包括输入层、隐层和输出层。隐层使用径向基函数作为“基”，将输入矢量映射到隐层空间。一旦RBF中心点确定，这种映射关系也确定。隐层到输出空间的映射是线性的，即输出是隐单元输出的线性加权和。总体上，输入到输出的映射是非线性的，这种结构加快了学习速度并避免了局部极小问题。

8.4径向基函数（RBF）神经网络8.4.2径向基函数所谓径向基函数，就是某种沿径向对称的标量函数。径向基函数可以取以下多种形式。（1）Gaussian函数：（2）Reflectedsigmoid函数：（3）逆Multiquadric函数：为该基函数的方差，也称其为扩展常数或宽度。

8.4径向基函数（RBF）神经网络8.4.3网络的学习过程

RBF神经网络的学习参数包括基函数的中心、方差及隐层到输出层的权值。在正规化RBF结构中，隐节点数等于样本数，基函数中心为样本本身，只需考虑扩展常数和输出权值。在广义RBF结构中，学习算法需确定隐节点数、基函数中心和扩展常数，并修正输出权值。根据基函数中心选取方法不同，RBF有多种学习方法，如梯度下降法、自组织选取中心法等。自组织选取中心的RBF学习法包括无监督自组织学习阶段和有监督学习阶段。1．基于C-means聚类算法的中心学习（1）初始化：选取h个互不相同的向量作为初始聚类中心（2）计算输入空间各样本点与聚类中心点的欧式距离，并将样本点分配到输入样本的各个聚类集合。结

束模式识别136/justinruan/Learning-ML学以致用，知行合一（实践篇）BP神经网络BackPropagation总结BP神经网络的算法流程：

(1)信号正向传递过程输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出

(2)误差反向传播过程输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值.137通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。BP神经网络

138n个节点q个节点m个节点VW

隐层的传递(激活)函数为f1(·)，输出层的传递(激活)函数为f2(·)∑f1(·)∑f2(·)BP神经网络正向传播隐层节点的输出为（将阈值写入求和项中）k=1,2,…,q输出层节点的输出为：

j=1,2,…,m至此B-P网络就完成了n维空间向量对m维空间的近似映射139VW

nqm

反向传播

140VW

nqm

输出层权值的变化

141VW

nqm

E∑f2(·)输出层权值142因为是输出层传递函数的偏微分VW

nqm

∑f2(·)输出层权值143于是输出层各神经元的权值调整公式为：因为

VW

nqm

∑f1(·)∑f2(·)隐层权值的变化

144VW

nqm

E隐层权值145145因为是隐层传递函数的偏微分VW

nqm

隐层权值146于是隐层各神经元的权值调整公式为：因为

VW

nqm

∑f1(·)∑f2(·)Sk-Learn中的多层感知器147Multi-layerPerceptronclassifierclasssklearn.neural_network.MLPClassifier(hidden_layer_sizes=(100,),activation='relu',*,solver='adam',alpha=0.0001,batch_size='auto',learning_rate='constant',learning_rate_init=0.001,power_t=0.5,max_iter=200,shuffle=True,random_state=None,tol=0.0001,verbose=False,warm_start=False,momentum=0.9,nesterovs_momentum=True,early_stopping=False,validation_fraction=0.1,beta_1=0.9,beta_2=0.999,epsilon=1e-08,n_iter_no_change=10,max_fun=15000)hidden_layer_sizes：tuple，第i个元素表示第i个隐藏层的神经元个数。activation：隐藏层激活函数，identity、logistic、tanh、relu。solver：权重优化算法，lbfgs、sgd、adam。alpha：正则化项参数。(L2regularizationterm)148Multi-layerPerceptronclassifierbatch_size：随机优化的minibatches的大小。learning_rate：学习率，constant、invscaling、adaptive。learning_rate_init：初始学习率。只有当solver为sgd或adam时才使用。power_t：逆扩展学习率的指数，只有当solver为sgd时才使用。max_iter：最大迭代次数。shuffle：是否在每次迭代时对样本进行清洗，当solver为sgd或adam时使用。tol：优化算法停止的条件。当迭代前后的函数差值小于等于tol时就停止。149Multi-layerPerceptronclassifierverbose：是否将过程打印出。momentum：梯度下降的动量，介于0到1之间，solver为sgd时使用。nesterovs_momentum：是否使用Nesterov动量。early_stopping：判断当验证效果不再改善时是否终止训练。validation_fraction：用作早起停止验证的预留训练集的比例，0到1之间。beta_1：估计一阶矩向量的指数衰减速率，[0,1)之间。beta_2：估计二阶矩向量的指数衰减速率，[0,1)之间。epsilon：数值稳定值，solver为adam时使用。150Multi-layerPerceptronclassifier返回值属性说明classes_：每个输出的类标签，大小为(n_classes,)。loss_：损失函数计算出的当前损失值。coefs_：列表中的第i个元素表示i层的权重矩阵。intercepts_：列表中第i个元素表示i+1层的偏差向量。n_iter_：迭代次数。n_layers_：层数。n_outputs_：输出的个数。out_activation_：输出激活函数的名称。151返回值方法说明fit(X,y)：拟合(训练)。get_params()：获取参数。predict(X)：进行预测。predict_log_proba(X)：对数概率估计。predict_proba(X)：概率估计。score(X,y)：返回给定测试数据和标签的平均准确度。set_params()：设置参数。MNIST手写数字识别MNIST数据集，它有着70000张规格为28x28大小的手写数字图片152trainset:(60000,785)testset:(10000,785)X_train=(60000,784)y_train=(60000,)X_train=(10000,784)y_train=(10000,)MNIST手写数字识别153Iteration1,loss=0.32009978Iteration2,loss=0.15347534Iteration3,loss=0.11544755Iteration4,loss=0.09279764Iteration5,loss=0.07889367Iteration6,loss=0.07170497Iteration7,loss=0.06282111Iteration8,loss=0.05530788Iteration9,loss=0.04960484Iteration10,loss=0.04645355Trainingsetscore:0.986800Testsetscore:0.970000感知器的测试集Score=0.8897VW

nqm

因只迭代10轮，Loss还没有收敛，训练结束时会有警告。先忽略它们。隐层权重的可视化输入数据由28x28像素的手写数字组成，输入有784个特征。因此，第一层权重矩阵的形状为（784，hidden_layer_sizes[0]）。这里，我们可以将单个权重矩阵可视化为28x28像素的图像。154dim=50输出权重的可视化输入数据由50维的隐向量，输出10个类别的预测第二层权重矩阵的形状为（50，10）。因此，我们可以将单个权重矩阵可视化为5x10像素的图像。155神经网络与Numpy156使用Numpy实现构造神经网络：参数layers：整数数组，输入，隐层1，…，输出157训练网络参数：输入特征x,标注label,学习率learning_rate158正向传播

VW

nqm

训练网络159VW

nqm

…….np.atleast_2d将输入的数组转化为至少两维

以输出层为例预测160正向传播161训练结果162隐层权重的可视化1639.1卷积神经网（ＣＮＮ）ＣＮＮ的典型结构全连接网络分类结果卷积层池化层卷积层池化层特征扁平化多次重复9.1.1

ＣＮＮ的引入图像里的一些特征范围远小于整幅图像一个神经元不会遍历整幅图像去找特征可以考虑用少量参数对图像进行局部连接9.1.1ＣＮＮ的引入在图像的不同区域可能出现相同或相近的特征图像左上角图像中部可以用同一参数检测同一特征9.1.1ＣＮＮ的引入从人眼角度图像下采样不会影响目标的识别下采样下采样使图像变小减少参数9.1.２

卷积运算1000010100100011001000100100100010106x6image1-1-1-11-1-1-11卷积核1-11-1-11-1-11-1卷积核2……滤波器的元素是待学习的参数每个滤波器检测一种特征(3x3).9.1.２

卷积运算1000010100100011001000100100100010106x6图像3-3步长stride=21-1-1-11-1-1-11卷积核9.1.２

卷积运算1000010100100011001000100100100010106x6图像3-1步长stride=１1-1-1-11-1-1-11卷积核9.1.２

卷积运算1000010100100011001000100100100010101-1-1-11-1-1-11卷积核3-1-3-1-310-3-3-3013-2-2-1步长stride=１9.1.２

卷积运算1000010100100011001000100100100010106x6图像3-1-3-1-310-3-3-3013-2-2-1-11-1-11-1-11-1-1-1-1-1-1-1-21-1-1-21-10-43步长stride=14x4图像特征图1-1-1-11-1-1-11卷积核１卷积核２9.1.２

卷积运算1000010100100011001000100100100010101000010100100011001000100100100010101000010100100011001000100100100010101-1-1-11-1-1-11卷积核1-11-1-11-1-11-11-1-1-11-1-1-111-1-1-11-1-1-11-11-1-11-1-11-1-11-1-11-1-11-1彩色图像卷积核

２9.1.２

卷积运算1000010100100011001000100100100010101-1-1-11-1-1-11卷积核1:2:3:…7:8:9:…13:14:15:…由36个参数减少为9个参数。4:10:16:1000010000113共享参数机制，参数减少9.1.３

池化3-1-3-1-310-3-3-3013-2-2-1-1-1-1-1-1-1-21-1-1-21-10-433013-1-0.75-0.75-0.5最大值池化平均值池化9.1.4扁平化3013-1130扁平化3013-1103全连接前向神经网络9.1.5典型的ＣＮＮ框架LeNet5诞生于1994年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。2012年，AlexNet是LeNet的一种更深更宽的版本。也首次在CNN中成功应用了ReLU、Dropout等技术。VGGＮet网络是第一个在各个卷积层使用更小的3×3过滤器（filter），并把它们组合作为一个卷积序列进行处理的网络。GoogleNet模型首次使用了Inception模块。ResNets模型是一种避免梯度消失的更容易优化的结构。鸣谢本节授课内容部分图片参考台湾大学李宏毅老师《深度学习》讲义和网上公开的资料，在此对原作者表示感谢！9.2循环神经网络（RNN）9.2.1

序列数据音频频谱图股票数据我爱模式识别Ilovepatternrecognition文本数据9.2.2

RNN的基本单元fs(t-1)s(t)y(t)x(t)数学模型：需要优化的参数：

目标函数：交叉熵

激活函数：

优化方法：梯度下降法fs(0)s(1)y(1)x(1)fs(2)y(2)x(2)fs(3)y(3)x(3)……不管输入、输出序列多长，只需要一个函数fＷ、Ｖ、Ｕ权重共享

9.2.2

RNN的展开图9.2.3ＲＮＮ权重矩阵的维度词汇预测：输入：一句话10个词，每词一个时间点，如t0-t9隐层神经元个数：100输入词向量维数：300如果则

的维数为：

的维数为：

9.2.4ＲＮＮ的几种输入输出形式

9.2.5深度RNNf1h0h1y1x1f1h2y2x2f1h3y3x3……f2b0b1c1f2b2c2f2b3c3……………

9.2.6双向ＲＮＮf1h0h1a1x1f1h2a2x2f1h3a3x3f2b0b1f2b2f2b3x1x2x3c1c2c3f3f3f3y1y2y3

9.2.7RNN应用举例－对话鸣谢本节授课内容部分图片参考网上公开资料，在此对原作者表示感谢！9.3长短时记忆网络LongShortTermMemoryNetwork,LSTM9.3.1基本结构9.3.2“门”运算T-1时刻的记忆到现在的记忆，可以在传送过程中发生信息的交互，增减信息“门”运算进行信息的选择遗忘门功能：决定从“细胞状态”中丢弃多少信息输入门功能：决定加什么新信息到“细胞状态”状态更新旧的记忆新的信息输出门9.3.3LSTM应用LSTM应用鸣谢本节授课内容部分图片参考网上公开资料，在此对原作者表示感谢！

第9章典型深度学习模型及应用武汉理工大学9.1深度学习9.2R-CNN系列原理及方法9.3长短时记忆网络9.4Transformer9.5深度学习应用实例目录9.1深度学习武汉理工大学9.1.1基本原理

深度学习是机器学习研究中的一个新的领域，其动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。深度学习的概念源于人工神经网络，它通过组合低层特征形成更加抽象的高层表示属性类别或特征，从而发现数据的分布式特征表示。其实质是通过构建具有很多隐层的机器学习模型和海量的训练数据，学习出更有用的特征，最终达到提升分类或预测准确性的目的。9.1.1训练过程

在网络的训练中，如果对所有层同时训练，时间复杂度太高；但若每次只训练一层，偏差会逐层传递，导致严重欠拟合。因此将训练过程分为两步：自下上升的非监督学习。用无标定数据训练第一层，学习得到第一层的参数，再逐层向上训练，在学习得到第层后，将层的输出作为第层的输入，训练第层，由此分别得到各层的参数。这是一个无监督训练过程，进行特征学习。自顶向下的监督学习。通过带标签的数据来训练网络，将得到的误差自顶向下传输，来对整个多层模型的参数进行调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x＇尽可能一致。这是一个有监督训练过程。9.1.1典型模型受限玻尔兹曼机（RestrictBoltzmannMachine，RBM）深度置信网络（DeepBeliefNets，DBN）卷积神经网络（ConvolutionalNeuralNetworks，CNN）9.1.2受限玻尔兹曼机

受限玻尔兹曼机（RBM）是一种生成随机神经网络，主要用于特征提取和降维。整个网络为一个二部图，包含两层：可见层和隐层，层内各节点相互独立，层间各节点两两互连，且所有节点都是随机二值变量节点。9.1.3深度置信网络在靠近可见层的部分使用贝叶斯信念网络，而在最远离可见层的部分使用RBM就得到了深度置信网络(DBN)模型，它由Hinton等人于2006年提出。这是一个概率生成模型，其生成模型建立一个观察数据和标签之间的联合分布。9.1.4卷积神经网络20世纪60年代，Hubel和Wiesel在研究猫脑皮层时，发现了一种独特的神经网络结构，可以有效降低反馈神经网络的复杂性，进而提出了卷积神经网络，它利用空间相对关系减少参数数目以提高训练性能。现在，卷积神经网络已经发展成为一种高效的图像识别方法。9.1.4卷积神经网络图像里的一些特征范围远小于整幅图像一个神经元不会遍历整幅图像去找特征可以考虑用少量参数对图像进行局部连接9.1.4卷积神经网络在图像的不同区域可能出现相同或相近的特征图像左上角图像中部可以用同一参数检测同一特征卷积运算9.1.4卷积神经网络从人眼角度图像下采样不会影响目标的识别下采样下采样使图像变小减少参数9.1.4卷积神经网络1000010100100011001000100100100010106x6image1-1-1-11-1-1-11卷积核1-11-1-11-1-11-1卷积核2……滤波器的元素是待学习的参数每个滤波器检测一种特征(3x3).卷积运算9.1.4卷积神经网络1000010100100011001000100100100010106x6图像3-3步长stride=21-1-1-11-1-1-11卷积核卷积运算9.1.4卷积神经网络1000010100100011001000100100100010106x6图像3-3步长stride=21-1-1-11-1-1-11卷积核卷积运算9.1.4卷积神经网络1000010100100011001000100100100010101-1-1-11-1-1-11卷积核3-1-3-1-310-3-3-3013-2-2-1步长stride=１卷积运算9.1.4卷积神经网络1000010100100011001000100100100010106x6图像3-1-3-1-310-3-3-3013-2-2-1-11-1-11-1-11-1-1-1-1-1-1-1-21-1-1-21-10-43步长stride=1特征图1-1-1-11-1-1-11卷积核１卷积核２4x4图像卷积运算9.1.4卷积神经网络1000010100100011001000100100100010101000010100100011001000100100100010101000010100100011001000100100100010101-1-1-11-1-1-11卷积核1-11-1-11-1-11-11-1-1-11-1-1-111-1-1-11-1-1-11-11-1-11-1-11-1-11-1-11-1-11-1彩色图像卷积核

２卷积运算9.1.4卷积神经网络1000010100100011001000100100100010101-1-1-11-1-1-11卷积核共享参数机制，参数减少1:2:3:…7:8:9:…13:14:15:…由36个参数减少为9个参数。4:10:16:1000010000113卷积运算9.1.4卷积神经网络池化3-1-3-1-310-3-3-3013-2-2-1-1-1-1-1-1-1-21-1-1-21-10-433013-1-0.75-0.75-0.5最大值池化平均值池化9.1.4卷积神经网络扁平化3013-1130扁平化3013-1103全连接前向神经网络9.1.4卷积神经网络典型框架LeNet5诞生于1994年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。2012年，AlexNet是LeNet的一种更深更宽的版本。也首次在CNN中成功应用了ReLU、Dropout等技术。VGGＮet网络是第一个在各个卷积层使用更小的3×3过滤器（filter），并把它们组合作为一个卷积序列进行处理的网络。GoogleNet模型首次使用了In