《模式识别原理、应用及实现》 课件 第9章典型深度学习模型及应用

9.1卷积神经网（ＣＮＮ）ＣＮＮ的典型结构全连接网络分类结果卷积层池化层卷积层池化层特征扁平化多次重复9.1.1

ＣＮＮ的引入图像里的一些特征范围远小于整幅图像一个神经元不会遍历整幅图像去找特征可以考虑用少量参数对图像进行局部连接9.1.1ＣＮＮ的引入在图像的不同区域可能出现相同或相近的特征图像左上角图像中部可以用同一参数检测同一特征9.1.1ＣＮＮ的引入从人眼角度图像下采样不会影响目标的识别下采样下采样使图像变小减少参数9.1.２

卷积运算1000010100100011001000100100100010106x6image1-1-1-11-1-1-11卷积核1-11-1-11-1-11-1卷积核2……滤波器的元素是待学习的参数每个滤波器检测一种特征(3x3).9.1.２

卷积运算1000010100100011001000100100100010106x6图像3-3步长stride=21-1-1-11-1-1-11卷积核9.1.２

卷积运算1000010100100011001000100100100010106x6图像3-1步长stride=１1-1-1-11-1-1-11卷积核9.1.２

卷积运算1000010100100011001000100100100010101-1-1-11-1-1-11卷积核3-1-3-1-310-3-3-3013-2-2-1步长stride=１9.1.２

卷积运算1000010100100011001000100100100010106x6图像3-1-3-1-310-3-3-3013-2-2-1-11-1-11-1-11-1-1-1-1-1-1-1-21-1-1-21-10-43步长stride=14x4图像特征图1-1-1-11-1-1-11卷积核１卷积核２9.1.２

卷积运算1000010100100011001000100100100010101000010100100011001000100100100010101000010100100011001000100100100010101-1-1-11-1-1-11卷积核1-11-1-11-1-11-11-1-1-11-1-1-111-1-1-11-1-1-11-11-1-11-1-11-1-11-1-11-1-11-1彩色图像卷积核

２9.1.２

卷积运算1000010100100011001000100100100010101-1-1-11-1-1-11卷积核1:2:3:…7:8:9:…13:14:15:…由36个参数减少为9个参数。4:10:16:1000010000113共享参数机制，参数减少9.1.３

池化3-1-3-1-310-3-3-3013-2-2-1-1-1-1-1-1-1-21-1-1-21-10-433013-1-0.75-0.75-0.5最大值池化平均值池化9.1.4扁平化3013-1130扁平化3013-1103全连接前向神经网络9.1.5典型的ＣＮＮ框架LeNet5诞生于1994年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。2012年，AlexNet是LeNet的一种更深更宽的版本。也首次在CNN中成功应用了ReLU、Dropout等技术。VGGＮet网络是第一个在各个卷积层使用更小的3×3过滤器（filter），并把它们组合作为一个卷积序列进行处理的网络。GoogleNet模型首次使用了Inception模块。ResNets模型是一种避免梯度消失的更容易优化的结构。鸣谢本节授课内容部分图片参考台湾大学李宏毅老师《深度学习》讲义和网上公开的资料，在此对原作者表示感谢！9.2循环神经网络（RNN）9.2.1

序列数据音频频谱图股票数据我爱模式识别Ilovepatternrecognition文本数据9.2.2

RNN的基本单元fs(t-1)s(t)y(t)x(t)数学模型：需要优化的参数：

目标函数：交叉熵

激活函数：

优化方法：梯度下降法fs(0)s(1)y(1)x(1)fs(2)y(2)x(2)fs(3)y(3)x(3)……不管输入、输出序列多长，只需要一个函数fＷ、Ｖ、Ｕ权重共享

9.2.2

RNN的展开图9.2.3ＲＮＮ权重矩阵的维度词汇预测：输入：一句话10个词，每词一个时间点，如t0-t9隐层神经元个数：100输入词向量维数：300如果则

的维数为：

的维数为：

9.2.4ＲＮＮ的几种输入输出形式

9.2.5深度RNNf1h0h1y1x1f1h2y2x2f1h3y3x3……f2b0b1c1f2b2c2f2b3c3……………

9.2.6双向ＲＮＮf1h0h1a1x1f1h2a2x2f1h3a3x3f2b0b1f2b2f2b3x1x2x3c1c2c3f3f3f3y1y2y3

9.2.7RNN应用举例－对话鸣谢本节授课内容部分图片参考网上公开资料，在此对原作者表示感谢！9.3长短时记忆网络LongShortTermMemoryNetwork,LSTM9.3.1基本结构9.3.2“门”运算T-1时刻的记忆到现在的记忆，可以在传送过程中发生信息的交互，增减信息“门”运算进行信息的选择遗忘门功能：决定从“细胞状态”中丢弃多少信息输入门功能：决定加什么新信息到“细胞状态”状态更新旧的记忆新的信息输出门9.3.3LSTM应用LSTM应用鸣谢本节授课内容部分图片参考网上公开资料，在此对原作者表示感谢！

第9章典型深度学习模型及应用武汉理工大学9.1深度学习9.2R-CNN系列原理及方法9.3长短时记忆网络9.4Transformer9.5深度学习应用实例目录9.1深度学习武汉理工大学9.1.1基本原理

深度学习是机器学习研究中的一个新的领域，其动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。深度学习的概念源于人工神经网络，它通过组合低层特征形成更加抽象的高层表示属性类别或特征，从而发现数据的分布式特征表示。其实质是通过构建具有很多隐层的机器学习模型和海量的训练数据，学习出更有用的特征，最终达到提升分类或预测准确性的目的。9.1.1训练过程

在网络的训练中，如果对所有层同时训练，时间复杂度太高；但若每次只训练一层，偏差会逐层传递，导致严重欠拟合。因此将训练过程分为两步：自下上升的非监督学习。用无标定数据训练第一层，学习得到第一层的参数，再逐层向上训练，在学习得到第层后，将层的输出作为第层的输入，训练第层，由此分别得到各层的参数。这是一个无监督训练过程，进行特征学习。自顶向下的监督学习。通过带标签的数据来训练网络，将得到的误差自顶向下传输，来对整个多层模型的参数进行调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x＇尽可能一致。这是一个有监督训练过程。9.1.1典型模型受限玻尔兹曼机（RestrictBoltzmannMachine，RBM）深度置信网络（DeepBeliefNets，DBN）卷积神经网络（ConvolutionalNeuralNetworks，CNN）9.1.2受限玻尔兹曼机

受限玻尔兹曼机（RBM）是一种生成随机神经网络，主要用于特征提取和降维。整个网络为一个二部图，包含两层：可见层和隐层，层内各节点相互独立，层间各节点两两互连，且所有节点都是随机二值变量节点。9.1.3深度置信网络在靠近可见层的部分使用贝叶斯信念网络，而在最远离可见层的部分使用RBM就得到了深度置信网络(DBN)模型，它由Hinton等人于2006年提出。这是一个概率生成模型，其生成模型建立一个观察数据和标签之间的联合分布。9.1.4卷积神经网络20世纪60年代，Hubel和Wiesel在研究猫脑皮层时，发现了一种独特的神经网络结构，可以有效降低反馈神经网络的复杂性，进而提出了卷积神经网络，它利用空间相对关系减少参数数目以提高训练性能。现在，卷积神经网络已经发展成为一种高效的图像识别方法。9.1.4卷积神经网络图像里的一些特征范围远小于整幅图像一个神经元不会遍历整幅图像去找特征可以考虑用少量参数对图像进行局部连接9.1.4卷积神经网络在图像的不同区域可能出现相同或相近的特征图像左上角图像中部可以用同一参数检测同一特征卷积运算9.1.4卷积神经网络从人眼角度图像下采样不会影响目标的识别下采样下采样使图像变小减少参数9.1.4卷积神经网络1000010100100011001000100100100010106x6image1-1-1-11-1-1-11卷积核1-11-1-11-1-11-1卷积核2……滤波器的元素是待学习的参数每个滤波器检测一种特征(3x3).卷积运算9.1.4卷积神经网络1000010100100011001000100100100010106x6图像3-3步长stride=21-1-1-11-1-1-11卷积核卷积运算9.1.4卷积神经网络1000010100100011001000100100100010106x6图像3-3步长stride=21-1-1-11-1-1-11卷积核卷积运算9.1.4卷积神经网络1000010100100011001000100100100010101-1-1-11-1-1-11卷积核3-1-3-1-310-3-3-3013-2-2-1步长stride=１卷积运算9.1.4卷积神经网络1000010100100011001000100100100010106x6图像3-1-3-1-310-3-3-3013-2-2-1-11-1-11-1-11-1-1-1-1-1-1-1-21-1-1-21-10-43步长stride=1特征图1-1-1-11-1-1-11卷积核１卷积核２4x4图像卷积运算9.1.4卷积神经网络1000010100100011001000100100100010101000010100100011001000100100100010101000010100100011001000100100100010101-1-1-11-1-1-11卷积核1-11-1-11-1-11-11-1-1-11-1-1-111-1-1-11-1-1-11-11-1-11-1-11-1-11-1-11-1-11-1彩色图像卷积核

２卷积运算9.1.4卷积神经网络1000010100100011001000100100100010101-1-1-11-1-1-11卷积核共享参数机制，参数减少1:2:3:…7:8:9:…13:14:15:…由36个参数减少为9个参数。4:10:16:1000010000113卷积运算9.1.4卷积神经网络池化3-1-3-1-310-3-3-3013-2-2-1-1-1-1-1-1-1-21-1-1-21-10-433013-1-0.75-0.75-0.5最大值池化平均值池化9.1.4卷积神经网络扁平化3013-1130扁平化3013-1103全连接前向神经网络9.1.4卷积神经网络典型框架LeNet5诞生于1994年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。2012年，AlexNet是LeNet的一种更深更宽的版本。也首次在CNN中成功应用了ReLU、Dropout等技术。VGGＮet网络是第一个在各个卷积层使用更小的3×3过滤器（filter），并把它们组合作为一个卷积序列进行处理的网络。GoogleNet模型首次使用了Inception模块。ResNets模型是一种避免梯度消失的更容易优化的结构。9.1.4卷积神经网络典型结构全连接网络分类结果卷积层池化层卷积层池化层特征扁平化多次重复9.2R-CNN系列原理及方法武汉理工大学9.2.1概述R-CNN是目标检测算法中采用深度学习方法的典型方法。该方法是RossGirshick在2013年首次提出。该方法将传统图像特征提取方法与深度学习模型相结合，在PASCALVOC数据集上较往年目标检测算法最好的结果将平均准确率均值（meanAveragePrecision，mAP）提高了30%。后续的Fast-RCNN以及Faster-RCNN均是基于该算法的改进。

在R-CNN之前的目标检测算法使用滑窗依次判断所有可能的区域，普遍存在计算量大、检测速度慢的问题。R-CNN则首先提取一系列可能是物体的候选区域，然后在候选区域上自动提取特征。传统目标检测算法针对特定区域提取人工设定的各类特征（直方图，Haar，HOG），而R-CNN使用训练后的深度神经网络对特定区域进行特征提取。RCNN的缺点是候选框没有共享神经网络，因而结构复杂、参数较多。9.2.1算法结构

R-CNN算法主要包括四个主要的功能模块：基于selectivesearch的候选区域生成；基于AlexNet深度学习网络的特征提取；目标分类及区域选择；使用回归器修正候选框位置。9.2.1算法结构

Step1：基于selectivesearch的候选区域生成：首先使用基于Felzenszwalb提出的图像区域分割算法对图像进行初步分割，分割为多个小的区域；基于一定的规则对多个区域进行合并；输出候选区域；9.2.1算法结构Step2：基于AlexNet深度学习网络的特征提取：SelectiveSearch算法分割出的多个子区域需要通过特征提取算法提取该子区域的图像特征为该区域所属类别分类进行特征提取。R-CNN算法采用AlexNet深度学习网络来实现子区域特征提取9.2.1算法结构Step3：分类及区域选择：每个子区域分割后，通过AlexNet网络提取后的特征，采用SVM对其进行分类。在目标分类后，存在一个典型的问题就是区域重叠。非极大值抑制的算法（NMS）为解决该问题提供了一个解决的方案；9.2.1算法结构Step4：使用回归器修正候选框位置：上述模块通过推理过程，基于候选框区域可以判定所属的类别。其存在的问题在于候选框与真实的目标框之间存在一定的偏差，如图所示，检测目标汽车有个人为标注的理想区域，该区域可以表示为（Ground-truth），候选框经过推理计算后，其实际检测区域为（regionProposal）。与之间存在一定的位置偏差，其包括位置的偏差以及尺寸的偏差。如何能够将这个偏差通过一定的方法计算出来将有助于进一步提高检测目标的平均精度（AveragePrecision）；9.2.2原理及方法R-CNN作为一种典型的目标检测算法，取得了较好的检测效果，但是其存在计算量大的问题，为解决该问题RossGirshick在2015年发表了一篇论文提出了Fast-RCNN的方法，该方法在R-CNN基础上进行改进。该算法在标准数据集上在训练速度，识别准确率以及识别速度上较R-CNN算法有明显的提高。9.2.2算法结构将待检测图像生成多个候选区域；将整张图像输入CNN网络得到特征图，将Selective-Search算法生成的候选框投影到特征图上获取相应的特征矩阵；将每一个候选框的特征矩阵通过ROIpooling层缩放到7x7大小的特征图，将特征图展平通过全连接层得到预测结果；FastRCNN目标检测算法分为三步：9.3长短时记忆网络

武汉理工大学9.3基本结构9.3门运算T-1时刻的记忆到现在的记忆，可以在传送过程中发生信息的交互，增减信息“门”运算进行信息的选择9.3遗忘门功能：决定从“细胞状态”中丢弃多少信息9.3输入门功能：决定加什么新信息到“细胞状态”9.3状态更新旧的记忆新的信息9.3输出门9.3LSTM应用9.3LSTM应用9.4Transformer

武汉理工大学9.4模型结构Transformer是Google与2017年提出的一种NLP经典模型。Transformer模型使用了自注意力机制，该机制与过去的CNN，RCNN以及LSTM等深度学习模型有一定的区别。该模型早期应用在语言翻译，随着对该模型的深入研究，目前广泛应用在NLP，目标识别，目标检测等多个领域。9.4.1编码器结构9.4.1编码器结构1．词嵌入

词嵌入的特征提取已经有多种方法可以获取，通常采用Word2Vec、Glove等算法预训练得到，也可以在Transformer中训练得到。2.位置嵌入位置嵌入表示词出现在短句中的位置。因为Transformer不采用RNN的结构，而是使用全局信息，不能利用单词的顺序信息，而这部分信息对于NLP来说非常重要。所以Transformer中使用位置嵌入来记录词在序列中的相对或绝对位置。3.自注意力机制从每个编码器的输入向量上创建3个向量。对于每个单词，创建一个Query向量，一个Key向量和一个Value向量。这些向量是通过词嵌入乘以训练过程中创建的3个训练矩阵而产生的(同一个x通过不同矩阵得到Query、Key、Value)。4.多头注意力机制对于多头注意力机制，使用了缩放点积注意力和多头注意力。

缩放点积注意力是指在点乘的基础上额外加入了缩放计算，在实际操作时，Query、Key、Value都合并成矩阵Q、K、V。多头注意力是指将前面的Q、K、V进行不同的线性映射，生成多个头(head)，每个头被映射到不同的空间，学习到的侧重点也不同，由此能够将更多的信息参与到模型中。9.4.2解码器结构解码器和编码器的结构相似，但解码器相较于编码器有两点不同。解码器结构的开始部分多了一个掩码多头。掩码多头通过添加掩码，在计算位置的词的自注意力时仅与计算位置小于的词参与计算，确保预测第1个位置时不会接触到未来的信息。多头注意力的输入数据两者不相同。编码器部分的多头注意力输入的Query、Key、Value都来自上一层编码器的输出，解码器部分的多头注意力输入的Key、Value来自编码器的最终输出，Query来自掩码多头的输出,。解码器部分：Q是解码的单词，Key、Value是编码器单词，模型每次计算当前词及其上文。编码器可以并行计算，但解码器由于要使用前一个位置的输出作为当前位置的Q值所以只能串行计算。9.5深度学习应用实例

武汉理工大学9.5车轴字符识别9.5算法流程图像增强图像增强可以提高图像的清晰度和对比度，使得字符在图像中更加明显和可见，从而提高字符检测和识别的准确性。2)字符检测字符检测的主要目的是确定字符位置，为后续图像纠正和字符识别提供字符位置信息。9.5算法流程3)图像纠正针对拍摄过程中，普遍存在的字符倾斜问题，根据字符检测得到的位置信息，对图像进行纠正以提高对字符的识别准确率。4)字符识别自然场景的图像字符识别比较复杂，字符部分可能出现弯曲阵列、皱纹变形、不完整等各种形式，还会有纹理，光照等背景因素影响。模式识别92/justinruan/Learning-ML学以致用，知行合一（实践篇）残差网络随着网络的加深，出现了训练集准确率下降的现象，可以确定这不是由于Overfit过拟合造成的残差网络（ResidualNetwork，ResNet）通过给非线性的卷积层增加直连边（ShortcutConnection）的方式来提高信息的传播效率，缓解了在深度神经网络中增加深度带来的梯度消失问题。ResNet由微软研究院的何恺明（KaimingHe）等四名华人提出，通过使用ResNetUnit成功训练出了152层的神经网络在ILSVRC2015比赛中取得冠军，取得了5项第一，刷新历史93ResNet残差函数

94残差单元

95残差单元(块)残差路径shortcut恒等映射残差单元残差路径可以大致分成2种一种有bottleneck结构，即下图右中的1×1卷积层，用于先降维再升维，主要出于降低计算复杂度的现实考虑，称之为“bottleneckblock”，另一种没有bottleneck结构，如下图左所示，称之为“basicblock”96ResidualBlock残差单元shortcut路径大致也可以分成2种，取决于残差路径是否改变了featuremap数量和尺寸，一种是将输入x原封不动地输出，另一种则需要经过1×1卷积来升维or/and降采样，主要作用是将输出与F(x)路径的输出保持shape一致，对网络性能的提升并不明显97ResidualBlock/p/352790748ResNet为多个ResidualBlock的串联，下面直观看一下ResNet-34与34-layerplainnet和VGG的对比98VGG19ResNet34plain34ResNet为多个ResidualBlock的串联，下面直观看一下ResNet-34与34-layerplainnet和VGG的对比99ResNet为多个ResidualBlock的串联，下面直观看一下ResNet-34与34-layerplainnet和VGG的对比100残差网络ResNet的设计有如下特点：与pla