《模式识别》课件-第9讲神经网络分类器

PatternRecognition模式识别第9讲神经网络分类器

ArtificialNeuralNetworkClassifiers人工神经网络分类器人工神经网络输入输出由简单单元构成复杂的网络本质上的大规模并行计算分布式信息存储非线性逼近能力自适应学习能力∑θfx1x2xnw1w2wny

人工神经元模型1943，M-P模型沃伦·麦克洛克WarrenMcCulloch沃尔特·皮茨WalterPitts∑θfx1x2xnw1w2wny

人工神经元模型UnitStepf(u)1u

Sigmoidf(u)1u

ReLUf(u)u

ELUf(u)u

-1人工神经元网络HopfieldNetworkRestrictedBoltzmannMachine反馈型LSTMx1x2x3xnx4y1y2ym输入层隐藏层输出层前馈型

学习=优化调整

w&θ

人工神经元的学习规则

-1

学习信号生成器

误差反馈学习

δ规则

Widrow-Hoff规则

LMSE感知器

人工神经元的学习规则

Hebb学习

无监督相关学习

有监督误差反馈学习

-1

学习信号生成器

人工神经网络的学习规则状态更新逐层更新学习x1x2x3xnx4y1y2ym输入输出

误差反向传播人工神经网络的学习规则竞争学习Winner-Take-All输入x1x2x3xnx4y1y2ym输出

逐层训练侧抑制人工神经网络的学习规则概率学习BoltzmannMachine

P(y=1)1u隐见神经元vi1vi2vo2vi3h1h2vo3vo1隐见神经元输出输入显见神经元显见神经元x1x2x3xnx4ω1∑θf(x)ω2ω3ωc∑θf(x)∑θf(x)∑θf(x)

单层感知器网络1-1-11两层感知器网络x1x2∑θf(x)∑θf(x)ω1∑θf(x)h2h1o1-1-11

线性组合非线性函数o(x)=0o(x)=1o(x)=1

多层感知器网络x1x2x3xnx4ω2ω1ωc∑θf(x)∑θf(x)∑θf(x)∑θf(x)∑θf(x)∑θf(x)∑θf(x)

如何获得error=[𝒚_𝒅−𝒚(𝒕)]?x1x2x3xnx4ω2ω1ωc∑θf(x)∑θf(x)∑θf(x)∑θf(x)∑θf(x)∑θf(x)∑θf(x)状态更新误差反向传播Sigmoid

梯度下降法

BP神经网络

损失函数

深度学习x1x2x3xnx4y1y2ym输入层隐藏层输出层深（层数多）层数多，规模大强大的非线性映射能力逐层抽象，特征发现需要大规模并行计算需要大训练集人工神经网络发展史1943，M-PNeuron1957，Perceptron1969，Harshcritique2006，DBF1989，UAT1995，SVM2012，AlexNet1986，BPNetwork2022，ChatGPTh1h2h3v1v2v3v4玻尔兹曼机BoltzmannMachines,BM，Hinton，1986受限玻尔兹曼机RestrictedBoltzmannMachines,RBM对比散度学习算法ContrastiveDivergence，Hinton，2002h1h2h3v1v2v3v4h1h2h3v1v2v3v4h1h2h3深度信念网DeepBeliefNetwork,DBN，Hinton，2006深度信念网,DBN预训练调优分类决策贪心法逐层优化无监督BP算法随机梯度下降有监督Hubel&Wiesel，1968

Fukushima，1980LeCun

&Bengio，1998Alex&Hinton，2012局部感受野神经感知机LeNet-5AlexNet卷积神经网络，CNN局部感受野原理卷积实现特征提取多隐层的深度学习下采样进行降维LMSE损失函数BP算法LeNet1989-1998tanh激活函数共享权值特征图SGD杨立昆YannLeCunAlexNetReLU激活函数Dropout技术重叠最大池化GPU实现并行计算数据增强lyaSutskeverGeoffreyHintonAlexKrizhevskyh1