模式识别理论及应用 人工神经网络课件

武汉大学电子信息学院 IPL 第八章人工神经网络 模式识别理论及应用PatternRecognition MethodsandApplication 内容目录 IPL 第八章人工神经网络 8 1引言 3 2 4 5 8 2人工神经元模型 8 3神经网络学习方法 8 4前馈神经网络及其主要方法 8 5神经网络模式识别典型方法 1 8 6Matlab神经网络工具箱介绍及应用 6 第八章神经网络 3 8 1引言 生物神经网络 biologicalneuralnetwork BNN 特别是人脑的模拟 人工神经网络 artificialneuralnetwork ANN 由大量神经元经广泛互联组成的非线性网络 功能模块 数学模型 自底向上的综合方法 基本单元 功能模块 系统 神经元 神经网络 第八章神经网络 6 神经网络发展历史简介 M P神经元模型 McCulloch Pitts1943 Hebb神经元学习准则 Hebb 1949 感知机Perceptron Rosenblatt1958 Adaline WidrowandHoff Perceptron Minsky Papert 1969 Hopfield模型 Hopfield 1982 多层感知机MLP与反向传播算法BP Rumelhart 1986 引言 第八章神经网络 7 神经网络的特点 自学习自适应并行处理分布表达与计算 引言 第八章神经网络 8 神经网络的应用 NN本质上可以理解为函数逼近 可以应用到众多领域 优化计算信号处理智能控制模式识别机器视觉等 引言 第八章神经网络 9 神经网络的应用 AerospaceHighperformanceaircraftautopilots flightpathsimulations aircraftcontrolsystems autopilotenhancements aircraftcomponentsimulationsAutomotiveAutomobileautomaticguidancesystems warrantyactivityanalyzersBankingCheckandotherdocumentreaders creditapplicationevaluators 引言 第八章神经网络 10 神经网络的应用 DefenseTargettracking objectdiscrimination facialrecognition newkindsofsensors sonar radarandimagesignalprocessingElectronicsCodesequenceprediction integratedcircuitchiplayout chipfailureanalysis machinevision voicesynthesisRoboticsTrajectorycontrol manipulatorcontrollers visionsystemsSpeechSpeechrecognition speechcompression speechsynthesis 引言 第八章神经网络 11 神经网络的应用 SecuritiesMarketanalysis stocktradingadvisorysystemsTelecommunicationsImageanddatacompression automatedinformationservices real timetranslationofspokenlanguageTransportationTruckbrakediagnosissystems vehiclescheduling routingsystems 引言 第八章神经网络 12 8 2神经元 生物神经网络 BiologicalNeuralNetwork BNN 神经元 neuron神经元经突触传递信号给其他神经元 胞体或树突 1011个神经元 人脑104个连接 神经元神经元基本工作机制 状态 兴奋与抑制互联 激励 处理 阈值 第八章神经网络 13 神经元模型 常用神经元模型 NeuronModel 多输入 单输出 带偏置R个输入pi R 即R维输入矢量pn netinput n Wp b R个权值wi R 即R维权矢量w阈值b输出a f n f transferfunction 神经元模型 第八章神经网络 14 常用输出函数 阈值函数 神经元模型 第八章神经网络 15 线性输出函数 神经元模型 PurelinTransferFunction 第八章神经网络 16 Sigmoid函数 SigmoidFunction 特性 值域a 0 1 非线性 单调性无限次可微 n 较小时可近似线性函数 n 较大时可近似阈值函数 神经元模型 第八章神经网络 17 8 3神经网络的学习方法 神经网络的学习 从环境中获取知识并改进自身性能 主要指调节网络参数使网络达到某种度量 又称为网络的训练学习方式 监督学习非监督学习再励学习学习规则 learningrule 误差纠正学习算法Hebb学习算法竞争学习算法 第八章神经网络 18 监督学习 教师 神经网络 比较 环境 实际输出 输入 期望输出 误差信号 对训练样本集中的每一组输入能提供一组目标输出网络根据目标输出与实际输出的误差信号来调节网络参数 p n t n a n e n 第八章神经网络 19 非监督学习与再励学习 非监督学习 不存在教师 网络根据外部数据的统计规律来调节系统参数 以使网络输出能反映数据的某种特性再励学习 外部环境对网络输出只给出评价信息而非正确答案 网络通过强化受奖励的动作来改善自身的性能 学习方法 第八章神经网络 20 Hebb学习 Hebb学习规则 Hebb学习规则的物理解释 输入输出同时兴奋时 相应的权值得到加强几乎所有的神经网络学习算法可看成Hebb学习规则的变形 学习常数 学习方法 第八章神经网络 21 误差纠正学习 对于输出层第k个神经元的实际输出 ak n 目标输出 tk n 误差信号 ek n tk n ak n 目标函数为基于误差信号ek n 的函数 如误差平方和判据 sumsquarederror SSE 或均方误差判据 meansquarederror MSE 即SSE对所有样本的期望 学习方法 第八章神经网络 22 误差纠正学习 梯度下降法 学习方法 对于感知器和线性网络 delta学习规则 对于多层感知器网络 扩展的delta学习规则 bp算法 第八章神经网络 23 竞争学习 输出神经元之间有侧向抑制性连接 较强单元获胜并抑制其他单元 独处激活状态 Winnertakesall WTA 学习方法 第八章神经网络 24 8 4前馈神经网络及其主要方法 前馈神经网络 feedforwardNN 各神经元接受前级输入 并输出到下一级 无反馈 可用一有向无环图表示 前馈网络通常分为不同的层 layer 第i层的输入只与第i 1层的输出联结 可见层 输入层 inputlayer 和输出层 outputlayer 隐层 hiddenlayer 中间层 第八章神经网络 26 感知器 感知器 perceptron 单层网络 通过监督学习建立模式识别能力 前馈网络 第八章神经网络 27 感知器目标输出的编码方法 前馈网络 一个输出单元对应一个类别 如果输入训练样本的类别标号是i 则对应的目标输出编码为 第i个输出节点为1 其余节点均为0 第八章神经网络 28 感知器学习算法 感知器学习算法 前馈网络 对应于线性判别函数对线性可分问题 算法收敛 对线性不可分的数据 算法不收敛 第八章神经网络 29 多层感知器 多层感知器 Multi LayerPerceptron MLPArchitecture 前馈网络 第八章神经网络 30 多层感知器的一致逼近性 单个阈值神经元可以实现任意多输入的与 或及与非 或非逻辑门任何逻辑函数可由两层前馈网络实现当神经元的输出函数为Sigmoid等函数时 两层前馈网络可以逼近任意的多元非线性函数MLP的适用范围大大超过单层网络 前馈网络 第八章神经网络 31 XOR问题 任何一个逻辑电路都可以只用XOR门来实现 XOR是通用门 universallogicgate 感知器不能解决XOR问题两层感知器可以解决XOR问题 前馈网络 第八章神经网络 32 反向传播 BP 算法 多层感知器的中间隐层不直接与外界连接 其误差无法估计反向传播算法 从后向前 反向 逐层 传播 输出层的误差 以间接算出隐层误差 分两个阶段 正向过程 从输入层经隐层逐层正向计算各单元的输出反向过程 由输出层误差逐层反向计算隐层各单元的误差 并用此误差修正前层的权值 前馈网络 第八章神经网络 33 正向过程 正向过程 前馈网络 第八章神经网络 34 梯度下降 gradientdecent 法 前馈网络 准则函数 sumsquarederror SSE 权值修正 梯度下降法 第八章神经网络 35 Case1 输出层权值修正 前馈网络 对于sigmoid函数 局部梯度 扩展delta学习规则 第八章神经网络 36 Case2 隐层权值修正 前馈网络 后层的全部单元都受nj的影响 第八章神经网络 37 BP算法的步骤 初始值选择前向计算 求出所有神经元的输出对输出层计算 从后向前计算各隐层 计算并保存各权值修正量 修正权值 判断是否收敛 如果收敛则结束 不收敛则转至Step2 前馈网络 第八章神经网络 38 多层感知器的设计 两层感知器可以逼近任意的多元非线性函数输入层单元数 输入变量 特征维数输出层单元数 模式类数 待逼近的函数个数隐层单元数 无有效方法网络初始化对结果有影响 通常用较小的随机数学习率 的选择 0 1 3 增加惯性项的BP算法 前馈网络 第八章神经网络 39 径向基函数网络 径向基函数 radialbasisfunction RBF只有一个隐层 隐层单元采用径向基函数 隐层把原始的非线性可分的特征空间变换到另一个空间 通常是高维空间 使之可以线性可分输出为隐层的线性加权求和 采用基函数的加权和来实现对函数的逼近径向基函数 径向对称的标量函数k x xc 最常用的RBF是高斯核函数 前馈网络 第八章神经网络 40 径向基函数网络结构 前馈网络 第八章神经网络 41 径向基函数网络的训练 三组可调参数 隐单元的个数 隐单元基函数中心与方差xc 输出层权值wij估计方法 聚类的方法估计xc LMS方法估计wij 前馈网络 第八章神经网络 42 C Means算法双层神经网络实现 前馈网络 采用双层神经网络结构 如图所示 输入节点数等于输入模式矢量的维数隐层计算样本与各聚类中心的距离 其单元数等于类数 c 节点j与输入节点i的连接权值为wij wj代表第j类聚类中心输出层为 c中选1个最大 输入层 输出层 C 1MAXNET x1 x2 xR w1 w2 wc l 第八章神经网络 43 C Means算法 神经网络的训练 前馈网络 初始化 选择前c个样本x1 x2 xc初始化w1 w2 wc 并建立c个空聚类列表 K1 K2 Kc依次把样本x馈入网络并计算输出l 即按照最小距离法则对样本x进行分类 把该样本存入聚类列表Kl中 更新权值w1 w2 wc 用各聚类列表计算聚类均值 并用来更新相应权值 即作为各聚类新的代表点 若所有权值未发生变化 则停止 否则转2 第八章神经网络 44 8 5神经网络模式识别典型方法 MLP是模式识别中应用最多的的网络模型两种拓扑结构 ACON allclassesonenet 多输出型OCON oneclassonenet 单输出型 ACON OCON 第八章神经网络 45 ACON应用典型方法 ACON应用最多 典型方法是 网络的每个输入节点对应于样本的一个特征输出层单元采用 c中取1 编码 每个输出节点对应一个类 即输出层单元数 模式类数训练样本数据的期望输出 0 0 1 0 即其所属类的相应输出节点为1 其他节点均为0识别阶段 未知样本的类别判定为与输出值最大的节点对应的类别 前馈网络应用 第八章神经网络 46 前馈神经网络与模式识别 前馈神经网络与统计模式识别在方法上具有一定的等价关系 单层感知器vs 线性分类器多层感知器vs 非线性分类器径向基函数网络vs Parzen窗密度估计分类器 前馈网络应用 第八章神经网络 47 前馈神经网络与模式识别 多层感知器集特征提取与分类于一体 隐层进行非线性特征提取 将输入空间变换到隐层输出空间 使样本在此空间具有最好的可分性输出层进行分类决策 有时仅需线性分类 前馈网络应用 第八章神经网络 48 神经网络与贝叶斯分类器 已证明当神经网络输出采用 c中取1 编码 隐层和输出层神经元均采用Sigmoid函数 训练准则函数为最小MSE 则MLP的输出就是对贝叶斯后验概率的估计以两类情况为例 输入样本x 网络只有一个输出节点 输出为f x w 如果x 类 1 则期望输出为d 1 如果x 类 2 则期望输出为d 0 则训练的均方误差为 前馈网络应用 第八章神经网络 49 神经网络与贝叶斯分类器 前馈网络应用 第八章神经网络 50 8 6Matlab神经网络工具箱介绍 IntroductionNeuronModelandNetworkArchitecturesPerceptronsLinearFiltersRadialBasisNetworksApplications 第八章神经网络 51 讨论 人工神经网络