课件：神经网络应用补.ppt

第7章（补） 人工神经网络 在智能传感器中的应用,7.1 神经网络基本知识 7.2 前向网络 7.3 反馈网络 7.4 神经网络在智能传感器中的应用,7.1 神经网络基本知识,7.1.1 人工神经网络模型,图 7-1 基本神经元模型,神经元的输出可描述为,式中：f(Ai)表示神经元输入输出关系的函数，称为作用函数或传递函数，常用的作用函数有如图9-2所示的三种：阈值型、S型和分段线性型(伪线性型)。 这样，就有三类神经元模型。,图 7-2 常见的作用函数形式 (a) 阈值型； (b) S型； (c) 伪线性型,一、 阈值型神经元 阈值型神经元是一种最简单的神经元，由美国心理学家Mc.Culloch和数学家Pitls共同提出，因此，通常称为M-P模型。 M-P模型神经元是二值型神经元，其输出状态取值为1或0， 分别代表神经元的兴奋状态和抑制状态。 其数学表达式为,对于M-P模型神经元，权值Wji可在(-1, 1)区间连续取值。取负值表示抑制两神经元间的连接强度， 取正值表示加强。,二、S型神经元模型 这是常用的一种连续型神经元模型，输出值是在某一范围内连续取值的。输入输出特性多采用指数函数表示， 用数学公式表示如下：,S型作用函数反映了神经元的非线性输入输出特性。,三、 分段线性型 神经元的输入输出特性满足一定的区间线性关系， 其输出可表示为,式中, C、AC表示常量。,7.1.2 神经网络结构,一、 分层网络,图 7-3 分层网络功能层次,二、 相互连接型结构,图 7-4 相互连接型网络,7.1.3 学习与记忆,一、 神经网络的学习,Hebb学习规则可以描述为：如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。用算法表达式表示为 Wji(t+1) = Wji(t)+xi(t), xj(t) 式中： Wji(t+1)修正一次后的某一权值； 常量，决定每次权值修正量， 又称学习因子； xi(t)、xj(t)t时刻第i个、第j个神经元的状态。,误差修正算法是神经网络学习中另一个更重要的方法。 像感知机、BP网络学习均属此类。最基本的误差修正学习方法，即通常说的学习规则，可由如下四步来描述： (1) 任选一组初始权值Wji(0)。 (2) 计算某一输入模式对应的实际输出与期望输出的误差。 (3) 更新权值 Wji(t+1) = Wji(t)+dj-yj(t)xi(t) 式中： 学习因子； dj、yj第j个神经元的期望输出与实际输出； xj第j个神经元的输入。 (4) 返回步骤(2)，直到对所有训练模式、网络输出均满足误差要求为止。,二、 神经网络的记忆 神经网络记忆包含两层含义：信息的存储与回忆。网络通过学习将所获取的知识信息分布式存储在连接权的变化上，并具有相对稳定性。一般来讲，存储记忆需花较长时间，因此这种记忆称为长期记忆，而学习期间的记忆保持时间很短， 称为短期记忆。 7.1.4 神经网络的信息处理功能 神经网络可以完成大量的信息处理任务，正因为这样，其应用涉及相当广泛的领域。归纳起来，神经网络的信息处理任务主要包括：,一、 数字上的映射逼近 通过一组映射样本(x1, y1), (x2, y2), , (xn, yn)，网络以自组织方式寻找输入、输出之间的映射关系： yi=f(xi)。 二、 联想记忆 联想记忆是指实现模式完善、恢复相关模式的相互回忆等， 典型的有如Hopfield网络等。,7.2 前 向 网 络,7.2.1 感知机,图 9-5 基本感知机结构,感知机的学习算法为,i=1, 2, , n,式中：为学习因子，在(0, 1区间取值。期望输出与实际输出之差为,输入状态 xi(k) = 1 或 0,7.2.2 BP网络,一、BP网络模型,图 9-6 一个三层BP网络结构,一般选用下列S形作用函数：,且处理单元的输入、 输出值可连续变化。 BP网络模型实现了多层网络学习的设想。当给定网络的一个输入模式时，它由输入层单元传到隐层单元，经隐层单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式， 故称为前向传播。如果输出响应与期望输出模式有误差，且不满足要求，那么就转入误差后向传播，即将误差值沿连接通路逐层向后传送，并修正各层连接权值。,(7-10),二、 学习算法,假设BP网络每层有N个处理单元，作用函数如(7-10)式所示，训练集包含M个样本模式对(xk, yk)。对第p个训练样本(p=1, 2, ,M)单元j的输入总和(即激活函数)记为apj，输出记为Opj, 它的第i个输入(也即第i个神经元的输出)为Opi, 则,如果任意设置网络初始权值，那么对每个输入模式p, 网络输出与期望输出一般总有误差。定义网络误差为,式中，dpj表示对第p个输入模式输出单元j的期望输出。学习规则的实质是利用梯度最速下降法，使权值沿误差函数的负梯度方向改变。 若权值Wji的变化量记为Wji, 则,而,这里，令,于是,这就是通常所说的学习规则。,当Opj表示输出层单元的输出时，其误差,当Opj表示隐单元输出时，其误差,故,至此，BP算法权值修正公式可统一表示为,对于输出单元,对于隐单元,(9-29),在实际应用中，考虑到学习过程的收敛性，通常为了使学习因子取值足够大，又不致于产生振荡，在权值修正公式(7-29)中再加一个势态项， 得,式中，是常数，称势态因子，它决定上一次学习权值对本次权值更新的影响程度。 一般地， BP网络学习算法步骤描述如下： (1) 初始化网络及学习参数，如设置网络初始矩阵、学习因子、 参数等； (2) 提供训练样本，训练网络，直到满足要求； (3) 前向传播过程：对给定训练模式输入，计算网络的输出模式， 并与期望模式输出比较，若有误差，则执行(4)，否则，返回(2)；,(4) 后向传播过程： 计算同一层单元的误差pj。 修正权值和阈值,阈值即为i=0时的连接权值。, 返回(2)。 用网络的均方根值(RMS)误差来定量反映学习性能。其定义为,三、 竞争网络,1. 竞争学习网络结构,图 7-7 两层竞争网络,2. 竞争学习机理 竞争单元的处理分为两步：首先计算每个单元输入的加权和； 然后进行竞争， 产生输出。对于第j个竞争单元，其输入总和为,当竞争层所有单元的输入总和计算完毕，便开始竞争。竞争层中具有最高输入总和的单元被定为胜者，其输出状态为1，其它各单元输出状态为0。对于某一输入模式，当获胜单元确定后，便更新权值。也只有获胜单元权值才增加一个量，使得再次遇到该输入模式时，该单元有更大的输入总和。 权值更新规则表示为,7.3 反 馈 网 络,7.3.1 Hopfield网络结构,图 7-8 HNN网络结构,7.3.2 Hopfield神经网络A/D变换器,图 7-9 对称式4位A/D转换网络,图 7-10 迟滞现象,图 7-11 非对称HNN网A/D变换器,图 7-12 采用非对称结构的A/D转换关系,7.4 神经网络在智能传感器中的应用,7.4.1 纸浆浓度传感器非线性估计和动态标定的神经网络实现 一、问题提出,实际上， 传感器在整个测量范围的非线性特性可用一幂级数多项式来描述：,式中： y被测浓度； x传感器输出值； Wi(i=0, 1, , n)传感器的特性参数。,(7-35),二、 神经网络算法 对应每一个实际输入xi, 可得到一个非线性数据集1, x, x2, x3, ，xn这些可作为神经网络的输入模式，,图 7-13 权值训练原理示意图,三、 浓度传感器非线性估计及动态标定 浓度传感器的本质是非线性的。可将(7-35)式写成下列近似形式：,式中： y被测浓度； f传感器的输出频率值； fmax传感器的最大输出频率值。 因此可用f/fmax表示传感器的输出特征。,四、 实例分析及结论,传感器1：,传感器2：,传感器3：,图 7-14 拟合曲线,表 7-1 传感器输出及对应浓度估计值,7.4.2 神经网络在监测材料损伤中的应用,一、 问题提出 具有传感、执行、信号处理、通信与控制等功能的结构称之为智能结构。这种结构不仅具有承受载荷的能力，还具有感知和响应内外环境的变化，实现自检测、自监控、自校正、自适应、自修复等功能。下面介绍利用人工神经网络和埋入偏振型光纤传感器阵列，实时适应监测复合材料损伤，并指示损伤位置的智能结构系统模型。,二、 智能结构系统简介,图 7-15 智能结构系统图,三、前向BP网络处理器,图 7-16 三层BP网络,图 7-17 BP算法流程,四、 实验结果,表 7-2 BP网络学习样本数据,表7-3 在线仿真实验数及结果,7.4.3 神经网络滤波 一、问题提出 通常，由信号发生器产生的正弦波或三角波信号都不同程度地含有噪声干扰信号。 若我们将它作为精密测量供电信号或进行相位检测时，往往造成测量不精确等缺陷。消除噪声干扰的办法很多，下面提出一种采用神经网络学习记忆功能，实现对含噪正弦波或三角波信号的复原，即消除噪声干扰。,二、 自适应线性函数的最小二乘法(LMS)学习算法 为了简单起见，我们以输入矢量为二维的情况作为示例来进行讨论。 这时输入矢量X和权矢量W可以分别表示为,在采用线性函数的条件下，神经网络输出为,(7-42),权值修正公式为,(k)为误差，即,式中，d(k)为期望输出；y(k)为实际输出。,(7-43),三、 软件编程及说明 实现上述算法的软件编程如下(采用MATLAB语言)： disp(*欢迎使用*) disp(请输入训练次数) T=input( ) disp(请输入步长参数) l=input( ) disp(请输入所加噪声方差参数) m=input( ) t=0163 x=sin(t*2*pi/64) plot(t, x),grid x=x, -1 k=0 x1=0 for t=1163 if (t=16) x1=x1, t/16 elseif (t=48) x1=x1, 2-t/16 else x1=x1, -4+t/16 end k=k, t; end plot(k, x1),x1=x1, -1 w=rand(1, 65) q=10000; q0=0; k=0 for i=01T k=k, i; d=w*x e=1-d q2=q q=e*e w=w+(e*1)*x d1=w*x1 e1=-d1,w=w+(e1*1)*x1 q=q+e1*e1 q0=q0, q/2 subplot(212) hh=plot(k,q0) if q2q break; end end i w*x w*x1 xt=randn(1, 65),xt1=m*x1+x xt2=m*xt+x1 j=064 subplot(211) h1=plot(j, x1) grid subplot(212) hh=plot(j,xt2) grid y1=w*xt1 y2=w*xt2 h=figure(1) set(h, color, 1, 1, 1); h2=gca,1. 采样部分,图 7-18 采样所得正弦波和三角波,2. 学习部分 首先利用MATLAB中的rand ( )来产生满足64维初始权值W(0)。 按照(7-42)式和(7-43)式修正权向量，直到满足要求为止。选择不同步长，比较误差变化情况，最后确定较合理的步长。 3. 检验部分 当学习结束后，应检验学习的正确性。此时给训练好的网络输入含有噪声干扰的一系列正弦波和三角波信号，要求噪声服从正态分布。 检验网络是否能恢复标准波形。 若能很好地恢复标准波形，则说该网络可消除正弦波和三角波中的噪声干扰， 达到滤波效果。,四、实验效果,图 7-19 加噪声的正弦波,图 7-20 恢复正弦波,7.4.4 神经网络实现微弱信号提取 一、 问题提出 在目标跟踪、多目标检测等许多工程领域，都涉及到从强的背景噪声中提取弱信号的问题。基于BP神经网络结构及算法的方法， 可从宽带背景噪声中提取微弱有用信号。该方法对微弱信号的提取是在网络节点连接权向量域进行的，因此从根本上解决了对提取信号的频率选择问题。,二、BP网络权向量方法原理(BPWV: Back-Propagation Weight Vector),图 7-21 弱信号提取模型,取背景噪声的期望值mx作为期待响应dk, 即,假设背景噪声是平稳的，则mx可用时间平均值近似估计。并假设弱信号出现之前，网络学习过程已经结束，即网络连接权矩阵的期望值已收敛于由背景噪声所确定的最佳权向量 。 于是有偏移权向量,7.4.5 基于神经网络的传感器静态误差综合修正法 一、 问题提出 传感器输出特性大都为非线性，且常受各种环境因素影响， 故存在多种误差因素。 这些误差因素通常同时存在，相互关联， 若用一般方法对传感器静态误差进行综合修正往往很困难。将神经网络用于传感器静态误差的综合修正， 实验证明会取得好的效果，说明此方法的可行性。,二、 用于传感器静态误差综合修正的前向神经网络,图 7-22 前向网络,采用BP网络(参考图7-22)，由输出层开始逐层调整权值公式如下：,对于输出层,对于隐层,三、综合修正方法,图 7-23 综合修正原理框图,神经网络误差修正方法的步骤描述如下： (1) 取传感器原始实验输入输出和相应环境参量。 (2) 将这些原始数据进行归一化处理， 使输入样本在0, 1之内。 (3) 初始化网络， 如确定输入、 输出层单元数， 修正因子， 惯性系数等。 (4) 训练网络，直至满足要求为止。,四、 实例分析,表7-4 实 验 数 据,图 7-24 修正后x、 t、 z关系,7.4.6 基于神经网络的三传感器数据融合处理法 (消除两个非目标参量的影响),1. 概述 传感器静态特性不仅受某一个环境参量的影响，即不只受一个非目标参量的影响，有时甚至受多个非目标参量的影响。如一个压力传感器， 在输入压力P数值不变的情况下，当工作温度T变化以及供电电源波动都将引起传感器输出电压U发生变化， 则该压力传感器受两个非目标参量(T，)的影响。为了提高传感器的稳定性， 消除两个非目标参量对传感器输入输出特性的影响，可采用多种智能化技术，如多维回归分析法与神经网络法， 这是两种有效的融合处理方法。,2. 基于神经网络法的三传感器数据融合原理,图 7-25 采用神经网络进行三传感器数据融合的智能压力传感器系统框图,图 7-26 传感器模块电路原理图,(1) 压力传感器：这里的压力传感器采用的是CYJ-101型压阻式压力传感器，对应被测压力P(目标参量)输出电压U。一个理想的压力传感器，其输出U应为输入P的一元单值函数，即 U = f(P) 其反函数为 P = f-1(U) 但是，该传感器受工作温度T与供电电源波动的影响， 其输出电压U将发生变化，实际上是一个三元函数，即 U = f(P, T, ),(2) 温度传感器：温度传感器将工作温度T转换为电压信号Ut, 如图7-26。采用恒流源供电的压力传感器，其供电端(AC两端)电压UAC即为Ut。 (3) 电流传感器：电流传感器将电流信号I转换为电压信号UI, 如图7-26。采用标准恒定电阻RN与压力传感器相串联，RN两端电压UI为 UI = IRN 则供电电源波动为,2) 神经网络模块 神经网络模块是由软件编程实现的一种BP网络算法。其三个输入量X1、X2、X3分别为U、Ut、，输出量为P。P亦是智能压力传感器系统的总输出量。总输出量P有两个特点： (1) P仅为被测压力P的单值函数，这样就消除了工作温度和供电电源波动两个非目标参量的影响。 (2) 在工作温度和供电电源同时波动情况下，要求系统输出P以某个允许偏差逼近被测目标参量P， 从而实现了系统测量目标参量P的目的。要实现上述要求，需对神经网络进行训练，网络训练样本由三维标定实验数据来提供。,3. 样本库的建立 1) 三维标定实验 在不同工作温度T(=21.5 , 44.0 , 70.0 ), 令电源电流波动分别为 =3%,-1 %, -3 %条件下，对CYJ-101型压力传感器的静态输入(P)输出(U)特性进行标定。实验标定数据列于表7-5。,表 7-5 不同工作温度及供电电源波动下传感器输入输出标定值,2) 神经网络训练样本数据的归一化,表 7-6 神经网络输入输出标准样本库,式中: 第m个样本神经网络输入、输出归一化值； Xim、Pm第m个样本第i个传感器的输入、输出标定值； Ximax、Ximin第i个传感器输出最大、 最小标定值。,(7-53),(7-52),如T=21.5 且当i=1时，X1max=Umax=100.12 mV, X1min=0； 当i=2时，X2max=Utmax=290.5 mV, X2min=184.4 mV; 又如T=70.0 且当i=1时，X1max=Umax=78.57mV, X1min=0； 当i=2时，X2max=Utmax=826.1mV, X2min=669.3mV。Pmax=5104 Pa、Pmin=0为被测压力最大、最小标定值。,4. 神经网络的训练及其结构的确定,图 7-27 多层感知机前向神经网络,图中i、j和k分别是输入层、隐层和输出层神经元序号。同一层内各神经元互不相连，相邻层之间的神经元通过连接权值Wji、Wkj相联系。Wji为输入层与隐层之间的连接权值；Wkj为隐层与输出层之间的连接权值。本例中选输入层结点数为3，输出层结点数为1，故i=1, 2, 3， k=1；隐层结点数j=1, 2, ，l。l值根据网络训练结果而定。 采用误差反向传播算法(BP算法)，其目标是使神经网络输出y=P(本例中称为被测压力融合值)，与压力传感器系统目标参量的标定值之间的均方差e为最小， 即,图 7-28 BP网络训练过程及算法流程,(1) 网络初始化。随机设定连接权值Wji、Wkj, 与阈值j及k的初始值。设定隐结点数l、步长及势态因子; (2) 向具有上述初始值的神经网络按输入模式提供样本数据。 本例为三维矢量X=(X1X2X3)。如样本m=1，输入模式为X=(0.001.00 0.03)。 (3)计算隐层单元输出值f(Sj)。隐层单元输出值f(Sj)采用S型函数，其计算式为,(4) 计算输出单元的输出值f(Sk)。输出单元的输出值f(Sk)即网络的输出y=P。输出值仍采用S型函数，计算式为,(5) 计算输出层和隐层训练误差k与j。,(6) 修正权值：,式中，和分别为步长和势态因子。 (7) 判断均方误差e是否满足给定允许偏差(本例中给定允许偏差为10-3)。当满足时，则转到(8)，否则转向(5)、(6)和(7)。 (8) 结束训练。,5. 数据融合结果及评价 (1) 融合处理前传感器输出的相对波动情况。由表7-5可见， 对于同一被测压力P，传感器输出U随工作温度和供电电源波动的不同而变化。由工作温度与电源