神经网络信号处置专家讲座

第八章神经网络信号处理8.1神经网络模型8.2多层前向网络及其学习方法8.3反馈网络及其能量函数8.4自组织神经网络8.5神经网络在信号处理中应用神经网络信号处置专家讲座第1页第八章神经网络信号处理前面讨论最正确滤波、自适应滤波和当代谱预计等都是在线性模型前提下求最正确预计。但在实际中存在着大量非线性模型问题，或者为题数学模型往往极难建立或者不可能建立。人工神经网络是一个以自适应为特征、无固定模型非线性网络，可用于处理非线性模型为题或模型极难建立问题。下面仅在第一节简明介绍以生物学为基础简化神经元模型，而在其后章节中则是将神经网络作为信号处理一个伎俩，不在追求网络生物学意义。神经网络信号处置专家讲座第2页8.1神经网络模型8.1.1生物神经元及其模型生物脑神经系统经过感觉器官（视觉、嗅觉、味觉、触觉）接收外界信息，在大脑中枢进行加工，然后经过执行器官向外输出。从而组成一个含有闭环控制系统特征大规模系统。下列图显示为神经系统信息流处理。神经网络信号处置专家讲座第3页1943年，McCulloch和Pitts提出了一个高度简化神经元模型，简称M-P模型。设某一个神经元含有个输入，各输入信号强度分别为。神经元输出为。模型激活规则可由离散时间差分方程描述式中，神经元输入、输出值为0或1。1代表神经元兴奋状态，0代表神经元静止状态。表示第个输入与神经元连接强度。为神经元阀值。当各输入与其连接强度加权和超出时，神经元进入兴奋状态。神经网络信号处置专家讲座第4页

各种神经元模型结构是相同。都由一个处理节点和连接权（神经键连接强度）组成，带有一个输出端，信号从输入到输出端单向传输。各种神经元模型不一样之处仅在于对处理节点中传递函数和激活函数数量描述不一样。下列图为神经元普通模型及其符号。神经网络信号处置专家讲座第5页其中，：输入矢量；：权矢量神经元可看成是一个多输入、单输出非线性信号处理系统。其输入输出关系为：为方便起见，可将阈值等效成一个恒定输入，其连接权为，即，这么净输入写成：神经网络信号处置专家讲座第6页

这么，设为扩展输入矢量和权矢量：

惯用变换函数有以下四种：阶跃函数、线性限幅函数、S函数和随机函数。其中，阶跃函数和S函数分别称为离散型连接型，它们能够是单极性，也能够是双极性。神经网络信号处置专家讲座第7页阶跃函数和S函数表示式：阶跃函数（离散型）：双极性S型函数（连续型）：可见：神经网络信号处置专家讲座第8页8.1.2人工神经网络模型能够这么定义人工神经网络：它是由许多个处理单元相互连接组成信号处理系统。单元输出经过权值与其它单元（包含本身）相互连接，其中连接能够是延时，也能够是无延时。可见，人工神经网络是由以上许多非线性系统组成大规模系统。处理单元互连模式反应了神经网络结构，按连接方式，网络结构主要分成两大类：前向型和反馈型。前向型常认为是分层结构，各神经元接收前一级输入，并输出到下一级。各层内及层间都无反馈。神经网络信号处置专家讲座第9页：神经元（1）上层下层输入节点为第一层神经元，其余中间层为隐含层神经元。输出节点为最上层神经元，但普通称权值层为网络层，即网络第一层包含输入节点层，第一隐含层以及它们之间连接权。反馈型网络可用一个完全无向图表示：—横线相当于双箭头神经网络信号处置专家讲座第10页下面是个简单用神经网络作处理例子：如图所表示单层前向网络：由M个神经元（单元）组成，接收N个输入。神经网络信号处置专家讲座第11页第个输入到第个神经元连接权表示为，则有第个神经元输出是，定义连接权矩阵为：引入一个非线性矩阵算子其中为神经元变换函数，则网络输出矢量可写成：可见，一个前向神经网络用来将一个N维输入空间x映射到M维输出空间y，或者说，将输入模式映射成输出模式。神经网络信号处置专家讲座第12页8.1.3神经网络学习方式

前面研究，主要是考查在给定神经网络（存放在网格内模式（已知））输入X后得到响应y，这个计算过程常称为神经网络“回想”。现在要讨论是网络存放模式设计，这是网络学习结果。神经网络惯用来处理难以用算法描述问题，或者对处理对象没有充分了解，需要作“盲处理”，而神经网络设计是经过一些例子或一些准则来训练，从方法上来说，神经网络信号处理以科学经验主义替换了传统科学理性主义。神经网络学习普通依据两种规则：神经网络信号处置专家讲座第13页一个是基于自适应LMS学习算法：即将误差函数负梯度作为网络权值调整量。另一个是Hebb学习规则，它是基于心理学中反射机理给出权值调整量：Hebb规则意义是：假如两个神经元同时兴奋，则它们之间联络得以增强。式中，是第个神经元输入；是第个神经元输出。神经网络信号处置专家讲座第14页神经网络学习从方式上分成以下三种情形：①固定权值计算假如已知标准输入—输出模式，能够依据Hebb规则计算出网络权值矩阵W，对这么神经网络，要求容纳足够多输出模式，而且有一定容错能力。②有导师学习假如已知部分输入—输出对样本，则用这些输入模式作为训练集，对应输出模式作为导师信号，基于自适应LMS算法，依据网络对训练样本响应与导师信号差距来调整网络权值。神经网络信号处置专家讲座第15页③无导师学习对于一些问题，既不知道输出模式，又没有导师信号，则依据过去输入模式统计特征来训练网络。这种学习方式表现了自组织特点。无导师学习方式，能够是在线学习，如前面讨论自适应Filter那样，也能够边学习边工作。这时要求学习速度能跟上网络处理速度。神经网络信号处置专家讲座第16页8.2多层前向网络及其学习算法取神经元变换函数为双极性阶跃函数，称这么处理单元为线性阈值值单元，其输入输出关系为线性方程称为分界函数。8.2.1单层前向网络分类能力由个线性阈值单元并联而成单层前向网络，是用个线性分解函数将输入空间分割成若干个区域，每个区域对应不一样输出模式。神经网络信号处置专家讲座第17页8.2.2多层前向网络非线性映射能力为了将单层前向网络划分某个区域作为一类，能够将其输出进行逻辑“与”运算，用符号表示。只要第一隐层神经元足够多，则由线性阈值单元组成三层前向网络能够对任意形状非交输入矢量集合进行正确分类，或者说实现任意离散非线性映射。实际上这种映射是用分段线性分界函数迫近任意非线性分界函数。线性阈值单元取变换函数为双极性阶跃函数时，称为离散输出模型。若变换函数为函数，即为模拟状态模型。能够证实，只要隐节点能自由设置，则两层前向网络能够迫近任何连续函数，或者说实现任意连续型非线性映射。神经网络信号处置专家讲座第18页8.2.3权值计算—矢量外积算法对离散型单层前向网络，若已确定了输入矢量和对应标准输出矢量，用基于Hebb学习准则矢量外积法可计算出权值矩阵，即若确定了个标准输入和输出矢量，则取，这么设计网络含有恢复和容错能力，网络在恢复阶段作内积运算。设标准输入矢量是正交归一化矢量，即神经网络信号处置专家讲座第19页8.2.4有导师学习法——误差修正法用来训练网络输入模式称为训练序列，它们对应正确响应称为导师信号。依据网络实际响应与导师信号误差自适应调整网络权矢量，称为误差修正法，即式中，为迭代次数；为修正量，与误差相关。1.单个神经元学习算法单个神经元学习方法依变换函数不一样而异。（1）线性单元LMS算法（2）离散型单元误差修正法（3）连续型单元LMS算法神经网络信号处置专家讲座第20页2.多层前向网络学习算法（1）误差反向传输算法算法中假设了输出误差作反向传递，所以称为反向传输法或称BP算法。BP算法是按均方误差梯度下降方向收敛，但这个代价函数并不是二次，而是更高次。也就是说，组成连接空间不是只有一个极小点抛物面，而是存在许多局部极小点超曲面。BP算法收敛速度较慢，但对一些应用而言，则希望有较快收敛速度，也有一些加速方法。比如:集中权值调整。自适应调整学习常数。权值调整量附加“惯性”项。神经网络信号处置专家讲座第21页（2）随机学习算法BP算法因为采取直接梯度下降，往往落入代价函数局部极小点。随机算法则是用于寻找全局最小点，而是以最大约率到达全局最小点。下面讨论称为模拟退火随机学习算法。模拟退火学习算法有四个步骤：①产生新状态；②计算新状态能量函数；③判断是否接收新状态；④降低温度前向网络能够用详细自组织特征无导师学习算法训练权值，然而，将前向网络与反馈网络组合在一起进行无导师训练时，显示出了更强自组织处理能力。神经网络信号处置专家讲座第22页8.3反馈网络及其能量函数反馈网络与线性IIR网络一样存在着稳定性问题，本节先介绍动态系统稳定性基本概念和分析方法，然后讨论离散和连续型单层反馈网络动态特征和网络权值设计、复合型反馈网络等问题，主要讨论Hopfield网络。8.3.1非线性动态系统稳定性在期望输出模式设计成网络稳定平衡态，存放在权值中，这两个吸引子都是孤立点，称为不动吸引子。有些吸引子是同期循环状态序列，称为极限环，如同数字循环计数器稳定循环状态。另外还有些更复杂吸引子结构。向某个吸引子演化全部初始状态称为这个吸引子收敛域。神经网络信号处置专家讲座第23页一个非线性动态系统是否存在吸引子，这些吸引子是否稳定，这是首先要处理问题。非线性动态系统用非线性微分方程或非线性差分方程描述。而非线性方程解不一定能轻易求得。李雅普诺夫稳定性理论提供了从方程本身来判断吸引子存在和稳定方法。李雅普诺夫定理简述以下：考虑非线性微分方程组：，写成矢量形式为，它解是时间t函数，且与初始值相关，记为。当时，有，称为系统平衡态。所谓稳定性是考虑微分方程解是否趋向平衡态。以孤立平衡点附近点作为初始态，若系统运动轨迹仍在附近，则称平衡态是稳定。严格定义为：若对每个实数，存在一实数，使得当初始态满足时，系统运动轨迹满足，则称平衡态在李雅普诺夫意义下是稳定。深入，若,就称是渐近稳定。神经网络信号处置专家讲座第24页系统平衡点是渐近稳定一个条件是：能找到一个X连续函数，使得称为李雅普诺夫函数。以下几点需要注意：(1)物理上能量函数普通可作为李雅普诺夫函数，所以，李雅普诺夫函数也称为计算能量函数。一个物理系统总是在能量最低状态下是最稳定。稳定非线性动态系统也总是朝能量低方向运动。实际上，作为能量函数，E可正可负，只要有下界且即可。(2)对给定动态系统，其李雅谱诺夫函数不是唯一。能够找到许多不一样李雅谱诺夫函数。(3)若找不到系统李雅谱诺夫函数，并不说明系统不稳定。(4)还没有统一找李雅谱诺夫函数方法，普通是依据系统物理意义或类似能量概念写出李雅谱诺夫函数。神经网络信号处置专家讲座第25页(5)对于离散时间非线性动态系统，用非线性差分方程描述，也有计算能量函数定理：只要找到一个有下界函数,其增量是非正，即则该函数就是计算能量函数，且说明该离散动态系统也朝着减小能量方向运动，最终趋于稳定平衡点，即有。8.3.2离散型Hopfield单层反馈网络离散型Hopfield单层反馈网络结构如图8.29所表示，由n个神经元组成，为输入，为输出，为阀值，。时延表现在图中变换函数状态转换时序。这种网络是离散时间、离散型变换函数网络。神经网络信号处置专家讲座第26页神经网络信号处置专家讲座第27页1.网络差分方程描述设第i个单元净输入为，有式中，k为时间变量，变换涵数取双极性阶跃函数，即

网络状态转变有两种方式：异步方式和同时方式。(1)异步方式。在某一时刻k只允许一个单元更新输出状态，其余单元保持不变，则有神经网络信号处置专家讲座第28页(2)同时方式。在任何时刻，全部单元状态都同时更新，则有2.网络能量函数定义计算能量函数E为：因为或-1，且设权值、阀值和输入都有界，则有这意味着E有界。3.网络权值设计考虑存放L个样本矢量。注意到用外积法设计权值矩阵W，并要置，神经网络信号处置专家讲座第29页则式中，是n阶单位矩阵，权值为显然，所以用时序工作方式，网络是收敛、稳定；用并行工作方式，则要看样本矢量是否能使W为非负定，若能，则网络是收敛、稳定。神经网络信号处置专家讲座第30页8.3.3连续型Hopfield单层反馈网络连续型Hopfield网络与离散型Hopfield网络基本原理是一致。但连续型网络输入、输出是模拟量，网络采取并行方式，使得实时性更加好。网络结构如图8.30所表示。图中，运算放大器输入/输出特性为双极性S函数。为外加偏置电流，相当于神经元阀值作用；为电导值，是i放大器与j放大器反馈系数，，是反馈电阻，是输出电压，；电阻和电容并联实现图8.10中时延，普通是运算放大器输入电阻，为分布电容。神经网络信号处置专家讲座第31页神经网络信号处置专家讲座第32页1.网络微分方程描述和能量函数设为第i个放大器输入节点电压。依据基尔霍夫电流定律，放大器输入节点电流方程为设，则上式为放大器输入-输出电压关系为S函数定义能量函数E为式中，是反函数，即。神经网络信号处置专家讲座第33页2.网络参数设计连续型Hopfield网络收敛于其能量函数极小值，这使它能左优化计算。因为优化问题就是求其某个代价函数或目标函数极小解。如维纳滤波器就是使一个均误差函数最小最正确滤波器。对要求满足一定约束条件优化问题，能够将约束条件包含于代价函数中，只要将优化问题代价函数J映射成网络能量函数E，就能够求出网络参数和。注意，约束条件下优化问题代价函数普通有两部分。一部分为代价函数，其中Y为变量，。另一部分为处罚函数，由约束条件决定。当不满足约束条件时，值就大。这么，代价函数便取。8.3.4随机型和复合型反馈网络1.随机型反馈网络随机型反馈网络与Hopfield网络结构相同，而且一样是无自反馈对称网络，即。区分仅在于随机型反馈网络每个单元神经网络信号处置专家讲座第34页输入-输出变换函数不再是确定，而是随机。输出只取两个状态：0或1.(2)网络能量函数及其演化过程能量函数为：采取异步工作方式，每次只改变一个神经元状态。设输出由1状态转变为0状态，系统能量函数差值为：2.复合型反馈网络(1)网络结构及其稳定性分析假如在反馈网络中，不是直接将输出作为反馈信号，而是对输出作一变换后，再作反馈信号，如图8.37所表示，图中变换用一个前向网络实现，则这种复合反馈网络处理能力可增强，但网络收敛性和稳定性证实愈加困难。神经网络信号处置专家讲座第35页下面举一个简单情况：网络电路图如图8.38所表示，其中，圆圈代表连接强度、电阻值或电导值，设为单调升函数，且对有界输入也有界，其中。这种网络能够是收敛、稳定，称为线性规划神经网络。神经网络信号处置专家讲座第36页(2)网络作优化计算复合反馈网络能够求解数学线性规划问题，求解信号处理中实数域线性变换。线性规划问题能够利用以下代价函数和约束条件描述：式中，

用复合反馈网络作数学计算主要优点是：高速实时计算；设计简单（普通都只需作直接映射）；普通情况下没有局部极小点。后两个优点与单层反馈网络相比尤为突出。神经网络信号处置专家讲座第37页8.4自组织神经网络

人们观察不一样事物时，会从不一样角度出发，提取事物不一样特征。对于自组织网络，针正确输入数据不一样，欲提取特征就不一样，学习算法也不一样。通常有两种无导师学习规则：Hebb规则和竞争学习规则。下面讨论三种特征自适应提取：（1）依竞争学习规则进行聚类，提取各类中心；（2）依竞争学习规则作特征映射，将输入模式相同程度大小映射成几何位置远近。（3）依Hebb规则进行主元分析，提取信号最大主元。神经网络信号处置专家讲座第38页8.4.1自组织聚类聚类可了解为在无先验知识情形下，把相同对象归为一类，并分开不相同对象。聚类学习算法就是依据距离准则，吧距离靠近样本看作一类，并把该类中心样本存放于网络链接权中，而网络输出将是输入模式与中心样本距离。1.单层前向聚类网络——竞争学习单层线性前向网络神经元变换函数是线性：所以，每个单元输入-输出关系为设有个输入学习模式神经网络信号处置专家讲座第39页个单元能够将输入模式聚为类，输出模式为2.反馈型聚类网络——自适应谐振学习更合理聚类应该是在事先不知道类别数量情形下，依竞争门限来学习。假如对一输入样本，网络经过竞争得知，该输入模式与某一类聚点距离最小，但其距离若超出一个预定门限值，扔不能将它归为这一类，而应另设一个新类群。基于自适应谐振理论学习算法，就是这种既能识别旧对象同时又能识别新对象方法。神经网络信号处置专家讲座第40页8.4.2自组织特征映射自组织特征映射网络是将特征相同输入模式聚集在一起，不相同分得比较开。下面讨论这种网络结构和算法以及该网络从输入模式中提取特征。网络结构及其算法特征映射网络与简单聚类网络一样，是一个单层线性前向网络，也是采取竞争学习算法。在结构上不一样只是网络很在意神经元几何位置，普通排列成认为直线或二维平面。在竞争学习算法上，主要不一样在于特征映射网络不但对获胜元连接权进行修正，而且对获胜元临近单元连接权也进行修正。自组织特征映射网络在结构上是一组自适应线性组合器，而学习算法是直观地确定。实际上，它一样能够采取自适应滤波器分析方法，依据最正确准则给出一个神经网络信号处置专家讲座第41页性能曲面函数，由性能曲面函数负梯度方向推导出自适应学习算法。2.网络有序特征映射能力先考虑一维情形。设输入是一维标量，用