ch04决策支持系统(神经网络)课件

决策支持系统系统工程专业本科学员必修课第四章智能决策支持系统和智能技术的决策支持人工智能基本原理本章内容智能决策支持系统概述专家系统与智能决策支持系统神经网络的决策支持遗传算法的决策支持机器学习的决策支持4.4神经网络的决策支持4.4.1神经网络原理4.4.2感知机模型4.4.4神经网络专家系统及实例4.4.5神经网络的容错性4.4.3反向传播模型

传统AI能解决的问题局限于人的逻辑思维所能解决的问题之内，完全是一种逻辑思维的模拟。而人脑除逻辑思维外，还有形象思维与逻辑表象等，因而单靠传统的AI不能很好地模拟智能。另外，对于无法形式化的问，难以用AI来求解。传统人工智能的局限性

人工神经元网络具有自学习能力，将其与传统AI结合起来是模拟智能的很好的途径。ANN是一种模仿人脑行为及其活动过程的推理分析方法，它具有自学习能力，能从一系列的数据中综合出规律性的知识——较为有效地解决了专家系统知识获取困难。传统人工智能的局限性神经元组成:树突：神经纤维较短，是接收信息的。细胞核：对接收到的信息进行处理。轴突：较长的神经纤维，是发出信息的。突触：一个神经元的轴突末端与另一个神经元的树突之间密切接触。神经元具有如下性质：（1）多输入单输出；（2）突触具有加权的效果；（3）信息进行传递；（4）信息加工是非线性。人工神经元:人工神经元是组成人工神经网络的基本处理单元，简称为神经元。心理学家麦克洛奇(W．McCulloch)和数理逻辑学家皮兹(W.Pitts)于1943年首先提出了一个简化的神经元模型，称为M-P模型。

每个神经元的状态0i（i＝1,2,…n）只取0或1，分别代表抑制与兴奋。每个神经元的状态，由M-P方程决定：

其中：Wij是神经元之间的连接强度，Wij（i≠j）是可调实数，由学习过程来调整。i是阈值，f(x)是阶梯函数。

MP（MccullochPitts）模型[0,1]阶梯函数

(0,1)S型函数：神经元作用函数

[-1,1]阶梯函数(-1,1)S型函数：

神经网络的学习，主要是指通过一定的学习算法或规则实现对突触结合强度(权值)的调整。ANN学习规则主要有四种，即联想式学习、误差传播学习、概率式学习和竞争式学习。2、神经网络的学习(1)联想学习：联想学习是模拟人脑的联想功能，典型联想学习规则是由心理学家Hebb于1949年提出的学习行为的突触联系，称为Hebb学习规则。

(2)误差传播学习：以1986年Rumelhart等人提出的δ规则(BP算法)为典型

δ规则中，误差由输出层逐层反向传至输入层，由误差修改网络权值，直至得到网络权值适应学习样本。基本思想：3、神经网络的几何意义(1)神经元与超平面

其中Wij为神经元j到神经元i的连接权值，i为神经元的阈值。神经元xj(j=1,2,…,n)相当于n维空间（x1,x2,…,xn）中一个结点的n维坐标（为了便于讨论，省略i下标记）。

由n个神经元（j=1,2,…,n）对连接于神经元i的信息总输入Ii为：当n=3时，“超平面”为空间（x1,x2,x3）上的一个平面：从几何角度看，一个神经元代表一个超平面。(2)超平面的作用n维空间（x1,x2,…,xn）上的超平面I=0，将空间划分为三部分。 平面本身超平面上的任意结点满足于超平面方程，即：超平面上部P超平面上部P的任意结点满足于不等式，即超平面上部P超平面上部P的任意结点满足于不等式，即超平面下部Q超平面下部Q的任意结点满足于不等式，即(3)作用函数的几何意义神经网络中使用的阶梯型作用函数f(x)把n维空间中超平面的作用和神经网络作用函数结合起来，即

它的含义为：超平面上部P的任意结点经过作用函数后转换成数值1；超平面上任意结点和超平面下部Q上的任意结点经过作用函数后转换成数值0。通过以上分析可知，一个神经元将其它神经元对它的信息总输入I，作用以后（通过作用函数）的输出，相当于：

该神经元所代表的超平面将n维空间（n个输入神经元构成的空间）中超平面上部结点P转换成1类，超平面及其下部结点转换成0类。结论：神经元起了一个分类作用。4.4.2感知机模型神经元i的输入为Ｉi＝∑ＷijＳj

Ｓj为j神经元的输出，Ｗij为神经元j到神经元i的连接权重。神经元i的输出为：Ｏi＝ｆ(Ｉi)其中ｆ(ｘ)为神经元作用函数。(一般采用[0,1]阶梯函数)WijSji1…j…n1……设i神经元的期望输出为Ｄi，它与计算输出Ｏi之差为：

δｉ＝Ｄi－Ｏi通过样本学习，应该让权重Ｗij使δi尽可能小。利用著名的德尔塔规则（deltarule）计算：△Ｗij＝αδi

Ｓj（α为常数）δ规则:Ｗij(t+1)＝Ｗij(t)＋△Ｗij更新权重Ｗij。计算过程：Ｋ＝１：ｙ＝ｆ（０＋０）＝０

d=0

┌Ｗ1┐(1)┌Ｗ1┐(0)┌０┐┌０┐┌０┐┌０┐││＝││＋（０－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└０┘└０┘└０┘Ｋ＝２，ｙ＝ｆ（０＋1）＝０

d=1

┌Ｗ1┐(2)┌Ｗ1┐(1)┌０┐┌０┐┌０┐┌０┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└０┘└１┘└１┘Ｋ＝３，ｙ＝ｆ（0＋０）＝０

d=1

┌Ｗ1┐(3)┌Ｗ1┐(2)┌１┐┌０┐┌１┐┌１┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└１┘└０┘└１┘

Ｋ＝４，ｙ＝ｆ（１＋１）＝ｆ（２）＝１

d=1

┌Ｗ1┐(4)┌Ｗ1┐(3)┌１┐┌１┐┌０┐┌１┐││＝││＋（１－１）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└１┘└０┘└１┘再循环一次，将会得到所有例子的（ｄ－ｙ）值均为零，即权值（Ｗ1＝１，Ｗ2＝１）满足所有实例要求。对ＸＯＲ异或问题：输入ｘ1ｘ2输出d００００１１１０１１１0样本是非线性样本，即找不到一个超平面，将两类样本分开。(0,1)(1,1)(1,0)(0,0)修改后的权值，又回到了初始状态，如果继续计算，将出现无限循环，永远不会收敛。该例充分说明感知机对非线性样本无效。感知机对ＸＯＲ问题的计算：同二值逻辑样本计算，Ｋ＝１，２，３的计算相同，Ｋ＝４时有：

ｙ＝ｆ（１＋１）＝ｆ（２）＝１┌Ｗ1┐(4)┌Ｗ1┐(3)┌１┐┌１┐┌－１┐┌０┐││＝││＋（０－１）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└１┘└－１┘└０┘4.4.3反向传播模型BP模型是1985年由Rumelhart等人提出的1.多层网络结构神经网络不仅有输入节点、输出节点，而且有一层或多层隐节点,如图：TliWijBP算法的学习过程：信息的正向传播，误差的反向传播。由正向传播和反向传播组成，在正向传播过程中，输入信息从输入层经过隐层，再传向输出层，每一层的神经元的状态值只影响下一层神经元的状态值；如果在输出层不能得到期望的输出值，则转入反向传播，将误差信号沿逆向通路修正各层神经元的权值，使得网络的总误差值收敛到极小。网络开始训练时选用较小的随机给定权值与内部阈值（θ），通过反复利用训练样本调整权值，直到误差函数下降到可以接受的允许值（如0.05）。BP神经网络对非线性数据分类是十分有效的。2.作用函数为(0,1)S型函数3.误差函数第p个样本误差计算公式可定义为：对于整个网络系统的总均方误差为：E＝1/p∑Ep，其中p为训练样本总数，tpiQpi分别为实际输出和计算输出。网络训练的目的是找到一组权值，使E极小化。LMS算法用梯度下降法，即权重的增量正比于误差的负导数：用误差去修正输出层和隐节点的权值，误差反向传播。误差反向传播示意图BP模型计算公式汇总1.输出结点输出Ol计算公式（1）输入结点的输入xj（2）隐结点的输出：其中：Wij连接权值，结点阈值。(3)输出结点输出：其中：Tij连接权值，结点阈值。输出层（隐结点到输出结点间）的修正公式输出结点的期望输出：tl误差控制：所有样本误差：其中一个样本误差：其中，p为样本数，n为输出结点数。（3）误差公式： （4）权值修正：其中k为迭代次数。（5）阈值修正： 2、隐结点层（输入结点到隐结点间）的修正公式（1）误差公式：（2）权值修正：（3）阈值修正：··

求

l(2)

i(1)Ol=f（－l）yi=f（－i）l(k+1)=l(k)+l(2)

j·

修正（Tli，l），（Wij，i）修正权

l(2)=Ol(1－Ol)(dl－Ol)Til(k+1)=Til(k)＋l(2)yi

i(1)=

yi(1－yi)Wij(k+1)=Wij(k)＋i(1)xj输出节点lTli

隐节点

i修正权Wij输入节点xji(k+1)=i(k)+i(1)BP网络的学习过程⑴样本的正向传播过程(由输入计算到输出)⑵误差的逆向传播过程(由误差修改权值)⑶记忆训练过程：⑴、⑵的交替过程(反复修改权值)⑷学习的收敛过程：Emin例：对如下BP神经网络，写出它的计算公式（含学习公式），并对其初始权值以及样本x1=1，x2=0，d=0进行一次神经网络计算和学习（该系数=1，各点阈值为0）。作用函数为：··

求

l(2)

i(1)Ol=f（－l）yi=f（－i）l(k+1)=l(k)+l(2)

j·

修正（Tli，l），（Wij，i）修正权

l(2)=Ol(1－Ol)(dl－Ol)Til(k+1)=Til(k)＋l(2)yi

i(1)=

yi(1－yi)Wij(k+1)=Wij(k)＋i(1)xj输出节点lTli

隐节点

i修正权Wij输入节点xji(k+1)=i(k)+i(1)回顾神经元i的误差δｉ＝Ｄi－Ｏi△Ｗij＝αδi

Ｓj（α为常数）δ规则:Ｗij(t+1)＝Ｗij(t)＋△Ｗij1、感知机模型2、反向传播模型TliWij结合实例讲解感知机模型对线性数据分类是十分有效的信息的正向传播，误差的反向传播结合实例讲述BP网络的几何意义反向传播模型对非线性数据分类是十分有效的实例分析1.异或问题的BP神经网络按问题要求，设置输入结点为两个（x1,x2），输出结点为1个（z），隐结点定为2个（y1，y2）。各结点阈值和网络权值见图说明。2.计算机运行结果迭代次数：16745次；总误差：0.05隐层网络权值和阈值：

w11=5.24，w12=5.23，w21=6.68，w22=6.64 1=8.01 2=2.98输出层网络权值和阈值：

T1=-10，T2=10，=4.793.用计算结果分析神经网络的几何意义隐结点代表的直线方程

y1：5.24x1+5.23x2-8.01=0

即x1+0.998x2-1.529=0 y2：6.68x1+6.64x2-2.98=0即x1+0.994x2-0.446=0 图、隐结点代表的直线方程直线y1和y2将平面（x1，x2）分为三区：y1线上方区，x1+x2-1.53>0，x1+x2-0.45>0y1,y2线之间区，x1+x2-1.53<0，x1+x2-0.45>0y2线的下方区，x1+x2-1.53<0，x1+x2-0.45<0对样本点：点(0,0)落入y2的下方区，经过隐结点作用函数f(x)（暂取它为阶梯函数），得到输出y1=0,y2=0。点(1,0)和点(0,1)落入y1,y2线之间区，经过隐结点作用函数f(x)，得到输出均为y1=0,y2=1。点(1,1)落入y1线上方区，经过隐结点作用函数f(x)，得到输出为y1=1,y2=1。结论：隐结点将x1,x2平面上四个样本点 (0,0)，(0,1)，(1,0)，(1,1)变换成三个样本点 (0,0)，(0,1)，(1,1)它已是线性样本。输出结点代表的直线方程Z：-10y1+10y2-4.79=0，即 -y1+y2-0.479=0 直线Z将平面(y1,y2)分为两区Z线上方区-y1+y2-0.479>0Z线下方区-y1+y2-0.479<0对样本点：点(0,1)（即y1=0,y2=1）落入Z线上方区，经过输出结点作用函数f(x)（暂取它为阶梯函数）得到输出为：Z=1点(0,0)（即y1=0,y2=0），点(1,1)（即y1=1,y2=1）落入Z线下方区，经过输出结点作用函数f(x)得到输出为：Z=0结论：输出结点将y1,y2平面上三个样本(0,0)，(0,1)，(1,1)变换成两类样本Z=1和Z=0。4.神经网络结点的作用隐结点作用是将原非线性样本（四个）变换成线性样本（三个）。输出结点作用是将线性样本（三个）变换成两类（1类或0类）。对于作用函数f(x)取为S型函数，最后变换成两类为“接近1类”和“接近0类”。4.4.4神经网络专家系统及实例1.神经元网络知识库体现在神经元之间的连接强度（权值）上。它是分布式存贮的，适合于并行处理。2.推理机是基于神经元的信息处理过程。它是以Ｍ－P模型为基础的，采用数值计算方法。一、神经网络专家系统特点3.神经元网络有成熟的学习算法。感知机采用delta规则。反向传播模型采用误差沿梯度方向下降以及隐节点的误差由输出结点误差反向传播的思想进行的。４.容错性好。由于信息是分布式存贮，在个别单元上即使出错或丢失，所有单元的总体计算结果，可能并不改变。神经网络专家系统进一步发展的核心问题：

学习算法的改进与提高二、神经元网络专家系统结构用户知识工程师

学习样本

确定系统框架

神经元学习形成学习样本

知识库（分布式）实际问题参数输入模式转换

推理机制输出模式转换实际问题结果神经元网络专家系统结构图（一）确定系统框架

1.完成对神经元网络的拓朴结构设计：（1）神经元个数（2）神经元网络层次（3）网络单元的连接2.确定神经元的作用函数和阈值作用函数用得较多的有两种：（1）阶梯函数（2）S型函数阈值的选取可为定值如i=0或i=0.5，或者进行迭代计算。（二）学习样本学习样本是实际问题中已有结果的实例、公认的原理，规则或事实。（三）学习算法对不同的网络模型采用不同的学习算法，但都以Hebb规则为基础。1.Perceptron(感知机)模型：采用delta规则。2.Back-propagation(反向传播)模型：采用误差反向传播方法。（四）推理机推理机是基于神经元的信息处理过程。1.神经元j的输入：

其中，Wjk为神经元j和下层神经元k之间的连接权值。Ok为k神经元的输出。2.神经元j的输出

Oj=f(Ij-j)

j为阈值，f为神经元作用函数。（五）知识库知识库主要是存放各个神经元之间连接权值。由于上下两层间各神经元都有关系，用数组表示为：(Wij)i行对应上层结点，j列对应下层结点。（六）输入模式转换实际问题的输入，一般是以一种概念形式表示，而神经元的输入，要求以(-∞,∞)间的数值形式表示。这需要将物理概念转换成数值。

建立两个向量集：（1）实际输入概念集：各输入节点的具体物理意义，一般采用表的形式。（2）神经元输入数值集：各输入节点的数值。（七）输出模式转换实际问题的输出，一般也是以一种概念形式表示。而神经元的输出，一般是在[0,1]间的数值形式，这需要将数值向物理概念的转换。利用神经网络专家系统解决实际问题，有如下问题值得研讨：

（1）连接权值Wij的初值选取；（2）收敛因子的选取；（3）反向传播模型中隐节点个数的选取；（4）迭代过程中总误差的控制；（5）迭代公式的收敛速度问题；（6）物理概念的数值转换问题；（7）学习样本对学习过程收敛性的影响；（8）神经元网络的容错性效果。1.初始权值的选取

实验结果表明，对感知机模型权值赋常数初值是合适的。对B-P模型的权值初值必须用随机数。2.收敛因子η值的选取

经过大量试算，η在2.5～5.5之间迭代次数较少，比较合适。3.隐节点数的选取

经过大量试算，隐节点数介于输入节点数和输出节点数之间比较合适。4.物理概念的数值转换

中国科学院生态环境研究中心研制的"城市医疗服务能力评价系统"实例进行了研究。城市医疗服务能力评价系统输入包括五个方面：（1）病床数，（2）医生数，（3）医务人员数，（4）门诊数，（5）死亡率。输出模式包括四个级别：（1）非常好(v)；（2）好(g)；（3）可接受(a)；（4）差(b)，建立一个三层的神经元网络。

输出数据用四个节点分别表示v,g,a,b。输入节点用五个节点分别表示五个指标，对每个指标节点都有v,g,a,b四种可能。建立一个三层的神经元网络。医生数病床数医务人员数门诊数非常好好可接受差死亡率神经网络结构图

选择十个城市的数据作为训练集，学习之后，对其它城市进行评价。进行神经元网络计算，需要对物理概念的数值转换。输入节点数据允许在范围(-∞,∞)中取值，输出数据在范围[0,1]中取值。

城市医疗服务能力训练例

四个物理概念（很好、好、可接受、差）的数值转换，我们进行了五个方案的计算，方案如下：方案1：v=3g=1 a=-1 b=-3

方案2：v=1.5g=0.5 a=-0.5b=-1.5

方案3：v=6g=2 a=-2 b=-6

方案4：v=1g=0.66 a=0.33b=0

方案5：v=10g=7 a=4 b=1

计算结果表明，方案2收敛最快Count=360，计算结果也很合理，其次是方案1，Count=451，方案3,4,5均较差。说明物理概念的数值转换，尽量采用(-1,1)附近较合适。对样本的讨论：样本出现矛盾，将产生以下两种结果：学习过程不能收敛；学习过程勉强收敛，但在分析实际问题时，将发生偏差。四个动物的样本：（1）某动物是暗斑点、黄褐色、有毛发、吃肉，它就是豹。（2）某动物是黄褐色、有毛发、吃肉、黑条纹，它就是虎。（3）某动物是不飞、黑白色、会游泳、有羽毛，它就是企鹅。（4）某动物是有羽毛、善飞，它就是信天翁。4.4.5神经网络的容错性完成机器学习以后，对样本进行缺省条件输入，有如下三种情况：

（1）缺1个条件的情况（2）缺2个条件的情况（3）介于中间的情况缺省条件推理结果表从计算结果中，可以看出容错效果很好，

对第一种情况的第一例，对豹缺省黄褐色条件时，输出结果仍然是豹（0.8463）；

对第二种情况第一个例，对虎缺省黄褐色和多一个不飞的条件时，输出结果仍然是虎（0.9286）；