计算智能复习.doc

精品文档计 算 智 能 复 习 提 纲l 第一部分绪论资料：课件1、关于计算智能的定义关于计算智能的定义是由贝兹德克(Bezdek)于1992年首先提出的“从严格意义上讲, 计算智能取决于制造者提供的数值数据,而不依赖于知识.”2、计算智能与人工智能贝兹德克认为,计算智能取决于制造者提供的数值数据,而不依赖于知识;人工智能则应用知识精品.计算智能是一种智力方式的低层认知,它与人工智能的区别只是认知层次从中层下降到低层而已.中层含有知识,低层系统则没有.如果一个智能计算系统以非数值方式加上知识值,即成为人工智能系统.3、计算智能的三个主要分支：人工神经网络、进化计算（遗传算法）和模糊逻辑。l 第二部分模糊逻辑资料：课件、教材相关内容和作业重点：1、相关概念：（1）对于模糊命题,仅用1和0两个逻辑值是不够的,必须在1和0之间采用多个逻辑值来表示不同的真值.特别的,多值逻辑的值域为0,1闭区间的连续值逻辑为“模糊(Fuzzy)逻辑”。（2）一般而言，在不同程度上具有某种特定属性的所有元素的总合叫做“模糊集合”。（3）在模糊集合里，为说明具有模糊性事物的归属，特征函数可以在闭区间0,1上取无穷多个值，该特征函数称为“隶属函数”，它是模糊数学中最基本和最重要的概念。模糊集合上的隶属函数表示为：2、模糊集合的表示法：有限论域表示法。若论域U，且论域Ux1，x2，xn，则U上的模糊集合可表示为：当隶属度为0时，该项可以略去不写。例如：1/a 0.9/b 0.4/c 0.2/d 0/e可写成：1/a 0.9/b 0.4/c 0.2/d3、模糊集合的运算：空集，等集，子集，交集，并集和补集。4、模糊矩阵：当Xxi| i=1,2, ,m, Y=yj| j=1,2, ,n是有限集合时，则XY的模糊关系可用下列mn阶矩阵来表示：其中：元素，该矩阵被称为模糊矩阵5、模糊矩阵的运算：交：；并：；补：6、模糊矩阵的合成运算：设合成算子“。”，它用来代表两个模糊矩阵的相乘，与线性代数中的矩阵乘极为相似：只是将普通矩阵运算中对应元素间相乘用取小运算“”来代替，而元素间相加用取大“”来代替。模糊变换可以确定一个唯一的模糊向量。模糊矩阵合运算所执行的模糊变换在控制上意义重大。7、语气算子：利用语气算子计算隶属度，例题。常用语气算子表强化算子H4H3H2H1.5极其非常很相当淡化算子H0.8H0.6H0.4H0.2比较略稍许有点8、模糊化算子和判定化算子：一个把明确的单词转化为模糊量词的算子称为模糊化算子。诸如“大概”、“大约”、“近似”等这样的修饰词都属于模糊化算子。在模糊控制中，采样的输入值总是精确量，要实现模糊控制，首先必须把采样的精确值进行模糊化，而模糊化实际上就是用模糊化算子来实现的，所以引入模糊化算子具有十分重要的实用价值。把一个模糊词转化为明确量词的算子称为判定化算子。诸如“属于”、“接近于”、“倾向于”、“多半是”等均属于判定化算子。9、模糊推理：模糊推理经常用到的模糊条件语句有：，其计算过程见课件例题。l 第三部分人工神经网络资料：课件、教材相关内容和作业重点：1、1943年,麦卡洛克(McCulloch)与皮茨(Pitts)对神经元进行了形式化的研究,提出了神经元的数学模型(M-P模型).该模型能够完成有限的逻辑运算.M-P模型是第一个神经元模型。2、1969年,明斯基(Minsky)发表了著名的专著认知论,书中通过数学证明,从理论上证明了当前的单层神经网络(感知器)无法解决“异或(XOR)问题”(即按异或关系进行逻辑分类).只能进行线性的划分.明斯基同时证明了要解决XOR问题,神经网络必须要三层或三层以上的结构.但是对于这样的结构,很难找到通用的学习算法.明斯基的这一研究，无疑是给初期的人工神经网络一个很大的打击。这导致了神经网络被人们冷落了十几年，直到1982年hopfield网络模型的提出。3、人工神经网络根据结构分类：前馈型、反馈型、全互连型。4、人工神经网络有下列重要特性:并行分布性、非线性、自学习、自适应、可硬件实现等。5、感知器是一个多输入,单输出的变换系统.根据神经网络结构分类,可以分为单层感知器和多层感知器两种类型.单层感知器结构比较简单,但其功能有限.可以把其结构视为神经元结构.也有人称MP模型为单层感知器；多层感知器克服了单层感知器的部分缺点,其结构上是前馈型人工神经网络.采用的学习算法是BP算法。6、感知器是一个多输入,单输出的变换系统。x=(x1,xn) Rn是输入状态向量,R+是感知器阈值,yR是感知器的输出状态,其中w = (w1,wn) Rn为权重向量,w和是系统的可调参量.在感知器模型中，运算函数f 是介于-1与+1之间的单增函数，称之为激活函数。7、激活函数通常可取如下三种类型,由此决定神经元的输出特征.类型1：激活函数为符号函数，如M-P模型，单层感知器。类型2：激活函数为分段线性函数。类型3：激活函数为Sigmoid(S形)函数,它是一类单增,光滑且具有渐近性质的函数.S型特性函数反映了神经元的非线性输出特性。如hopfield网络。8、单层感知器采用符号函数为激活函数。单层感知器由于其激活函数是分段线性函数,所以只能解决线性可分类的样本的分类问题.如果样本不能用超平面分开,就会产生当年明斯基等提出的不可分问题(如,XOR问题).由于其局限性, 现已很少使用单层感知器。9、多层感知器多层感知器从网络结构上可归为“前馈型神经网络”；多层感知器的输入输出关系与单层感知器完全相同，前一层的输出是下一层的输入；激活函数通常选取S型函数；其学习算法采用BP (反向传播)算法。10、BP学习算法：BP网络是指运用BP学习算法，即带误差信息反馈的多层感知器神经网。可见，在BP网络中，其网络结构是带反馈的前向网络，而反馈主要是BP（反向传播）学习算法产生的。BP学习算法流程图：略（1）该学习算法是通过对权值进行调整来不断地逼近要学习的目标。在逼近过程中，梯度指明了方向，在此方向上对权值进行微调，使性能函数取值最大。（2）这个算法的学习过程，由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐层节点单元逐层处理，并传向输出层，每一层神经元的状态只影响其输出层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播过程，将误差信号沿原来的连接通路返回，通过修改各层神经元的连接权值，使得误差信号递减至最小。（3）即BP学习过程中,首先定义了一组输出要求的模式(一般是用一个输出神经元输出为1,其他输出为0来定义一种模式,也叫导师),根据输出层的神经元的输出与一个要求的输出之间的误差,确定对隐层节点的连接权的修改；通过这种有导师的误差反向传输学习算法,针对整个训练集,不断地调整隐层节点的神经元的连接权值,通过反复修改连接权值,直到整个网络达到要求的响应为止.11、应用神经网络时要根据应用背景选择网络结构：单纯分类应用前馈网，BP算法；实时性应用带反馈的神经网络；不易分类或不能分类方面自适应网络，无教师信号l 第四部分进化计算资料：课件、教材相关内容重点：1、遗传算法的相关生物学基础:（1）达尔文: “优胜劣汰,适者生存”的进化论原理.（2）孟德尔: “遗传变异理论”.2、什么是遗传算法?遗传算法是通过人工方式构造的一类优化与搜索算法,是对生物进化过程进行的一种数学仿真,是进化计算的最重要的形式.3、适应度函数：通过适应度函数来决定染色体的优劣程度,它体现了自然进化中的优胜劣汰原则.对于优化问题,适应度函数就是目标函数,要能够有效地反映每一个染色体与问题最优解染色体之间的差距.4、遗传操作：简单遗传算法中的遗传操作主要有三种:选择(selection)、交叉(crossover)和变异(mutation)。(1)选择操作：也称复制操作,是根据个体的适应度函数值所度量的优劣程度决定它在下一代是被淘汰还是被遗传。(2)交叉操作：将被选择出的两个个体P1和P2作为父母个体,将两者的部分码值进行交换.(要产生随机数c，确定交叉位置)(3)变异操作：改变数码串的某个位置上的数码.(也要产生随机数k,以确定对数码串中哪一位进行变异操作)5、控制参数：种群的染色体总数叫种群规模，它对算法的效率有明显的影响，规模太小不得于进化，而规模太大将导致程序运行时间长。对不同的问题可能有各自适合的种群规模，通常种群规模为30至100。一般在程序设计中交叉发生的概率要比变异发生的概率选取得大若干个数量级，交叉概率PC取0.4至0.99之间的值；变异概率Pm取0.001至0.01之间的值。6、模式定理：（1）什么是模式？即模式(schema)是含有通配符(*)的一类字符串的通式表达。每个“*”可以取“1”或者“0”。（2）模式s的阶：是出现在模式中的“0”和“1”的数目，记为o(s)。（3）模式s的定义距(即模式的长度)：是指出现在模式中第一个确定位置和最后一个确定位置之间的距离，记为模式s的长度。（4）高适应度的，短定义矩的，低阶的模式在GA的迭代中将按指数增长方式被复制。模式定理(Schema Theorem)遗传算法正是通过定义长度短，确定位数少，适应度值高的模式（即积木块），经反复抽样、增减、组合等处理来存优去劣，寻找最佳匹配点，进行高质量的问题求解。7、遗传算法应用中的一些基本问题：1) 目标函数值到适值形式的映射：首先应保证映射后的适值是非负的，其次目标函数的优化方向应对应于适值增大的方向。2) 适值的调整：对种群内各位串的适值进行有效调整，既不能相差太大，又要拉开档次，强化位串之间的竞争性。3) 编码原则：编码应使确定规模的种群中包含尽可能多的模式。定理：二进制编码方案能取得最大的模式数。4) 多参数及联定点映射编码：级联各编码参数构成一个整体。8、遗传算法解决问题举例：详见课件9、高级遗传算法：改进的复制方法在简单遗传算法的复制操作(即一般复制法)中，适值高的个体具有较高的复制概率，但其潜在的问题是：种群中最好的个体可能产生不了后代，即所谓的“随机误差”。改进后的复制方法，可避免一般复制法所带来的“随机误差”。改进的复制方法有：稳态复制法、代沟法、选择种子法。l 第五部分混合智能系统资料：课件重点：1、什么是“软计算”，它与人工智能的关系？2、神经专家系统：特点、近似推理、表示知识的方法，例题。3、神经模糊系统：模糊系统没有学习的能力且不能在新的环境中调整自己。另一方面，神经网络虽然可以学习，但对于用户而言是不透明的。集成的神经模糊系统可以将神经网络的并行计算和学习能力与模糊系统的类似于人类的知识表达方式和解释能力结合起来。这样，神经网络变得更透明，而模糊系统也有了学习能力。4、进化神经网络：指导权重优化和拓扑选择，例题。l 考试时间：14周，周四（12月1日）上午9点半11点半l 考试地点：4307l 题型：单选题、填空题、简答题、计算题附：练习题答案（包括部分作业题）1. 由McCulloch-Pitts模型组成的神经元网络的结构与参数如图所示。已知X0, X1与X2都属于0,1，试求的真值表。（McCulloch-Pitts）使用的模型参数为： (1)真值表如下：X0X1X2Zy0000100101010100111110010101111101011111其中，Z为第一个神经元的输出值。Zf(x0, x1) = sgn (x0+x1-1)y = f (Z, x2) = sgn (-Z+x2-) = sgn (-Z+x2)(2)真值表如下：X0X1X2y00000010010001101000101011011110y = sgn (x0+x1-x2-) = sgn (x0+x1-x2-2)2. 已知，试问以下网络与什么逻辑运算等价？(1) y = f (x0, x1, x2) = sgn (x0+x1+x2-2.9)X0X1X2y00000010010001101000101011001111可见，当x0,x1,x2均为1时，y=1, 其他情况y=0。实现了一个“与”运算：y=x0x1x2 (2) y = f (x0, x1, x2) = sgn (x0+x1/2+x2/2-0.9)X0X1X2y00000010010001111001101111011111可见，当x0=1或x1,x2同时为1时，y=1, 其他情况y=0。即：y=x0（x1x2）3叙述简单遗传算法的基本原理及其求解步骤在遗传算法中,通过随机方式产生若干个所求解问题的数字编码,即染色体,形成初始种群.通过适应度函数给每个个体一个数值评价,淘汰低适应度的个体,选择高适应度的个体参加遗传操作,经过遗传操作后的个体集合形成下一代新的种群.再对这个新种群进行下一轮的进化.直到满足期望的终止条件.简单遗传算法求解步骤如图所示：4举例说明二进制编码与解码的过程假设某一参数取值范围是A, B。我们用长度为l的二进制编码串来表示该参数，将A, B等分成(2l-1)个子部分，记每一个等分的长度为，则它能够产生(2l)种不同的编码，参数编码对应关系如下：= (BA)(2l1)0000000000000000 = 0-A0000000000000001 = 1-A+1111111111111111 = 2l-1-B假设某一个个体的编码是：X：xlxl-1xl-2x2x1则上述二进制编码对应的解码公式为：说明：对于X：xlxl-1xl-2x2x1，式子的功能是将此二进制串X转化为十进制形式。5考虑3个数字串A1=11101111，A2=00010100，A3=01000011和6个模式H1=1*，H2=0*，H3=*11，H4=*0*00*，H5=1*1*，H6=1110*10。哪些模式与哪些串匹配？各模式的阶和长度为多少？当单个变异的概率Pm=0.001时，计算在该变异率的条件下各模式的存活概率。当交叉概率为Pc=0.85时，计算在该交叉概率的条件下各模式的存活概率。(1)与各模式与串的匹配关系H1=1*：A1=11101111H2=0*：A2=00010100，A3=01000011H3=*11：A1=11101111，A3=01000011H4=*0*00*：无H5=1*1*：A1=11101111H6=1110*10：无(2)各模式的阶和长度H1=1*：H2=0*：H3=*11：H4=*0*00*：H5=1*1*：H6=1110*10：(3)变异概率Pm=0.001条件下各模式存活率公式：H1=1*：H2=0*：H3=*11：H4=*0*00*：H5=1*1*：H6=1110*10：(4)交叉概率Pc=0.85条件下各模式存活率公式：H1=1*：H2=0*：H3=*11：H4=*0*00*：H5=1*1*：H6=1110*10：6请叙述模式定理内容由上式，高适应度的，短定义矩的，低阶的模式在GA的迭代中将按指数增长方式被复制。模式定理(Schema Theorem)遗传算法正是通过定义长度短，确定位数少，适应度值高的模式（即积木块），经反复抽样、增减、组合等处理来存优去劣，寻找最佳匹配点，进行高质量的问题求解。7设模糊矩阵，求参考答案8已知单层感知机如图所示，根据不同的运算要求，确定，和的值。（1）“与”运算 （2）“或”运算 （3）“异或”运算参考答案（1）“与”运算X1X2X1X2VW1X1W2X2条件000VW10W2000010VW10W210W2100VW11W200W1111VW11W210W1W2此表可解，如W1W21，1.5（2）“或”运算X1X2X1X2VW1X1W2X2条件000VW10W2000011VW10W210W2101VW11W200W1111VW11W210W1W2此表可解，如W1W21，0.5（3）“异或”运算X1X2X1X2VW1X1W2X2条件000VW10W2000011VW10W210W2101VW11W200W1110VW11W210W1W2此表无解。9、计算智能是一种智力方式的（ A ）认知，这也是它与人工智能的主要区别。（A）低层（B）中层（C）高层（D）原始10、1943年,麦卡洛克(McCulloch)与皮茨(Pitts)提出了神经元的数学模型(M-P模型)，但该模型不能解决（ D ）。（A）简单的分类问题（B）逻辑与运算（C）逻辑或运算（D）异或运算11、已知，则以下单层感知器与（ B ）运算等价。（A）“与”逻辑（B）“或”