人工智能原理5

1,计算智能,什么是计算智能？计算智能所包含的领域?,2,关于计算智能（ComputationalIntelligence,CI）,1。92年，美国学者James首次提出：计算智能(CI)是依靠生产者提供的数字、数据材料进行加工处理，而不是依赖于知识；人工智能（ArtificialIntelligence,AI）则是须用知识进行处理。2。94年，James在Florida,Orlando,94IEEEEWCCI会议上又阐述他的观点，智能有三个层次,3,生物智能（BiologicalIntelligence,BI）由人脑的物理化学过程反映出来的，人脑是有机物，它是智能的基础。人工智能（ArtificialIntelligence,AI）是非生物的，人造的，常用符号来表示，AI的来源是人类知识的精华。计算智能（ComputationalIntelligence,CI）是由数学方法和计算机实现的，CI的来源数值计算的传感器。,4,3。关系：从复杂性来看，BIAICI；从所属关系来看，BI）AI）CI；AI是CI到BI的过渡，因为AI中除计算算法之外，还包括符号表示及数值信息处理。模糊集合和模糊逻辑是AI到CI的过渡。也有些人认为CI不属于AI，仅有部分重合。AI：符号主义，知识、规则、推理，左脑CI：连接主义，数据、学习、记忆，右脑,5,1、神经计算2、模糊计算3、粗糙集理论4、遗传算法5、进化策略与编程6、人工生命7、粒群优化8、蚁群算法9、自然计算10、免疫计算,目前计算智能的研究内容,6,人工神经网络的基本模型,1生物神经元2人工神经元的形式化模型3人工神经网络模型4人工神经网络的学习规则,7,1、生物神经元,1.1神经元的结构1.2膜电位与神经元的兴奋,8,1.1神经元的结构,本体：细胞体（细胞膜、质、核），对输入信号进行处理，相当于CPU。树突：本体向外伸出的分支，多根，长1mm左右，本体的输入端。轴突：本体向外伸出的最长的分支，即神经纤维，一根，长1cm1m左右，通过轴突上的神经末梢将信号传给其它神经元，相当于本体的输出端。突触：各神经元之间轴突和树突之间的接口，即神经末梢与树突相接触的交界面，每个细胞体大约有103104个突触。突触有兴奋型和抑制型两种。,9,神经元结构,10,1.2膜电位与神经元的兴奋,膜电位：细胞膜将细胞分为内外两部分，当外部电位为0时，称内部电位为膜电位。静止膜电位：当没有输入信号时的膜电位成为静止膜电位，通常为-70mv左右。兴奋状态：当外部有输入信号时，将使膜电位发生变化，倘若使膜电位升高，比静止膜电位高15mv以上，即超过-55mv（阈值），神经元被激活，内部电位急剧上升至100mv左右，并维持约1ms，然后急剧下降。相当输出一个100mv高1ms宽的脉冲，并沿轴突以100m/s的速度传至其它的神经元。,11,抑制状态：当外部输入信号使膜电位下降低于阈值电位时，神经元处于抑制状态，无脉冲输出。“兴奋抑制”状态满足“01”律A/D转换：电脉冲到达各突触接口后，放出某种化学物质，该物质作用于各个和其相连的神经元的细胞膜，并使其膜电位发生变化，完成了将离散的脉冲信号转换为连续变化的电位信号。,12,时间加算功能：对于不同时间通过同一突触传入的信号具有时间的加算功能。空间加算功能：对于同一时间通过不同突触的输入信号具有空间加算功能。,13,2人工神经元的形式化模型,2.1M-P模型2.2感知器模型,14,MP模型属于一种阈值元件模型，它是由美国McCulloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。,MP模型,15,标准MP模型,16,wij代表神经元i与神经元j之间的连接强度(模拟生物神经元之间突触连接强度)，称之为连接权；ui代表神经元i的活跃值，即神经元状态；vj代表神经元j的输出，即是神经元i的一个输入；i代表神经元i的阈值。函数f表达了神经元的输入输出特性。在MP模型中，f定义为阶跃函数：,17,如果把阈值i看作为一个特殊的权值，则可改写为:其中，w0i-i，v01为用连续型的函数表达神经元的非线性变换能力，常采用s型函数:该函数的图像如下图所示,18,19,MP模型在发表时并没有给出一个学习算法来调整神经元之间的连接权。但是，我们可以根据需要，采用一些常见的算法来调整神经元连接权，以达到学习目的。下面介绍的Hebb学习规则就是一个常见学习算法。,20,Hebb学习规则神经网络具有学习功能。对于人工神经网络而言，这种学习归结为神经元连接权的变化。调整wij的原则为：若第i和第j个神经元同时处于兴奋状态，则它们之间的连接应当加强，即：wijuivj这一规则与“条件反射”学说一致，并已得到神经细胞学说的证实。是表示学习速率的比例常数。,21,2感知器模型,感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关注。简单感知器简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。,22,其结构如下图所示感知器处理单元对n个输入进行加权和操作v即：其中，Wi为第i个输入到处理单元的连接权值为阈值。f取阶跃函数.,23,感知器在形式上与MP模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。利用简单感知器可以实现逻辑代数中的一些运算。Y=f(w1x1+w2x2-)(1)“与”运算。当取w1w21，1.5时，上式完成逻辑“与”的运算。,24,(2)“或”运算，当取wlw21，0.5时，上式完成逻辑“或”的运算。(3)“非”运算，当取wl=-1，w20，-1时完成逻辑“非”的运算。Y=f(w1x1+w2x2-),25,与许多代数方程一样，上式具有一定的几何意义。对于一个两输入的简单感知器，每个输入取值为0和1，如上面结出的逻辑运算，所有输入样本有四个，记为(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，构成了样本输入空间。例如，在二维平面上，对于“或”运算，各个样本的分布如下图所示。直线1*x1+1*x2-050将二维平面分为两部分，上部为激发区(y，=1，用表示)，下部为抑制区(y0，用表示)。,26,简单感知器引入的学习算法称之为误差学习算法。该算法是神经网络学习中的一个重要算法，并已被广泛应用。现介绍如下：误差型学习规则：(1)选择一组初始权值wi(0)。(2)计算某一输入模式对应的实际输出与期望输出的误差,27,(3)如果小于给定值，结束，否则继续。(4)更新权值(阈值可视为输入恒为1的一个权值)：wi（t+1）wi（t+1）-wi（t）dy(t)xi。式中为在区间(0，1)上的一个常数，称为学习步长，它的取值与训练速度和w收敛的稳定性有关；d、y为神经元的期望输出和实际输出；xi为神经元的第i个输入。(5)返回(2)，重复，直到对所有训练样本模式，网络输出均能满足要求。,28,29,对于学习步长的取值一般是在(0，1)上的一个常数，但是为了改进收敛速度，也可以采用变步长的方法，这里介绍一个算法如下式：式中，为一个正的常量这里取值为0.1。所以，对应于输入(0，0)，修正权值(注意：=w0,x0=-1)w0（1）dyx00.1(10)(1)0.1，W0(1)=0.1+w0（1）=0.1-0.1=0.0依次进行。,30,同样的方法，对其他输入样本都进行学习。整个学习过程就是某一超平面在样本空间中几何位置调整的过程。初值w1(7)0225w2(7)00875，(7)01875。这样的一组网络参数满足计算要求。,31,32,感知器对线性不可分问题的局限性决定了它只有较差的归纳性，而且通常需要较长的离线学习才能达到收效。,33,多层感知器如果在输入和输出层间加上一层或多层的神经元(隐层神经元)，就可构成多层前向网络，这里称为多层感知器。这里需指出的是：多层感知器只允许调节一层的连接权。这是因为按感知器的概念，无法给出一个有效的多层感知器学习算法。,34,上述三层感知器中，有两层连接权，输入层与隐层单元间的权值是随机设置的固定值，不被调节；输出层与隐层间的连接权是可调节的。,35,对于上面述及的异或问题，用一个简单的三层感知器就可得到解决实际上，该三层感知器的输入层和隐层的连接，就是在模式空间中用两个超平面去划分样本，即用两条直线：x1+x2=0.5x1十x21.5。,36,37,38,可以证明，只要隐层和隐层单元数足够多，多层感知器网络可实现任何模式分类。但是，多层网络的权值如何确定，即网络如何进行学习，在感知器上没有得到解决：当年Minsky等人就是因为对于非线性空间的多层感知器学习算法未能得到解决，使其对神经网络的研究作出悲观的结论。,39,2.4人工神经网络模型,1神经网络节点的形式化描述2神经元状态转移函数的类型3神经网络分类及其拓扑结构4神经网络的知识表示与处理能力,40,1神经网络节点的形式化描述,图神经元结构模型,41,i=xiwij+si-iui=f(i)Yi=g(ui)=f(i)h=gf,42,2神经元状态转移函数的类型,当神经元没有内部状态时，可令yi=ui，h=f。常用的神经元状态转移函数有：1、阶跃函数2、准线形函数,43,3、Sigmoid函数4、双曲正切函数,44,图神经元状态转移函数,阶跃函数准线形函数Sigmoid函数双曲正切函数,45,3神经网络分类及其拓扑结构,一、神经网络的分类1、按照对生物神经系统的不同组织层次和抽象层次的模拟，可分为：（1）神经元层次模型研究工作主要集中在单个神经元的动态特性和自适应特性，探索神经元对输入信息选择的响应和某些基本存贮功能的机理。（2）组合式模型它由数种相互补充、相互协作的神经元组成，用于完成某些特定的任务。如模式识别、机器人控制等。,46,（3）网络层次模型它是由许多相同神经元相互连接而成的网络，从整体上研究网络的集体特性。（4）神经系统模型一般由多个不同性质的神经网络构成，以模拟生物神经的更复杂或更抽象的性质。（5）智能型模型这是最抽象的层次，多以语言形式模拟人脑信息处理的运行、过程、算法和策略。这些模型试图模拟如感知、思维、问题求解等基本过程且与AI相关。,47,2、按照网络的结构与学习方式分：（1）按照网络的性能分：连续型与离散型网络；确定型与随机型网络。（2）按照网络的结构分：前馈网络；反馈网络。（3）按照学习方式分：有教师指导的网络；无教师指导的网络。（4）按照连接突触的性质分：一阶线性关联网络；高阶线性关联网络。,48,二、神经网络的拓扑结构1、不含反馈的前向网络(a)2、从输出层到输入层有反馈的前向网络(b)3、层内有反馈的前向网络(c)4、相互结合型网络(d),49,图网络结构的各种形态,50,5人工神经网络的学习规则,1人工神经网络的学习方式2人工神经网络学习规则,51,1人工神经网络的学习方式,一、死记学习联想记忆（自、他），先设计成记忆模式为稳态，给定有关信息时就回忆起来。二、有教师指导的学习给定输入模式，教师指定期望输出，通过调整权系。前向网络，如BP算法。三、竞争学习给定一个输入模式，使某些（个）神经元兴奋。如ART网络。,52,2人工神经网络学习规则,一、相关规则依据连接之间的激活水平改变权系。（死记学习）。1、D.D.Hebb学习规则网络中若第i与第j个神经元同时处于兴奋状态，则它们之间的连接权值Wij应当加强，即：Wij(n+1)=Wij(n)+WijWij=YiYj0学习速率系数要求：Y0,1或Y-1,+1Hopfield网络使用修正的Hebb规则：Wij=(2Yi-1)(2Yj-1)要求：Y0,1或Y-1,+1,53,二、纠错规则依据输出节点的外部反馈来改变权系，使实际输出与期望输出相一致。（有教师指导的学习）2、感知器的学习规则如果一个节点的输出正确，则连接权值不变。如果输出本应为0而为1，则相应地减小权值。如果输出本应为1而为0，则相应地增加权值。,54,3、学习规则网络中神经元j与神经元i的连接权值为Wij，则对权值的修正为：Wij=iYi其中：为学习率；i=Ti-Yi为i的偏差，即i的实际输出和教师信号之差。学习规则仅用于单层网络的学习规则，如单层感知器的学习。,55,4、广义学习规则用于多层网络，对于输出层节点和相邻隐层节点之间的权值修正用学习规则，对于其它层间的连接权值，则使用广义学习规则。设i为隐层节点，其偏差的计算为：i=f(neti)kWkiWij=iYi其中：k为i的上一层节点k的偏差，Wki为i与k间的连接权值。i的下一层节点的偏差可以用递归的方法得到。,56,5、Boltzmann机学习规则（模拟退火算法）模拟退火算法基本上由三部分组成：(1)以一定的概率密度函数跃迁到新的状态，这个概率密度函数称为生成函数。(2)以一定的概率密度函数容忍评估函数的偶然上升，这个概率密度函数称为容忍函数。(3)以一定的冷却方式降低温度，这个等效温度是生成函数和容忍函数的控制参量。,57,经典的模拟退火算法中使用了高斯型生成函数，其中T(t)是温度，决定了概率密度分布的特征宽度，这种分布函数远处是指数型衰减的，因而代表一种局域型搜索过程，为了能找到全局最小，温度要下降的很慢，Geman兄弟证明只要满足退火率为：且T(0)要足够大。,58,算法大致如下，从一个随机选取的状态出发，依据生成函数产生一个新的状态，如果这个新的状态的评估函数值比原来的状态低，则令它为系统新的状态；如果它比原先状态的评估函数值高，则它成为新状态的概率由容忍函数确定，若系统不进入这个状态，则它仍保持原先的状态，生成函数与容忍函数按照规定的冷却方式变化。在学习过程中，随机地改变一权值，确定权值改变后产生的最终能量，并按照下述规则来确定是否保留此权值的变化。,59,若随机改变权值后，ANN能量降低，则保留这一改变。若随机改变权值后，ANN能量没降低，则根据一预选的概率分布来保留这一改变，否则拒绝权值的改变，使权值恢复到原来的值。在第步虽然性能有可能变差，但从整体上来看，却能保证ANN能达到能量最小点。在中逐渐减小概率值。,60,6、梯度下降算法将数学上的最优化方法应用于ANN中，权值的修正量正比于误差对加权的一阶导数。其中，E是描述误差的误差函数，是学习率。,61,三、无教师指导的学习规则学习表现为适应于输入空间的检测规则。7、竞争学习规则设输入层有n个节点，输出层m个节点，dj为距离接近测度，则：i1,2,n,j1,2,m,62,胜者：j1,2,m,63,BP神经网络,BP神经网络(反向传播网络back-propagationnetwork)是目前应用最广泛的一种神经网络模型，可以用它来作为时间序列的预测模型。网络由输入层、隐层和输出层组成,通常采用BP学习算法进行网络的训练。隐层可以有一层或多层，可以采用含有一层隐层的BP神经网络。,64,BP神经网络,Kolmogorov定理已经证明,仅有一个隐层的神经元和隐层采用S型传递函数的多层神经网络能以任意精度逼近任意连续函数。,65,BP神经网络,66,BP神经网络,各个神经元之间的连接并不只是一个单纯的传输信号的通道，而是在每对神经元之间的连接上有一个加权系数，这个加权系数就是权值，它起着生物神经系统中神经元的突触强度的作用，它可以加强或减弱上一个神经元的输出对下一个神经元的刺激。修改权值的规则称为学习算法，它可以根据经验或学习来改变。,67,BP神经网络,BP算法可以对网络中各层的权系数进行修正，解决了多层网络的学习问题。其学习过程由正向传播和反向传播组成。正向传播是根据输入从第一个隐含层开始逐层地进行计算,并向下一层传递（每一层神经元只影响下一层神经元的状态）,直到传出输出层，求出输入对应的实际输出。然后将实际输出与期望输出进行比较得到误差信号，如果它们的误差不能满足要求，,则沿着原来的连接通路逐层返回，即误差反向逐层传播，用于修改连接权值和阈值,使误差逐步减小,直到满足要求为止。一旦网络经过训练达到稳定，并用于求解现实问题,则就只需正向传播,不需要再进行反向传播。,68,3.2数学模型,假定：,69,，,70,71,72,BP神经网络数学描述要点：输入和输出的样本对的关系是连续非线性的，如：,各层输入与输出的关系由权值wki和wjk构成的两个权重矩阵、两个偏差矩阵（列矩阵）的行列关系网络计算目的与初始条件（输入与输出、样本对、初始权值与偏差值）,73,1、计算流程图,74,BP神经网络,75,BP神经网络,76,BP神经网络,77,BP神经网络,78,BP神经网络,总结以上推导可写为的计算有两种情况:(1)当j是一个输出单元时,为与误差信号之积.(2)当j是一个隐单元时,为与后面一层的的加权和之积,79,BP神经网络,80,BP神经网络,81,BP神经网络,输出层权值调节,隐含层权值调节,82,BP神经网络,83,从上面的过程可以看出，BP网络的学习和训练分成两个阶段，在第一阶段里对于给定的网络输入，通过现有连接权重将其正向传播，获得各个神经元的实际输出；在第二阶段里，首先计算出输出层各神经元的一般化误差，这些误差逐层向输入层方向逆向传播，以获得调整各连接权重所需的各神经元参考误差。,BP神经网络,84,学习算法从本质上说，神经网络的训练问题是一个函数极小化问题，但由于它的数学基础是非线性理论，因系统的高度非线性使最初的BP算法存在效率低、收敛慢、易于陷入局部极小等缺陷，使神经网络在复杂系统中的应用受到限制。大部分新的研究都集中在算法的改进上，如共轭梯度算法、基于信息熵优化的算法、改进的BP法等。通过这些研究，使神经网络的应用得到进一步的发展。,85,BP神经网络,BP神经网络存在一些不足之处：,86,1、神经计算2、模糊计算3、粗糙集理论4、遗传算法5、进化策略与编程6、人工生命7、粒群优化8、蚁群算法9、自然计算10、免疫计算,目前计算智能的研究内容,87,人工生命,当前构建人工生命的途径主要有三类。第一类是通过软件的形式，即用编程的方法建造人工生命。由于这类人工生命主要在计算机内活动，其行为主要通过计算机屏幕表现出来，所以它们被称为虚拟人工生命或数字人工生命。,88,人工生命,定义1C.Langton:ArtificialLifeisthestudyofman-madesystemthatexhibitbehaviorscharacteristicofnaturallivingsystem研究具有自然生命系统行为的人造系统。,89,Artificiallifecancontributetotheoreticalbiologybylocating“life-as-know-it”withinthelargerpictureof“life-as-it-could-be”,90,人工鱼涂晓媛,获了1996ACMDoctoralDissertationAward.,91,人工鱼涂晓媛,92,人工鱼涂晓媛,93,人工鱼涂晓媛,94,人工鱼涂晓媛,95,机器鱼,96,机器鱼,97,机器鱼,98,机器鱼,99,机器鱼,这些机器鱼是由英国艾克塞斯大学计算机科学系的胡霍生（HuoshengHu）教授和他带领的人类中心机器人小组制作的。,100,蚁群算法,20世纪90年代初期，意大利学者多里戈、马尼佐和科洛龙等人从生物进化和仿生学角度出发，研究蚂蚁寻找路径的自然行为，提出了蚁群算法，并用该方法求解TSP问题、二次分配问题和作业调度等问题，取得较好的效果。,101,蚁群算法,蚁群算法是对自然界蚂蚁的寻径方式进行模似而得出的一种仿生算法。蚂蚁在运动过程中，能够在它所经过的路径上留下一种称之为外激素(pheromone)的物质进行信息传递，而且蚂蚁在运动过程中能够感知这种物质，并以此指导自己的运动方向，因此由大量蚂蚁组成的蚁群集体行为便表现出一种信息正反馈现象：某一路径上走过的蚂蚁越多，则后来者选择该路径的概率就越大。,102,蚁群算法,为了说明蚁群算法的原理，先简要介绍一下蚂蚁搜寻食物的具体过程。在蚁群寻找食物时，它们总能找到一条从食物到巢穴之间的最优路径。这是因为蚂蚁在寻找路径时会在路径上释放出一种特殊的信息素。当它们碰到一个还没有走过的路口时就随机地挑选一条路径前行。与此同时释放出与路径长度有关的信息素。路径越长，释放的激索浓度越低.当后来的蚂蚁再次碰到这个路口的时候选择激素浓度较高路径概率就会相对较大。这样形成一个正反馈。最优路径上的激索浓度越来越大而其它的路径上激素浓度却会随着时间的流逝而消减。最终整个蚁群会找出最优路径。,103,简化的蚂蚁寻食过程1/3,蚂蚁从A点出发，速度相同，食物在D点，可能随机选择路线ABD或ACD。假设初始时每条分配路线一只蚂蚁，每个时间单位行走一步，本图为经过9个时间单位时的情形：走ABD的蚂蚁到达终点，而走ACD的蚂蚁刚好走到C点，为一半路程。,104,简化的蚂蚁寻食过程2/3,本图为从开始算起，经过18个时间单位时的情形：走ABD的蚂蚁到达终点后得到食物又返回了起点A，而走ACD的蚂蚁刚好走到D点。,105,简化的蚂蚁寻食过程3/3,假设蚂蚁每经过一处所留下的信息素为一个单位，则经过36个时间单位后，所有开始一起出发的蚂蚁都经过不同路径从D点取得了食物，此时ABD的路线往返了2趟，每一处的信息素为4个单位，而ACD的路线往返了一趟，每一处的信息素为2个单位，其比值为2：1。寻找食物的过程继续进行，则按信息素的指导，蚁群在ABD路线上增派一只蚂蚁（共2只），而ACD路线上仍然为一只蚂蚁。再经过36个时间单位后，两条线路上的信息素单位积累为12和4，比值为3：1。若按以上规则继续，蚁群在ABD路线上再增派一只蚂蚁（共3只），而ACD路线上仍然为一只蚂蚁。再经过36个时间单位后，两条线路上的信息素单位积累为24和6，比值为4：1。若继续进行，则按信息素的指导，最终所有的蚂蚁会放弃ACD路线，而都选择ABD路线。这也就是前面所提到的正反馈效应。,106,InterruptTheFlow,107,ThePathThickens!,108,TheNewShortestPath,109,AdaptingtoEnvironmentChanges,110,自然蚁群与人工蚁群算法,基于以上蚁群寻找食物时的最优路径选择问题，可以构造人工蚁群，来解决最优化问题，如TSP问题。人工蚁群中把具有简单功能的工作单元看作蚂蚁。二者的相似之处在于都是优先选择信息素浓度大的路径。较短路径的信息素浓度高，所以能够最终被所有蚂蚁选择，也就是最终的优化结果。两者的区别在于人工蚁群有一定的记忆能力，能够记忆已经访问过的节点。同时，人工蚁群再选择下一条路径的时候是按一定算法规律有意识地寻找最短路径，而不是盲目的。例如在TSP问题中，可以预先知道当前城市到下一个目的地的距离。,111,算法步骤（以TSP为例）,初始化蚂蚁随机分布到各个城市环游蚂蚁依次选择路径直到返回出发点更新路径,112,算法核心,转移