第7章 智能的综合集成.ppt

1、第7章 智能的综合集成,任务： 符号智能与计算智能的综合集成 内容： TAI与计算智能技术的特点回顾 综合集成的必要性和可能性 综合集成的信息基础 综合集成模型结构 集成方法,一、TAI与计算智能技术的特点回顾,1、各自特点 2、各体现的智能行为 3、在系统中的层次 TAI的符号主义、ANN的联接主义在机制上集成，处于系统信息处理的底层 计算智能技术在方法上综合，可处于系统信息处理的各个层次 一般认为：高层 TAI、FS 中层 EA 底层 ANN,二、综合集成的必要性和可能性,1、必要性机制上需要集成多种机制（1）信息处理角度Minsky：我们需要利用两者优点的集合系统（2）生理学角度串行+并

2、行（3）思维科学角度结合TAI的逻辑思维和CI的形象思维方法上需要综合各种方法,二、综合集成的必要性和可能性,2、可能性出发点： 基于移位器问题，考察BP和产生式系统的相互统一。问题描述： 给定3个向量V1=(a1,a2,am) V2=(b1,b2,bm) V3=(c1,c2, a3) 要求在V3中显示出V2是V1的左移、不移和右移。,二、综合集成的必要性和可能性,（一）一个基于规则的产生式系统可以用一个ANN系统实现 对移位器问题，可用产生式规则描述为：,二、综合集成的必要性和可能性,关键：如何用一ANN表示出众多的规则？方法：（1）划分规则的前提为独立的因子，（2）抽象出足以表达各因子的关

3、键元，（3）关键元对应于BP的输入节点（4）规则的结论对应于BP的输出节点（5）构成BP网络已有大量的训练实例。,二、综合集成的必要性和可能性,（二）一个BP系统可以用一个产生式系统表示关键：如何从一个BP中抽取出规则？方法：（1）从一个BP中得到许多输入/输出模式对（2）每一模式形成一个产生式规则注意：抽出的规则可能无意义，信息丢失,二、综合集成的必要性和可能性,（三）产生式系统蕴涵的前提与结论的关联在BP中得到充分显现关键：如何表示这种关联的可信度RF（Relation Factor）？方法：很多，如下面（1）假设在没有输入时，输出节点的动作值为H(S)，其中S为输出的三种状态之一；当输入

4、某个模式的一种状态P时，输出节点的动作值为O(P,S)，则 RF1(P,S)=k1 (O(P,S)-H(S)， k1 为一常数。,二、综合集成的必要性和可能性,（2）当考虑一种输入模式的各种情况时，用C(P,S,F)表示输入模式的各种情况都输入后（单元动作值从最小变为最大），输出节点的动作值的变化。则对一种移位状态，总的变化Sum(P,S)= C(P,S,F) 设输入模式的单元数为N(P),则 RF2(P,S)= k2 (Sum(P,S)/ N(P) ), ， k2 为一常数。（3）当考虑各种输入模式时，由于输入和输出是非线性的关系，难以用公式显式表示。我们可以用类似于从ANN系统中抽取出规则

5、的方法，得到输入到输出的逻辑关系。,二、综合集成的必要性和可能性,（四）在BP系统中，如果一组输入/输出模式使系统较快稳定，则可以认为对应规则的前提与结论之间的联系较大，反之较小。这满足产生式系统的性质。,二、综合集成的必要性和可能性,结论：-ANN系统与ES是统一的： 都是知识的表达、获取和推理的系统； 在ANN中，知识的表达是以分布在神经元之间的联接体现的；推理过程是网络动态演化到稳定状态的过程；知识的获取是通过ANN的学习功能实现的； 只是两者赖以生存的机器不同,二、综合集成的必要性和可能性,-不同形式知识的融合 符号机制的逻辑知识 联接机制的数据知识 行为机制的时序动作知识-需要知识转

6、换机制 如NNM方法上：-计算智能方法的相似性-计算智能与TAI的相似性,三、综合集成的信息基础,集成机理 机制的集成 方法的综合,集成机理,从问题求解系统PSS的知识处理分析 PSS：知识及其操作的集合 四种知识： 背景知识(Background Knowledge) 描述特定领域包含的对象及对象之间的联系。对象本身有自己的不同属性，对象之间的联系称为关系，关系又可以有一些属性。 可用ER图表示 策略知识(Strategy Knowledge) 说明PSS使用前三种知识的方式，即系统在当时给定条件满足后如何操作。 主要包含一些操作算子和相应的操作对象，并且这些操作已有序化。 样本知识(Exa

7、mple-based Knowledge) 描述实例化的对象及其属性的情况或事例。 因果知识(Causal Knowledge) 在PSS中对特定用户来说是一种解释性知识，说明概念或行为间的因素或顺序关系 或者说明某种操作的原因和含义 实际上因果知识也是一种策略知识，它同时依赖于领域环境和用户,集成机理,不同的PSS在表征、处理这些知识时采用的方法各有不同，相应使知识在不同系统中的流动也不尽相同。 下面分析ES、ANN、FS、EA在知识处理方法方面的异同。 分析工具：知识流图(Knowledge Flow Diagram) 用方框代表某种知识，知识的种类标注在方框内； 用双横线标明知识的来源和

8、目的地； 用箭头表示知识的流动； 用椭圆表示产生某种知识的操作，操作的类型标注在椭圆内。,集成机理,（1）处理知识的类型 ES：一般只处理精确知识，后期引入不确定推理技术作为补充 计算智能专长于模糊知识处理 FS：直接处理模糊知识 ANN：通过能量函数等允许部分模糊知识的处理 EA：通过评价函数等允许部分模糊知识的处理,集成机理,（2）系统的工作方式 -集中于推理方式上 ES：正向、逆向和两者结合 FS：正向加反馈 ANN：正向加反馈 EA：没有明显的推理方式，基本上归为正向 总体而言，它们在工作方式上是类似的,集成机理,（3）知识处理方式 ES： 在ES中，知识分为： 事实(Factual

9、Knowledge)：阐明一个事实，是最低级的知识。 规则(Rule Knowledge)：是一种深化的事实操作知识。包括前提和结论。 置信度(Belief Knowledge)：是人们对事实、规则或策略的承认程度。 典型例： 策略：,集成机理,（3）知识处理方式 对应PSS， ES中的事实知识、规则知识和置信度知识属于背景知识范畴； 部分事实知识、规则知识和置信度知识属于样本知识范畴； 部分规则知识和相关的事实知识属于因果知识范畴； 策略属于策略知识； 典型例知识属于样本知识。,集成机理,（3）知识处理方式 ES的KDF图,集成机理,（3）知识处理方式 ANN： ANN认为知识在其内部的表现

10、形式是一致的，即都采用数值表示，系统的工作过程也即根据一定的学习算法变换内部神经元的联系，使系统最终达到稳定的过程。 ANN系统结构本身就包含大量的背景知识和隐含在网络初始结构中的一些策略知识； 主要的策略知识由学习算法表示； 系统在训练时需要样本知识； 训练稳定后，网络的联接结构就隐含了一些因果知识。,集成机理,（3）知识处理方式 ANN的KDF图,集成机理,（3）知识处理方式 FS： 除前期的模糊化和后期的去模糊外，其它与ES的知识处理方式类似。,集成机理,（3）知识处理方式 EA： 初始个体集包含了背景知识和因果知识，算法的训练经验实际上就是样本知识，而评价函数也即策略知识。,集成机理,

11、（3）知识处理方式 EA的KDF图,集成机理,（3）知识处理方式 总之，假设PSS中四种类型的知识分别对应有知识产生器，则在这些知识产生器和知识集合之间，知识可以以多种形式流动。 PSS可以用这四种知识及其不同的流程来加以分类和刻画。 对PSS而言，当确定了系统中知识产生和流动的方式及次序，也就确定了系统的功能和行为。 至此，我们可以将ES、FS、ANN、EA纳入到一个统一的框架下。,机制的集成,第一种提法： 模块相换法。分系统为若干模块，分别用ES或ANN实现；又分为并行协调法和串行连接法。 嵌入法。在ES中嵌入ANN。主要用于模式匹配。 功能模拟法。又分为： 联接主义产生式系统。将产生式规

12、则用ANN表示。效率不高。 联接机制专家系统。立足于ES的构成框架，用ANN作为ES的部分功能模块。 基于ES-ANN变换的ES。用ANN计算取代ES的推理机。抛弃了符号机制的优点。,机制的集成,第二种提法(Elaine Rich)： “黑盒/细线”(black-box/thin-line) 每个盒子为一符号系统或ANN，盒子之间的通信通过一个带宽很窄的信道细线进行，但任何一方不知道另一方的情况。 黑盒模块化(black-box modularity) 模块均以符号化形式输出，并且本身也以符号化形式表示。 并行管理与控制(parallel monitoring and control) 将AN

13、N和符号系统分别用于正常和意外情况的处理。 指导式(the guide) ANN提供启发式搜索的估价函数，由符号系统去执行。 符号信息的ANN获取方式 ANN用于寻找用于嵌入规则或框架中的模式。 两院制结构 两种形式对知识可以共享。,机制的集成,第三种提法： 完全由ANN构造。 混合方式。两者保持原有结构，各自解决适应处理的问题。 集成。两者之间设法沟通，统一在一个全新的协调中。,机制的集成,注意： NNM：神经网络块,方法的综合,1、从信息流分析 各种方法在信息流的每一阶段，都只关注一个部分 这也进一步说明了方法综合的必要性 2、从问题求解分析 PSS：Problem Solving Sys

14、tem 智能爬山 初始候选解集-结果 优化,方法的综合,方法的综合,不同的知识处理方法在各环节采用了不同的方法 TAI：初始知识表示、接口、知识获取与推理、知识输出与解释 FS：模糊集划分的知识表示、隶属度输入、模糊推理、模糊集、隶属度输出、去模糊 ANN：输入变换、输入数据、学习规则学习、收敛的权值矩阵、输出数据、输出变换 EA：候选解表示、候选解集、编码、遗传操作、解、解码,四、综合集成的模型结构,一种典型的模型：,四、综合集成的模型结构,注：1、此模型是一复杂系统2、在实用时，形成了一些简化系统3、环境的复杂性：病构、时变信息处理4、与分布式AI对应，包括PSS和MAS5、国内经常称：多

15、领域知识多处理范型智能系统6、与人工思维模型对应：7、受到重视,五 计算智能方法的综合,以计算智能的综合为主，适当结合符号智能 FS+ANN FS+EA EA+ANN ANN+ES 其它,（一）、FS+ANN,1、综合的动机 （1）FS处于系统的高层，ANN处于系统的底层 （2）从问题求解角度：,Operation of Fuzzy System,Crisp Input,Fuzzy Input,Fuzzy Output,Crisp Output,Fuzzification,Rule Evaluation,Defuzzification,Input Membership Functions,Ru

16、les / Inferences,Output Membership Functions,FS：,40,神经网络（BP）的拓扑结构,ANN：,2、综合的方法 （1）FS用于ANN模糊神经网络 目的：增强ANN的柔性信息处理能力 内容：神经元结构的模糊化 神经网络结构的模糊化（权值矩阵等 ） 神经网络学习规则的模糊化 （2）ANN用于FS神经模糊系统 目的:增强FS的学习能力 内容：模糊集的划分 隶属度的学习生成 模糊推理的映射关系用ANN-NFM,（二）、FS+EA,1、综合的动机 （1）FS处于系统的高层，EA处于系统的中层 （2）从问题求解角度：,EA：,2、综合的方法 （1）FS用于EA

17、模糊进化算法 目的：增强EA的模糊信息处理能力 内容：模糊进化算法 （2） EA 用于FS进化模糊系统 目的:增强FS的自适应进化学习能力 内容：模糊集划分的进化生成 模糊规则的进化生成,（三）、EA+ANN,1、综合的动机 （1） EA处于系统的中层，ANN处于系统的底层 （2）从问题求解角度：,2、综合的方法 （1）EA用于ANN进化神经网络 目的：提高ANN的自适应进化学习能力 内容：进化ANN结构的各个侧面，特别是权值矩阵、联接模式、学习规则 （2） ANN用于EA神经进化系统 目的:增强EA的映射能力和可解释性 内容：用ANN代替EA的操作算子,（四）、TAI（ES）+CI,ES：,1、综合的动机 2、综合的方法 （1）CI用