智能决策支持.ppt

1、第四章,智能决策支持技术,纲要,智能决策支持系统概述 人工智能 专家系统 神经网络 遗传算法 机器学习,IDSS成功实例,(1) 东海渔业资源评估专家系统这个系统是国家863高科技项目863-818-07专题的一个组成部分。本专题目标任务是建立具有我国自主 知识产权的渔情分析专家系统和构建一个以东海渔区（2534N，130E以西海区)为示范海区，以 卫星遥感渔业分析技术、海洋渔业服务地理信息系统技术和渔情分析专家系统技术为支撑的海洋渔业遥 感信息与资源评估服务系统。该项目获得2001年度中科院科技进步二等奖，2002年度国家科技进步二等奖。 (2) 面向对象的智能故障诊断专家系统本系统用于设备

2、自动化测试时的故障诊断，诊断软件主要通过读取数据库获得诊断所需数据，对测试过程 中出现的故障进行诊断，如自动化测试系统与主控计算机通信故障的诊断，对动力系统的综合控制装置 故障进行诊断，对设备上电气系统中独立的小元器件故障进行诊断，最后对测试系统采集到的数据进行分析， 包括绘制数据曲线，对曲线作定性分析，显示分析结果。 (3) 工商行固定资产贷款风险决策系统本系统是一个交互式系统，即在决策过程中向用户提出一些需要以数字回答的问题，界面简洁、友好。 在人机对话过程中，系统需要用户以数值形式输入一些供决策用的参数，如企业经营者素质评估， 经济实力，资金结构，经济效益，发展前景，信用等级系数，贷款金

3、额，等等。同时给出一些选项 供用户选择，如抵押贷款方式，保证贷款方式，信用贷款方式，以及贷款形态等。系统根据用户提供 的信息计算出全部贷款资产风险权重额，全部固定资产贷款资产风险度，并结合企业的信用等级， 给出评估图表，最后给出贷款与否的建议。 (4) 税务稽查鉴于稽查工作的重要性和工作复杂性，手工稽查不足以胜任繁琐的稽查任务，利用计算机进行稽查 选案势在必行。一个好的计算机选案系统能够科学地、有效地确立稽查对象，从而使得集中力量重 点稽查成为可能。税务稽查计算机选案系统即是为满足这一需求而开发的。税务稽查具体分为： 选案管理、计划管理、稽查实施、案件审理、执行分析这五个环节。 在此基础上,建

4、立智能的计算 机自动选案系统，做到有法可依，有据可依、有的放矢扩大选案，为税务稽查工作提供科学、规范的依据。,DSS,提高支持非结构化决策能力,智能DSS的基本概念,智能DSS的结构,IDSS： 更好地理解人 能积累已有知识 能获得新知识 提高分析和求解能力,自然语言处理系统 知识库 推理机 问题处理系统,智能DSS的结构,智能DSS的结构 智能人机接口,智能DSS的结构 问题处理系统,智能DSS的结构 知识库子系统,知识库子系统： 获取、解释、表示、推理及管理与维护知识,知识的获取 知识的表示是知识的符号化过程 常见的知识表示形式有： 产生式规则 语义网络表示 知识的框架表示 脚本表示 过程

5、表示 Petri网表示 面向对象表示,智能DSS的结构 知识库子系统,规则：,标准形式： 如果 则 ; A-B,实例： 如果（植物正在枯萎）而且并非（叶子有黄斑） 则（植物缺少足够的水）,产生式规则,a) 推理：是指从已知事实推出新事实 (结论)的过程。b) 推理机：是一组程序，它针对用户问题去处理知识库 (规则和事实)。 例：规则 拖债达3级及以上的客户信用低 事实 该客户拖债达4级 结论 该客户信用低 例：规则 与信用低的客户做交易要谨慎 事实 该客户信用低 结论 与该客户做交易要谨慎,智能DSS的结构 推理机,c) 推理原理如下： 若事实M为真，且有一规则“TF M THEN N”存在，

6、则N为真。 事实“任务A是紧急订货”为真，且有一规则 “IF任务i是紧急订货THEN任务i按优先安排计划”存在，则任务A就应优先安排计划。 根据推理方向的不同： 正向推理、反向推理,智能DSS的结构 推理机,两库的初始状态,1.AB-G 2.CD-A 3.E-D,产生式规则库,B,C,E,事实库,B,C,E,D,A,G,事实库的最后状态,人工智能（AI）,人工智能是计算机科学的一个分支，是一门研究机器智能的学科，即用人工的方法和技术，研制智能机器或智能系统来模仿、延伸和扩展人的智能，实现智能行为。（符号、连接和行为）,人工智能的历史背景,人工智能在中国的历史渊源: 司辰、击鼓、 报时的“机关人

7、” 会跳舞的“人形舞姬”，西周周穆王偃师 能捕鼠的木制“钟馗” 会化缘的“木僧人”，等等. 国际方面： 英国科学家图灵于1936 年提出“理论计算机”模型，被称之为“图灵机”( Turing Machine ) ，创立了“自动机理论”。 1950 年，图灵发表了著名论文 计算机能思维吗？，明确地提出了“机器能思维”的观点。 1943 年，美国科学家麦卡洛克（W. S. McCulloch）、匹茨（W. H. Pitts）研制出世界上第一个人工神经细胞模型，被称之为“MP模型”。从仿生学观点，以结构模拟方法，探讨人工智能的途径。 1948年，美国科学家维纳等创立了“控制论” （Cyberneti

8、cs）, 研究动物与机器中的控制和通讯的共同规律，在生物科学与工程技术之间架起了学术桥梁，开拓了从行为模拟观点研究人工智能的园地。,类人行为：图灵测试(1950) 图灵建议：不是问“机器能否思考”，而是问“机器能否通过关于行为的智能测试”,Alan Turing,AI成功的例子,博弈：IBM公司的“深蓝”成为第一个在国际象棋比赛中战胜世界冠军的计算机程序 1997年，一次公开赛中3.5/2.5比分战胜卡斯帕罗夫，他说从棋盘对面感到了“一种新智能”,AI成功的例子,后勤规划：1991年海湾战争中美国军队配备了一个动态分析和重规划工具DART, 用于自动后勤规划与运输调度 该系统同时涉及50000

9、个车辆、货物和人，而且要考虑起点、目的地、路径，解决所有参数之间的冲突。使用AI技术使规划在几小时内完成，而传统方法需要几个星期 DARPA称就此一项投资足以补偿DARPA在AI方面30年的投资,搜索技术,基本搜索法：广度和深度优先搜索法 生成测试法 爬山法 启发式搜索 博弈算法,生成测试法,生成一个可能状态节点 测试该状态是否为目标状态 若是，则结束；否则回到第一步 在搜索过程中，如果总是利用旧状态生成所有可能的新状态，而且状态节点以从旧到新的顺序逐个生成，这种生成测试法就是？如果总是利用刚生成的状态来生成新状态，则是？,爬山法,开始状态作为一个可能状态 从一个可能状态，应用规则生成所有新的

10、可能状态集 对该状态集中的每一个状态，进行以下操作： 对该状态进行测试，检查是否为目标，是则停止 计算该状态的好坏，或者比较各状态的好坏 取状态集中的最好状态，作为下一个可能状态 循环第二步,启发式搜索,是对每个在搜索过程中遇到的新状态，用一个估计函数（启发式函数）并计算其值得大小，确定下一步将从哪个状态开始继续前进 一般以估计值小者为较优的状态，以此实行最优搜索,和人工智能相关的社会伦理问题,人们可能由于自动化而失业 人们可能拥有过多或过少的闲暇时间 人们可能会失去作为人的独一无二的感觉 人们可能会失去一些个人隐私权 人工智能系统的应用可能会导致责任感的丧失 人工智能的成功可能意味着人类种族

11、的终结,人工智能及其在决策系统中的应用 蔡自兴 姚莉 国防科技大学出版社,专家系统,专家系统是一种计算机程序，它使用知识及推理机制去解决需要专家才能解决的复杂问题。 稀缺资源，让专家的知识得到长期保存和被更多的用户所使用,专家系统,特点： 运用专家知识 知识转换为系统的内部表示 使用符号推理方法 运用启发式规则,具代表性的有医药专家系统MYCIN、探矿专家系统PROSPECTOR等。20世纪80年代，专家系统的开发趋于商品化，创造了巨大的经济效益。 20世纪80年代以来，在知识工程的推动下，涌现出了不少专家系统开发工具，例如EMYCIN、CLIPS(OPS5, OPS83)、G2、KEE、OK

12、PS等。,第一个专家系统DENDRAL是化学分析专家系统，由美国科学家费根鲍姆（E. A. Feigennbaum）于1965 年提出，1968年研制成功的。 医疗专家系统MYCIN 是由斯坦福大学（Stanford University）肖特利夫( E. H. Shortliffe）等人于1971年开始研制，1974 年基本完成，1976年发表的，具有类似于内科医生的知识和经验，可用于血液感染病的诊断、治疗和咨询服务。 地质勘探专家系统（PROSPECTOR）。它是由斯坦福研究所（SRI）的杜达（R.O. Duda）等研制的，可用于地质勘测数据分析，探查矿床的类型、蕴藏量、分布。从1976

13、年开始研制，1981 年基本完成，其特点是具有多专家、多专业的知识和经验。,国内应用,早在1977年，中国科学院自动化研究所就基于关幼波先生的经验，研制成功了我国第一个“中医肝病诊治专家系统”。 1985年10月中科院合肥智能所熊范纶建成“砂姜黑土小麦施肥专家咨询系统”， 这是我国第一个农业专家系统。 中科院计算所史忠植与东海水产研究所等合作，研制了东海渔场预报专家系统。 在专家系统开发工具方面，中科院数学研究所研制了专家系统开发环境“天马”，中科院合肥智能所研制了农业专家系统开发工具“雄风”，中科院计算所研制了面向对象专家系统开发工具“OKPS”。,专家系统的类型,解释专家系统 预测专家系统

14、 诊断专家系统 设计专家系统 规划专家系统,监视专家系统 控制专家系统 调试专家系统 教学专家系统 修理专家系统,Questions,1能根据学生的特点、弱点和基础知识，以最适当的教案和教学方法对学生进行教学和辅导的专家系统是： A解释专家系统B调试专家系统C监视专家系统D教学专家系统,2用于寻找出某个能够达到给定目标的动作序列或步骤的专家系统是： A设计专家系统B诊断专家系统C预测专家系统D规划专家系统,3能对发生故障的对象（系统或设备）进行处理，使其恢复正常工作的专家系统是： A修理专家系统B诊断专家系统C调试专家系统D规划专家系统,4能通过对过去和现在已知状况的分析，推断未来可能发生的情

15、况的专家系统是： A修理专家系统B预测专家系统C调试专家系统D规划专家系统,知识库是问题求解所需要的领域知识的集合，包括基本事实、规则和其他有关信息。知识库中知识的质量和数量决定着专家系统的质量水平。用户可以通过改变、完善知识库中的知识内容来提高专家系统的性能。 推理机是实施问题求解的核心执行机构。推理机的程序与知识库的具体内容无关，即推理机和知识库是分离的，这是专家系统的重要特征。 知识获取负责建立、修改和扩充知识库，是专家系统中把问题求解的各种专门知识从人类专家的头脑中或其他知识源那里转换到知识库中的一个重要机构。 人机界面是系统与用户进行交流时的界面。通过该界面，用户输入基本信息、回答系

16、统提出的相关问题。系统输出推理结果及相关的解释也是通过人机交互界面。,综合数据库也称为动态库或工作存储器，是反映当前问题求解状态的集合，用于存放系统运行过程中所产生的所有信息，以及所需要的原始数据，包括用户输入的信息、推理的中间结果、推理过程的记录等。 解释器用于对求解过程做出说明，并回答用户的提问。两个最基本的问题是“why”和“how”。解释机制涉及程序的透明性，它让用户理解程序正在做什么和为什么这样做，向用户提供了关于系统的一个认识窗口。在很多情况下，解释机制是非常重要的。为了回答“为什么”得到某个结论的询问，系统通常需要反向跟踪动态库中保存的推理路径，并把它翻译成用户能接受的自然语言表

17、达方式。,专家系统的开发方式,（1）直接买成品的专家系统 （2）买外壳，由用户输入知识。 EMYCIN （3）自己建造：C+，LISP,联合国工资计算专家系统 基本工资+“资格” IntelliCorp 公司的 PowerModel工具,神经科学：大脑是如何处理信息的？,大脑的神经元,神经元和神经网络模型,NN研究方面,神经网络的基本理论研究 神经网络模型的研究 学习算法研究 计算机模拟及硬件实现 应用研究,神经网络模型,前向网络模型:感知机 反馈网络模型:Hopfield网络,双向联想记忆网络 随机网络模型:Boltzmann机 自组织网络模型：ART(自适应共振理论),成熟算法,BP算法

18、模拟退火算法 竞争学习与相互激励学习算法,Neural network,A neural network is a set of connected input/output units where each connection has a weight associated with it. During the learning phase, the network learns by adjusting the weights so as to be able to predict the correct class label of the input samples. Also c

19、alled connectionist learning.,BP网络,各种作用函数,0,1阶梯函数 f(x)=1,(x0) f(x)= 0,(x=0) -1,1阶梯函数 (-1,1)S型函数 (0,1)S型函数,BP网络,Steps of backpropagation,Initialize the weights: each unit has a bias associated with it. The weights and biases are initialized to small random numbers. Each training sample X is processed

20、 by the following steps:,the net input and output of each unit in the hidden and output layers are computed. unit j in the input layer: Oj=Ij Given a unit j in a hidden or output layer, the net input Ij is:,A hidden or output layer unit j,Backpropagation the error: the error is propagated backwards

21、by updating the weights and biases to reflect the error of the networks prediction. For a unit j in the output layer, the error Errj : The error of a hidden layer unit j is:,Tj is the true output,Errk is the error of unit k in the next higher layer,The weights and biases are updated to reflect the p

22、ropagated errors:,Terminating condition: training stops when all in the previous epoch were so small as to be below some specified threshold, or the percentage of samples misclassified in the previous epoch is below some threshold, or a prespecified number of epochs has expired.,1,2,3,4,5,6,Sample c

23、alculations for learning by the backpropagation algorithm,X=1,0,1,class label=1,l=0.9,Initial input, weight, and bias values,The net input and output calculations,Calculation of the error at each node,Calculations for weight and bias updating,comments,Disadvantages: Involve long training times Requi

24、re a number of parameters that are typically best determined empirically. Poor interpretability Advantages: High tolerance to noisy data Ability to classify patterns on which they have not been trained,遗传算法（Genetic Algorithms）,物竞天择，适者生存 遗传算法（GA）根据适者生存，优胜劣汰等自然进化规则来进行搜索计算和问题求解。 全局优化算法，适合于具有很大搜索空间的优化问题

25、,遗传算法的搜索机制,遗传算法模拟自然选择和自然遗传过程中发生的繁殖、交叉和基因突变现象，在每次迭代中都保留一组候选解，并按某种指标从解群中选取较优的个体，利用遗传算子(选择、交叉和变异)对这些个体进行组合，产生新一代的候选解群，重复此过程，直到满足某种收敛指标为止。,基本概念,染色体：由基因构成的位串，是个体(Individual)的形式 编码：把解表示为位串的过程，编码后的每个位串就表示一个个体，即问题的一个解 种群：包含一组个体的群体，也是问题的解的集合。种群中个体的数量称为群体大小（N）。 基因：串中的元素。例：串S = 1001 ，有四个基因1、0、0、1 适应度：评价群体中个体适应

26、能力的指标，解的好坏，由评价函数F计算得到 遗传算子：产生新个体的操作 选择：将个体直接复制到下一代群体中，个体适应度。 交叉：把两个串的部分基因交换，产生两个新串作为下一代的个体，交叉概率Pc决定两个个体进行交叉操作的可能性 变异：随机地改变染色体的部分基因，Pm决定个体发生变异的可能性,几个术语,基因型：1000101110110101000111,编码,解码,个体（染色体）,基因,选择(selection)算子,GA使用选择运算来实现对群体中的个体进行优胜劣汰操作：适应度高的个体被遗传到下一代群体中的概率大；适应度低的个体，被遗传到下一代群体中的概率小。 选择操作的任务就是按某种方法从父

27、代群体中选取一些个体，遗传到下一代群体。,选择,选择是用来确定重组或交叉个体，以及被选个体将产生多少个子代个体首先计算适应度： 按比例的适应度计算 基于排序的适应度计算等 实际的选择： 轮盘赌选择 随机遍历抽样 局部选择 截断选择 锦标赛选择等,适应值比例法,轮盘赌选择又称比例选择算子，它的基本思想是：各个个体被选中的概率与其适应度函数值大小成正比。设群体大小为n ，个体i 的适应度为 Fi，则个体i 被选中遗传到下一代群体的概率为：,轮盘赌选择,期望值方法,计算群体中每个个体在下一代生存的期望数目： 若某个个体被选中并要参与配对和交叉，则它在下一代中的生存的期望数目减去0.5；若不参与，则该

28、个体的生存的期望数目减去1 在上面两种情况中，若一个个体的期望值小于0时，则该个体不参与选择,交叉(crossover)算子,所谓交叉运算，是指对两个相互配对的染色体依据交叉概率 Pc 按某种方式相互交换其部分基因，从而形成两个新的个体。 交叉运算是遗传算法区别于其他进化算法的重要特征，它在遗传算法中起关键作用，是产生新个体的主要方法。,交叉或基因重组,基因重组是结合来自父代交配种群中的信息产生新的个体依据个体编码表示方法不同： 实值重组 离散重组 中间重组 线性重组 扩展线性重组 二进制交叉 单点交叉 多点交叉 均匀交叉 洗牌交叉 缩小代理交叉,一点交叉,交叉前： 00000|011100

29、11100|000001 交叉后： 00000|000001 11100|011100,交叉点,二点交叉,个体A: 10|110|11 个体B: 00|010|00 新个体A: 10|010|11 新个体B: 00|110|00,交叉点1,交叉点2,变异(mutation)算子,变异运算，是指依据变异概率 Pm 将个体编码串中的某些基因值用其它基因值来替换，从而形成一个新的个体。 遗传算法中的变异运算是产生新个体的辅助方法，它决定了遗传算法的局部搜索能力，同时保持种群的多样性。,二进制变异,变异前： 11000000 变异后： 11000100,变异点,基本遗传算法的组成,（1）编码（产生初始

30、种群） （2）适应度函数 （3）遗传算子（选择、交叉、变异） （4）运行迭代,例子,问题：求解f(X)=X2在0，31上的最大值 1 初始种群 （1）编码：用5位二进制表示X，有 X=00000， X=11111 （2）初始种群 随机产生4个个体：13，24，8，19（二进制） （3）适应值fi 直接用目标函数： f(X)=X2,(4)选择率和期望值,(5) 实选值 期望值取整数,2 遗传一代（初始种群遗传过程）,3 遗传二代（新种群参数计算）,最优值 ：31（11111） 必须变异，第三位的0 变1,TSP(旅行商)问题,设存在N个城市， Dij表示城i与城j之间的距离， Dij=Dji，现

31、在要求一条遍历所有N个城市，且不走重复路的最短路径（最短哈密尔顿圈）。,我们先采用十进制编码，每个染色体由按一定顺序排列的N个城市的序号组成，表示一条可能的旅行路径。适应度为一条旅行路径对应的距离，路径越短的染色体适应度越高。例如，取N=10，城市代号为1至10。 例如种群中的染色体：2 8 4 10 5 1 7 3 6 9 表示一条旅行路径284105173692 其总路径长 我们可以采用非负变换，把最小化优化目标函数变换为以最大值为目标的适应度函数，可以如下定义：,GA的应用领域,近年,GA在各应用领域中得到极大重视,并广泛应用于各领域的优化、搜索、问题求解中 其它应用领域：如函数优化、生

32、产调度、模式识别、NN、图像处理、机器学习、工业优化控制、自适应控制、生物科学、社会科学等方面.,遗传算法的改进研究方向,参数的选择(N=30-100,Pc=0.6-0.95,Pm=0.001-0.1) 编码方法 各种算子 和其它算法的融合,免疫遗传算法,传统遗传算法中，交叉、变异等是按一定概率随机地、无指导的进行 引入免疫系统的工作原理：将问题的最优解抽象为抗原，候选解抽象为抗体，将某些较好的路径片断作为疫苗,蚁群优化算法,昆虫群体，可以看成一个分布式系统。系统中个体非常简单，但整个系统呈现出一种高度结构化的群体结构，得以完成远超出单只蚂蚁个体能力负荷的复杂工作。 计算蚂蚁的不同行为，已有若

33、干种蚂蚁算法： 觅食、孵化分类、劳动分配、协作运输,实验中的蚂蚁依靠信息素来传递信息 信息素越浓的路径被蚂蚁选择的概率越大 信息素随着时间的推移而“挥发”,网络资源,Dorigo的网站： /index.html TSPLIB库： http:/www.iwr.uni-heidelberg.de/groups/comopt/software/TSPLIB95/ 集智俱乐部： ,规则推理和遗传神经网络结合的电厂事故自动诊断,电力生产是各项工作的基础,一旦发生事故涉及面广,影响大. 快速, 准确的找出故障点,分析故障类型,采取紧急处理措施,

34、恢复电厂的正常运行是目前火电厂急需解决的问题 传统的事故诊断方法是依靠有经验的专业人员在紧急状态下迅速判断故障性质,但受心理和生理的限制,对比较复杂的故障,面对大量报警信息,专业分析人员也难于即刻判断故障性质,迅速采取措施.,事故诊断方法,基于数学模型的方法: 基于人工智能的方法: 基于专家系统的诊断 基于人工神经网络的诊断 基于案例推理的诊断 基于模糊数学的诊断 基于故障树的诊断 .,基于人工神经网络的诊断,缺陷: 忽视领域专家的经验知识,而故障诊断有时是一项经验性技术 权重形式的知识表达方式难以理解,整个诊断过程是一个”黑箱” 梯度下降的网络搜索算法,使网络收敛速度慢且易陷入局部最小,解决

35、方案,将规则推理和神经网络相结合,集成式诊断方法结合了领域专家的知识和神经网络学习的优点,克服单一故障诊断方法的缺陷,提高事故诊断的速度和精度.实证分析能够达到预期的诊断效果. 神经网络学习过程中采用遗传算法对网络权值进行全局优化,加快网络的收敛速度,并避免网络陷入局部极小点,规则推理诊断模型,事故诊断的规则推理过程: 将事故的各种征兆作为初始条件,输入到综合数据库中 搜索事故诊断规则库,与综合数据库中的条件比较,如果规则的前提条件和数据库中的值匹配,则该产生式规则被激活 计算被激活规则的可信度,选择可信度大于给定阈值的规则,从而获得某个结论,同时把结论存入数据库中备用 规则搜索完毕或没有与条

36、件匹配的规则,算法结束,电厂事故集成诊断模型,遗传算法优化神经网络初值: 参数设置:确定种群大小N,遗传算法的终止迭代次数T,交叉概率和变异概率 染色体编码:随机产生初始权重种群P,种群中的每一条染色体由权重向量和阈值向量组成 适应度函数评价:网络优化的目的是网络学习能够达到给定的精度,可以网络的全局误差作为适应度函数设计的基础,某个体的适应度值为: 选择 交叉 变异 如果网络的精度达到要求或达到一定的迭代次数,则迭代停止,电厂事故集成诊断模型,实例分析,凝汽器是汽轮机的一个重要设备,也是一个薄弱环节,事故发生率较高,对其进行事故诊断对于提高机组性能具有重要的现实意义. 凝汽器的典型事故类型:

37、水泵严重故障y1,供汽中断y2,管路破裂,真空系统不严密等11种类型 判断事故类型的征兆运行参数有:排汽压力x1,电机电流x2,出口压力x3,温差等13个指标,这些参数指标可以从电厂的数据采集和监控系统中直接提取. 选择30种典型事故数据集构成网络训练样本,网络的输入层取13个节点,隐含层取10个节点,输出层取11个节点,E=0.05,学习率=0.5 遗传种群大小N=10,交叉概率Pc=0.5, 变异概率Pm=0.001, 经过1532次满足精度要求,网络稳定,得相应的权值和阈值. 取5组实际数据进行测试,数据预处理后,输入模型,输出诊断结果,与实际进行对比,机器学习,按照AI大师Simon的

38、观点,学习就是系统在不断重复的工作中对本身能力的增强或者改进,使得系统在下一次执行同样或相类似的任务时,会比现在做得更好或效率更高.,人类学习的特点,过程缓慢 会“忘记” 知识传授困难 不断地修改知识，变的聪明,机器学习,机器学习正是解决知识获取的有效途径，能自动获取知识。 机器学习就是让机器（计算机）来模拟和实现人类的学习,获取知识。 机器学习是计算机获取知识的重要途径和人工智能的重要标志。 数据挖掘实用机器学习技术董琳等译，机械工业出版社，第二版2006,1959年Simuel设计了一个下棋程序,这个程序具有学习能力,它可以在不断的对奕中改善自己的棋艺. 4年后,该程序战胜了设计者本人.又

39、过了3年,该程序战胜了美国一个保持8年之久的冠军. 这个程序向人们展示了机器学习的能力,提出了许多令人深思的社会问题与哲学问题. 机器的能力是否能超过人？ “士别三日,当刮目相看”,美国航空航天局JPL实验室的科学家在Science上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，该领域在今后的若干年内将取得稳定而快速的发展,重要性,重要性：例子网络安全,入侵检测： 是否是入侵？是何种入侵？,如何检测？ 历史数据：以往的正常访问模式及其表现、以往的入侵模式及其表现 对当前访问模式分类,这是一个典型的预测型机器学习问题 常用技术： 神经网络 决策树 支持向量机 k近邻 序列分析

40、聚类 ,重要性：例子生物信息学,常用技术： 神经网络 支持向量机 隐马尔可夫模型 k近邻 决策树 序列分析 聚类 ,搜索引擎,Google的成功，使得Internet搜索引擎成为一个新兴的产业 不仅有众多专营搜索引擎的公司出现（例如专门针对中文搜索的就有慧聪、百度等），而且Microsoft等巨头也开始投入巨资进行研发 Google掘到的第一桶金，来源于其创始人Larry Page和Sergey Brin提出的PageRank算法 机器学习技术正在支撑着各类搜索引擎（尤其是贝叶斯学习技术）,人工智能中最活跃、应用潜力最明显的领域（之一） T.G. Dietterich, AIMag 97 美国

41、、欧洲各国都投入了大量人力物力 大型公司如波音、微软、通用电器等都有研究课题 已有一些研究成果进入产品,学习系统,环境,学习环节,知识库,执行环节,环境：是学习系统所感知到的外界信息集合，也是学习系统的外界来源。信息的水平（一般化程度）和质量（正确性）对学习系统影响较大。,学习环节：对环境提供的信息进行整理、分析归纳或类比，形成知识，并将其放入知识库。,知识库：存储经过加工后的信息（即知识）。其表示形式是否合适非常重要。,执行环节：是根据知识库去执行一系列任务，并将执行结果或执行过程中获得的信息反馈给学习环节。学习环节利用反馈信息对知识进行评价，在进一步改善执行环节的行为。,ML分类（P158

42、）,按推理策略分类： 机械学习 示教学习 类比学习 示例学习 解释学习,机械学习,机械学习(rote learning)就是记忆,是最简单的学习策略（死记硬背,生搬硬套）. 虽然机械学习在方法上看来很简单,但由于计算机的存储容量相当大,检索速度又相当快,而且记忆精确、无丝毫误差,所以也能产生人们难以预料的效果. Simuel的下棋程序就是采用了这种机械记忆策略.,例如： 某个计算的输入是：( x1 , x2 , , xn ) ， 计算后输出是：( y1 , y2 , , yn ), 如果经评价后得知该结果正确，则把联想对: ( x1 , x2 , , xn ), ( y1 , y2 , , y

43、n ) 存入知识库，当以后需要做同样的计算时，只要从知识库中检索出来即可，而不需要重新计算了。 (2) 利弊 机械式学习实质上是用存储空间来换取处理时间，虽然节省了计算时间，但却多占了存储空间。 当因学习而积累的知识逐渐增多时，占用的空间就会越来越大，检索的效率也就随之下降。,示教学习（被告知学习）,通过传授学习策略： 对于使用传授学习策略的系统来说,外界输入知识的表达方式与内部表达方式不完全一致,系统在接受外部知识时需要一点推理,翻译和转化工作. 例如：学生学习 mycin, dendral等ES在获取知识上都采用这种学习策略.,类比学习,若已知两个事物 a 与 b 有 n 个属性相同或相似 ，即： a 具有属性 P1 ，b也有属性 P1 a 具有属性 P2 ，b也有属性 P2 。 a 具有属