人工智能及其应用_机器学习资料

1、第七章 机器(j q)学习7.1 机器(j q)学习的定义和发展历史7.2 机器学习的主要策略与基本结构7.3 归纳学习7.4 决策树学习7.5 类比学习7.6 解释学习7.7 神经网络学习7.8 知识发现共四十五页7.1 机器学习的定义(dngy)和发展历史机器学习的定义机器学习的基本概念： 按照人工智能大师西蒙的观点，学习就是系统在不断(bdun)重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。机器学习的定义: 机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识

2、别现有知识的学问。共四十五页机器学习(xux)的发展史机器学习是人工智能应用研究较为重要的分支，它的发展过程大体上可分为4个时期：1.第一阶段是在50年代中叶到60年代中叶，属于热烈时期。2.第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。3.第三阶段从70年代中叶至80年代中叶，称为复兴时期。4.机器学习的最新阶段始于1986年。一方面，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到前所未有的重视。我国的机器学习研究开始进入稳步发展和逐渐繁荣的新时期。7.1 机器学习的定义(dngy)和发展历史共四十五页机器学习(xux)进入新阶段的表现机器学习已经成为新的边

3、缘学科并在高校形成课程综合各种学习方法机器学习与人工智能问题的统一性观点正在形成各种学习方法的应用范围不断扩大数据挖掘和知识发现的研究已经形成热潮与机器学习有关的学术活动空前活跃7.1 机器学习的定义和发展(fzhn)历史共四十五页7.2 机器学习(xux)的主要策略与基本结构四种学习策略机械学习示教学习(xux)类比学习示例学习共四十五页学习(xux)系统的基本结构学习系统的基本(jbn)结构 环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。 在具体的应用中， 环境， 知识库和执行

4、部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述3部分确定。共四十五页影响学习系统设计的重要因素 (1)影响学习系统设计的最重要的因素是环境向系统提供的 信息(xnx)。(2)知识库是影响学习系统设计的第二个因素。知识的表示 有多种形式，在选择表示方式时要兼顾以下4个方面：表达能力强易于推理容易修改知识库知识表示易于扩展。共四十五页7.3机械学习1、机械学习的模式 机械学习是最简单的机器学习方法。机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。 机械学习又是最基本的学习过程。任何学习系统都必须记住它们获取(huq)的知识。在机械学习系统中，知识的获取(

5、huq)是以较为稳定和直接的方式进行的，不需要系统进行过多的加工。共四十五页2、数据化简Lenat,Hayes Roth，和Klahr等人于1979年关于机械学习提出一种有趣的观点。他们指出，可以把机械学习看成是数据化简分级中的第一级。数据化简与计算机语言编译类似；其目的是把原始信息变成可执行的信息。在机械学习中我们只记忆(jy)计算的输入输出，忽略了计算过程，这样就把计算问题化简成存取问题。见下图数据(shj)化简级别图 共四十五页2、数据(shj)化简 比方说第一次要我们解一个一元二次方程的时候，我们必须使用很长的一段推导(tudo)才能得出解方程的求根公式。但是一旦有了求根公式，以后再解

6、一元二次方程时，就不必重复以前的推导(tudo)过程，可以直接使用求根公式计算出根，这样就把推导(tudo)问题简化成计算问题。同样地，归纳过程可以简化成推导(tudo)过程。 正像计算问题可以简化成存取问题一样，其它的推理过程也可以简化成较为简单的任务。例如推导可以简化成计算。共四十五页3、主要(zhyo)问题 对于机械学习，需要注意3个重要的问题：存储组织，稳定性和存储与计算之间的权衡。 （1）存储组织信息：采用适当的存储方式，使检索速度尽可能地快，是机械学习中的重要问题。 （2）环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环境变化的需要，这也就是所谓的信

7、息适用性问题。 （3）存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。共四十五页考虑一个决定受损汽车修理费用(fi yong)的汽车保险程序 这个程序的输入是被损坏的汽车的描述，包括制造厂家、生产年代、汽车的种类以及记录(jl)汽车被损坏部位和损坏程度的一个表，程序的输出是保险公司应付的修理费用。这个系统是个机械记忆系统。为了估算损坏汽车的修理费用，程序系统必须在存储器中查找同一厂家、同一生产年代、损坏的部位和程度相同的汽车，然后把对应的费用提交给用户。如果系统没有发现这样的汽车，则它使用保险公司公布的赔偿规则估算出一个修理费用，然后把厂家、生产日期和损坏情况等特征与

8、估算出的费用保存起来，以便将来查找使用。 共四十五页7.3 归纳(gun)学习归纳学习的定义（1）归纳（induction）是人类拓展认识能力的重要方法，是一种从个别到一般的，从部分到整体的推理行为。（2）归纳推理是应用归纳方法，从足够多的具体事例(shl)中归纳出一般性知识，提取事物的一般规律；它是一种从个别到一般的推理。在进行归纳时，一般不可能考虑全部相关实例，因而归纳出的结论不是绝对为真的，只能以某种程度相信它为真。（3）归纳学习（induction learning）是应用归纳推理进行学习的一种方法。根据归纳学习有无教师指导，可把它分为示例学习和观察与发现学习。前者属于有师学习，后者属

9、于无师学习。 共四十五页7.3 归纳(gun)学习 我们先看一个“公鸡归纳法”的故事。 某农妇养小鸡十只，公母各半。她预备将母鸡养大留着生蛋，公鸡则养到一百天就陆续杀以佐餐。天天早晨她拿米喂鸡。到第一百天的早晨，其中的一只公鸡正在想：“第一天早晨有米吃，第二天早晨有米吃，第九十九天早晨有米吃，所以今天，第一百天的早晨一定有米吃。”这时，该农妇来了，正好把这只公鸡抓去杀了。这只公鸡在第一百天的早晨不但(bdn)没有吃着米，反而被杀了，虽然它已有九十九天吃米的经验，但不能证明第一百天一定有米。共四十五页7.3 归纳(gun)学习 我们再回顾中学数学就涉及到的“数学归纳法”。用数学归纳法证明一个命题

10、(mng t)的正确性，必须要求两条（一）当n = 1时，这个命题是正确的；（二）假设n = k 时，这个命题是正确的，那么当n = k+1 时，这个命题也是正确的。 共四十五页7.3.1 归纳学习(xux)的模式和规则归纳学习的一般模式为：给定：(1) 观察陈述（事实）F ； (表示有关某些对象、状态、过程等的特定知识) (2) 假定的初始归纳断言（可能为空）； (3) 背景知识。(用于定义有关观察陈述、候选归纳断言以及任何相关问题领域知识、假设和约束)求：归纳断言（假设）H，能重言蕴涵或弱蕴涵观察陈述，并满足(mnz)背景知识。假设H永真蕴涵事实F，说明F是H的逻辑推理，则有：H | F

11、（读作H特殊化为F）或 F |诊断=肺炎 血沉=快-诊断=肺结核 共四十五页7.3.2 归纳(gun)学习方法2、观察发现学习 观察发现学习又称为描述性概括，其目标是确定一个定律或理论的 一般性描述，刻画观察集，指定某类对象的性质。 观察发现学习可分为观察学习与机器发现两种。前者(qin zh)用于对事例进行聚类，形成概念描述；后者用于发现规律，产生定律或规则。共四十五页7.5 类比(lib)学习类比学习（learning by analogy）就是通过类比，即通过对相似(xin s)事物加以比较所进行的一种学习共四十五页7.5.1 类比推理(li b tu l)和类比学习形式类比推理是在两个

12、相似域之间进行的目的是从源域中选出与当前问题最近似的问题及其求解方法以求解决当前的问题，或者建立起目标域中已有命题间的联系，形成(xngchng)新知识。 推理过程 (1) 回忆与联想(2) 选择(3) 建立对应映射(4) 转换共四十五页7.5.2类比(lib)学习过程与研究类型类比学习主要包括如下四个过程：(1) 输入一组已知条件和一组未完全确定的条件 (2) 对输入的两组条件，寻找两者可类比的对应关系。 (3) 按相似变换的方法，进行映射 (4) 对类推得到(d do)的新问题的知识进行校验。共四十五页类比学习研究(ynji)可分为两大类问题求解型的类比学习预测推定型的类比学习传统的类比法

13、因果关系型的类比7.5.2类比学习过程(guchng)与研究类型共四十五页7.6 解释(jish)学习 解释学习根据任务所在领域知识和正在学习的概念(ginin)知识，对当前实例进行分析和求解，得出一个表征求解过程的因果解释树，以获取新的知识。共四十五页7.6.1 解释(jish)学习过程和算法解释学习一般包括下列3个步骤： (1) 利用基于解释的方法对训练(xnlin)例子进行分析与解释。(2) 对例子的结构进行概括性解释。(3) 从解释结构中识别出训练例子的特性，获取一般控制知识。共四十五页 1986年米切尔（Mitchell）等人为基于解释的学习提出了一个(y )统一的算法EBG，该算法

14、建立了基于解释的概括过程，并运用知识的逻辑表示和演绎推理进行问题求解。 7.6.1 解释学习过程(guchng)和算法共四十五页EBG求解问题的形式可描述于下:给定：(1) 目标概念描述TC；(2) 训练实例TE；(3) 领域(ln y)知识DT；(4) 操作准则OC。求解：训练实例的一般化概括，使之满足：(1) 目标概念的充分概括描述TC；(2) 操作准则OC。7.6.1 解释学习过程(guchng)和算法共四十五页解释学习举例：通过解释学习获取一个物体（x）可以安全地放置到另一个物体（y）上的概念。已知：目标概念为一对物体（x，y），使safe-to-stack（x，y），有：训练例子是描

15、述两物体的下列事实(shsh)：on（a，b）isa（a，brick）volumn（a，1）density（a，1）weight（brick，5）times（1，1，1） 物体的体积为1，物体密度为1， 物体的重量为1.less（1， 5）知识库中的领域知识是把一个物体放置到另一个物体上的安全性准则： 其证明树如图所示。7.6.1 解释学习(xux)过程和算法共四十五页7.6.1 解释学习过程(guchng)和算法共四十五页共四十五页“想当国王(guwng)”规则If贵族是软弱的 贵族与女人结婚(ji hn) 女人是贪婪地Then 贵族很可能想当国王 共四十五页7.7 神经(shnjng)学习

16、神经网络通过学习(xux)，改善网络性能共四十五页7.7.1 基于(jy)反向传播网络的学习 反向传播算法是一种计算单个权值变化引起网络性能变化值的较为简单的方法。由于BP算法过程包含从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正，所以称为(chn wi)“反向传播”。反向传播特性与所求解问题的性质和所作细节选择有极为密切的关系。 共四十五页7.7.2 基于Hopfield网络(wnglu)的学习反馈神经网络，它是一种动态反馈系统，比前馈网络具有更强的计算能力。Hopfield网络是一种具有正反相输出的带反馈人工神经网络。Hopfield网络系统不仅能够

17、实现联想记忆(jy)，而且能够执行线性和非线性规划等优化求解任务。共四十五页7.8 知识(zh shi)发现智能信息处理的瓶颈知识获取机器学习能够通过对数据(shj)及其关系的分析，提取出隐含在海量数据(shj)中的知识共四十五页7.8.1知识(zh shi)发现的发展和定义 1.知识(zh shi)发现的产生和发展知识发现最早是于1989年8月在第11届国际人工智能联合会议的专题讨论会上提出。随着互联网的发展，网上已设立了不少研究KDD的网站、论坛和新闻报导。在研究的基础上，也出现一些KDD产品和应用系统，引起企业界的关注。2.定义：数据库中的知识发现是从大量数据中辨识出有效的、新颖的、潜在

18、有用的、并可被理解的模式的高级处理过程。共四十五页数据集：是指一个有关(yugun)事实F的集合，它是用来描述事物有关方面的信息，是进一步发现知识的原材料。新颖：经过知识发现提取出的模式必须是新颖的。潜在有用：提取出的模式应该是有意义的，这可以通过某些函数的值来衡量。可被人理解：知识发现的一个目标就是将数据库中隐含的模式以容易被人理解的形式表现出来，从而帮助人们更好地了解数据库中所包含的信息。模式高级过程7.8.1知识发现的发展(fzhn)和定义 共四十五页7.8.2知识(zh shi)发现的处理过程数据选择：根据用户的需求从数据库中提取(tq)与KDD相关的数据。数据预处理：主要是对上述数据

19、进行再加工，检查数据的完整性及数据的一致性，对丢失的数据利用统计方法进行填补，形成挖掘数据库。数据变换：即从挖掘数据库里选择数据。数据挖掘：根据用户要求，确定KDD的目标是发现何种类型的知识。知识评价：这一过程主要用于对所获得的规则进行价值评定，以决定所得的规则是否存入基础知识库。可归纳为三个步骤，即数据挖掘预处理、数据挖掘、数据挖掘后处理。 共四十五页7.8.3 知识(zh shi)发现的方法统计方法统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。机器学习方法(1) 规则归纳。规则反映数据项中某些(mu xi)属性或数据集中某些(mu xi)数据项之间的统计相关性。(2) 决策树

20、。决策树的每一个非终叶节点表示所考虑的数据项的测试或决策。(3) 范例推理。范例推理是直接使用过去的经验或解法来求解给定的问题。(4) 贝叶斯信念网络。贝叶斯信念网络是概率分布的图表示。(5) 科学发现。科学发现是在实验环境下发现科学定律。(6) 遗传算法。在求解过程中，通过最好解的选择和彼此组合，使期望解的集合愈来愈好。神经计算方法可视化方法可视化（visualization）就是把数据、信息和知识转化为可视的表示形式的过程。共四十五页7.8.4 知识发现(fxin)的应用知识发现已在许多领域得到应用(yngyng)，且应用(yngyng)领域越来越广。现在，知识发现已在银行业、保险业、零售业、医疗保健、工程和制造业、科学研究、卫星观察和娱乐业等行业和部门得到成功应用(yngyng)，为人们的科学决策提供很大帮助。 共四十五页事务数据库中有100条记录，讨论这100条记录购买咖啡和牛奶的情况(qngkung) 。设: milk : 代表购买牛奶的人数 coffee：代表购买咖啡的人数 ：代表不购买牛奶的人数 ：代表不购买咖啡的人数我们来研究关联规则咖啡=牛奶，支持度S=20/100=0.20;置信度C=20/25=0.8。当把置信度和支持度阈值(y zh)定位低于0.8和0.2时