人工智能(五)机器学习课件

1、1人工智能Artificial Intelligence北京信息科技大学计算机学院李宝安2机器学习-Machine learning人工智能的一个重要分支对人类“学习”智能的模拟过程为AI知识获取的一种重要技术成为AI专家系统和其他智能系统的重要“智能接口”，可有效地提升系统的性能，改进与完善系统的功能。增加系统的可用性。3机器学习的发展历程通用学习系统研究 50年代中期，当时的人工智能的研究着重于符号表示和启发式方法的研究，而机器学习却致力于构造一个没有或者只有很少初始知识的通用系统，这种系统所应用的主要技术有神经元模型，决策论和控制论。 神经元的研究在当时没能取得实质性进展，作为对照，一种

2、最简单，最原始的学习方法机械学习，又成为死记式学习，却取得了显著的成功。该方法通过记忆和评价外部环境提供的信息来达到学习的目的。采用该方法的代表性成果是A. L. Samuel于50年代末设计的跳棋程序，随着使用次数的增加，该程序会积累性记忆有价值的信息，很快达到大师级水平。正是机械学习的成功激励了研究者们继续进行机器学习的探索性研究。基于符号表示的概念学习系统研究基于知识的各种学习系统研究联结学习和符号学习的深入研究4基于符号表示的概念学习系统研究 如果说第一时期的研究是用数值和统计方法的话，这一时期的研究则综合了逻辑和图结构的表示。研究的目标是表示高级知识的符号描述及获取概念的结构假设。这

3、时期的工作主要有概念获取和各种模式识别系统的应用。其中，最有影响的开发工作当属Winston的基于示例归纳的结构化概念学习系统。受其影响，人们研究了从例子中学习结构化概念的各种不同方法。也有部分研究者构造了面向任务的专用系统，这些系统旨在获取特定问题求解任务中的上下文知识，代表性工作由Hunt&C.I.Hovland的CLS及B.G.Buchanan等得META-DENDRAL，后者可以自动生成规则来解释DENDRAL系统中所用的质普数据。这个实际机器学习的研究者已意识到应用知识来指导学习的重要性，并且开始将领域知识编入学习系统。5基于知识的各种学习系统研究 这一时期，人们不再局限于构造概念学

4、习系统和获取上下文知识，同时也结合了问题求解中的学习，概念聚类，类比推理及机器发现的工作。一些成熟的方法开始用于辅助构造专家系统，并不断的开发新的学习方法，使机器学习达到一个新的时期。这时期的工作特点有：基于知识的方法：着重强调应用面向任务的知识和指导学习过程的约束。从早先的无知识学习系统的失败中吸取的教训就是：为获取新的知识，系统必须事先具备大量的初始知识。开发各种各样的学习方法，除了早先从例子中学习外，各种有关的学习策略相继出现，如示教学习，观察学习和发现学习。同时也出现了如类比学习和基于解释的学习等方法。结合生成的选择学习任务的能力：应用启发式知识与学习任务的生成和选择，包括提出收集数据

5、的方式，选择要获取的概念与控制系统的注意力等 7机器学习的简单模型环境知识库学习环节执行环节 环境向系统的学习环节提供某些信息，学习环节利用这些信息修改知识库，以增进系统执行部分的效能；执行环节根据知识库完成任务，同时把获得的信息反馈给学习环节。在具体的应用中，环境、知识库和执行部件决定了具体的工作内容，学习环节所需解决的问题完全由其余3个部分确定。 环境和知识库是以某种知识表示形式表达的信息描述体，分别代表外界信息的来源和系统拥有的知识（包括学习的结果）。学习环节和执行环节代表两个过程。8机器学习的类别机械学习或通过死记学习（Rote Learning) 从特殊特殊的学习过程。通过指点或教授

6、学习（Learning by being told) 从一般特殊的学习过程。通过例子学习（Learning from Examples)或概念学习（Concept Learning) 从特殊一般的学习过程。通过类比学习（Learning by Analogy) 从特殊事例概括出类比关系和转换规则的学习过程。10机械学习应用实例西文排版系统中的“Hyphen”问题文本排布子系统，如单词revolutionre-volu-tion,对西文单词的切分，即“Hyphen”过程,以便符合西文文字媒体的排版要求。解决之道：建立”特殊词词典”，利用机械学习方法，提高对西文单词的“Hyphen”正确率。另：S

7、amuel西洋跳棋程序，采用了机械学习的方法。11通过指点或教授学习（Learning by being told)从一般特殊的学习过程。系统通过与用户的相互对话，把用户的一般性意见或指示具体化，或协助用户补充和修改原有的知识库。应用实例：Randall Davis建立的TEIRESIAS投资分析系统。-用于选择合适的投资市场。12专家程序解释知识传递TEIRESIAS系统学习过程：专家提出一个咨询的实例，考察系统的工作，通过观察其工作的过程，发觉是否存在错误。系统帮助专家追踪整个推理过程，找到错误发生的原因，并对专家提出的新规则进行解释，检查其是否与已有的知识库一致。 由于系统能不断地向用户

8、解释其工作过程，因而用户不必对系统的结构和原理有深入的理解，就能将知识传授给系统。建立比较符合实际领域需要的规则。系统中的规则示例： IF (1)长期投资 (2)投资收益大于10% (3)投资领域未定 THEN AT&T(美国电话、电报公司）可以作为投资地点（0.4） 14关于概念的形成 心理学家用概念形成（concept formation）或概念学习(concept learning)来描述对一般物体或事件的分类特征作出反应的发展能力。概念是从智力形成的对物体、事件、或是思想的一套分类特征。概念引导我们对物体或事件进行分类。在学习概念的过程中，你必须集中注意在它们之间的特征联系上而忽略它们

9、之间的非关联。比如说，精装书和平装书都是书。但是你必须可以区分基本的关联特征：一堆纸并不是一本书。那么书的至关紧要的特征是什么呢？通常认为是这堆纸的绑定后的存在形式，是书。然而，多数的概念，并不是通过简单的一条两条的关键特征就能辨别清楚的。 许多的理论试图解释我们是如何学习概念的。Clark Hull就用刺激反应的联结理论解释。他认为我们学习一个特殊的反应（概念）并把它与刺激的变体相联系最终形成概念。比如我们学习“马”这种概念，我们会联系它的一些特点（比如四条腿，有皮毛，尾巴等等），然后我们会把这些概念移植到其他的不熟悉的马上来用。 Eleanor Rosch认为我们在日常生活中所用的自然概念

10、是从例子中学习得来的而不是从抽象的规则得来的。她的原型理论认为，我们学习概念“马”时，是先从看到广泛的各种马开始的，然后发展成为典型的认识马应该是什么样子的。 15关于马的认知模型概念形成概念学习机械学习17 Tom M. Mitchell对机器学习的经典的系统设计：（1）要学习的知识的确切类型（2）对于这个目标知识的表示（3）一种学习机制18短毛尾，长尾，球尾，卷尾尾：扫把尾长耳，短耳耳朵：短耳皮毛颜色：黄，棕，褐，栗，黑，白，花色卷毛，短毛，长毛皮毛：短毛10公斤左右体重：40公斤以上四爪四蹄肉食，杂食草食哺乳类动物反例正例19学习任务已知： 实例集 假设集 目标概念 训练样例求解20缺点

11、从学习规则从认知角度示例演示特征1：哺乳类；草食；四蹄；90；短毛；棕色；短耳；扫把尾特征2：哺乳类；肉食；两手两脚；60；长毛；棕色；长耳；长尾 21222425272829概念学习（Concept Learning)-双空间模型示例空间规则空间解释实验规划示例的选取示例空间：所给出的可能训练示例集合规则空间：可以是具体的规则、概念或执行环节所需要的知识的一种高级描述。30规则空间空描述训练示例最一般最特殊规则空间的排列31概念空间H空描述训练示例最一般最特殊概念空间的范围G集S集说明：1. G集为极大一般（Genural)模式的边界集 2. S集为极大特殊(Special）模式的边界集 3

12、. H集为介于G集和S集之间的所有可能的概念的假设集（即概念空间）32概念学习-后选假设消去算法初始化H，H为整个规则空间，这时G集只包含空描述，S集包含空间中所有最特殊的概念（实际上S集初始化时，只需包含一个正例。）接受训练示例。若为正例，则修改G集，首先把不符合新示例的所有概念从G集中删去，然后更新S集，使S集包含新老示例所有最特殊公用的一般化部分，即尽量少对S集中的元素做一般化处理。若为反例，则先修改S集，首先把符合反例的所有概念从S集中删去，然后更新G集，使G集包含新老示例所有最一般公用的特殊化部分，即尽量少对G集中的元素做特殊化处理。使其排除这个新反例。重复step2，直到G集=S集

13、。此时，H集=G集=S集。输出H（G或S）。说明：上面算法中step2的要点： 正例-主要对S集进行更新，使其更一般化。 反例-主要对G集进行更新，使其更特殊化。33概念学习实例-Winston的关于”拱”的概念的学习正例1反例1反例2正例2拱概念的示例序列34拱横梁左立柱右立柱STEP1: 给出正例1，概念空间的S集和G集如下（用语义网络来表示）：G集拱长方体长条体横梁左立柱右立柱IS-AAKOSupportLeft-ofS集35STEP2: 给出反例1，修改概念空间的G集，使之更加特殊化，以便排除反例1的情况，S集可保持不变，如下所示：说明：引入“请求”链接，即Must-support修改后的G集拱横梁左立柱右立柱Must-Support36STEP3: 给出反例2，进一步修改概念空间的G集，使之更加特殊化，以便排除反例2的情况，S集可保持不变，如下所示：说明：引入“禁止”链接，即Must-not-tough修改后的G集拱横梁左立柱右立柱Must-SupportMust-not-tough37STEP4: 给出正例2，应修改概念空间的S集，使之更一般化如下所示：修改后的S集说明：引入“爬树”链接，即Must-be-a, 以取代原来的IS-A拱长条体横梁左立柱右立