第6 1 6 2节机器学习概述及其基本系统结构版

第6.1节机器学习的概述王庆江计算机科学与技术系

2008-2009学年第1学期机器学习概述及其基本系统结构目前的AI系统多是基于演绎的，没有归纳推理，故不能自动获取和生成新知识；系统中的知识是事先输入的，包含的错误也不能自动改正。自1956年AI创立至今，科研人员一直重视机器学习（Machinelearning）的研究。50年代，Samuel的跳棋程序可从经验中学习，调整棋盘的评估函数；70年，Winston的学习系统可从积木世界里学习概念，如“桥梁”；80年代，机器学习逐渐成为AI的主要研究问题之一。2008-2009学年第1学期机器学习概述及其基本系统结构机器的能力（智能）会超过人类吗？对于不具备学习能力的机器，这是不可能的；反之，机器能力的提高可能是难以预测的。机器学习的不可预测问题能否设计出检测AI系统能力的系统？检测系统必须有与被检测系统相当的或更强的学习能力；检测系统本身的变化又如何了解和控制呢？2008-2009学年第1学期机器学习概述及其基本系统结构6.1.1机器学习的基本概念什么是机器学习？它是研究如何用机器来模拟人类学习活动的一门学科；Simon说，“学习是系统在不断重复的工作中对本身能力的增强或改进，使系统下一次执行同样或类似任务时比现在做得更好或效率更高。”Minsky说，“学习是人脑（心理内部）中进行了有用的变化。”2008-2009学年第1学期机器学习概述及其基本系统结构学习的基本形式知识获取获取新的知识，这是学习的本质。技能求精学习机制本身的提高。学习的目的是使系统性能得到改善。从不会做到会做；从会做到做得更好。2008-2009学年第1学期机器学习概述及其基本系统结构机器学习的内涵随着网络技术发展而变得丰富在AI新兴的数据挖掘和知识发现研究中，更多地涉及大规模海量数据；数据可以是文本、图形图像、语音视频；数据可以是结构化的，也可以半结构化的；并存着分类、聚类、贝叶斯网络推理、决策树、遗传算法等多种学习方法。机器学习的定义更模糊了，这也意味着机器学习正受到越来越多的关注。2008-2009学年第1学期机器学习概述及其基本系统结构机器学习的任务获得对输入的数据进行分类的能力；概念区分、文字识别、医疗诊断等。获得解决问题、行为计划和行为控制的能力。下棋、平衡杠杆、驾车等。2008-2009学年第1学期机器学习概述及其基本系统结构怎么评价学习能力？分类精度能否对输入数据进行正确、精确的分类。解答的正确性和质量无论是分类系统还是解决问题的系统，都有正确性问题；质量包括可读性、稳定性等指标。学习速度很费时的学习方法在实践中可能是不可用的。2008-2009学年第1学期机器学习概述及其基本系统结构6.1.2机器学习的研究意义一个真正的智能系统应该有学习能力；通过归纳、演绎等推理丰富知识库，使系统适应环境。大的智能系统比较注重静态知识的学习；如医疗、勘探，有大规模数据库和较完整的规则库，应用领域明确，环境变化较小；而较忽视动态知识的学习。一些较小的智能系统注重动态知识的学习；很难手工创建较完整的数据库；但可自动适应环境和定制自身。2008-2009学年第1学期机器学习概述及其基本系统结构当前机器学习的研究时机比较成熟已经有机器学习的初步算法和理论基础；互联网可提供越来越充足的数据；计算机性能不断提高，能运行高复杂度的算法。2008-2009学年第1学期机器学习概述及其基本系统结构若干难点制约机器学习的发展预测难脱离实际环境的学习方法，在实际中会有怎样的表现？有学习能力的中医诊断系统在实际中学到的新知识是否正确？归纳推理中问题保假，归纳得到的知识不可靠。判断难什么重要、什么应该学习？2008-2009学年第1学期机器学习概述及其基本系统结构6.1.3机器学习的发展史神经系统模型阶段；开始于50年代；主要研究没有知识的学习，试图建立自组织、自适应系统；1957年的“感知器”是这一时期最具代表性的神经网络模型；这段时期，还出现了跳棋程序、决策理论。2008-2009学年第1学期机器学习概述及其基本系统结构符号概念获取阶段；开始于70年左右；试图模拟人类的概念学习过程，通过分析一些概念的正例和反例，构造概念的符号表示；表示形式可以是逻辑表达式、决策树、产生式规则、语义网络等。例：Winston的ARCH系统；只能学习单概念，未能投入实际应用。2008-2009学年第1学期机器学习概述及其基本系统结构知识加强和论域专用学习阶段开始于70年代中期；继续沿符号主义路线研究；侧重专业的专用性，强调面向任务的学习和任务对学习过程的引导作用；例：D.J.Mostow的指导式学习，T.J.Mitchell的解释学习。2008-2009学年第1学期机器学习概述及其基本系统结构近20年中的机器学习归纳学习的绝对优势有所动摇；出现了解释学习；遗传式学习有了新的发展；神经网络学习又有了重要进展；随着数据挖掘、知识发现的研究蓬勃发展，贝叶斯网络、决策树、神经网络得到了深入研究和应用。2008-2009学年第1学期机器学习概述及其基本系统结构6.1.4机器学习的分类按学习风格分类记忆学习（死记硬背学习、机械学习）基于记忆和检索；直接记录问题有关的信息，然后检索并利用这些存储的信息来解决问题；如从数据x，经过某种计算得到结果y，则把(x,y)记录下来，以后要再对x计算时，通过查询直接得到y。2008-2009学年第1学期机器学习概述及其基本系统结构按学习风格分类演绎学习基于演绎推理；如果系统能证明A→B且B→C，可得到A→C，以后直接使用规则A→C。2008-2009学年第1学期机器学习概述及其基本系统结构按学习风格分类归纳学习这是研究最多的一种学习方法；给定关于某概念的一些例子，从中归纳出概念的一般描述；例：大马有四条腿，小马有四条腿，故马有四条腿。但是，归纳是危险的推理；例：麻雀会飞，燕子会飞，故鸟会飞。实例（示例）学习是典型的归纳学习方法。2008-2009学年第1学期机器学习概述及其基本系统结构按学习风格分类类比学习通过目标对象与源对象的相似性，用源对象的求解方法来解决关于目标对象的问题；对未知或知之甚少的领域中的问题，用已知的、熟悉的领域中的方法解决。回忆与联想；建立对应关系；验证与归纳。2008-2009学年第1学期机器学习概述及其基本系统结构按学习风格分类基于解释的学习从问题求解的一个具体过程中抽取出一般的原理，并使其在类似情况下也可利用；与实例学习不同，解释学习只分析一个或几个例子，加上给定的领域知识，进行保真演绎，存储有用结论，经过知识求精和编辑，产生适合以后求类似问题的控制知识；尽量少用归纳，以减少归纳带来的不可靠性。2008-2009学年第1学期机器学习概述及其基本系统结构按学习风格分类连接学习主要指神经网络学习；通过实例训练，得到网络中的参数甚至结构，实现对输入模式的分类等功能。2008-2009学年第1学期机器学习概述及其基本系统结构按实现途径分类符号学习连接学习符号学习用计算机能理解（处理）的符号表示人类的知识；用学习程序实现学习过程；输入的是数据、事实等信息，产生符号表示的知识（如概念、规则等）；基于符号演算的知识推理和知识学习。2008-2009学年第1学期机器学习概述及其基本系统结构连接学习就是人工神经网络（ArtificialNeuralNetwork，缩写ANN）学习；ANN是对生物神经网络的某种模拟或仿真；ANN学习是基于生物神经网络理论的机器学习方法。2008-2009学年第1学期机器学习概述及其基本系统结构符号学习和连接学习的实现途径有什么区别呢？符号学习建立在符号理论基础上，预先有专家总结的大量知识，对知识的可理解性和可读性非常重视；连接学习强调对大量事实的反复观察，最多需要人对事实进行分类与标注，形成的知识结构是人难以理解的。2008-2009学年第1学期机器学习概述及其基本系统结构按学习方法分类有教师指导的，或从样本中的学习被称作教师的用户需将数据分类（标注）；即使没有先验知识，只要数据是可自然分类的，仍可采用有教师指导类的学习算法，如聚类算法；机器学习的目的就是建立从数据到结果空间的映射函数。无教师指导的，或从环境中的学习通常，准备好所有数据；系统从执行结果的好坏得到反馈信息，依此改进执行过程，达到学习目的。2008-2009学年第1学期机器学习概述及其基本系统结构6.2机器学习的基本系统结构Simon认为，学习就是系统在不断重复的工作中对本身能力的增强或改进，使得系统在下执行同样或类似任务时，会比现在做得更好或效率更高。环境学习知识库执行学习系统的基本构成2008-2009学年第1学期机器学习概述及其基本系统结构环境是系统的工作对象，还可包括外界条件；代表外界信息来源；例：医疗系统中，病人当前的症状、检验数据和病历。环境提供的信息从两个方面评价信息水平相对于执行环节的要求而言，由学习环节消除差距。信息质量实例示教是否正确、实例次序是否合理等。2008-2009学年第1学期机器学习概述及其基本系统结构知识库知识表示要合理；如特征向量、谓词公式、产生式、过程、LISP函数、语义网络、框架等；推理方法的实现不要太难；存储的知识是否支持修改（更新）。2008-2009学年第1学期机器学习概述及其基本系统结构学习环节是机器学习系统的核心模块；是和外部（环境）交互的接口；对环境提供的信息进行