机器学习研究及最新进展PPT课件

2020/6/4，1，机器学习研究和最新开发，2020/6/4，2，目录，机器学习的定义和任务机器学习的发展历史机器学习的主要方法机器学习的新发展方向，主题：机器学习研究和最新发展，2020/6/4，3，学习系统的基本构成，学习链接，知识库，执行链接，学习链接：识别环境，知识获取常用的学习方法机器学习诱导学习诱导式学习诱导式学习类比学习，知识库智能系统，环境，2020/6/，4，定义机器学习，通过经验提高系统本身性能的过程(系统自我改进)。机器学习的重要性：机器学习是人工智能的主要核心研究领域之一是现代智能系统的核心环节和瓶颈很难想象没有学习功能的：系统可以称为有智力的系统。2020/6/4，5，入侵检测系统IDS:是入侵吗？是什么样的入侵？如何检测？历史数据：历史正常访问模式及其表示、历史入侵模式及其表示.当前访问模式分类，这是常见机器学习问题的一般技术神经网络、决策树、支持向量机、贝叶斯分类器、k最近接触、群集、序列分析、免疫网络等例如，网络安全问题、2020/6/4、6，如何预测？气象历史数据：过去各种天气数据及其变化特征.未来的主天气预报是典型的机器学习问题：统计多参数模型、神经网络、贝叶斯分类器、k近邻、聚类.实例2:天气预报，2020/6/4，7，例3:搜索引擎、谷歌的成功、使网络搜索引擎成为新的产业、专门搜索引擎的企业(如百度等仅用于中文搜索的企业)越来越多，微软等大企业也在搜索引擎开发方面投入了大量资金，机器学习技术是任何类型的搜索引擎(尤其是Bayesian)创始人LarryPage和SergeyBrin提出的PageRank算法，2020/6/4。8，application 4，2020/6/4，9，application 4，Automaticardrivesclassoftasks : learningtodaylight fromvisionstereos . knowledge : imagesandsteel managesandsteelperformance module : accuracyinclass ification，2020/6/4，10，application 5，learningtoclassifyastronomicalstructures，galaxy，stars，11，application 6，Classifying astronomomicalobjectscsoftasks : learningtoclassifynewobjects . knowledge : databaseofjects，12，other applications，Bio-technologyproteingpredictionmicro-arraygeneexpressionsystemsperformanceplicectionbro，13，机器学习工作，w由于观察能力的限制，只能获得给定世界上所有对象的有限子集，即qw。机器学习以这个有限的样本集q为基础计算这个世界的模型，对这个世界来说它是真实的。Q，W，Model，建模，通用，2020/6/4，14，机器学习的三个要素，(1)一致性假设：机器学习的条件。(2)样本空间分割：确定模型对样本集的有效性。(3)泛化能力：确定模型对世界的有效性。2020/6/4，15，元素1:一致假设，假定标准w和采样集q的特性相同。原则上有多种一致性假设。在统计意义上，一般的假设是w和q具有相同的分布。或者，指定世界w的所有对象独立均匀地分布。2020/6/4，16，要素2:样例空间的分割，样例集合模型：在n维空间中放置样例集，找到超平面(等效关系)，将确定问题的不同对象分割为不相交的区域。、2020/6/4、17，元素3:通过泛化能力，机器学习方法，在给定的有限样本集合中计算模型。广义能力是这个模型对世界的真实程度的指标。2020/6/4，18，3个因素，每期研究集中部门：初期研究主要是对这个因素的泛化能力(多项式划分)，假设33680年代以来最近的研究一致性，未来需要考虑的事项2020/6/4，19，机器学习是多学科交叉，机器学习，统计，人工智能，哲学，信息论，生物学，计算复杂性，数学，认知科学，控制论，其他领域，应用领域，2000，20，the questions-the top 25，whatistheuniversity emadeof？whatatisthebiologicalbasisoft consorstance？WhyDoHumansHaveSoFewGenes？towhatextentaregeneticiandpersonallhlinked？CantheLawsofPhysicsBeUnified？howmuchcanhumanlifespanebextended？WhatControlsOrganRegeneration？howcanaskincleallbecomeanervecell？弧wdoesassinglesomatic cellbe come AE whole plant？HowDoesEarthsInteriorWork？AreWeAloneintheUniverse？HowandWhereDidLifeonEarthArise？WhatDeterminesSpeciesDiversity？whatgeneticchangesmadeusuniquelyhuman？howwarememoriesstoredandretrieved？howdidcooperative behaviorevolve？。http:/www . scienc mag . org/sciext/125 th/，on 25 bigquestionsfacingscienceoverthenexquarter-century。(1 July 2005)，2020/6/4，21，记忆的模型和过程，记忆的模型和过程通常为1，编码，2，存储3，提取，记忆的模型，2020/6/，22、工作内存、工作内存系统可以同时存储和处理信息，强调与短期记忆的概念不同的是存储功能。工作内存分为中央执行系统、视觉初步处理系统和语音环路。工作记忆与语言理解、注意力、推理能力等密切相关，工作记忆中隐藏着智能的玄妙技巧。2020/6/4，23，working memory model，2020/6/4，24，机器学习的分支，数据挖掘：使用历史数据改进决策的例子：医疗记录医疗知识软件应用程序(不能手动编程的应用程序)汽车自动驾驶语音识别等用户特定的程序新闻负责人学习用户的阅读兴趣。2020/6/4，25，机器学习早期研究，Rosenblatt上的识别器(1956)。Widrow中的Madline(1960)。Samuel的符号机器学习(1965)。Minsky的“Perceptron”书(1969，1988)。2020/6/4，26，percepron s，devsedbyrangekroseblattinthelate 1950 sa single-layernetworkwhereallinputsandactivationvaluesareeithing，27，Limitsfperceprons，single-layernetworksareonlycapayableofferingclassesthatarelineslyseparableforexample，single，在28，20世纪80年代的研究中，符号机器学习取得了进展。神经网络研究。计算学习理论- PAC(概率近似值正确)。2020/6/4，29，两个最重要的符号机器学习算法，叠加算法和分割算法。在70年代后期，Michalski根据有等号的逻辑算法，提出了一种称为符号机器学习的覆盖算法的AQ11算法。1986年，Quinlan提出了决策树算法，也称为分割算法(最早对树结构表示的研究是CLS，概念学习系统)。2020/6/4，30，神经网络，霍夫菲尔德模型。Kohonen模型。Goldberg的艺术模型。影响最大的是雷米库尔哈特等提议的BP算法(1986)。2020/6/4，31，计算学习理论，1984年，Valiant提出了机器学习作为模型概率近似(1-)的指标，而不是概率1。学习算法必须对样本集的大小有多项式。统计机器学习、集成机器学习等方法的理论基础。2020/6/4，32，机器学习领域，1983年R.S.Michalski等撰写了机器学习：通往人工智能的途径这本书，1986年，MachineLearning杂志创刊1997年，TomMitchell的经典教科书(McGrawHillPress，1997年)，33，机器学习的主要方法，传统分类诱导机器学习说明机器学习连接机器学习现代分类(1997，Dietterich)符号机器学习。统计机器学习。综合机器学习。加强机器学习。2020/6/4，34，学习方法的传统分类，传统上可分为4大类：归纳学习解释学习基因学习连接学习，2020/6/4，35，归纳学习，从某一概念的分类案例集中归纳一般概念说明。这是目前研究最多的学习方法，为了获得新的概念、构成新的规则或发现新的理论，有学习目的。此方法需要大量的培训案例，归纳性能受描述语言、概念类型、信噪比、实例空间分布、归纳模式等影响。转换(版本)空间、决策树方法、AQ11算法、第一个Horn子句等、2020/6/4、36，学习说明，学习说明(分析学习)从完善的领域理论中推导出有助于更有效地利用领域理论的规则。其学习目的不是修改领域理论，而是提高系统性能。与归纳学习不同，只需要少量训练案例，但需要精密的领域理论，学习效果也与例子表达、学习方法(精锐学习或反预科学习)、一般化程度等有关。2020/6/4，37，遗传学习是模拟自然界遗传和变异机制，利用进化论的自然选择原理进行分类和优化。优点：很容易解决传统精确的符号方法无法解决的几个问题。也就是说，在学习过程中生成了大量数据，如何选择和记住这些数据？2020/6/4，38，连接学习，以任何形式连接的多个神经元按照训练模式集调节连接和阈值来学习的方式，即人工神经网络学习的起点，通常称为“并行分布式学习”，是著名的m-p模型。这种方法在50、60年代陷入沉默，但在80年代解决了TSP问题后复兴(BP、HNN、etc .)这是由于隐藏节点超出了初始Perceptron的限制。优点：已在模式识别、语音处理等多个方面成功应用。缺点：由于难以处理高水平的符号信息，所以适用范围受到限制。2020/6/4，39，机器学习方法的现代分类，1997年，Dietteric