版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
机器学习什么是机器学习?机器学习是一门多领域交叉学科,涉及计算机科学、概率统计、最优化理论、控制论、决策论、算法复杂度理论、实验科学等多个学科。核心问题是如何用计算的方法模拟人类的学习行为:从历史经验中获取规律(或模型),并将其应用到新的类似场景中。通俗地说,机器学习就是从数据中挖掘出有价值的信息。分为三个层次:初级阶段是数据获取以及特征的提取;中级阶段是数据处理与分析;高级阶段是智能与认知,即实现智能的目标。从学习目标的角度
回归、分类、聚类、排序、有结构预测从训练数据特征的角度
有监督学习、半监督学习、无监督学习、弱监督学习(强化学习)从模型复杂度的角度
线性模型:线性回归、逻辑回归、线性支持向量机非线性模型:决策树、深层神经网络从模型功能的角度生成模型、判别模型机器学习多角度分类隐马尔可夫模型是一个关于时序的概率模型,描述由隐马尔可夫链随机生成观测序列的过程,属于生成模型。隐马尔可夫模型在语音识别、自然语言处理、生物信息等领域有着广泛的应用。条件随机场是一个序列标注模型,其优点在于为一个位置进行标注的过程中可以利用丰富的内部及上下文特征信息。LDA主题模型是一种文档主题生成模型,是一种非监督机器学习技术。通过模拟文档生成过程,可以用来识别大规模文档集或语料库中潜藏的主题信息。从学习目标或解决问题分类有监督学习(supervisedlearning):从给定的有标注的训练数据集中学习出一个函数(模型参数),当新的数据到来时可以根据这个函数预测结果。常见任务包括分类与回归。无监督学习(unsupervisedlearning):没有标注的训练数据集,需要根据样本间的统计规律对样本集进行分析,常见任务如聚类等。半监督学习(Semi-supervisedlearning):结合(少量的)标注训练数据和(大量的)未标注数据来进行数据的分类学习。增强学习(ReinforcementLearning):弱监督学习,外部环境对输出只给出评价信息而非正确答案,学习机通过强化受奖励的动作来改善自身的性能。多任务学习(Multi-taskLearning):把多个相关(related)的任务放在一起同时学习。训练数据特征分类机器学习及其重要性机器学习角色的转变五个挑战问题概述7机器学习经典定义:利用经验改善系统自身的性能[T.Mitchell,Book97]
随着该领域的发展,主要做智能数据分析典型任务:预测
例如:天气预报三违物品检测;监狱监测;无人值守机器学习(续)数据挖掘数据库机器学习数据分析技术数据管理技术重要性生物信息学计算金融学分子生物学行星地质学……工业过程控制机器人……遥感信息处理信息安全机器学习美国航空航天局JPL实验室的科学家在《Science》(2001年9月)上撰文指出:机器学习对科学研究的整个过程正起到越来越大的支持作用,……,该领域在今后的若干年内将取得稳定而快速的发展。重要性:例子—网络安全入侵检测:是否是入侵?是何种入侵?如何检测?历史数据:以往的正常访问模式及其表现、以往的入侵模式及其表现……对当前访问模式分类这是一个典型的预测型机器学习问题常用技术:神经网络决策树支持向量机k近邻序列分析聚类…………重要性:例子—生物信息学常用技术:神经网络支持向量机隐马尔可夫模型k近邻决策树序列分析聚类…………重要性(续)计算机科学在过去十年中发展极为迅速,今后会快速稳定地发展、对科学做出更大贡献的领域。[E.Mjolsness&D.DesCoste,Science01]人工智能中最活跃、应用潜力最明显的领域(之一)。
[T.G.Dietterich,AIMag97]美国、欧洲各国都投入了大量人力物力。大型公司如波音、微软、通用电器等都有研究课题,已有一些研究成果进入产品。美国航空航天局喷气推进实验室位于加州理工学院,是美国尖端技术研究的一个重要基地,著名的“勇气”号和“机遇”号火星机器人正是在这个实验室完成的。机器学习和数据挖掘技术在这两个火星机器人上有大量的应用。谷歌(Google)、雅虎(Yahoo)、百度等互联网搜索引擎已经开始改变了很多人的生活方式,例如人们已经习惯于在出行前通过网络搜索来了解旅游景点的背景知识、寻找合适的旅馆、饭店。美国新闻周刊曾经对谷歌有个“一句话评论”:“它使得任何人离任何问题的答案之间的距离只有点击一下鼠标这么远”。机器学习角色的转变如果我们想做出重要的贡献,首先需要把握住该领域发展的脉搏机器学习现在似乎已经发展到一个新阶段。机器学习起源于人工智能对人类学习能力的追求,上一阶段的研究几乎完全局限在人工智能这一领域中(学习本身是目的)而现在,机器学习已经开始进入了计算机科学的不同领域,甚至其他学科,成为一种支持技术、服务技术(学习本身是手段)机器学习角色的转变(续)现阶段对机器学习的研究可能不应再过多地强调模拟人的学习能力,可能应该把机器学习真正当成一种支持技术(手段而非目的),考虑不同领域甚至不同学科对机器学习的需求,找出其中具有共性的、必须解决的问题,并进而着手研究。我们暂且把这种视角下的机器学习称为:“普适机器学习”(PervasiveML)。挑战问题(1):泛化能力共性问题——几乎所有的领域,都希望越准越好提高泛化能力是永远的追求
目前泛化能力最强的技术:支持向量机(SVM)产生途径:理论->实践集成学习(ensemblelearning)产生途径:实践->理论挑战问题(1):泛化能力(续)第一个挑战问题:今后10年能否更“准”?如果能,会从哪儿来?挑战问题(2):速度共性问题——几乎所有的领域,都希望越快越好加快速度也是永远的追求“训练速度”vs.“测试速度训练速度快的往往测试速度慢:k近邻测试速度快的往往训练速度慢:神经网络挑战问题(2):速度第二个挑战问题:今后10年能否更“快”?能做到“训练快”、“测试也快”吗?如果能,如何做?共性问题——绝大多数领域都希望有“可理解性”
例子:医疗诊断地震预测目前强大的技术几乎都是(或基本上是)“黑盒子”神经网络、支持向量机、集成学习“黑盒子”能满足需要吗?挑战问题(3):可理解性挑战问题(3):可理解性第三个挑战问题:今后10年能否产生“白盒子”?是和“黑盒子”完全不同的东西,还是从“黑盒子”变出来?挑战问题(4):数据利用能力共性问题——随着数据收集能力飞速提高、Internet的出现,在大多数领域中都可以很容易地获得大量未标记数据例子:医学图象分析垃圾邮件过滤传统的机器学习技术
对有标记数据进行学习
“标记”
事件所对应的结果没有标记的数据是没用的吗?挑战问题(4):数据利用能力(续)共性问题——在绝大多数领域中都会遇到“坏”数据,有时甚至只有“坏”数据
例子:海军舰队
Web“坏”数据
大量噪音、属性缺失、不一致、……
传统的“坏”数据处理方式
“扔掉”“坏”数据一点用也没有吗?第四个挑战问题:今后10年能否“数据通吃”?如何“吃”?挑战问题(4):数据利用能力(续)共性问题——大多数领域中的错误代价都不一样例子:入侵检测癌症诊断目前的机器学习技术
降低错误率“错误”是没有区别的吗?把“好”当成“坏”把“坏”当成“好”挑战问题(5):代价敏感一样吗?第五个挑战问题:今后10年能否“趋利避害”?在达到较低的总错误率的基础上,如何“趋”、如何“避”?挑战问题(5):代价敏感(续)第1章机器学习概述
章节目录1.1学习中的元素 1.2目标函数的表示 1.3机器学习系统的基本结构1.4学习任务的类型 1.5机器学习的定义和发展史1.6机器学习的可完成的事 1.7机器学习的成功案例学习可能只是一个简单的联想过程,给定了特定的输入,就会产生特定的输出。如:狗命令“坐”行为“坐”成功学习例子:学习识别客户的购买模式以便能检测出信用卡欺诈行为对客户进行扼要描述以便能对市场推广活动进行定位对网上内容进行分类并按用户兴趣自动导入数据贷款申请人的信用打分燃气涡轮的故障诊断1.1学习中的元素学习中的元素学习Agent的核心是一个算法,该算法定义了用于学习的过程。算法输出可以是光扫描手写体的识别,机器人为抓住某物体需要执行的动作,棋类游戏中的下一步移动,是否允许贷款申请人贷款的建议。称学习的结果为目标函数。如,目标函数可能会接收一幅扫描字符图像,然后输出{A,B,…,Z,0,1…,9}中对应的一个实例。要回答:目标函数如何表示?在学习的过程中对什么进行适应?如何指导或提供判断,使得Agent可以知道学习正沿着正确的路线进行?如何知道学习将在什么时候完成?又如何知道学习已获成功?1.2目标函数的表示 学习算法分类分类方法一:有监督、无监督;分类方法二(学习任务的类型):概念学习或回归学习;分类方法三:按应用领域进行分组。分类方法四:按照目标函数的表示方法对学习进行分组。鳞(鱼),腿数(鱼,0)排卵(鱼),栖息地(鱼,水)该假设表示为文字的合取。目标函数表示方法例子影响表示选择的因素:属性类型(比如,连续的或离散的)执行学到的任何函数必需的速度学习过程是否为整个系统的一部分特定学习算法将会有更好性能的信念
经常影响假设表示选择的另外一个因素是已学知识的可见性。许多表示形式如分类树和一阶逻辑都能够对知识进行显式表示。通过显式表示,就可能对如何产生这个决策进行解释。某些假设更像一个黑匣子。1.3机器学习系统的基本结构环境学习知识库执行环境:向系统的学习部分提供某些信息。学习:利用这些信息修改知识库,以增进系统执行部分完成任务的效能。执行:根据知识库完成任务,同时把获得的信息反馈给学习部分。在具体的应用中,环境、知识库和执行部分决定了具体的工作内容,学习部分所需要解决的问题完全由上述三部分确定。基本结构影响学习系统设计的最重要的因素是环境向系统提供的信息。知识库里存放的是指导执行部分动作的一般原则,但环境向学习系统提供的信息却是各种各样的。如果信息的质量比较高,与一般原则的差别比较小,则学习部分就比较容易处理。如果向学习系统提供的是杂乱无章的指导执行具体动作的具体信息,则学习系统需要在获得足够数据之后,删除不必要的细节,进行总结推广,形成指导动作的一般原则,放入知识库。这样,学习部分的任务就比较繁重,设计起来也较为困难。学习系统所进行的推理并不完全是可靠的。正确的规则能使系统的效能提高,应予保留;不正确的规则应予修改或从数据库中删除。
知识库是影响学习系统设计的第二个因素。知识表示有多种形式,如特征向量、一阶逻辑、产生式规则、语义网络框架等。选择表示方式时要兼顾以下4个方面:(1)表达能力强。如,如果研究的是一些孤立的木块,则可选用特征向量表示方式。用(<颜色>,<形状>,<体积>)这种形式的向量表示木块。如用下式表示(2)易于推理。如,在推理过程中经常会遇到判别两种表示方式是否等
价的问题。特征向量表示方式——较容易解决该问题;一阶逻辑表示方式——代价较高。(3)容易修改知识库。学习系统的本质要求它不断地修改自己的知识库,当推广得出一般执行规则后,要加到知识库中去。当发现某些规则不适用时要将其删除。(4)知识表示易于扩展。随着系统学习能力的提高,单一的知识表示己经不能满足需要;一个系统可能同时使用几种知识表示方式。有时还要求系统自己能够构造出新的表示方式,以适应外界信息不断变化的需要。因此要求系统包含如何构造表示方式的元级描述。把这种元级知识看成是知识库的一部分。这种元级知识使学习系统的能力得到极大提高,使其能够学会更加复杂的东西,不断地扩大它的知识领域和执行能力。学习系统不能在全然没有任何知识的情况下凭空获取知识,每一个学习系统都要求具有某些知识以理解环境提供的信息,分析比较,作出假设,检验并修改这些假设。因此,学习系统是对现有知识的扩展和改进。1.4学习任务的类型如光扫描和自动识别手写字符。若语言为英语,则机器需要学习的只是对数字0-9以及字符A-Z的分类。(有监督的)无监督学习:对传感器获得的数据进行异常检测,传感器固定在机器上,这样可及时检测出对应机器的故障,以免导致更大的错误。分类学习对棋类游戏以及那些周游于办公室附近用来清空垃圾箱的机器人来说,都需要情景估计和动作选择。下棋Agent必须读懂棋盘的当前状态,并决定将要采取的下一步动作:移动某个棋子,依据是它相信这个动作将会使获胜的可能性最大。机器人决定采取的下一步动作将会使垃圾收集的效率最大,同时确保在到达再次充电地点之前不会搁浅。动作序列学习学习过程包括了对贝叶斯网络和决策网络结构的自动创建,以及随着经验的积累不断对其分布进行调整。决策过程可能表达为一棵决策树。学习的这些形式当然也包括可能会串行执行甚至会并行执行的动作。学到的决策过程在期望奖励与期望惩罚之比最大化这个意义下一定是最优的。例子:对是否要发射航天器进行决策一定要在按时发射和丢失风险之间进行权衡,这种风险是由外部因素(如天气条件)引起的。最优决策学习学习一个变量(因变量)与其他变量(自变量)间的某种相关性。例子1:某喷气式发动机有两个轴,一个轴连接低速压缩机,另一个轴连接高速压缩机。这两个轴在机械上是相互独立的,但它们旋转的速度却是相关的。旋转速度用来计算性能,这是飞机发动机的一个关键度量。传感器故障可导致其中一个轴的某信号缺失,这样就有可能通过其他发动机控制参数对该缺失信号进行插值,这些控制参数中就包括另外一个轴的旋转速度。例子2:对股票指数的未来值进行预测。回归函数学习所有学习形式都可视做一种自动程序设计。然而,也存在另外一些学习算法,它们的特定目的就是用来学习表示任务的解决方案,表示的语法很像一种编程语言。例如,存在某些学习算法,它们的目标函数就是一段Prolog程序。程序学习1.5机器学习的定义和发展史
学习是系统在不断重复的工作中对本身能力的增强或者改进,使得系统在下一次执行同样任务或类似任务时,比现在做得更好或效率更高。机器学习是一门研究机器获取新知识和新技能,并识别现有知识的人工智能分支。例子1959年Samuel设计了一个下棋程序,这个程序具有学习能力,它可以在不断的对弈中改善自己的棋艺。4年后,这个程序战胜了设计者本人。又过了3年,这个程序战胜了美国一个保持8年之久的常胜不败的冠军。机器学习第一阶段:在20世纪50年代中叶到60年代中叶(热烈时期)“没有知识”的学习目标:各类自组织系统和自适应系统;方法:不断修改系统的控制参数以改进系统的执行能力。理论基础:神经网络模型。导致了“模式识别”的诞生,形成了两种机器学习方法——判别函数法和进化学习。典型例子(判别函数法):Samuel的下棋程序。机器学习的发展史第二阶段:在20世纪60年代中叶至70年代中叶(冷静时期)目标:模拟人类的概念学习过程,并采用逻辑结构或图结构作为机器内部描述。机器能够采用符号来描述概念(符号概念获取),并提出关于学习概念的各种假设。典型例子:
神经网络学习机因理论缺陷未能达到预期效果而转入低潮。Winston的结构学习系统和HayesRoth等人的基于逻辑的归纳学习系统。第三阶段:从20世纪70年代中叶至80年代中叶(复兴时期)从学习单个概念扩展到学习多个概念,探索不同的学习策略和各种学习方法。机器的学习过程一般都建立在大规模的知识库上,实现知识强化学习。把学习系统与各种应用结合起来,促进了机器学习的发展。在出现第一个专家学习系统之后,示例归约学习系统成为研究的主流,自动知识获取成为机器学习的应用研究目标。1980年,在CMU召开了第一届机器学习国际研讨会。此后,机器归纳学习进入应用。1986年,杂志MachineLearning创刊。第四阶段:机器学习的最新阶段始于1986年。符号学习由“无知”学习转向有专门领域知识的增长型学习,因而出现了有一定知识背景的分析学习。神经网络中的反向传播算法获得应用。基于生物发育进化论的进化学习系统和遗传算法,因吸取了归纳学习与连接机制学习的长处而受到重视。基于行为主义的强化学习系统因发展新算法和应用连接机制学习遗传算法的新成就而显示出新的生命力。数据挖掘研究的蓬勃发展。它综合应用
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 黄河石林课件
- 黄河照片素材课件
- 高中高二历史教学设计工业革命与工厂制度重难点突破
- 八年级德育班会课《红色基因铸魂 国防担当启智》教学设计
- 高中化学必修二氮及其化合物第二课时教学设计
- 高中信息技术必修1教学设计:加密与解密核心素养导向的深度探究
- 初中九年级地理《南方地区》专题复习教学设计
- 高中政治必修二《经济与社会》一轮复习答题模版构建与核心素养进阶教学设计
- 小学四年级综合实践活动《巧手制香囊 少年传非遗》教学设计
- 初中七年级体育与健康《迈向成熟的蜕变-青春期特点、常见问题与预防》教学设计
- 小学六年级心理健康教育《让友谊之花更美丽》教学设计
- 湖北黄冈市2026-2027学年高三上学期11月期中数学试卷及参考答案
- 2026年上海农商银行招聘面试题及答案
- 2026足球行业市场现状供需分析及投资评估规划分析研究报告
- T/TMAC 248-2025连续石墨化炉能源消耗限额
- 2026年江苏省考《申论》真题及答案解析(A卷)
- 工厂液氯泄漏事故应急预案演练脚本
- 计算机网络技术职业规划
- 儿科护理查房课件上呼吸道感染
- 全市消防控制室值班操作人员培训课件
- GB/T 6138-2023攻丝前钻孔用阶梯麻花钻
评论
0/150
提交评论