《机器学习》课件-第1章绪论

第1章机器学习概述内容提纲21.机器学习驱动的人工智能案例2.机器学习的前世今生3.机器学习基本概念星球大战：新希望（1977）艺术中的AI（1）C-3POandR2-D2艺术中的AI（2）TheTerminator

(1984)T800→T850/T1000→T-XArtificalIntelligence（2001）艺术中的AI（3）BigHero(2014)电影中的AI：像人一样能交谈、会思考、有情感、能决策和行动！大卫大白Top的机器人研发公司现实中的AI（1）机器狗:BigDog机器狗:SpotMini现实中的AI（1）人形机器人：Atlas现实中的AI（1）现实中的AI（2）现实中的AI（2）索菲亚（Sophia）是由香港的汉森机器人技术公司（HansonRobotics）开发的类人机器人。2017年10月，索菲亚成为沙特阿拉伯公民，这是世界上第一个获得国籍的机器人。索菲亚于2015年4月19日被激活，她以女演员奥黛丽·赫本为模型，与以前的各种型号机器人相比，她更具与人类相似外观和行为方式。索菲亚具有人工智能、视觉数据处理和面部识别功能，还可以模仿人类的手势和面部表情；索菲亚使用来自Alphabet公司（Google的母公司）的语音识别技术，以此使她随着时间的推移变得更加智能化。索菲亚适合于作为养老院老人的伴侣，或帮助大型活动、公园中的人群。DeepBlue(1997)Watson(2011)AlphoGO(2016)现实中的AI（3）AlphoCode(2022)IBMGoogle现实中的AI（4）ChapGPT

官网视频截取案例Sora官网文本生成视频案例现实中的AI（4）ChapGPT

官网视频截取案例OpenAI机器学习（MachineLearning，ML）研究和构建的是一种特殊算法（而非某一个特定的算法），能够让计算机自己在数据中学习从而进行预测，属于人工智能的一个核心分支。，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等等。机器学习定义内容提纲151.机器学习驱动的人工智能案例2.机器学习的前世今生3.机器学习基本概念机器学习的发展历程热度时间1956196019701980199020002010初春初冬初秋寒冬复苏爆发起步发展期反思发展期应用发展期低迷发展期稳步发展期蓬勃发展期人工智能诞生任务失败目标落空专家系统遍地开花人工智能转向实用多项研究发展缓慢互联网推动人工智能不断创新和实用深度学习与大数据兴起带来了人工智能的爆发机器定理证明智能跳棋程序……机器翻译笑话百出定理证明发展乏力……医疗专家系统MYCIN化学专家系统DENDRALDEC的专家配置系统XCON……专家系统发展乏力神经网络研究受阻……深蓝战胜国际象棋冠军IBM提出智慧地球我国提出感知中国……物联网云计算大数据……机器学习的缘起机器学习的渊源（20世纪早期及之前）古希腊的哲学家亚里士多德曾写道：“如果每一件工具被安排好甚或是自然而然的做那些适合于它们做的工作……那么就没必要再有师徒或主奴了。”发条机器人木牛流马机器学习的缘起

机器学习诞生的黎明（1930年-1950年）“人工智能成为一门显性的、严格的、系统的、可实现的科学和工程的一个领域，得益于上个世纪逻辑科学、计算机科学、信息论、控制论很多学科的发展的交汇。它基于一个很基本的假设：人的思维活动是可以用机械的方式替代和完成。”罗素和怀德海希尔伯特的宏伟构想哥德尔的不完备定理图灵机机器学习的萌芽1950年数学家阿兰·图灵(1912-1954)在论文《ComputingMachineryandIntelligence》中提出了“机器能否拥有智能？”的问题，设计了一个后人称为图灵测试的实验：要求计算机在没有直接物理接触的情况下接受人类的询问，并尽可能把自己伪装成人类。如果“足够多”的询问者在“足够长”的时间里无法以“足够高”的正确率辨别被询问者是机器还是人类，我们就认为这个计算机通过了图灵测试。图灵成功定义了什么是计算机，但没有定义什么是智能，他把图灵测试看作人工智能的一个充分条件，主张认为通过图灵测试的计算机应该被看作是拥有智能的。他大胆预测

“

到2000年左右时，一台拥有1GB内存或类似规模的计算机可以在接受普通人5分钟的询问之后，使他们的判断正确率不超过70%”。但是……机器学习和AI的起源达特茅斯会议（1956年）目的：为使计算机变得更“聪明”，或者说使计算机具有智能

发起人：

麦卡锡（J.McCarthy，1927），Dartmouth的年轻数学家，图灵奖（1971）

明斯基（M.L.Minsky，1927），MIT、斯坦福大学教授，第一位图灵奖（1969）

香农（C.E.Shannon，1916），贝尔实验室信息部数学研究员

参加人：

莫尔(T.more)、塞缪尔(A.L.Samuel)，IBM公司；塞尔夫里奇(O.Selfridge)、索罗蒙夫(R.Solomonff)，MIT；纽厄尔(A.Newell)，兰德(RAND)公司；西蒙(H.A.Simon)，CMU会议成果：由麦卡锡提议正式采用了“ArtificialIntelligence”这一术语机器学习和AI的起源达特茅斯会议（1956年）会议召开目的：寻求科研经费资助机器学习和AI初春ArthurSamuel

1959年在IBM第一批商用计算机IBM701上编写出世界上第一款走国际跳棋的程序A.Newell,H.Simon和C.Shaw1955年发明了逻辑定理机，证明了《数学原理》中的38条定理。—符号主义的开端F.Rosenblatt1958年发明了感知机，分类问题的有监督学习算法。—连接主义的鼻祖机器学习和AI初冬(1960-1970)模型局限算法局限M.MinskyS.CookR.Karp机器学习重整旗鼓(1980s)专家系统（1965-）第五代计算机计划（1981-）多层神经网络（1986）反向传播算法第五代计算机是把信息采集、存储、处理、通信同人工智能结合在一起的智能计算机系统。它能进行数值计算或处理一般的信息，主要能面向知识处理，具有形式化推理、联想、学习和解释的能力，能够帮助人们进行判断、决策、开拓未知领域和获得新的知识。专家系统是一种模拟人类专家解决领域问题的计算机程序系统。系统内存储了大量领域知识，并模仿人类专家来做出决策。DENDRAL机器学习和AI再次入冬（1987-2000）Apple/IBM个人电脑内因：专家系统乏力神经网络受阻各项进展缓慢外因：政府科研经费削减美国GDP1991：-0.108机器学习的反思像人一样思考的系统理性地思考的系统“要使计算机能够思考..….意思就是：有头脑的机器”（Haugeland,1985）“与人类的思维相关的活动，诸如决策、问题求解、学习等活动”（Bellman,1978）“通过利用计算模型来进行心智能力的研究”（Chamiak和McDermott,1985）“对使得知觉、推理和行为成为可能的计算的研究”（Winston,1992）像人一样行动的系统理性地行动的系统“一种技艺，创造机器来执行人需要智能才能完成的功能”（Kurzweil,1990）“研究如何让计算机能够做到那些目前人比计算机做得更好的事情”（Rich和Knight,1991）“计算智能是对设计智能化智能体的研究”（Poole等，1998）“AI..….关心的是人工制品中的智能行为”（Nilsson,1998）类人理性行为思维弱人工智能也称限制领域人工智能或应用型人工智能，指的是专注于且只能解决特定领域问题的人工智能。强人工智能又称通用人工智能或完全人工智能，指的是可以胜任人类所有工作的人工智能。超人工智能假设机器系统通过不断发展，可以比世界上最聪明的人类还聪明。JohnSearle弱AI：ActingHumanly强AI：ActingandThinkingHumanly对机器学习的反思当前偏好：实用型、功能型的AI输入功能输出文本文本分类标签图片图片分类标签中文一句话翻译英文一句话问句对话系统答句图片ImageCaption图片描述语音语音识别文字智能的功能表示：从输入到输出的映射对机器学习的反思xyf机器学习的新纪元新算法富算力大数据我不担忧了！在有限，透明规则、特定任务下，机器超过人的水平是时间问题，绝对是会超过的

─CMU,Prof.EricXing机器学习的当前局限人工智能总体发展水平仍处于加速阶段

人的大脑是一个通用的智能系统，能举一反三、融会贯通，可处理视觉、听觉、判断、推理、学习、思考、规划、设计等各类问题，可谓“一脑百用”。

目前人工智能距离人类智能水平差距正在缩小，人工智能处于蓬勃发展期。强人工智能研究与应用正在逐渐靠近我们机器学习的当前局限美国DARPA对当前人工智能技术水平所处发展阶段的判断：从知识规则到统计学习，第三波人工智能技术在信息感知（Perceiving）和机器学习（Learning）方面进展显著，但是在概念抽象（Abstracting）和推理决策（Reasoning）方面正在发生翻天覆地的变化与更新。人工智能三次浪潮及技术特征机器学习驱动的人工智能总体发展水平处于加速阶段机器学习当前局限正在逐步改变有智能没智慧：无意识和悟性，缺乏综合决策能力有智商没情商：机器对人的情感理解与交流还处于起步阶段会计算不会“算计”：有智无心，更无谋有专才无通才：会下围棋的“阿狗”不会下象棋机器学习的发展趋势1.从专用智能到通用智能如何实现从专用智能到通用智能的跨越式发展，既是下一代人工智能发展的必然趋势，也是研究与应用领域的挑战问题。机器学习的发展趋势2.从机器智能到人机混合智能人工智能（机器智能）和人类智能各有所长，因此需要取长补短，融合多种智能模式的智能技术将在未来有广阔的应用前景。“人+机器”的组合将是人工智能研究的主流方向，“人机共存”将是人类社会的新常态。FromAI(ArtificialIntelligence)toAI(AugmentedIntelligence)人机协作人机决策脑机接口机器学习的发展趋势脑科学研究脑的多尺度功能连接图谱基因、蛋白质、神经元、神经环路的结构与功能认知任务与脑结构的关联疾病与脑结构的关联脑疾病机理……类脑智能研究借鉴脑科学研究成果，构建认知脑模型研究类人学习及训练方法模仿人脑多尺度、多脑区、多模态产生智能的机制，实现对人类智能的建模和机理的揭示启发未来信息技术，推动智能产业发展相互支撑相互促进共同发展提供生理学原理与数据，启发全新计算模式提供仿真模拟手段、系统与平台，支持科学假设验证提供广泛的应用前景2.从机器智能到人机混合智能机器学习的发展趋势脑科学人工智能构建智能发现智能《Nature》报道研究者证明了大脑中存在“分布强化学习”，靠多巴胺驱动。它验证了分布强化学习是一条通向更先进AI能力的光明大道。《Nature》报道研究者受大脑前额叶皮层启发，提出了一种新型算法，使ANN具备强大的连续学习和情境依赖学习能力，克服了灾难性遗忘等难题。《NatureNeuroscience》发表了一个研究团队开发的人工智能解码系统，把人的脑电波转译成英文句子，准确率高达97%。《Nature》报道Hinton等用新一代反向传播算法NGRAD模拟神经网络，发现大脑具有执行反向传播的核心原理的能力。2.从机器智能到人机混合智能机器学习的发展趋势3.交叉学科将成为人工智能创新源泉“机器能促进基础研究吗？”

人工智能在深刻影响并改变基础科学的研究范式。

“人工智能如何赋能基础研究？”

基于科学大数据的自主涌现，加速了科学发现过程。机器学习的发展趋势3.交叉学科将成为人工智能创新源泉信息科学中的AI：●

高效的AI框架大大降低了AI的技术门槛●

自动机器学习技术已成为AI发展的新方向●

AI让复杂网络及系统的自动化设计成为可能●

AI让纳米光学器件设计更快、功能更强●

AI正在赋能风险管控、数字孪生、机器人等●

AI为新型数据理论及模型自动发现提供可能AI的发展趋势3.交叉学科将成为人工智能创新源泉数学中的AI：●

数学理论的发展与突破一直都是支撑AI的基石●

逼近论为探索神经网络的可解释性提供可能●

优化理论可解决AI参数估计的非凸性和非光滑性●

概率论与统计可以支撑AI模型泛化能力的评估机器学习的发展趋势3.交叉学科将成为人工智能创新源泉物理学中的AI：●

AI在极小微观世界的粒子发现，极大宏观世界的探索中大展身手●

AI正在加速粒子的模拟和鉴别●

AI让核物理学更加强大●

AI在凝聚态物理方面发挥重要作用●

AI帮助天文学发展登上新台阶

机器学习的发展趋势3.交叉学科将成为人工智能创新源泉化学中的AI：●

AI正在实现化学研究的智能化、标准化和自动化●

AI帮助打破分析化学中人工特征选择的瓶颈●

AI提升了多个尺度计算化学方法的精度和效率●

AI使得化合物的自动化设计与合成成为可能●

AI加速高效催化剂设计和开发内容提纲431.机器学习驱动的人工智能案例2.机器学习的前世今生3.机器学习基本概念机器学习基本概念

因此，要进行机器学习，首先要有数据。假设我们收集了一批关于花的数据，刻画花的特征包括花瓣颜色、花萼长度、花萼宽度、花瓣长度和花瓣宽度。针对每一朵花的一组记录是关于一个事件或对象（某一类花）的描述，称之为一个“样本（Sample）”或“示例（Instance）”。反映事件或对象在某方面的性质，例如“花瓣颜色”、“花萼长度”或“花萼宽度”称为“属性（Attribute）”或“特征（Feature）”。某一朵花在5个属性上的取值，例如“金黄色”、“1.5”、“2.3”、“2.4”和“0.9”称为“属性值（Attributevalue）”或者“特征值（Featurevalue）”。属性张成的空间称为“属性空间（Attributespace）”、“样本空间（Samplespace）”。以上述的5个特征生成一个描述花的5维空间，每一朵花都可以在这一空间中找到自己的坐标位置。由于空间中的每个点对应一个坐标向量，因此我们也把一个示例称为一个“特征向量（Featurevector）”。机器学习术语机器学习基本概念机器学习术语

机器学习基本概念机器学习术语

机器学习基本概念机器学习术语

机器学习基本概念机器学习基本要素

机器学习的定义是通过大量已有的数据（经验），学习具有一般性的模型（规律），并利用得到的模型（规律）预测新样本。机器学习大致包括三个基本要素：模型、学习准则、优化算法。机器学习基本概念机器学习基本要素

机器学习基本概念机器学习基本要素

机器学习基本概念机器学习基本要素

机器学习基本概念机器学习基本要素

机器学习基本概念机器学习基本要素3.优化算法

梯度下降算法可分为批量梯度下降法、随机梯度下降法和小批量梯度下降法。三者的区别在于每次参数更新使用的批量大小。（1）批量梯度下降法：每次更新使用整个训练集的数据，计算量大，训练较慢，但梯度的方差比较小，利于寻找全局最优解；（2）随机梯度下降法：每次只取一个样本计算梯度，训练快，但是梯度方差大，波动大，不利于寻找全局最优解；（3）小批量梯度下降法：结合了批量梯度下降法和随机梯度下降法，每次取固定批量个数的样本。

此外，由于在梯度下降过程中，可能会陷入局部最优解，因此诞生了动量法。这种方法在梯度下降法基础上，引入了物理中的动量概念。梯度的更新不仅仅依赖于负梯度方向，还会依赖于历史梯度方向的加权平均。动量方向与负梯度方向一致时，动量法会加速梯度下降，加快收敛速度；当到达局部最优解处时，梯度为0，但在动量的作用下，有助于逃离局部最优解；而当方向不一致时，动量法起减速作用，从而更好地收敛到全局最优解。机器学习基本概念机器学习基本要素3.优化算法

学习率大小的选择对梯度下降算法的性能也有很大影响，如果学习率过小，可能会导致算法收敛速度慢；而学习率过大，可能会导致算法难以收敛。学习率属于一种超参数，一般在整个迭代过程中保持不变，但是也可以通过一些方法在迭代过程中动态调整学习率的值。（1）学习率衰减。迭代的最开始，往往会距离最优解点较远，采用较大学习率可以快速接近最优解点；迭代多次后，会不断接近最优解点，可以减小学习率，有助于缓解振荡，有助于模型收敛。（2）学习率预热。当批量大小较大时，训练速度慢，可以采用较大的学习率提高训练速度。但训练最开始的参数往往是随机设置的，使用较大的学习率会导致训练波动较大。这种情况下可以采用学习率预热的方法，在迭代最开始采用较小的学习率，等梯度下降到一定值后再增大学习率，提高训练的稳定性。然后再采用学习率衰减调整学习率。（3）周期性调整学习率。动量法通过引入动量逃离局部最优解，而周期性调整学习率，即周期性地增大减小学习率，也有助于逃离局部最优解。机器学习基本概念过拟合与欠拟合1.过拟合

过拟合是指模型在训练数据表现很好，但在未见过的测试数据表现较差的问题。图示是使用次数为15的高阶多项式拟合并预测一些包含噪声的正弦函数数据的结果。其中左图是训练集上的拟合结果，观察其右下角区域出现了极端的波动，但是这种波动并没有出现在右图的预测集上，这就是典型的过拟合现象。

过拟合发生的原因是多方面的，有数据问题，也有模型问题，可以归结为模型学习并记忆了训练数据的细节和噪声，而不是训练数据包含的通用模式。过拟合具有以下特点：（1）模型在训练集上准确度高；（2）模型在测试集上准确度低；（3）训练数据较少，且只能反映整体的局部信息；（4）模型参数量过多，易将特殊细节和噪声误认为通用特征。机器学习基本概念过拟合与欠拟合1.过拟合

针对过拟合产生的原因，可以设计许多防止过拟合的方法：数据集扩充通过增加