智能科学技术导论 课件 第九讲-人工智能算法基础

第七章算法数学基础

算法算法就是计算或者解决问题的步骤。我们可以把它想象成食谱。要想做出特定的料理，就要遵循食谱上的步骤；同理，要想用计算机解决特定的问题，就要遵循算法。食谱和算法之间最大的区别就在于算法是严密的。食谱上经常会有描述得比较模糊的部分，而算法的步骤都是用数学方式来描述的，所以十分明确。

算法vs程序算法和程序有些相似，区别在于程序是以计算机能够理解的编程语言编写而成的，可以在计算机上运行，而算法是以人类能够理解的方式描述的，用于编写程序之前。不过，在这个过程中到哪里为止是算法、从哪里开始是程序，并没有明确的界限。就算使用同一个算法，编程语言不同，写出来的程序也不同；即便使用相同的编程语言，写程序的人不同，那么写出来的程序也是不同的。

算法选择的必要性低效的排序算法(全排列算法)对50进行排序，运气不好的话，花费的时间比宇宙的年龄还要长！算法与数学：相互依存的基础算法是解决问题的一系列明确指令，而数学则是研究数量、结构、变化以及空间等概念的学科。这两者之间的联系，可以从最基础的计数和算术运算开始，逐渐深入到复杂的代数、几何、概率统计等领域。在编程中，无论是简单的排序算法，还是复杂的机器学习模型，都离不开数学的支持。例如，在排序算法中，我们经常会用到数学中的比较和交换操作。而在机器学习领域，线性代数、微积分、概率论等数学知识则成为了构建模型和分析数据的基础。可以说，没有数学的支持，算法将失去其根基，编程也将变得举步维艰。数学->算法->程序关于数学数学可以说是一个非常宽泛的科学范畴，在涉及具体问题时还需进行细分。因此，为了方便研究开展，学界一般可以将整个数学领域粗略地划分为基础数学、应用数学、数学史三部分。1.基础数学基础数学又称为纯粹数学，其研究从客观世界中抽象出来的数学规律的内在联系，也可以说是研究数学本身的规律。基础数学包含代数学、几何学、分析学等主要领域。代数学是研究数、数量、关系、结构与代数方程的数学分支，可以形象地说成是解决“数”的问题。几何学则是研究空间结构形状及性质的一门学科，也就是解决“形”的问题。分析学是一种较复杂的专业数学分支，涉及微积分、复分析、泛函分析等诸多内容。2.应用数学应用数学是应用目的明确的数学理论和方法的总称，研究如何应用数学理论解决其他领域的问题，其概念与基础数学相对。应用数学包含计算数学、运筹学、统计学、控制论、信息论等诸多领域。为了方便理解，可以将应用数学拆分为两个词，即：“应用”和“数学”。从而，应用数学就包括两个部分，一部分就是与应用有关的数学，这是传统数学的一支，我们可称之为“可应用的数学”；另外一部分是数学的应用，就是以数学为工具，探讨解决科学、工程学和社会学方面的问题，这超越了传统数学的范围。应用数学在21世纪，主要是应用于两个领域，一个是计算机，随着计算机的飞速发展，需要一大批懂数学的软件工程师做相应的数据库的开发，另一个是经济学，经济学有很多都需要用非常专业的数学进行分析。3.数学史数学史是研究数学科学的起源、发展及其规律的科学。通俗地说，数学史就是研究数学的历史。数学史的研究内容包括追溯数学内容、思想和方法的产生、演变、发展过程，以及影响这些过程的各种因素。除此之外，数学史还研究数学科学的发展给人类文明所带来的重要影响。数学史属于交叉学科，其研究对象不仅包括具体的数学内容，同时还涉及哲学、历史学、宗教学、文化学等社会科学与人文科学内容。数学史主要涵盖世界数学史、中国数学史等领域。数学与智能数学与智能矛盾么？上世纪80年代中期爆发的人工智能理论危机彻底暴露了标准逻辑的应用局限性，具体如下。（1）用标准逻辑描述的算法在执行时存在组合爆炸，会迅速吞食掉计算机的时空资源；（2）各种经验知识推理、常识推理和机器学习过程都无法用标准逻辑描述和处理；（3）群体智能中各智能体(Agent)只有局部的知识和智能，它们之间存在矛盾和利益冲突，不满足标准逻辑的使用条件。就在人工智能理论数学危机产生后，学科的发展出现了两个截然相反的方向。一方面，主流方向尽可能避免对逻辑和知识的依赖，于是兴起了各种计算智能（包括：连接主义、行为主义、神经网络计算、进化计算、蚁群算法、微粒群算法、免疫计算、生态计算等），它们和近来出现的深度学习及大数据处理相结合，完全用各种结构、模型、过程来描述智能活动的全过程，都取得了巨大的成功。另一方面，仍然有一些学者坚信逻辑学和智能的同源性，他们认为理论危机仅仅证明了标准逻辑的“非此即彼性”约束太强，它无法满足智能活动中需要处理的大部分具有“亦此亦彼性”的现实问题的需要，因此，放宽对标准逻辑的某些约束条件以便适应描述某些不确定性推理的需要，成为信息时代逻辑学发展的正确方向。为了适应计算机科学、计算语言学和人工智能发展的迫切需要，非标准逻辑研究已经取得了丰硕的成果，包括：泛逻辑理论、超协调逻辑的证明表明，可处理各种不确定性推理的辩证逻辑不仅是存在的，甚至连辩证逻辑也是可以数学化的。

课程内容

数理逻辑

微积分

概率论与统计学

线性代数

最优化理论

*需要掌握的算法

概念数理逻辑一门研究符号语言和推理的科学，其主要分支包括：模型论、证明论、递归论和公理化集合论。其中，两个最基本的也是最重要的组成部分，就是“命题演算”和“谓词演算”。命题演算是研究关于命题如何通过一些逻辑连接词构成更复杂的命题以及逻辑推理的方法。这里命题是指具有具体意义的又能判断它是真还是假的句子。谓词演算是数理逻辑最基本的形式系统，其又被称为一阶逻辑。一个可以回答真假的命题，不仅可以分析到简单命题，还可以分析到其中的个体、量词和谓词。个体表示某一个物体或元素，量词表示数量，谓词表示个体的一种属性。

计算举例【举例】

逻辑表示可以用形式化的符号表示一个逻辑，“苏格拉底是人”：(Man(Socrates))、“人都会死”：((∀x)(man(x)→mortal))。基于逻辑表示以及规则可以进行推理。【举例】推理昆虫有六条腿，请推理出：蝈蝈是昆虫→蝈蝈有六条腿。

应用专家系统在医疗领域的应用非常广泛(示例如图7-2)。医疗专家系统可以用于辅助医生进行诊断和治疗决策，特别是在疾病的早期诊断和治疗方案的制定方面。由于医学知识非常庞杂，且不断更新，专家系统可以帮助医生及时获取最新的医学知识和研究成果，提高医疗质量和效率。此外，专家系统还可以用于药物研发和生产控制等方面，帮助制药公司提高药物研发的效率和质量，并确保药品符合相关的法规和标准。

课程内容

数理逻辑

微积分

概率论与统计学

线性代数

最优化理论

*需要掌握的算法

概念微积分（Calculus）是高数中研究函数微分（Differentiation）、积分（Integration）以及有关概念和应用的数学分支。它是数学的一个基础学科，其内容主要包括：极限、微分学、积分学及其应用。微分学包括求导数的运算，是一套关于变化率的理论。它使得函数、速度、加速度和曲线的斜率等均可用一套通用的符号进行讨论。积分学包括求积分的运算，起初它为定义和计算面积、体积等提供一套通用的方法。微积分的产生分为三个阶段，也就是：极限概念的提出、求积的无限小方法提出，以及积分与微分的互逆关系提出建立。其中前两阶段的工作，欧洲的大批数学家一直追溯到古希腊的阿基米德都做出了各自的贡献，而最后一步是由牛顿、莱布尼兹完成的。

计算举例【举例】最优解在最优化问题中，某一优化问题的最优解，在下图7-3曲面中的最高点(假设该点代表最佳的生产效率)上，求出该点的坐标位置。

计算举例【举例】图像分析在图像处理中，一幅黑白图像其信息主要集中在边缘，为了进行机器识别，经微分运算后可以将图形的边缘轮廓突出出来(如图7-4所示)。复合函数求导链式求导举例偏导数

导数在数学分析中的应用泰勒展开式常用函数的泰勒展开在某邻域内，存在一阶近似、二阶近似、....逼近非线性函数求解(x=0处展开)实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数（例如：sin、cos、ex等，通常这些函数的值比较难算，比如三角函数、指数函数，但它们的导数比较好算，所以用导数将其展成多项式）在某点附近展开为泰勒(Taylor)多项式来逼近原函数。

课程内容

数理逻辑

微积分

概率论与统计学

线性代数

最优化理论

*需要掌握的算法

概念概率论是研究随机现象数量规律的数学分支，是一门研究事情发生的可能性的学问。通常用随机变量代表一个随机事件，而用随机变量的取值代表随机事件的结果。因此，概率论主要研究随机变量的概率、分布函数、数值特征、特征函数等主要内容。概率论主要解决关于随机事件发生的可能性及其结果的数学特性等方面的问题。统计学是通过搜集数据、整理数据、描述数据、分析数据等手段以达到推断所研究对象的本质，或者预测对象未来趋势的一门综合性学科。统计学要解决的是如何从已有的数据中发掘其统计规律。即，当面对一大堆数据时，如何对数据进行处理，从而挖掘其蕴藏的价值。它主要包括：数据预处理、数据建模、模型检验、模型应用等步骤。与概率相比，概率论偏理论，而统计学则偏应用。随机变量概率分布与概率密度后面会用到的分布伯努利分布正态分布指数分布泊松分布数学期望方差数学期望就是均值。一种彩票发行100张，70张“谢谢参与”、20张“5元”10张“10元”，平均一张可以得到几元？数学期望给出了随机变量的平均大小“随机变量值与其期望值之差的平方和”的期望值那条线波动大？条件概率条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P（A|B），读作“A在B发生的条件下发生的概率”。

举例【举例】生日礼物每个人都有生日，偶尔会遇到与自己同一天过生日的人，但在生活中这种缘分似乎并不常有。假设有一个50人的旅游团，某一天导游为当天过生日的团友准备生日礼物，准备多少个合适呢？也就是求解在50个人当中出现同天生日这种缘分的概率有多大？【举例】预测地震贝叶斯统计可以根据地震史和历史记录来估计地震发生的可能性，从而帮助地震预报者做出更准确的预测。贝叶斯统计可以利用地震史上发生过的地震的时间、地点和烈度等信息，来推断未来地震发生的可能性。贝叶斯统计还可以根据历史记录来估计地震发生的可能性，从而更好地预测地震的发生时间、地点和烈度。

应用概率建模和推断参数估计和假设检验特征选择和降维异常检测和异常值处理统计推断和决策

课程内容

数理逻辑

微积分

概率论与统计学

线性代数

最优化理论

*需要掌握的算法

概念线性代数是数学的一个分支，它起源于对二维和三维直角坐标系的研究，其研究对象是：向量、向量空间（或称线性空间）、线性变换和有限维的线性方程组等。线性代数被广泛地应用于抽象代数和泛函分析中。通过解析几何，线性代数得以被具体表示。矩阵矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定，例如：张量张量是基于向量和矩阵的推广，通俗一点理解的话，我们可以将标量视为零阶张量，向量视为一阶张量，那么矩阵就是二阶张量。还存在更高维度的张量：RGB图(3个矩阵表示)视频由多张图构成视频库由很多视频构成线性变换指旋转、推移，他们的组合是线性变换为什么研究线性变换矩阵操作矩阵加法矩阵乘法单位阵矩阵逆阵矩阵范数分离技术->特征值分解非常重要且广泛的应用包括：控制系统推荐系统文本相似度处理图像压缩...

计算举例【举例】求解方程快速求解下面线性方程组，如图7-8所示。【举例】健康区分找到一根直线(如图7-9)，通过旋转、投影，对下面描述两类人群的两簇点进行区分，使之具有最好的区分度，从而给出健康建议。【举例】特征人脸在如下人类构成的图库中，找到能够对库中的任意人脸（可以用矩阵表示）进行区分的最少表示特征(这样可以提高检测效率，减少存储空间)，即：特征人脸，就可以通过矩阵变换实现(如图7-10所示)。

应用特征提取和降维矩阵计算和线性回归神经网络和深度学习

课程内容

数理逻辑

微积分

概率论与统计学

线性代数

最优化理论

*需要掌握的算法

概念最优化理论是关于系统的最优设计、最优控制、最优管理问题的理论与方法。最优化，就是在一定的约束条件下使系统具有所期待的最优功能的组织过程，从众多可能的选择中做出最优选择，使系统的目标函数在约束条件下达到最大或最小。最优化方法有几个基本因素：系统目标、实现目标的可能方案、实行各方案的支付代价，建立系统模型，制定系统评价标准等。最优化问题数学模型最优化问题的三个基本要素：目标函数:用来衡量结果的好坏参数值：未知的因子，需要通过数据来确定。约束条件：需要满足的限制条件绝大多数人工智能的问题都可以用最优化数学模型描述和求解！最小二乘梯度下降牛顿法拟牛顿法共轭梯度法

计算举例

应用模型训练自然语言处理计算机视觉路径规划资源分配

课程内容

数理逻辑

微积分

概率论与统计学

线性代数

最优化理论

*需要掌握的算法

算法——最小二乘Logistic回归分类问题生活中有许多二分类的应用，例如你收到一封邮件，你想判断它是否是垃圾邮件？或者在银行的业务中，银行需要判断是否贷款给某个客户？假设你有一张图片作为输入，输入用x来表示，你想识别这张图是否为猫？如果是猫，输出1，否则，输出0，输出结果用