《机器学习》课件-第2章机器学习数学基础

第2章：机器学习数学基础内容线性代数线性空间范数矩阵特征值与特征向量奇异值分解概率与信息论随机变量与概率分布期望、方差与协方差常用概率分布熵、互信息、KL散度最优化理论多元函数梯度下降法拉格朗日对偶性

线性代数线性代数是机器学习的重要数学基础。本节将分别介绍线性空间、范数、矩阵、特征值与特征向量、奇异值分解这五个概念。它们构成了线性代数的基石，为理解和解决机器学习问题提供了重要的工具和技巧。线性空间是向量和标量乘法所构成的集合，是线性代数的基础。范数是一种将向量映射到实数的函数，它衡量了向量的大小或长度。矩阵是线性代数中的关键概念，用于表示线性变换和解决线性方程组。特征值和特征向量是矩阵在线性变换中的重要特性。最后，奇异值分解（SingularValueDecomposition，SVD）是一种将矩阵分解为特殊形式的方法，被广泛应用于数据压缩、降维和矩阵逆的计算等领域。线性代数——线性空间

线性代数——线性空间

线性代数——线性空间

线性代数——范数

线性代数——范数

线性代数——矩阵

线性代数——矩阵

线性代数——矩阵

线性代数——特征值与特征向量

线性代数——特征值与特征向量

线性代数——奇异值分解

概率与信息论——随机变量与概率分布

概率与信息论——随机变量与概率分布与离散随机变量不同，连续随机变量取实数值，这些取值可能是有限的（要完成时长两小时考试所花费时间是介于0-2小时之间的）或无限的（下一班车到达的时间是无上界的实数）。无限连续变量可能取遍整个实数范围，或者可能是仅有上界或下界的区间（车辆的速度能够取任意值，但速率的下界为0）。连续变量的概率分布可以通过绘制概率密度函数（ProbabilityDistributionFunction，PDF）来可视化。一个结果的概率密度表示随机变量取该值的相对可能性。它可以取任何正值。注意，概率密度函数的积分总是1。概率与信息论——随机变量与概率分布

概率与信息论——随机变量与概率分布

概率与信息论——随机变量与概率分布

概率与信息论——随机变量与概率分布

21

贝叶斯公式概率与信息论——随机变量与概率分布

22概率与信息论——随机变量与概率分布

独立性

23概率与信息论——期望、方差与协方差

期望

24概率与信息论——期望、方差与协方差

方差和协方差

25概率与信息论——常用概率分布

伯努利分布

26概率与信息论——常用概率分布

贝塔分布

27概率与信息论——常用概率分布

狄利克雷分布

28概率与信息论——常用概率分布

一元正态分布

29概率与信息论——常用概率分布

多元正态分布

30概率与信息论——熵、互信息、KL散度

熵

31概率与信息论——熵、互信息、KL散度

互信息

32概率与信息论——熵、互信息、KL散度

KL散度

33最优化理论——多元函数

梯度

34最优化理论——多元函数

海森矩阵

35最优化理论——多元函数

雅可比矩阵

36最优化理论——多元函数

方向导数

37最优化理论——多元函数

方向导数

38最优化理论——多元函数

方向导数

39最优化理论——多元函数

40最优化理论——多元函数

二阶方向导数

41最优化理论——多元函数

42最优化理论——梯度下降法

梯度下降法

43最优化理论——梯度下降法

梯度下降法

44最优化理论——梯度下降法

45最优化理论——拉格朗日对偶性

原始问题（2-106）（2-107）（2-108）

46最优化理论——拉格朗日对偶性

原始问题

47最优化理论——拉格朗日对偶性

原始问题

48最优化理论——拉格朗日对偶性对偶问题

49最优化