图说图解机器学习（第2版） 课件 03. 你需要的统计学

人工智能基础

--你需要的统计学大纲数据的种类回归最小二乘法判断拟合好坏大纲数据的种类数据的种类数据分类数据(Categorical)无序数据(Nominal)男，女建筑，生物有序数据(Ordinal)大，中，小数值数据(Numeric)离散数据(Discrete)整数连续数据(Continuous)实数大纲回归回归（Regression）统计学：确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。机器学习：一种预测性的建模技术，它研究的是特征和标记之间的关系。回归（Regression）回归线性回归简单线性回归多元线性回归逻辑回归简单逻辑回归多元逻辑回归回归（Regression）xy回归到平均值0回归（Regression）简单线性回归

偏置(Bias)权重（Weight）协变量（Covariance）特征（Feature）响应,应变量（Response）标记（Label）回归（Regression）多元线性回归

偏置(Bias)权重（Weight）协变量（Covariance）特征（Feature）响应（Response）标记（Label）回归（Regression）工龄年薪

简单线性回归为例回归（Regression）

简单线性回归为例工龄年薪0回归模型中，权重w变大相应的x对结果影响变大相应的x对结果影响变小AB提交单选题1分大纲最小二乘法最小二乘法（OrdinaryLeastSquares,OLS）简单线性回归为例观测数据和拟合数据越接近越好工龄年薪

观测的实际数据拟合的数据0最小二乘法（OrdinaryLeastSquares,OLS）

简单线性回归为例目标：观测数据和拟合数据越接近越好能否有一个度量数值，比较这个数值，就能知道回归好不好最小二乘法（OrdinaryLeastSquares,OLS）工龄年薪

简单线性回归为例观测的实际数据拟合的数据

最小化观测数据和拟合数据差的平方和最小二乘法（OrdinaryLeastSquares,OLS）简单线性回归为例

MeanSquareError(MSE)均方差损失函数大纲判断拟合好坏判断拟合好坏

判断拟合好坏假设一组数据（X1,X2,…,Xn）,假设我告诉了你除了Xn以外所有的数值，让你猜猜Xn是多少，你觉得下面那个更靠谱：

最大值最小值平均值随便猜一个你选哪一个最大值最小值平均值随便猜一个ABCD提交投票最多可选1项一个机器学习模型，预测结果不如平均值给的结果，说明：模型太差了模型还行模型很好ABC提交单选题1分一个机器学习模型，预测结果比平均值好，说明：模型太差了模型至少还行模型很好ABC提交单选题1分判断拟合好坏现在我就把这个平均值画出来工龄年薪判断拟合好坏现在我就把这个平均值画出来然后找到每个点到这个平均线的距离算出这些距离的平方和

工龄年薪0判断拟合好坏工龄年薪

工龄年薪

判断拟合好坏

决定系数Goodnessoffit判断拟合好坏决定系数越接近1越好

线性回归（右侧）的效果比起平均值（左侧）越好，决定系数的值就越接近于1。蓝色正方形表示线性回归的残差的平方，红色正方形数据表示对于平均值的残差的平方。

判断拟合好坏

随自变量增多，SSres

不会变大，决定系数不会变小决定系数越大越好使劲往模型里面加自变量模型复杂，更容易出问题小明考试没考好，你更相信下面哪种小明自己的解释因为我不够努力我感觉我不是很适合这门课，怎么学都学不会。而且老师讲的也很一般，教材也不好