线性回归例子

线性回归例子1第1页，课件共27页，创作于2023年2月2第2页，课件共27页，创作于2023年2月简单实例一套200平方米的房子价格由数据---------------->曲线要求：拟合曲线的误差最少直线多项式对数指数3第3页，课件共27页，创作于2023年2月梯度下降梯度下降方法实现回归方向导数梯度4第4页，课件共27页，创作于2023年2月方向导数方向导数：如果函数zf(x，y)在点P(x，y)是可微分的，那么函数在该点沿任一方向l

的方向导数都存在，且有

5第5页，课件共27页，创作于2023年2月梯度梯度：函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致(等高线，法向量)，而它的模为方向导数的最大值．

PS：

gradf(x,y)，即函数f(x,y)梯度

f(x,y)=c，即在(x,y)处等高线值为c6第6页，课件共27页，创作于2023年2月梯度下降-实例（1）考虑一座山在点(x,y)的高度是H(x,y)。在这一点的梯度是在该点坡度（或者说斜度）最陡的方向。梯度的大小告诉我们坡度到底有多陡。7第7页，课件共27页，创作于2023年2月梯度下降-实例（1）函数，如下曲面图：8第8页，课件共27页，创作于2023年2月梯度下降-实例（1）等高线图：9第9页，课件共27页，创作于2023年2月梯度下降回归-----缺陷靠近极小值时速度减慢。可能会'之字型'地下降。

10第10页，课件共27页，创作于2023年2月梯度下降-实例（2）表达式Whereis最小值?远离(1,1)点和在(1,1)点领域内的变化缓急？?11第11页，课件共27页，创作于2023年2月梯度下降-实例（2）12第12页，课件共27页，创作于2023年2月梯度下降-实例（2）其最小值在(1,1)处，数值为0。此函数具有狭窄弯曲的山谷，最小值就在这些山谷之中，并且谷底很平。优化过程是之字形的向极小值点靠近，速度非常缓慢。13第13页，课件共27页，创作于2023年2月logistic回归Logistic回归本质上是线性回归，只是在特征到结果的映射中加入一层函数映射14第14页，课件共27页，创作于2023年2月logistic回归应用二分类Logistic回归模型多分类Logistic回归模型15第15页，课件共27页，创作于2023年2月logistic回归患病率P1=a/m1P2=b/m216第16页，课件共27页，创作于2023年2月logistic回归Odds= (Odds为优势)P越大,则Odds越大；P越小,则Odds越小对于两个Odds的比较，一般用它们的Ratio，并称为OddsRatio(OR,优势比)，其定义如下：17第17页，课件共27页，创作于2023年2月logistic回归样本估计统计量为：比较结果：OR=1?OR>1?OR<1?多重线性回归的表达式为：公式<1.0>18第18页，课件共27页，创作于2023年2月logistic回归由上面公式<1.0>可推导出19第19页，课件共27页，创作于2023年2月logistic回归系数的意义以x1的回归系数为例一个暴露因素：暴露为1，非暴露为0。除x1，固定其它自变量20第20页，课件共27页，创作于2023年2月logistic回归—实例（1）研究急性心肌梗塞(AMI)患病与饮酒的关系。21第21页，课件共27页，创作于2023年2月logistic回归—实例（1）饮酒的患病率和Odds分别为不饮酒的患病率和Odds分别为22第22页，课件共27页，创作于2023年2月logistic回归—实例（1）患病(Y=1)的概率为x=1表示饮酒，x=0表示不饮酒回归系数是未知参数，通常用最大似然估计的方法获得。23第23页，课件共27页，创作于2023年2月logistic回归—实例（1）饮酒(x=1)，患病概率和未患病概率分别为不饮酒(x=0)，患病概率和未患病概率分别为24第24页，课件共27页，创作于2023年2月logistic回归—实例（1）最大似然估计选择使似然函数L达到最大，即最大似然估计。25第25页，课件共27页，创作于2023年2月logistic回归—实例（1）用Logistic模型进行统计分析以上述