线性回归-例子.ppt

1西北工业大学,2西北工业大学,简单实例,一套200平方米的房子价格由数据-曲线要求：拟合曲线的误差最少直线多项式对数指数,3西北工业大学,梯度下降,梯度下降方法实现回归方向导数梯度,4西北工业大学,方向导数,方向导数：如果函数zf(x，y)在点P(x，y)是可微分的，那么函数在该点沿任一方向l的方向导数都存在，且有,5西北工业大学,梯度,梯度：函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致(等高线，法向量)，而它的模为方向导数的最大值,PS：gradf(x,y)，即函数f(x,y)梯度f(x,y)=c，即在(x,y)处等高线值为c,6西北工业大学,梯度下降-实例（1）,考虑一座山在点(x,y)的高度是H(x,y)。在这一点的梯度是在该点坡度（或者说斜度）最陡的方向。梯度的大小告诉我们坡度到底有多陡。,7西北工业大学,梯度下降-实例（1）,函数，如下,曲面图：,8西北工业大学,梯度下降-实例（1）,等高线图：,9西北工业大学,梯度下降回归-缺陷,靠近极小值时速度减慢。可能会之字型地下降。,10西北工业大学,梯度下降-实例（2）,表达式Whereis最小值?远离(1,1)点和在(1,1)点领域内的变化缓急？,?,11西北工业大学,梯度下降-实例（2）,12西北工业大学,梯度下降-实例（2）,其最小值在(1,1)处，数值为0。此函数具有狭窄弯曲的山谷，最小值就在这些山谷之中，并且谷底很平。优化过程是之字形的向极小值点靠近，速度非常缓慢。,13西北工业大学,logistic回归,Logistic回归本质上是线性回归，只是在特征到结果的映射中加入一层函数映射,14西北工业大学,logistic回归,应用二分类Logistic回归模型多分类Logistic回归模型,15西北工业大学,logistic回归,患病率P1=a/m1P2=b/m2,16西北工业大学,logistic回归,Odds=(Odds为优势)P越大,则Odds越大；P越小,则Odds越小对于两个Odds的比较，一般用它们的Ratio，并称为OddsRatio(OR,优势比)，其定义如下：,17西北工业大学,logistic回归,样本估计统计量为：比较结果：OR=1?OR1?OR1?多重线性回归的表达式为：,公式,18西北工业大学,logistic回归,由上面公式可推导出,19西北工业大学,logistic回归系数的意义,以x1的回归系数为例一个暴露因素：暴露为1，非暴露为0。除x1，固定其它自变量,20西北工业大学,logistic回归实例（1）,研究急性心肌梗塞(AMI)患病与饮酒的关系。,21西北工业大学,logistic回归实例（1）,饮酒的患病率和Odds分别为不饮酒的患病率和Odds分别为,22西北工业大学,logistic回归实例（1）,患病(Y=1)的概率为x=1表示饮酒，x=0表示不饮酒回归系数是未知参数，通常用最大似然估计的方法获得。,23西北工业大学,logistic回归实例（1）,饮酒(x=1)，患病概率和未患病概率分别为不饮酒(x=0)，患病概率和未患病概率分别为,24西北工业大学,logistic回归实例（1）,最大似然估计选择使似然函数L达到最大，即最大似然估计。,25西北工业大学,logistic回归实例（1）,用Logistic模型进行