线性回归的例子证明.ppt

线性回归 1西北工业大学 2西北工业大学 简单实例 一套200平方米的房子价格由数据 曲线要求 拟合曲线的误差最少直线多项式对数指数 3西北工业大学 梯度下降 梯度下降方法实现回归方向导数梯度 4西北工业大学 方向导数 方向导数 如果函数z f x y 在点P x y 是可微分的 那么函数在该点沿任一方向l的方向导数都且有 5西北工业大学 梯度 梯度 函数在某点的梯度是这样一个向量 它的方向与取得最大方向导数的方向一致 等高线 法向量 而它的模为方向导数的最大值 PS gradf x y 即函数f x y 梯度f x y c 即在 x y 处等高线值为c 6西北工业大学 梯度下降 实例 1 考虑一座山在点 x y 的高度是H x y 在这一点的梯度是在该点坡度 或者说斜度 最陡的方向 梯度的大小告诉我们坡度到底有多陡 7西北工业大学 梯度下降 实例 1 函数 如下 曲面图 8西北工业大学 梯度下降 实例 1 等高线图 9西北工业大学 梯度下降回归 缺陷 靠近极小值时速度减慢 可能会 之字型 地下降 10西北工业大学 梯度下降 实例 2 表达式Whereis最小值 远离 1 1 点和在 1 1 点领域内的变化缓急 11西北工业大学 梯度下降 实例 2 12西北工业大学 梯度下降 实例 2 其最小值在 1 1 处 数值为0 此函数具有狭窄弯曲的山谷 最小值就在这些山谷之中 并且谷底很平 优化过程是之字形的向极小值点靠近 速度非常缓慢 13西北工业大学 logistic回归 Logistic回归本质上是线性回归 只是在特征到结果的映射中加入一层函数映射 14西北工业大学 logistic回归 应用二分类Logistic回归模型多分类Logistic回归模型 15西北工业大学 logistic回归 患病率P1 a m1P2 b m2 16西北工业大学 logistic回归 Odds Odds为优势 P越大 则Odds越大 P越小 则Odds越小对于两个Odds的比较 一般用它们的Ratio 并称为OddsRatio OR 优势比 其定义如下 17西北工业大学 logistic回归 样本估计统计量为 比较结果 OR 1 OR 1 OR 1 多重线性回归的表达式为 公式 18西北工业大学 logistic回归 由上面公式可推导出 19西北工业大学 logistic回归系数的意义 以x1的回归系数为例一个暴露因素 暴露为1 非暴露为0 除x1 固定其它自变量 20西北工业大学 logistic回归 实例 1 研究急性心肌梗塞 AMI 患病与饮酒的关系 21西北工业大学 logistic回归 实例 1 饮酒的患病率和Odds分别为不饮酒的患病率和Odds分别为 22西北工业大学 logistic回归 实例 1 患病 Y 1 的概率为x 1表示饮酒 x 0表示不饮酒回归系数是未知参数 通常用最大似然估计的方法获得 23西北工业大学 logistic回归 实例 1 饮酒 x 1 患病概率和未患病概率分别为不饮酒 x 0 患病概率和未患病概率分别为 24西北工业大学 logistic回归 实例 1 最大似然估计选择使似然函数L达到最大 即最大似然估计 25西北工业大学 logistic回归 实例 1 用Logistic模型进行统计分析以上述实