线性回归与逻辑回归模型.pptx

线性回归和逻辑回归，1，目录，2，3，逻辑回归，1，逻辑回归，4，2，住房应用，建筑价值评估系统，一个房子的价值来自许多地方，如面积，房间数量(几个房间和几个大厅)，位置，方向等。这些影响房子价值的变量被称为特征。这里，为了简单起见，让我们假设我们的房子受到一个变量的影响，即房子的面积。假设有一套房子的销售数据如下：3。线性回归及其模型。线性回归是一种统计分析方法，它使用数理统计中的回归分析来确定两个或多个变量之间相互依赖的数量关系。表达式为y=wxee，e为误差服从平均值0的正态分布。Wj是一个系数，w是由这个系数组成的向量。它影响回归函数中不同维度的 j (x)的影响程度。例如，对于房子的售价，面对房间的w必须小于房间面积的w。假设特性和结果都满足线性， (x)可以转换成不同的函数， (x)=x不是必需的。在收集到的数据中，每一个成分都可以看作是一个特征数据。每个特征对应至少一个未知参数。以这种方式，形成线性模型函数，其以向量形式表示。回归问题的一般步骤是寻找模型函数；构造J函数(损失函数)；最小化J函数并获得回归参数(w)，5，线性回归的损失函数，误差最小。模型和数据之间差值的平方和最小：最小二乘梯度下降法、模型函数、损失函数和线性回归的两种用法。如果目标是预测或映射，则可以使用线性回归将预测模型拟合到观察数据集的和x值。当这样的模型完成时，对于新增加的X值，可以通过拟合的模型预测Y值，而无需Y匹配它。这是比方差分析更进一步的函数，方差分析是根据现在来预测未来。虽然线性回归和方差都要求因变量是连续变量，自变量是分类变量，自变量可以有一个或多个，但线性回归增加了另一个函数，即未来的预测取决于回归方程。这个回归方程的因变量是一个未知量，也是一个估计值。虽然是估计，但只要有规律，未来是可以预测的。给定变量y和一些变量X1，Xp，这些变量可能与y有关，线性回归分析可用于量化y和Xj之间的相关强度，评估与y无关的Xj，并确定哪些Xj子集包含关于y的冗余信息。在致癌因素的研究中，我们收集了几个人的健康记录，包括年龄、性别、吸烟史、日常饮食和家族病史。这里的响应变量是一个两点(0-1)分布变量，Y=1(一个人有癌症)和Y=0(没有癌症)。如果我们建立一个一般的线性模型：10，这个模型就解释了，因为y只能取0或1，而的值是连续的。显然不能用来预测因变量Y。我们已经注意到，对于0-1型变量，E(Y)=P(Y=1)=p因此，我们似乎能够预测Y=1的概率，即：11，概率和自变量之间的关系图通常是s型曲线，概率和自变量之间的关系图，模型解释，12，模型解释，我们可以使logit(p)=ln(p/(1-p)使logit(p)和自变量具有线性相关性。同时，转换后的模型还解决了(2)中的缺陷，即概率的预测值可以是0，1以外的数字。(3)由公式建立的模型称为逻辑斯蒂模型(logistic回归模型)。最终，我们可能会根据自变量的值来预测y的值0或1。然而，我们的逻辑回归模型只能得到PY=1|x的预测值。然而，我们可以根据模型给出的Y=1的概率(概率)来判断预测Y的值。通常，以0.5为极限，当预测P大于0.5时，我们判断此时Y更可能为1，否则，Y=0。事实上，逻辑回归、逻辑回归和多元线性回归有很多共同之处。最大的不同是他们的因变量不同，其他的基本相同。正因为如此，这两个回归可以归因于同一个家族，即广义线性模型。逻辑回归主要用于流行病学。常见的情况是探索某种疾病的危险因素，根据危险因素预测某种疾病发生的概率等。例如，如果你想探究胃癌的危险因素，你可以选择两组人，一组是胃癌组，一组是非胃癌组，两组人必须有不同的体征和生活方式。这里的因变量是胃癌，即“是”或“否”，自变量可以包括很多，如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量可以是连续的，也可以是分类的。17、逻辑回归的IIA效应，即逻辑回归的“独立的非相关替代者”假说，也称为“IIA效应”，指的是Logit模型中的每个选项都是独立的和不相关的。例如，市场上有三种商品甲、乙、丙相互竞争，分别占市场份额的60%、30%和10%。三者的比例是：6336033601新产品D进入市场，有能力占据20%的市场。如果符合IIA假设，每种产品都是独立行动的，彼此之间没有关系。新产品D占20%的市场份额，其余80%按633603:1分成A、B、C三类，分别占48%、24%和8%。如果不满足IIA假设，例如，新产品D与产品B几乎相同，那么新产品D与产品B密切相关：新产品D占据产品B的部分市场，占总市场份额