逻辑回归模型笔记整理1从概念到推导交叉熵损失函数

1、逻辑回归模型笔记整理1-从概念到推导交叉熵损失函数1.逻辑回归算法描述（是什么？）1.1逻辑回归的定义可以答作用：用于分类的回归算法，被广泛用于估算一个实例属于某个特定类别的概率。比如：”这封电子邮件属于垃圾邮件的概率是什么？“某人患病的概率？C明天下雨的概率明天下雨的概率如果预估概率超过50%，则模型预测该实例属于该类别（称为正类，标记为“1”），反之，则预测不是；也就是负类，标记为“0”。这样它就成了一个二分类器。逻辑回归处理的常见的时二分类或二项分布问题，也可以处理多分类问题。1.2逻辑回归的优点逻辑回归不仅能够进行分类，而且还能够获取属于该类别的概率。这在现实中是非常实用的。注意：逻辑

2、回归，我们不要被其名字所误导，实际上，逻辑回归是一个分类算法！2.逻辑回归算法的分类思想（思路）逻辑回归实现分类的思想为：将每条样本进行“打分”，然后设置一个阈值，达到这个阈值的，分为一个类别，而没有达到这个阈值的，分为另外一个类别。（打分，阈值）对于阈值，比较随意，划分为哪个类别都可以，但是，要保证阈值划分的一致性。监督学习回G和分类脸普学习定色有插監，週过启史敌据建站理，嗣y吋凶对于未知的谦迤输出几儿回归材躁別r壤佰.砌n拙a対星冋归的住务2.分类vine离敵血賊认为是分炎的任号my拘门哝底历虫的制工瞬未来的房忻、房价1块2块是密密麻麻.就是回阳”时间，伶梧，生命周朋”点是不搐的*eg刘f

3、fiF性别，狂黒醍比菇乍类别.就是分鴛逻辑回归分类到概率，举例理解？直接举两个例子：eg.学生的成绩，分数是连续值，然后根据分数分类成优良差。分类算法，可以说是基于线性回归基础上进行的分类。需要对每一个样本进行打分，打分后，以一个点进行分割，高于这个点的，算一个类别。以一个中间点，作为分类。eg.学生考试，只知道能考上，不知道考上的概率是多少？只是进行了分类，少了信心指数，少了衡量这种类别多大的可能。以分数是60作为分界，分数是100也是优等，分数是60也是优等，但是100是优等的可能性肯定是大于分数是60的可能性。采用最大似然估计的方法，求出损失函数4.逻辑回归的算法模型4.1sigmoid

4、函数带入二分类问题的概率与自变量之间的关系图形往往是一个S形曲线，常采用数学上的Sigmoid函数实现，其函数定义如下所以，逻辑回归虽然是分类，但回归也不是白叫的，有回归的成分。葢=用|“可+旳+vnx+b二昌炳+b不过，z的值是一个连续的值（z就是对样本的打分，就是线性回归的连续值的输出），取值范围为（一x,+x）我们需要将其转换为概率值，逻辑回归使用sigmoid函数来实现转换，该函数的原型为：sigmoid（z）=1+1e-zwhy引入sigmoid函数？我们想让这个z更直观，变成概率0,1之间当Z的值从一X向+X过度时，sigmoid函数的取值范围为0,1,这正好是概率的取值范围，当=

5、0时，sigmoid(0)的值为0.5。因此,模型就可以将sigmoid的输出p作为正例的概率，而1-p作为负例的概率。以阈值0.5作为两个分类的标准，假设真实的分类y的值为1与0，则：c_J1p=0.5因为概率p就是sigmW函数股输出宜因此有:r(Idg爪oid(z)=0.50sigmoid0.5也可以表示兀；以上3个关于y_hat的表达式都是一个意思z不是以一个有直观意义的分值，而是通过sigmoid转化为与概率相同的区间。对于0-1型变量，y=1的概率分布公式定义如下：P(y=1)=p对应的y=0的概率分布公式定义如下：P(y=0)=1-p如果采用线性模型进行分析，其公式变换如下：P(

6、y=1|x)=80+81x1+82x2+8nxn实际应用中，概率p与因变量往往是非线性的，为了解决该类问题，可以引入logit变换，使logit与自变量之间存在线性相关的关系，逻辑回归模型定义如下：.辅助理解：绘制sigmoid函数图像(ithcodes)现在，我们通过Python程序来绘制sigmoid函数在-10,10区间的图像。4.3样本概率表示根据之前的介绍，我们可以将类别y(1与0)的概率表示如下(这里使用s代表sigmoid函数)：p(y=1k;w)=s(z)p(y-0|x;w)-1一s(z)我船可以将以上两个式子综合表示为:综合式丨2i-V/1MJ、p(y|x;w)=s(z)y(1s(z)i-y4.4得到交叉熵损失函数，by最大似然估计以上是一个样本的概率，我们要求解能够使所有样本联合密度最大的w值，因此，根据极大似然估计，所有样本的联合概率密度函数(即似然函数)为：L(w)=n=1p(y(训曲);w)=n=1s(z(i)y(i(1s(z(i)1-y(il仙)二EEiP(讯忖);)=TT訂畀)胪仃訂畀)1-庐1为了方便求解，我们取对数似然函数，让累计乘积变成累计求和：加厶仰)二加(口暮回严(1-0)m)我们要使得上式的值最大(概率最大)，可以采用梯度上升的方式。不过，这里我们为了引入损失函数的概念，我们采用相反的方式，即只需要