逻辑回归的过程

逻辑回归的过程

规律回归的过程前:规律回归可以看作是个最简洁的神经络,理解规律回归对于理解神经络的原理常有关心。

先简要说明下什么是回归。

即我们有些数据点,我们条线去对这些点进拟合,这个拟合的过程就是回归。

即我们在坐标系中去找条线,使得这条线尽最可能地串联这些已知的数据点,假如法串联则尽量靠近这些已知点。

此外,还有些未知点,但这些未知点和已知点符合某种不为知的相同规律,我们的线不仅仅要尽量串联已知点,还要保证这条线,将来在猜测未知点也有良好的效果。

规律回归就是在回归的思想去处理分类的问题。

规律回归在功能上是做分类的问题实际上分类问题可以扩展到多分类的问题,并给出相应概率。

详细,我们假设有堆数据分布在坐标系中,我们现在要把这堆数据分为两类。

我们认为相同类别的数据必定有着某种类似的特征,因此在坐标系中,同类的数据点定都“蜷缩”在起。

因此,我们要将这两类数据“切两断”,采条直线将其分割开来假如是维坐标就直线切割,三维坐标则切割,以此类推。

犹如上图,蓝和红点分别代表两类数据,我们现在条直线将其分割开来。

实际上,数据分布的状况不定可以完全直线切割开来,你可以使更简单的线去拟合,但是这规律回归使较为简洁的模型。

因此,我们的的不是做到完全个点都不判错,是尽量使得误差最。

规律回归很多机器算法都是过程致分为两个阶段,训练阶段和猜测阶段。

训练阶段我们需要使量的带有的数据也就是知道这些输将输出的正确结果输到模型当中,然后模型会依据这些输数据调整的参数,当模型训练到个较佳状态时即可以进猜测了。

猜测阶段即将训练好的模型拿来,输没有的数据,进猜测输出结果。

现在,我们假设我们的每个数据有个特征点,记作={0,1,2,…,}。

规律回归就是去建个参数向量={0,1,2,...,}。

使得=00+11+22+…+这样就是计算的结果了。

但既然是分类,我们先想到我们需要我们的模型最终只输出两个值——0和1。

的值是可能超过0~1之间的,因此我们需要把的值映射到0~1之间。

具有这种性质的函数我们先想到海维赛德阶跃函数,或者直接称为单位阶跃函数。

简洁来说,就是如下公式:然,海维赛德阶跃函数的问题在于:该函数在跳动点上从0瞬间跳动到1,这个地是不行导的,我们之后梯度下降的过程中需要到导数,因此我们舍弃该函数使函数。

函数在神经络中叫做激活函数,其公式为由图可以看出,只要横坐标的刻度够,其外形就常像阶跃函数。

这我们就把输出值类,类。

我们将输出概率记作,=。

若=这写在的前还是后取决于两者的,则此时有公式因此我们现在就要找到最佳的,我们的标就是使得损失函数,也就是计算猜测值和真实值的误差最。

公式为其中,的底数般为也存在其它状况,但本未说明则律默认为,*为结果。

接下来就是梯度下降求解最佳的的值了:我们将状况具象化,假设我们的有组数据,每组数据有三个特征点。

留意这^-,这是和相乘之后对进对位处理此时公式为以上*为,圆点符号为点乘,同样都是对位处理接下来要求解先我们求留意这个地我们不能直接链式法则:=**因此下的计算也就变成了由此可以看出最终的值是由、、*打算的。

最终是梯度下降的公式:的初始值般是随机成的,为率,中的、、*在训练过程中都是已知的。

由这个公式就可以看出是如何找到最佳值的。

如下图事实上,是个向量,单个的值,所以这-图实际上是不标准的,但是这为了画图便和理解便,我们就使个维坐标系表去查找最佳值的个过程,于为向量的状况,都是可以依据本图进类推的。

假设现在有个-的图,我们要做的就是找到使得最的时候的的值为多少,犹如在座上,去找海拔最低的。

事实上,我们是法见到整座的全貌的,但是我们知道我们所站的地的“坡度”,也就是,在图中表现为某个点的斜率。

也就是说我要往我所站的地的下坡路,由于下坡的地定我现在的海拔低,那么我动的距离也就是*,这也就是率,其掌握着你每次所的距离,率越,你每次也就得越远率是训练开头之前就设置好的,虽然也存在动态的率,但这我们不争论这个问题,都使固定的率。

是于0的,-=*这样就意味着假如于0则我就变,反之则变。

对应图中假如我在点,此时我切线斜率于0我就会往回到点,假如我在点,此时切线斜率于0我就往前到点。

我们会通过这种式到底斜率为0的地事实上,我们不太可能找到完善的底,般是在常接近于底的地左右震荡。

此外,率对于我们找到底也是常有影响的。

假如我在点,假如率过,我可能的步长就越,我或许就直接从点跃到点了,错过了中间的点,从点跃回到点四周,每次都会错过点。

假如率过,也就是说我步长很,或许你就不会错过中间