python数据分析实战案例logistic-Python数据分析:Logistic回归_第1页
python数据分析实战案例logistic-Python数据分析:Logistic回归_第2页
python数据分析实战案例logistic-Python数据分析:Logistic回归_第3页
python数据分析实战案例logistic-Python数据分析:Logistic回归_第4页
python数据分析实战案例logistic-Python数据分析:Logistic回归_第5页
已阅读5页,还剩6页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

python数据分析实战案例logistic_Python数据分析:Logistic回归(⼀)准备⼯作1.编程环境:Python3.5.2(使⽤其⾃带的IDLE,并已经配置好环境变量),win10。2.使⽤到的包:matplotlib,Pandas,sklearn,OrderedDict,NumPy,imp,math,random。(注:可⽤pipinstallxxx直接安装,有问题就直接搜索引擎解决)。其中imp,math,random不需要另外安装。3.数据来源:4.参考资料:a.《机器学习实战》第5章。(⼆)逻辑(Logistic)回归介绍假设现在有⼀些数据点,我们⽤⼀条直线对这些点进⾏拟合(该线称为最佳拟合直线),这个过程就称作回归。⽽利⽤Losgistic回归进⾏分类的主要思想是:根据现有数据对分类边界建⽴回归公式,以此进⾏分类。注意,Losgistic回归是⼀个分类算法,但不是⼀个回归算法,它可以处理⼆元分类以及多元分类。Logistic回归的⽬的是寻找⼀个⾮线性函数Sigmoid的最佳拟合参数,求解过程中可以由最优化算法完成。在最优化算法中,最常⽤的就是梯度上升算法,⽽梯度上升算法⼜可以简化为随机梯度上升算法。随机梯度梯度上升算法与梯度上升算法的效果相当,但占⽤更少的计算资源。此外,随机梯度上升是⼀个在线算法,它可以在新数据到来时就完成参数更新,⽽不需要重新读取整个数据集来进⾏批处理运算。Logistic回归的优点:计算代价不⾼,易于理解和实现。Logistic回归的缺点:容易⽋拟合,分类精度可能不⾼。Logistic回归适⽤数据类型:数值型和标称型数据。接下来对逻辑回归进⾏简单的演⽰。1.准备数据fromcollectionsimportOrderedDictimportpandasaspdimportmatplotlib.pyplotaspltexamDict={'学习时间':[0.50,0.75,1.00,1.25,1.50,1.75,1.75,2.00,2.25,2.50,2.75,3.00,3.25,3.50,4.00,4.25,4.50,4.75,5.00,5.50],'考试结果':[0,0,0,0,0,0,0,0,1,0,0,1,1,1,1,1,1,1,1,1]}examOrderDict=OrderedDict(examDict)exam=pd.DataFrame(examOrderDict)打印结果:

>>>exam.head()考试结果学习时间000.50100.75201.00301.25401.50接下来通过绘制散点图判断是否符合逻辑回归,继续添加以下代码:#判断是否适⽤于Logisti回归。exam_X=exam['学习时间']exam_Y=exam['考试结果']plt.scatter(exam_X,exam_Y,color='blue')plt.ylabel('Scores')plt.xlabel('Times')plt.title('examdata')plt.show()#绘制之后可注释此⾏代码。效果如下:绘制数据散点图容易得出结论,上述数据适合Logistic回归。2.拆分数据将上⾯的数据拆分为训练集和测试集,⽅便接下来的训练和测试,继续添加以下代码:#拆分数据。fromsklearn.cross_validationimporttrain_test_splitX_train,X_test,Y_train,Y_test=train_test_split(exam_X,exam_Y,train_size=0.8)3.使⽤拆分好的数据集进⾏训练X_train=X_train.values.reshape(-1,1)#改变数据形状X_test=X_test.values.reshape(-1,1)fromsklearn,linear_modelimportLogisticRegressionmodel=LogisticRegression()#创建模型model.fit(X_train,Y_train)#训练4.测试>>>model.score(X_test,Y_test)1.0由于数据量实在是太⼩,本次的准确率过⾼(或者说是过拟合了),需要多训练⼏次或者是增加数据集的数据量。5.特征的概率

>>>model.predict_proba(3)array([[0.35385898,0.64614102]])当输⼊⼀个特征的时候,可以返回其概率值,返回的第⼀个是其为0的概率值,第⼆个是为1的概率值。当上⽂散点图中Times=3,即x=3时,Logistic回归的函数值就是其为1的概率值。当这个值⼤于0.5的时候(0.64614102),则认为它的值为1,当这个概率值⼩于0.5的时候(0.35385898),则认为它的值为0。本次演⽰中,这个概率值为0.64614102,所以认为x=3时,y=1。全部代码:fromcollectionsimportOrderedDictimportpandasaspdimportmatplotlib.pyplotaspltexamDict={'学习时间':[0.50,0.75,1.00,1.25,1.50,1.75,1.75,2.00,2.25,2.50,2.75,3.00,3.25,3.50,4.00,4.25,4.50,4.75,5.00,5.50],'考试结果':[0,0,0,0,0,0,0,0,1,0,0,1,1,1,1,1,1,1,1,1]}examOrderDict=OrderedDict(examDict)exam=pd.DataFrame(examOrderDict)#exam.head()#判断是否适⽤于Logisti回归。exam_X=exam['学习时间']exam_Y=exam['考试结果']plt.scatter(exam_X,exam_Y,color='blue')plt.ylabel('Scores')plt.xlabel('Times')plt.title('examdata')#plt.show()#拆分数据。fromsklearn.cross_validationimporttrain_test_splitX_train,X_test,Y_train,Y_test=train_test_split(exam_X,exam_Y,train_size=0.8)#开始训练X_train=X_train.values.reshape(-1,1)#改变数据形状X_test=X_test.values.reshape(-1,1)fromsklearn.linear_modelimportLogisticRegressionmodel=LogisticRegression()#创建模型model.fit(X_train,Y_train)#训练

#model.score(X_test,Y_test)#model.predict_proba(3)(三)基于Logistic回归和Sigmoid函数的分类上⽂阐述了Logistic回归的定义以及⼀个简单的演⽰,接下来将介绍⼀些优化算法,包括基本的梯度上升发和⼀个改进的随机梯度上升法,这些优化算法将⽤于分类器的训练,最后会给出⼀个Logistic回归的实例,预测⼀匹病马是否能被治愈。1.Sigmoid函数Sigmoid函数具体的计算公式如下:下⾯给出⼀张Sigmoid函数分布图:可以看出,当x=0时,Sigmoid函数值约为0.5,随着x的增⼤,对应的Sigmoid值将逼近1;⽽随着x的减⼩,Sigmoid值将逼近于0.因此,为了实现Logistic回归分类器,可以在每个特征上都乘以⼀个回归系数,然后把所有结果相加,将这个总和代⼊Sigmoid函数中,进⽽得到⼀个范围在0~1之间的数值。任何⼤于0.5的数据被分为1类,⼩于0.5被归⼊0类,所以,Logistic回归也被看成是⼀种概率估计。当确定了分类器的函数形式之后,现在的问题就变成了:最佳回归系数是多少?2.基于最优化⽅法的最佳回归系数确定Sigmoid函数的输⼊记为z,由下⾯公式得出:上述公式也可以⽤向量的写法:向量x是分类器的输⼊数据,向量w是要找到的最佳参数。为了找到最佳参数,需要⽤到最优化理论的⼀些知识。2.1梯度上升法梯度上升法⼤体思想:要找到某函数的最⼤值,最好的⽅法是沿着该函数的梯度⽅向探寻。梯度上升算法到达每个点都会重新估计移动的⽅向。从P0开始,计算完该点的梯度,函数就根据梯度移动到下⼀点P1.在P1点,梯度再次被重新计算,并沿新的梯度⽅向移动到P2,如此循环迭代,直到满⾜条件。迭代的过程中,梯度算⼦总是保证我们能选取到最佳的移动⽅向。梯度上升算法的迭代公式如下:称为步长,是梯度上升时移动量的⼤⼩。∇是算⼦上式将会⼀直被迭代执⾏,直⾄达到某个停⽌条件为⽌,⽐如迭代次数达到某个指定值或算法达到某个可以允许的误差范围。延伸:梯度下降算法,对应的公式为:梯度上升算法⽤看来求函数的最⼤值,⽽梯度下降算法⽤来求函数的最⼩值。2.2训练算法:使⽤梯度上升找到最佳参数梯度上升法的伪代码如下:每个回归系数初始化为1重复R次:计算整个数据集的梯度使⽤alphaxgradient更新回归系数的向量返回回归系数接下来的代码是梯度上升算法的具体实现:#⽂件名:demo004_logRegresimportmatplotlib.pyplotaspltimportnumpyasnpimportmathimportimpimportrandomdefloadDataSet():dataMat=[];labelMat=[]fr=open('testSet.txt')forlineinfr.readlines():lineArr=line.strip().split()dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])labelMat.append(int(lineArr[2]))returndataMat,labelMatdefsigmoid(inX):return1.0/(1+np.exp(-inX))#这⾥不能⽤math.exp(),会报错:TypeError:onlysize-1arrayscanbeconvertedtoPythonscalars#原因是:dataMatrix与weights均为numpy矩阵,相乘也是numpy矩阵,⽽math.exp()函数只处理python标准数值。#梯度上升算法的实际⼯作在gradAscent()⾥完成。#dataMatIn是⼀个2维NumPy数组,每列代表每个不同的特征,每⾏则代表每个训练样本。#classLabels是类别标签,是⼀个1x100的⾏向量defgradAscent(dataMatIn,classLabels):#转换为NumPy矩阵数据类型。dataMatrix=np.mat(dataMatIn)labelMat=np.mat(classLabels).transpose()#将classLabels转换为列向量,转置。m,n=np.shape(dataMatrix)#得到矩阵的⾏列数,也就是矩阵的⼤⼩。alpha=0.001#alpha是向⽬标移动的步长。maxCycles=500#maxCycles是迭代次数。weights=np.ones((n,1))

forkinrange(maxCycles):#计算真实类别与预测类别的差值。h=sigmoid(dataMatrix*weights)#h是⼀个有100个元素的列向量。#运算dataMatrix*weights包含了300次的乘积。error=(labelMat-h)weights=weights+alpha*dataMatrix.transpose()*errorreturnweights在Python提⽰符下:>>>#按照差值的⽅向调整回归系数。>>>importdemo004_logRegres>>>dataArr,labelMat=loadDataSet()>>>gradAscent(dataArr,labelMat)matrix([[4.12414349],[0.48007329],[-0.6168482]])2.3分析数据:画出决策边界在demo004_logRegres中继续添加代码:defplotBestFit(weights):dataMat,labelMat=loadDataSet()dataArr=np.array(dataMat)n=np.shape(dataArr)[0]xcord1=[];ycord1=[]xcord2=[];ycord2=[]foriinrange(n):ifint(labelMat[i])==1:xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])else:xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])fig=plt.figure()ax=fig.add_subplot(111)ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')ax.scatter(xcord2,ycord2,s=30,c='green')x=np.arange(-3.0,3.0,0.1)y=(-weights[0]-weights[1]*x)/weights[2]#这⾥设置sigmoid函数为0,0是两个分类(类别1和类别2)的分界处。

ax.plot(x,y)plt.xlabel('X1');plt.ylabel('X2');plt.show()运⾏程序,在Python提⽰符下输⼊:>>>importdemo004_logRegres>>>fromimpimportreload>>>reload(demo004_logRegres)>>>dataArr,LabelMat=loadDataSet()>>>weights=gradAscent(dataArr,LabelMat)>>>demo004_logRegres.plotBestFit(weights.getA())效果如下图:从上图看只分错了两到4个点,但是这个⽅法却需要⼤量的计算(300次乘法),需要改进。注意:使⽤reload需要先fromimpimportreload。在reload某个模块的时候,需要先import来加载需要的模块。2.4训练算法:随机梯度上升梯度上升算法在每次更新回归系数时都需要遍历整个数据集,但是当特征成千上万时就不可⾏了,复杂度太⾼。⽽随机梯度上升法是⽤⼀次仅⽤⼀个样本点来更新回归系数,随机梯度上升法是⼀个在线学习算法,⽽⼀次处理所有数据被称作是“批处理”。随机梯度上升算法伪代码:所有回归系数初始化为1对数据集中每个样本计算该样本的梯度使⽤alphaxgradient更新回归系数值返回回归系数值在demo004_logRegres.py中继续添加代码,随机梯度上升算法实现代码如下:defstoGradAscent0(dataMatrix,classLabels):m,n=np.shape(dataMatrix)alpha=0.01weights=np.ones(n)foriinrange(m):h=sigmoid(sum(dataMatrix[i]*weights))error=classLabels[i]-hweights=weights+alpha*error*dataMatrix[i]returnweights

运⾏以上程序,在Python提⽰符下输⼊:>>>importdemo004_logRegres>>>fromimpimportreload>>>reload(demo004_logRegres)>>>dataArr,LabelMat=loadDataSet()>>>weights=stoGradAscent0(np.array(dataArr),LabelMat)>>>demo004_logRegres.plotBestFit(weights)得出效果图如下:随机梯度上升算法在上述数据集上的执⾏结果,最佳拟合直线并⾮最佳分类线在demo004_logRegres.py中继续添加代码,改进的随机梯度上升算法:defstoGradAscent1(dataMatrix,classLabels,numIter=150):m,n=np.shape(dataMatrix)weights=np.ones(n)forjinrange(numIter):dataIndex=list(range(m))foriinrange(m):alpha=4/(1.0+j+i)+0.01#alpha每次迭代时需要调整。randIndex=int(random.uniform(0,len(dataIndex)))#随机选取更新。h=sigmoid(sum(dataMatrix[randIndex]*weights))error=classLabels[randIndex]-hweights=weights+alpha*error*dataMatrix[randIndex]del(dataIndex[randIndex])returnweights在Python提⽰符下输⼊以下命令:>>>importdemo004_logRegres>>>fromimpimportreload>>>reload(demo004_logRegres)>>>dataArr,LabelMat=loadDataSet()>>>weights=stoGradAscent1(np.array(dataArr),LabelMat)>>>demo004_logRegres.plotBestFit(weights)得出效果图:使⽤随机梯度上升算法得到的系数a.第⼀个改进的地⽅在alpha=4/(1.0+j+i)+0.01,⼀⽅⾯,alpha在每次迭代的时候都会调整,这会缓解数据波动或⾼频波动。另外,虽然alpha会随着迭代次数不断减⼩,但永远不会减⼩到0,这是因为alpha=4/(1.0+j+i)+0.01中还存在⼀个常数项。必须这样做的原因是为了保证在多次迭代之后新数据仍然能够具有⼀定的影响。如果要处理的问题是动态变化的,那么可以适当加⼤上述常数项,来确保新的值获得更⼤的回归系数。

值得注意的是,在降低alpha的函数中,alpha每次减少1/(j+i),其中j是迭代次数,i是样本下标(表⽰本次迭代中第i个选出来的样本)。这样当j<b.第⼆个改进的地⽅,randIndex=int(random.uniform(0,len(dataIndex))),通过随机选取样本来更新回归系数,这样可以减少周期性的波动。每次随机从列表中选取⼀个值,然后从列表中删掉该值(再进⾏下⼀次迭代)。c.此外,改进版的算法还增加了⼀个迭代次数作为第3个参数,如果该参数没有给定的话,算法将默认迭代150次。如果给定,那么算法将按照新的参数值进⾏迭代。3.⽰例:从疝⽓病症预测病马的死亡率接下来使⽤Logistic回归来预测患有疝⽓病症的马的存活问题。使⽤Logistic回归⽅法进⾏分类并不需要做很多⼯作,所需要的只是把测试集上的每个特征向量乘以最优化⽅法得来的回归系数,再将该乘积结果求和,最后输⼊到Sigmoid函数中即可。3.1准备数据:处理数据中的缺失值下⾯给出⼀些可选的做法:a.使⽤可⽤特征的均值来填补缺失值;b.使⽤特殊值来填补缺失值,如-1;c.忽略有缺失值得样本;d.使⽤相似样本的均值添补缺失值;e.使⽤另外的机器学习算法预测缺失值。使⽤的NumPy数据类型不允许包含缺失值。回归系数更新公式如下:weights=weights+alpha*error*dataMatrix[randIndex]如果dataMatrix的某特征对应值为0,那么该特征的系数将不做更新,即:weights=weights3.2测试算法:⽤Logistic回归进⾏分类在demo004_logRegres.py中继续添加代码:#分类回归函数defclassifyVector(inX,weights):prob=sigmoid(sum(inX*weights))ifprob>0.5:return1.0else:return0.0defcolicTest():frTrain=open('horseColicTraining.txt')frTest=open('horseColicTest.txt')trainingSet=[];trainingLabels=[]forlineinfrTrain.readlines():

currLine=line.strip().split('\t')lineArr=[]foriinrange(21):lineArr.append(float(currLine[i]))trainingSet.append(lineArr)trainingLabels.append(float(currLine[21]))trainWeights=stoGradAscent1(np.array(trainingSet),trainingLabels,500)errorCount=0;numTestVec=0.0forlineinfrTest.readlines():numTestVec+=1.0currLine=line.strip().split('\t')lineArr=[]foriinrange(21):lineArr.append(float(currLine[i]))ifint(classifyVector(np.array(lineArr),trainWeights))!=int(currLine[21]):errorCount+=1errorRate=(float(errorCount)/numTestVec)print("theerrorrateofthistestis:%f"%erro

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论