python 实现逻辑回归

第python实现逻辑回归self.data=np.loadtxt(./data2.txt,delimiter=,)

self.data_mat=self.data[:,0:2]

self.label_mat=self.data[:,2]

self.thetas=np.zeros((self.data_mat.shape[1]))

#生成多项式特征，最高6次项

self.poly=PolynomialFeatures(6)

self.p_data_mat=self.poly.fit_transform(self.data_mat)

defcost_func_reg(self,theta,reg):

损失函数具体实现

:paramtheta:逻辑回归系数

:paramdata_mat:带有截距项的数据集

:paramlabel_mat:标签数据集

:paramreg:

:return:

m=self.label_mat.size

label_mat=self.label_mat.reshape(-1,1)

h=self.sigmoid(self.p_data_mat.dot(theta))

J=-1*(1/m)*(np.log(h).T.dot(label_mat)+np.log(1-h).T.dot(1-label_mat))\

+(reg/(2*m))*np.sum(np.square(theta[1:]))

ifnp.isnan(J[0]):

returnnp.inf

returnJ[0]

defgradient_reg(self,theta,reg):

m=self.label_mat.size

h=self.sigmoid(self.p_data_mat.dot(theta.reshape(-1,1)))

label_mat=self.label_mat.reshape(-1,1)

grad=(1/m)*self.p_data_mat.T.dot(h-label_mat)+(reg/m)*np.r_[[[0]],theta[1:].reshape(-1,1)]

returngrad

defgradient_descent_reg(self,alpha=0.01,reg=0,iterations=200):

逻辑回归梯度下降收敛函数

:paramalpha:学习率

:paramreg:

:paramiterations:最大迭代次数

:return:逻辑回归系数组

m,n=self.p_data_mat.shape

theta=np.zeros((n,1))

theta_set=[]

foriinrange(iterations):

grad=self.gradient_reg(theta,reg)

theta=theta-alpha*grad.reshape(-1,1)

theta_set.append(theta)

returntheta,theta_set

defplot_data_reg(self,x_label=None,y_label=None,neg_text=negative,pos_text=positive,thetas=None):

neg=self.label_mat==0

pos=self.label_mat==1

fig1=plt.figure(figsize=(12,8))

ax1=fig1.add_subplot(111)

ax1.scatter(self.p_data_mat[neg][:,1],self.p_data_mat[neg][:,2],marker=o,s=100,label=neg_text)

ax1.scatter(self.p_data_mat[pos][:,1],self.p_data_mat[pos][:,2],marker=+,s=100,label=pos_text)

ax1.set_xlabel(x_label,fontsize=14)

#描绘逻辑回归直线（曲线）

ifisinstance(thetas,type(np.array([]))):

x1_min,x1_max=self.p_data_mat[:,1].min(),self.p_data_mat[:,1].max()

x2_min,x2_max=self.p_data_mat[:,2].min(),self.p_data_mat[:,2].max()

xx1,xx2=np.meshgrid(np.linspace(x1_min,x1_max),np.linspace(x2_min,x2_max))

h=self.sigmoid(self.poly.fit_transform(np.c_[xx1.ravel(),xx2.ravel()]).dot(thetas))

h=h.reshape(xx1.shape)

ax1.contour(xx1,xx2,h,[0.