附 预测数值型数据：回归

附预测数值型数据：回归拟合直线局部加权线性回归理解数据权衡偏差和方差前言预测联系型数据“回归可以做任何事情”最近有新意的应用：预测名人的离婚率先介绍线性回归再引入局部平滑技术分析如何更好的拟合数据在欠拟合情况下的缩减技术探讨偏差和方差的概念用线性回归找到最佳拟合直线线性回归优点：结果易于理解，计算上不复杂缺点：对非线性的数据拟合不好回归的目的是预测数值型目标值：找到目标的计算公式预测某人的汽车功率：HorsePower=0.0015*annualSalary-0.99*hoursListeningToRadio以上为回归方程0.0015和-0.99为回归系数求回归系数的过程即为回归——本次只讨论线性回归回归的一般方法收集数据按输入要求整理数据数据可视化以直观分析数据训练算法：找到回归系数测试算法：使用R2或者预测值和数据的拟合度来分析模型的效果使用算法：给定输入的时候预测输出基本算法

例：对以下点集进行拟合importnumpyasnplstDt=[]lstLbl=[]#lbl:labelfr=open(".\\ex0.txt")forlineinfr.readlines():arLn=line.strip().split()lstDt.append([float(arLn[0]),float(arLn[1])])lstLbl.append(float(arLn[2]))计算回归：xMat=np.mat(lstDt)yMat=np.mat(lstLbl).TxTx=xMat.T*xMatifnp.linalg.det(xTx)==0.0:print"Thisismatrixissingular,cannotdoinverse!"else:ws=xTx.I*(xMat.T*yMat)绘图plt.figure()lstX=[dt[1]fordtinlstDt]plt.scatter(lstX,lstLbl)lstY=[ws[0,0]+ws[1,0]*xforxinlstX]plt.plot(lstX,lstY)如何如何评判模型的好坏？不同数据集：分别做线性回归，得到完全一样的两个模型如何比较回归效果？计算yHat和y的相关系数：arrYHat=np.array(lstY)arrY=np.squeeze(np.array(yMat))printnp.corrcoef(arrY,arrYHat)局部加权线性回归

平滑值k=1平滑值k=0.01平滑值k=0.003代码：算法实现xMat=np.mat(lstDt)yMat=np.mat(lstLbl).Tm=xMat.shape[0]k=0.01lstY=[]foriinrange(m):wgt=np.mat(np.eye(m))dtTst=xMat[i,:]forjinrange(m):difMat=dtTst-xMat[j,:]wgt[j,j]=np.exp(difMat*difMat.T/(-2*k**2))xTx=xMat.T*(wgt*xMat)ifnp.linalg.det(xTx)==0.0:print"Thisismatrixissingular,cannotdoinverse!"else:ws=xTx.I*(xMat.T*(wgt*yMat))matV=dtTst*wslstY.append(matV[0,0])代码：显示结果plt.figure()lstX=[dt[1]fordtinlstDt]plt.scatter(lstX,lstLbl)sIdx=np.argsort(lstX)lstXSort=[lstX[idx]foridxinsIdx]lstYSort=[lstY[idx]foridxinsIdx]plt.plot(lstXSort,lstYSort)arrYHat=np.array(lstY)arrY=np.squeeze(np.array(yMat))printnp.corrcoef(arrY,arrYHat)普通和加权的代码区别示例：预测鲍鱼的年龄使用较小的核将得到较小的训练误差：k=0.1：拟合值与原点集的误差为56.8426k=1：拟合值与原点集的误差为429.891k=10：拟合值与原点集的误差为549.118为什么不使用尽量小的核？因为会过拟合过拟合会体现在新数据的大误差上：k=0.1：拟合点与原值点的误差为25619.93k=1：拟合点与原值点的误差为573.526k=10：拟合点与原值点的误差为517.571缩减系数来“理解”数据

缩减系数来“理解”数据缩减法能取得更好的预测效果可通过预测误差最小化得到λ：获取数据抽出部分数据作为测试用剩余数据作为训练集训练完毕再用测试集测试使用不同的λ重复上述过程选取使预测误差最小的λ岭回归编程在普通回归方法可能会产生错误的时候，岭回归仍能正常工作所以不需要再判断行列式是否为0（λ>0）对列做归一化处理，使所有列同等重要如右图：

λ以指数变化λ最小时：回归系数与线性回归一致λ最大时：回归系数全部缩减为0修改代码：岭回归lam=0.2xMat=np.mat(lstDt)yMat=np.mat(lstLbl).TxTx=xMat.T*xMatdenom=xTx+np.eye(xMat.shape[1])*lamws=denom.I*(xMat.T*yMat)岭回归结果图预备：lasso方法

lasso方法

前向逐步回归与lasso效果相似，但计算更简单属于贪心算法，即每一步都尽可能减少误差算法开始时，所有权值都设为1然后每一步都决策对某个权值增加或减少一个很小的步长优点：理解现有模型并作出改进当模型建立，可以运行该算法找出最重要的特征及时停止对那些不重要特征的搜集如果用于测试，该算法每100次迭代就可以构建出一个模型，可以使用类似10折交叉验证的方法比较这些模型，选择最优模型权衡偏差与方差偏差：模型预测值和原始数据之间的差异方差：是模型之间的差异偏差是学习的产物，是度量学习效果的标准方差用来比较和选择较好的模型选择模型必须折中考虑偏差和方差示例：预测乐高玩具套装价格乐高套装的生命周期大约几年