版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Sklearn机器学习12目录第一部分数据探索第二部分数据预处理第三部分模型评估第四部分模型训练和参数调优第五部分聚类案例第六部分贷款预测实例3数据探索机器学习中利用的数据源主要分为以下几类:存在于磁盘上的文本文件,如常用的csv、txt、excel、图片等文件。存在于数据库中的数据,在现实应用中,存在于关系数据库(SQLServer、MySQL等)和非SQL(NoSQL)数据使用非常广泛。通过网络获取的数据,如:json数据、HTML文件、XML文件。4数据探索数据探索是进行机器学习任务的必要工作。数据探索分为以下两方面:分析和定义任务(如,分类、聚类、回归),确定自变量(X)和因变量(Y),明确每个变量的含义。分析数据特点,主要有:1)确定变量类型(类别变量或连续变量);2)数据中是否存在缺失值,缺失值的分布;3)数据中是否存在异常值;4)变量之间的相关性。5数据探索利用pandas读取数据,观察数据构成importpandasaspddata=pd.read_csv('rrd_data.csv')target=data['status']data=data.ix[:,1:]data.head()Out[37]:paid.ratiogroupagesalarygendereducationgraduated.years\00.2777785283500008810.6666672287500081020.000000527350006530.66666733235000031840.5000002333500003186数据探索可以使用数据框的dtype属性判断特征类型,有时,某些特征被数字编码,
需要特别注意。 In[3]:data['age'].dtypeOut[3]:dtype('int64')#性别按照数字进行0、1编码,所以其数据类型为int64In[4]:data['gender'].dtypeOut[4]:dtype('int64')7数据探索对于数据中的连续变量,可以使用describe()方法得到其描述,并且可以通过盒图或小提琴图等观察其分布情况。data['age'].describe()Out[8]:count743.000000mean33.327052std6.233499min22.00000025%29.00000050%32.00000075%37.000000max62.000000Name:age,dtype:float64sns.boxplot(data['age'])8数据探索使用value_counts()方法统计变量中不同值的个数,例如,观察因变量中正负样本比例,是否有不平衡分类。target.value_counts()Out[38]:06331110Name:status,dtype:int64633.0/110Out[39]:5.754545454545455#使用sns做图importseabornassnssns.countplot(target)9数据探索利用corr()函数计算相似性系数data.corr()Out[41]:paid.ratiogroupagesalarygender\paid.ratio1.000000-0.0053650.0329950.0167970.070382group-0.0053651.000000-0.007481-0.0101410.076152age0.032995-0.0074811.0000000.2140160.035859salary0.016797-0.0101410.2140161.000000-0.021101gender0.0703820.0761520.035859-0.0211011.000000特征数量较少时,可以通过seaborn中pairplot()做出变量两两之间散点图sns.pairplot(data)10目录第一部分数据探索第二部分数据预处理第三部分模型评估第四部分模型训练和参数调优第五部分聚类案例第六部分贷款预测实例11数据预处理大部分机器学习模型都假设数据服从特定分布(如,高斯分布),现实数据往往难以满足,数据中的异常值可能影响模型结果,影响模型性能。异常值的处理要视情况而定,通常方法有:删除异常数据,使用其它数值替代等方法。假设数据服从高斯分布,在这种情况下,异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。在处理数据时,应剔除高度异常的异常值。12数据预处理缺失值处理:现实数据中往往有很多缺失值,缺失值的简单处理方法是删除含有缺失值的数据,但是当数据中存在大量缺失值时,这种处理方式可能存在问题。此时,可以对缺失值填充,常用方法有:利用均值、众数、中位数等进行填充;根据相关变量对缺失值进行预测;把变量映射到高维空间(比如性别,有男、女、缺失三种情况,则映射成3个变量:是否男、是否女、是否缺失)。13数据预处理实际数据分析及建模过程中,为了达到更好的效果,许多机器学习算法需要其输入变量为标准化的形式,例如(SVM算法中的RBF核,线性模型中的L1、L2正则项往往假设其变量均值在0附近且方差为1)。常用的标准化方法有:Z-Score标准化、0-1标准化。这部分方法的具体实现已在第三讲中描述。14目录第一部分数据探索第二部分数据预处理第三部分模型评估第四部分模型训练和参数调优第五部分聚类案例第六部分贷款预测实例15模型评价在第三讲中,我们详细的介绍了各种分类指标,如用于分类模型评价的准确率、精度、召回率、Kappa值、F1值、AUC,在不平衡分类问题中,常使用F1值和AUC作为评价指标。对于回归模型,常用评价指标有:平均绝对误差(MAE)、均方误差(MSE)、均方根误差(RMSE)、决定系数R2。在本讲中,对于相关指标函数的使用,不再多做讲解。16模型评估在sklearn中,利用机器学习算法进行建模和预测的过程实现比较简单。对于模型的验证需要对数据集进行划分,常用划分方法有,随机划分训练集/测试集和交叉验证。此外,一些算法(如,随机森林)可以利用袋外数据(out-of-bag,OOB)评估模型性能。17模型评估将数据集划分为训练集和测试集用到了cross_validation模块中的train_test_split()函数,通常将大约2/3~4/5的数据用于训练,剩余数据用于测试,这一比例通过调节test_size来实现。此外,通过将random_state设置为一个整数,可以重现划分结果。fromsklearn.cross_validationimporttrain_test_splitx_train,x_test,y_train,y_test=train_test_split(data,target,test_size=0.2,random_state=33)18模型评估另一种常用的评估方式是交叉验证,使用cross_validation模块中的cross_val_score()函数来实现。该函数可以设置参数:训练模型,数据,cv(交叉验证的折数,一般可以选择3、5、10),scoring(模型评价指标)。clf=svm.SVC(kernel='linear',C=1)scores=cross_val_score(clf,data,target,cv=5,scoring=‘roc_auc’)19目录第一部分数据探索第二部分数据预处理第三部分模型评估第四部分模型训练和参数调优第五部分聚类案例第六部分贷款预测实例20模型创建在sklearn中使用不同算法,需要调用不同的模块,如linear_model模块中,包含了线性模型方法(如:线性回归、逻辑回归、Lasso等);ensemble模块中包含集成学习方法(如:随机森林、提升方法等)。调用方式如下:fromsklearn.linear_modelimportLinearRegression,LogisticRegressionfromsklearn.ensembleimportRandomForestClassifier,AdaBoostClassifierlin_reg=LinearRegression()log_clf=LogisticRegression()rf_clf=RandomForestClassifier()ada_clf=AdaBoostClassifier()21模型创建在模型创建过程中,可以为模型指定参数:In[15]:log_clf=LogisticRegression(penalty='l1',C=0.1)log_clfOut[15]:LogisticRegression(C=0.1,class_weight=None,dual=False,fit_intercept=True,intercept_scaling=1,max_iter=100,multi_class='ovr',n_jobs=1,penalty='l1',random_state=None,solver='liblinear',tol=0.0001,verbose=0,warm_start=False)In[16]:rf_clf=RandomForestClassifier(n_estimators=100,max_depth=5)rf_clfOut[16]:RandomForestClassifier(bootstrap=True,class_weight=None,criterion='gini',max_depth=5,max_features='auto',max_leaf_nodes=None,min_samples_leaf=1,min_samples_split=2,min_weight_fraction_leaf=0.0,n_estimators=100,n_jobs=1,oob_score=False,random_state=None,verbose=0,warm_start=False)22模型拟合模型对象使用fit()方法拟合数据,返回一个训练的模型对象,该模型可以对新的数据做出预测。In[24]:x_train,x_test,y_train,y_test=train_test_split(data,target,test_size=0.2,random_state=33)log_clf=log_clf.fit(x_train,y_train)pred=log_clf.predict(x_test)pred[:5]Out[24]:array([0,0,0,0,0],dtype=int64)#返回一个概率矩阵,每一列表示一个类别的概率In[25]:pred=log_clf.predict_proba(x_test)pred[:5]Out[25]:array([[0.75384562,0.24615438],[0.75477597,0.24522403],[0.85670675,0.14329325],[0.79113777,0.20886223],[0.50886391,0.49113609]])23参数选择和优化使用sklearn中算法进行建模时,算法接口提供默认的参数,为了提高模型的性能,往往需要对模型参数进行调参。Sklearn中提供了两种参数搜索方式:GridSearchCV搜索指定参数空间所有参数组合;
RandomizedSearchCV
从特定分布的参数空间中,选择一些参数组合进行搜索。而且,为了验证模型的泛化推广能力,两种方法都采用交叉验证。通常,使用间隔较大的参数组合确定最优参数组合可能存在的范围,之后,继续进行搜索。24参数选择和优化#参数选择和模型调优fromsklearn.grid_searchimportGridSearchCV#创建模型lr=LogisticRegression()#设置参数集合tuned_parameters=[{'penalty':('l1','l2'),'C':[1,10,100,1000]}]#创建交叉验证对象,设置AUC为评价指标lr_clf=GridSearchCV(lr,tuned_parameters,cv=5,scoring='roc_auc')lr_clf.fit(x_train,y_train)#不同参数集合对应得分lr_clf.grid_scores_#参数集合中最优参数lr_clf.best_params_Out[26]:{'C':100,'penalty':'l1'}25参数选择和优化与GridSearchCV相比,RandomizedSearchCV并不计算所以参数组合,只是从中特定分布中选择固定数量的参数设置,通过n_iter设置。#设置参数集合tuned_parameters=[{'penalty':('l1','l2'),'C':[1,10,100,1000]}]#创建交叉验证对象,设置随机选择20组参数组合进行评价lr_clf=RandomizedSearchCV(lr,tuned_parameters,cv=5,scoring='roc_auc‘,n_iter=20)lr_clf.fit(x_train,y_train)26目录第一部分数据探索第二部分数据预处理第三部分模型评估第四部分模型训练和参数调优第五部分聚类案例第六部分贷款预测实例27聚类案例使用k-means聚类进行青少年市场细分。我们使用一份包含30000个样本的美国高中生社交网络信息数据集。数据均匀采样于2006年到2009年,对应的高中生年级有高中一年级、二年级、三年级和四年级。
每个样本包含40个变量,其中gradyear,gender,age和friends四个变量代表高中生的毕业年份、性别、年龄和好友数等基本信息。其余36个变量代表36个词语,这36个词语代表高中生的5大兴趣类:课外活动、时尚、宗教、浪漫和反社会行为。每个词语变量的取值代表对应词语在高中生的社交网络服务平台发布的消息中出现的频次。28聚类实例通过观察,发现
gendergender和
ageage
变量存在缺失值(missingvalue)。
很多机器学习模型不能直接处理带有缺失值的数据,例如我们将要使用的K-Means聚类算法。
对于gender变量,我们使用pandas.Series的value_counts()函数来完成统计缺失值,注意value_counts()函数默认不对缺失值进行统计,需要将dropna参数设置成False。
对于连续型变量age,使用count()函数能够统计非缺失值的数量,从而能够计算缺失值数量。
使用describe()函数则可以对age变量进行描述性统计。29聚类实例teenager_sns["gender"].value_counts(dropna=False)F22054M5222NaN2724dtype:int64In[6]:print'age变量缺失值数目:',(teenager_sns["age"])-teenager_sns["age"].count()teenager_sns["age"].describe()Out[6]:age变量缺失值数目:508630聚类实例高中生的合理年龄区间为13~20岁,因此对于我们的数据集,如果年龄在13~20岁之外,我们将其标记为空值NaN。我们通过pandas.Series的map()函数来完成这一个处理In[9]:importnumpyasnpdeftag_nan(value):if(value>=13)&(value<=20):returnvalueelse:returnnp.NaNteenager_sns["age"]=teenager_sns["age"].map(tag_nan)teenager_sns["age"].describe()Out[9]:count24477.000000mean17.252429std1.157465min13.02700025%16.30400050%17.26500075%18.220000max19.995000Name:age,dtype:float6431聚类实例
对于gender这种分类变量,如果缺失值的样本跟其他样本的差别明显,我们可以为gender变量增加一个单独的分类"unkown"。可以通过replace()函数将空值替换为“unkown”。gender变量现在有“M”,“F”和“unkown”三种取值,我们可以将其转换成三个变量:gender_M,gender_F和gender_unkown。pandas包提供了一个很方便的函数帮助我们完成虚拟编码
32聚类实例
In[10]:teenager_sns[“gender”]=
teenager_sns["gender"].replace(np.NaN,"unkown")gender_dummies=pd.get_dummies(teenager_sns["gender"],prefix="gender")gender_dummies.head(10)Out[10]:gender_Fgender_Mgender_unkown001011002010310040015100610070108100910033聚类实例现在,将上述虚拟编码结果合并到数据集teenager_sns。
我们使用pandas的concat()函数将teenager_sns和gender_dummies两个数据框进行水平拼接。In[11]:teenager_sns=pd.concat([teenager_sns,gender_dummies],axis=1)teenager_sns.head(10)Out[11]:gradyeargenderagefriendsbasketballfootballsoccersoftball\02006M18.9807000012006F18.8010010022006M18.33569010032006F18.8750000042006unkown18.99510000052006FNaN142000034聚类实例现在,我们使用pandas.Series的fillna()函数使用上述均值对age变量的缺失值进行填补:age_mean=teenager_sns["age"].mean()teenager_sns["age_avg_imputated"]=teenager_sns["age"].fillna(value=age_mean)teenager_sns.head(10)Out[12]:gradyeargenderagefriendsbasketballfootballsoccersoftball\02006M18.9807000012006F18.8010010022006M18.33569010032006F18.8750000042006unkown18.99510000052006FNaN142000035聚类实例因为K-means聚类算法需要计算样本的距离,在构建模型之前,我们直接采用z-score标准化方法。from
sklearn
importpreprocessingfiltered_columns=["gradyear","friends","basketball","football","soccer","softball","volleyball","swimming","cheerleading","baseball","tennis","sports","cute","sex","sexy","hot","kissed","dance","band","marching","music","rock","god","church","jesus","bible","hair","dress","blonde","mall","shopping","clothes","hollister","abercrombie","die","death","drunk","drugs","gender_M","gender_F","gender_unkown","age_avg_imputated"]teenager_sns_zscore=pd.DataFrame(preprocessing.scale(teenager_sns[filtered_columns]),\columns=teenager_sns[filtered_columns].columns)teenager_sns_zscore.head(5)36聚类实例为了将我们的青少年数据进行市场细分,我们使用sklearn.cluster包中的KMeans类。
KMeans的n_clusters参数为聚类数目。
在本案例中,我们将细分市场的个数n_clusters设置为5。from
sklearn.cluster
importKMeansteenager_cluster_model=KMeans(n_clusters=5)teenager_cluster_model.fit(teenager_sns_zscore)37聚类实例在本案例中,我们的分析目标是确定具有相似特质和兴趣爱好的青少年的分类,以达到向不同类的青少年做区别营销的目的。
因此,很大程度上,我们需要的不是定量的评价指标结果,而是定性地对聚类结果进行分析。
首先,我们来观察我们K-Means聚类出来的每一个类中样本的数目。In[15]:teenager_clusters=pd.Series(teenager_cluster_model.labels_)teenager_clusters.value_counts().sort_index()Out[15]:05097198742173932659410631dtype:int6438聚类实例为分析聚类结果,我们先观察聚类中心,聚类中心结果保存在teenager_cluster_model的centers属性。In[16]:centers=pd.DataFrame(teenager_cluster_model.cluster_centers_,columns=teenager_sns_zscore.columns)centersOut[16]:gradyearfriendsbasketballfootballsoccersoftballvolleyball\0-0.114501-0.1508080.0495920.274545-0.017635-0.206788-0.1715501-0.882064-0.045959-0.127092-0.122244-0.076161-0.032425-0.07096420.1700240.1400490.5504200.5308440.2394540.2407560.2705153-0.056680-0.110303-0.144806-0.167883-0.053442-0.099973-0.07087040.8604860.1196930.040607-0.0627610.0534540.1149320.12169539聚类实例因为数据已经使用Z-score方法进行标准化,我们可以直接通过观察聚类中心在每一个变量上的取值情况来分析每一个聚类中心的含义。
如果聚类中心在某一个变量取值大于0,代表该聚类所代表的群体在该变量取值大于群体平均水平。
首先对上述聚类结果数据框进行转置,然后对每一个聚类中心的变量取值从大到小进行排序。
通过观察每个聚类前10个变量来分析聚类所代表的群体:centers_t=centers.Tcenters_t.columns=["cluster_0","cluster_1","cluster_2","cluster_3","cluster_4"]centers_t["cluster_0"].sort(ascending=False,inplace=False).head(10)#sort(centers_t[,1],decreasing=TRUE)[1:10]
40聚类实例最终分类结果分析出有如下5个类别青少年群体:1.浪漫、爱好音乐,酗酒2.爱好运动和购物,爱好体育运动,女生居多。3.这一人群可能对应在社交网络平台资料不全,且很少发布内容的群体。4.高年级、爱好购物,其中以女生居多。5.喜欢体育运动的高年级男生。41目录第一部分数据探索第二部分数据预处理第三部分模型评估第四部分模型训练和参数调优第五部分聚类案例第六部分贷款预测实例42贷款预测实例现有743条贷款数据,每条数据15个相关变量,分别是status和14个模型变量,status变量作为y值,0表示没有违约、1表示违约。变量有:年龄(age)薪水(salary性别(gender)教育程度(education)毕业年份(graduated.years)婚姻状态(marriageStatus)有无小孩(hasChild)有无房子(hasHouse)有无房贷(houseLoan)有无车贷(carLoan)有无车子(hasCar)工作年限(workYears)公司规模(officeScale)有无信用卡(credit)43贷款预测实例使用pandas的read_csv将数据加载到数据框中:importpandasaspddata=pd.read_csv('rrd_data.csv')target=data['status']data=data.ix[:,1:]data.head()Out[37]:paid.ratiogroupagesalarygendereducationgraduated.years\00.2777785283500008810.6666672287500081020.000000527350006530.66666733235000031840.50000023335000031844贷款预测实例二值变量(0-1变量):gender,marriageStatus,hasChild,hasHouse,houseLoan,carLoan,hasCar,workYears,credit类别变量:marriageStatus,borrowType连续变量:age,salary,education,graduated.years,workYears,officeScale,months45贷款预测实例通过观察,发现
education(教育程度)
变量中存在缺失值。在数据使用0表示没有填写学历的人。由于仅有三人education变量值缺失,可以使用众数替代。46贷款预测实例贷款数据中包含两个类别变量:marriageStatus,borrowType。使用One-hot编码方式进行处理,并加入到数据中。#离散特征dummy编码dummy=pd.get_dummies(data['marriageStatus'],prefix='MS')dummy=pd.concat([dummy,pd.get_dummies(data['borrowType'],prefix='BT')],axis=1)47贷款预测实例我们选择逻辑回归训练模型,在构建模型之前,需要进行数据标准化。在本例中,采用z-score标准化方法。fromsklearn.preprocessingimportscalecolnames=data.columnsdata=pd.DataFrame(scale(data),columns=colnames)data.head()Out[19]:agesalarygendereducationgraduated.yearsmarriageStatus\0-0.8551601.215039-0.3688980.985310-0.594129-1.2401651-0.855160-0.556685-0.3688980.985310-0.375973-1.2401652-1.015692-0.814391-0.368898-0.012081-0.9213620.6251043-0.2130341.215039-0.368898-1.5081690.4966490.6251044-0.0525021.215039-0.368898-1.5081690.4966490.62510448贷款预测实例将数据集划分为训练集和测试集进行,使用逻辑回归进行建模,并使用分类指标评价模型预测能力。
fromsklearn.linear_modelimportLogisticRegressionx_train,x_test,y_train,y_test=train_test_split(data,target,test_size=0.2,random_state=33)log_clf=log_clf.fit(x_train,y_train)pred=log_clf.predict(x_test)#模型预测pred=lr_clf.predict(x_test)#生成混淆矩阵confusion_matrix(y_test,pred)accuracy=accuracy_score(y_test,pred)f1_value=f1_score(y_test,pred)precision=precision_score(y_test,pred)recall=recall_score(y_test,pred)49贷款预测实例
为了提高模型性能,我们使用G
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年医药行业研发趋势与市场前景报告
- 火灾校园安全课件
- 患者心理护理案例课件
- 2026事业单位档案岗面试题库及答案
- 杭州西湖图标课件
- 杭州西湖创意画课件
- 猴子学本领故事课件
- 杭州西安介绍课件
- 合作收益课件
- 2026湖南省供销集团有限公司招聘4人笔试备考题库与答案解析
- 2025送气工考试试题及答案
- 松材线虫病除治施工方案
- 2026年瓶装燃气配送安全笔试试题(含答案)
- 2026年新疆农牧业投资集团招聘面试题及答案
- 雨课堂学堂在线学堂云《生心理健康(北京师范)》单元测试考核答案
- 卫生院疟疾培训课件
- 污水站有限空间安全培训课件
- 直播助农培训课件
- 江苏信息合格考试真题及答案
- 数字化染整技术专业教学标准(高等职业教育专科)2025修订
- JG/T 347-2012聚碳酸酯(PC)实心板
评论
0/150
提交评论