版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第六章K近邻算法机器学习应用基础问题引入K近邻算法的工作原理K近邻算法的scikit-learn实现使用K近邻算法进行分类目录CONTENTS使用K近邻算法进行回归预测糖尿病预测010203040506问题引入01问题引入电影名称打斗镜头亲吻镜头电影类型战狼1005动作红海行动953动作碟中谍610531动作前任3259爱情春娇救志明360爱情泰坦尼克号1080爱情有一部新电影,叫做《速度与激情9》,我们也统计了一下打斗和亲吻镜头出现次数,这应该划分到爱情还是动作呢?相似度较高的样本,其距离也会比较近,反之,相似度较低的样本,其距离也会比较远。我们可以将该算法理解为“近朱者赤,近墨者黑”。第六章K近邻算法机器学习应用基础凌明胜常州信息职业技术学院问题引入K近邻算法的工作原理K近邻算法的scikit-learn实现使用K近邻算法进行分类目录CONTENTS使用K近邻算法进行回归预测糖尿病预测010203040506K近邻算法的工作原理02对于《速度与激情9》,坐标为(x,y),我们只需要看下离它位置最近的都有哪些电影,这些电影中的大多数属于哪个分类(少数服从多数),那么它就属于哪个分类。k近邻,看它和哪个邻居挨得近,邻居是哪一类,它就是哪一类。K近邻算法执行过程kNN执行过程大致分为以下3步:1)确定近邻的数量k与距离度量方法。2)从训练集中选择离待预测样本最近的k个样本。3)根据这k个样本的类别计算待预测样本的类别(分类)或者根据这k个样本的值计算待预测样本的值(回归)。在近邻算法中,k是最近邻居的数量。邻居数量是核心决定因素,k通常为奇数。为了找到最接近的相似点,我们首先计算样本点之间的距离,之后确定最近的k个样本,根据最近样本的类别(分类)或样本值(回归)确定待预测样本的类别或值。影响K近邻算法结果的因素k值的个数如右图,数据属于两个不同的类别,分别用蓝色方框和红色三角表示,绿色圆圈则代表待分类的数据点,其类别由
k
近邻算法决定。可以看到,当k等于3时,离未知数据最近的三个点是两红一蓝,因此数据会被归类为红色三角。可是当k从3增加到5时,多出来的两个实例都是蓝色的,这无疑会导致分类结果发生逆转。由此可见,k取不同值,分类结果不同。对于一个给定包含N个样本的训练集,利用k近邻模型相当于先对N个样本组成的特征空间进行划分,而k值的选择决定了这个特征空间被划分成的子空间数量。影响K近邻算法结果的因素2.距离度量方式如何衡量哪些点才是“近邻”的标准?两个样本点之间的距离代表了这两个样本之间的相似度。距离越大,差异性越大;距离越小,相似度越大。闵可夫斯基距离(Minkowskidistance):
欧式距离(Euclideandistance)
曼哈顿距离(Manhattandistance)
p=2p=1影响K近邻算法结果的因素3.决策规则kNN在做回归和分类的主要区别在于最后做预测时的决策方式不同。kNN进行分类预测时,采用多数表决法,kNN进行回归预测时,采用平均值法。同时,可以选择是否加权,权重与距离成反比。分类预测规则多数表决法每个邻近样本的权重是一样的,最终预测的结果为出现类别最多的那个类。如左图,待预测样本被预测为圆加权多数表决法每个邻近样本的权重是不一样的,一般情况下采用权重和距离成反比的方式来计算,也就是说最终预测结果是出现权重最大的那个类别。如左图,圆到待预测样本的距离为3,正方形到待预测样本的距离为2,权重与距离成反比,所以正方形的权重比较大,待预测样本被预测为正方形。影响K近邻算法结果的因素3.决策规则2)回归预测规则一般采用平均值法或者加权平均值法。图中的2和3表示邻近样本的目标属性值(标签值),此时没有类别,只有属性值。平均值法平均值法中每个邻近样本的权重是一样的,也就是说最终预测的结果为所有邻近样本的目标属性值的均值。如图6-4,均值为:(3+3+3+2+2)/5=2.6影响K近邻算法结果的因素3.决策规则加权平均值法图中,双箭头线上的数表示到待预测样本的距离。在加权平均值法中,每个邻近样本的权重是不一样的,一般情况下采用权重和距离成反比的方式来计算,也就是说在计算均值的时候进行加权操作。如图6-5,权重分别为(各自距离反比占距离反比总和的比例)。
第六章K近邻算法机器学习应用基础凌明胜常州信息职业技术学院问题引入K近邻算法的工作原理K近邻算法的scikit-learn实现使用K近邻算法进行分类目录CONTENTS使用K近邻算法进行回归预测糖尿病预测010203040506K近邻算法的scikit-learn实现03K近邻算法分类sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,weights='uniform',algorithm='auto’,leaf_size=30,p=2,metric='minkowski',metric_params=None,n_jobs=1,**kwargs)1)主要参数:n_neighbors:一个整数,指定k
值。weights:一字符串或者可调用对象,指定投票权重策略。'uniform':本结点的所有邻居结点的投票权重都相等。'distance':本结点的所有邻居结点的投票权重与距离成反比。即越近的结点,其投票权重越大。一个可调用对象:它传入距离的数组,返回同样形状的权重数组。algorithm:一字符串,指定计算最近邻的算法。可以为:'ball_tree':使用BallTree算法。'kd_tree:使用KDTree算法。'brute':使用暴力搜索法。'auto':自动决定最合适的算法。metric:一个字符串,指定距离度量。默认为'minkowski'距离。p
:一个整数,指定在'Minkowski'度量上的指数。如果
p=1,对应于曼哈顿距离;p=2对应于欧拉距离。
2)模型方法:fit(X,y):训练模型。predict(X):用模型进行预测,返回预测值。score(X,y):返回模型的预测性能得分。predict_proba(X):返回一个数组,数组的元素依次是X预测为各个类别的概率值。kneighbors([X,n_neighbors,return_distance]):返回样本点的近邻点。如果return_distance=True,同时还返回到这些近邻点的距离。kneighbors_graph([X,n_neighbors,mode]):返回样本点的近邻点的连接图。K近邻回归sklearn.neighbors.KNeighborsRegressor(n_neighbors=5,weights='uniform',algorithm='auto',leaf_size=30,p=2,metric='minkowski',metric_params=None,n_jobs=None,**kwargs)参数和方法与KneighborsClassifier相同。第六章K近邻算法机器学习应用基础凌明胜常州信息职业技术学院问题引入K近邻算法的工作原理K近邻算法的scikit-learn实现使用K近邻算法进行分类目录CONTENTS使用K近邻算法进行回归预测糖尿病预测010203040506使用K近邻算法进行分类04生成已标记的数据集利用sklearn.datasets.samples_generator包下的make_blobs()方法生成40(n_samples指定)个分布在以centers参数指定中心点周围的训练样本,分布的松散程度由参数cluster_std指定。使用matplotlib可视化训练样本。模型训练与预测使用KneighborsClassifier类对模型进行训练,k值设置为7,投票方式设置为“uniform”。其他投票方式可自己练习。预测新样本,样本数据为[0,1.4],使用kneighbors()方法,利用训练好模型对新样本点数据进行预测,取出距离新样本点最近的7个样本点。结果可视化标记新样本点和其距离最近的7个点,并绘制之间的连线。从预测结果可看出,距离最近的7个点分别是3个为蓝色节点,2个红色节点和2个天蓝色节点,根据参数表决法,新样本点可视为与中心节点[0,2]同类。第六章K近邻算法机器学习应用基础凌明胜常州信息职业技术学院问题引入K近邻算法的工作原理K近邻算法的scikit-learn实现使用K近邻算法进行分类目录CONTENTS使用K近邻算法进行回归预测糖尿病预测010203040506scikit-learn中的逻辑回归05scikit-learn中的逻辑回归LogisticRegressionclasssklearn.linear_model.LogisticRegression(penalty='l2',dual=False,tol=0.0001,C=1.0,fit_intercept=True,intercept_scaling=1,class_weight=None,random_state=None,solver='liblinear',max_iter=100,multi_class='ovr',verbose=0,warm_start=False,n_jobs=1)
scikit-learn中的逻辑回归sklearn中调用LogisticRegression实现逻辑回归流程:1)导入;2)fit()训练;3)predic()预测。代码示例:fromsklearn.linear_modelimportLogisticRegressionclf=LogisticRegression()clf.fit(train_feature,label)predict['label']=clf.predict(predict_feature)第六章K近邻算法机器学习应用基础凌明胜常州信息职业技术学院问题引入K近邻算法的工作原理K近邻算法的scikit-learn实现使用K近邻算法进行分类目录CONTENTS使用K近邻算法进行回归预测糖尿病预测010203040506乳腺癌检测06数据集描述威斯康辛州乳腺癌数据集。此数据集是sklearn.datasets的内置数据集,包含了威斯康辛州记录的569个病人的乳腺癌恶性/良性(1/0)类别型样本数据,其中357个恶性(y=1)样本,212个良性(y=0)样本。每个样本包含与之对应的30个维度的生理指标数据(特征)。其中10个关键生理指标数据为:meanradius:半径,即病灶中心点离边界的平均距离。meantexture:纹理,灰度值的标准偏差。meanperimeter:周长,即病灶的大小。meanarea:面积,反映病灶大小的一个指标。meansmoothness:平滑度,即半径的变化幅度。meancompactness:密实度,周长的平方除以面积的商,再减1。meanconcavity:凹度,凹陷部分轮廓的严重程度。meanconcavepoints:凹点,凹陷轮廓的数量。meansymmetry:对称性。meanfractaldimension:分形维度。导入数据fromsklearn.datasetsimportload_breast_cancercancer=load_breast_cancer()X=cancer.datay=cancer.targetprint('datashape:{0};no.positive:{1};no.negative:{2}'.format(X.shape,y[y==1].shape[0],y[y==0].shape[0]))datashape:(569,30);no.positive:357;no.negative:212
将数据集转换为DataFrame结构importpandasaspdX=pd.DataFrame(X,columns=cancer.feature_names)y=pd.DataFrame(y,columns=['result'])cancer_df=pd.concat([X,y],axis=1)#横向拼接X,yprint(cancer_df.head())划分数据集将数据集划分为训练集和测试集fromsklearn.model_selectionimporttrain_test_splitX_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=0)训练模型fromsklearn.linear_modelimportLogisticRegressionmodel=LogisticRegression(solver='liblinear')model.fit(X_train,y_train)train_score=model.score(X_train,y_train)print('trainscore:{train_score:.6f}'.format(train_score=train_score))输出:trainscore:0.957286
预测并评估模型样本预测y_pred=model.predict(X_test)查准率、查全率和F1值fromsklearn.metricsimportclassification_report
print("查准率、查全率、F1值:")print(classification_report(y_test,y_pred,target_names=None))查准率、查全率、F1值:
precisionrecallf1-scoresupport00.930.980.956310.990.950.97108
预测并评估模型AUC值fromsklearn.metricsimportroc_auc_scoreprint("AUC值:")print(roc_auc_score(y_test,y_pred))AUC值:0.9689153439153441
混淆矩阵fromsklearn.metricsimportconfusion_matrixprint("混淆矩阵:")print(confusion_matrix(y_test,y_pred,labels=None))混淆矩阵:[[621][5103]]
结果分析#查看各个特征的权重因子feature_list=list(cancer_df.columns[1:])weight=model.coef_[0]df=pd.DataFrame({"feature":feature_list,"weight":weight})print(df.sort_values(by='weight'))模型优化尝试进行多项式扩展,以增加特征数首先,我们使用Pipeline来进行二阶(degree=2)多项式扩展,使用L1正则化(penalty=l1)创建并训练模型importtimefromsklearn.linear_modelimportLogisticRegressionfromsklearn.preprocessingimportPolynomialFeaturesfromsklearn.pipelineimportPipeline
#增加多项式预处理defpolynomial_model(degree=1,**kwarg):polynomial_features=PolynomialFeatures(degree=degree,include_bias=False)logistic_regression=LogisticRegression(**kwarg)pipeline=Pipeline([("polynomial_features",polynomial_features),("logistic_regression",logistic_regression)])returnpipeline
model=polynomial_model(degree=2,pen
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 社区卫生服务站健康咨询培训手册
- 诊所输液操作安全标准培训手册
- 达川区2026年下半年部分事业单位专项招聘工作人员的(24人)笔试模拟试题及答案解析
- 智慧灯杆配套设备安装工程作业指导书
- 2026西北大学附属医院·西安市第三医院招聘(6人)考试备考试题及答案解析
- 2026中国医学科学院药用植物研究所诚聘英才笔试模拟试题及答案解析
- 住宅室内水电安装工程作业指导书
- 2026中煤江南建设发展集团有限公司(广东局)招聘9人笔试备考试题及答案解析
- 职业健康知识进校园长效机制建设方案
- 危废处理厂运营管理方案
- 2024年大学生士兵提干考试全真模拟试卷及答案解析
- 2025年国开学位英语统考押题试题及答案完整版
- CAR-T细胞治疗慢性感染
- 我国海外工程项目跨文化适应能力提升路径探析
- 制药厂现场QA培训课件
- 雨课堂学堂在线学堂云《信息检索与科技写作( 理大)》单元测试考核答案
- 概念验证中心运营细则
- 大学版画教学课件
- 食品生物技术专业教学标准(高等职业教育专科)2025修订
- 四川省村社财务管理制度
- 住院患者沐浴管理制度
评论
0/150
提交评论