Python程序设计与应用课件 第15章 Python应用案例_第1页
Python程序设计与应用课件 第15章 Python应用案例_第2页
Python程序设计与应用课件 第15章 Python应用案例_第3页
Python程序设计与应用课件 第15章 Python应用案例_第4页
Python程序设计与应用课件 第15章 Python应用案例_第5页
已阅读5页，还剩24页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Python程序设计与应用第15章Python应用案例15.1

泰坦尼克号乘客生存分析15.2Python网络爬取15.3手写识别系统

本章小结◎通过泰坦尼克号乘客生存分析案例，掌握numpy，pandas，matplotlib等库的综合应用。◎掌握Python网络爬虫的使用方法。◎通过Python实现一个较简单的手写识别系统，掌握Python实现机器学习算法的基本方法。通过学习前面的章节，掌握了Python编程的基本语法、常用库等知识。本章将结合3个应用案例，详细讲解Python在实际问题中的应用。学习目标：15.1.1数据来源数据来自于著名的数据分析竞赛网站Kaggle，该项目在Kaggle网站上涉及机器学习部分，因此，提供的数据集分为训练集（train.csv）和测试集（test.csv），共包含1309名乘客的数据。数据下载地址：/c/titanic/data。本案例只对数据做可视化分析，不涉及机器学习方面，因此，仅使用包含存活状态属性的训练集进行数据分析。需要用到pandas和numpy工具来处理数据，matplotlib工具进行数据可视化。#忽略警告提示>>>importwarnings>>>warnings.filterwarnings('ignore')#导入数据分析工具库>>>importnumpyasnp>>>importpandasaspd用pandas中的read_csv()方法读取格式为CSV的数据集。#读取训练集和测试集数据>>>train_set=pd.read_csv(r'C:\train.csv')>>>print('训练集：',train_set.shape)训练集：(891,12)15.1.2导入数据15.1泰坦尼克号乘客生存分析15.1.3查看数据#查看默认的前5行数据详情>>>train_set.head()15.1.4补全数据登船港口（Embarked）缺失2个值，将其填充为出现次数最多的值。#获取登船港口Embarked中各元素出现的次数>>>fromcollectionsimportCounter>>>print(Counter(train_set['Embarked']))Counter({'S':644,'C':168,'Q':77,nan:2})#登船港口（Embarked）缺失2个值，将其填充为出现次数最多的值>>>train_set['Embarked']=train_set['Embarked'].fillna('S')>>>embarked_df.head()Embk_CEmbk_QEmbk_S00011100200130014001#添加one-hot编码产生的虚拟列到train_set中>>>train_set=pd.concat([train_set,embarked_df],axis=1)#删除原来的Embarked列>>>train_set.drop('Embarked',axis=1,inplace=True)15.1.5数据编码对于不同类型的数据编码方法不同，对于数值类型的数据可直接使用，对于日期数据需转换为单独的年、月、日，对于分类数据使用one-hot编码方法用数字代替类别。#存放one-hot编码后的登船港口Embarked数据>>>embarked_df=pd.DataFrame()#使用get_dummies进行one-hot编码，产生虚拟列，列名前缀为Embarked>>>embarked_df=pd.get_dummies(train_set['Embarked'],prefix='Embk')15.1.6数据可视化生存率与性别之间的关系#正常显示中文>>>plt.rcParams['font.sans-serif']=['SimHei']>>>plt.rcParams['axes.unicode_minus']=False>>>sex_df.T.plot(kind='bar',color=['b','g'])>>>plt.title('按性别分类的存活人数分布')>>>plt.xlabel('性别')>>>plt.ylabel('人数')>>>plt.legend(labels=['死亡','存活'])>>>plt.show()15.1.6数据可视化生存率与头衔之间的关系>>>tit_df.T.plot(kind='bar',color=['b','g'])>>>plt.title('按头衔分类的存活人数分布')>>>plt.xlabel('头衔')>>>plt.ylabel('人数')>>>plt.legend(labels=['死亡','存活'])>>>plt.show()15.1.6数据可视化生存率与在船家庭人数的关系>>>fam_df.T.plot(kind='bar',color=['b','g'])>>>plt.title('按家庭类型分类的存活人数分布')>>>plt.xlabel('家庭类型')>>>plt.ylabel('存活人数’)>>>plt.legend(labels=['死亡','存活'])>>>plt.show()

BeautifulSoup是一个Python处理HTML/XML的函数库，是Python内置的网页分析工具，用来快速转换被抓取的网页。它产生一个转换后的DOM树，尽可能和原文档内容含义一致，这种措施通常能够满足搜集数据的需求。15.2.1BeautifulSoup库15.2手写识别系统安装：使用pip直接安装beautifulsoup4:pipinstallbeautifulsoup4推荐现在的项目中使用BeautifulSoup4(bs4)，导入时需要importbs4。

1.BeautifulSoup概述基本使用：frombs4importBeautifulSoup#doc可以是一个html内容的字符串，本例是列表需要转换成字符串doc=['<html><head><title>helloPython</title></head>','<body><pid="firstpara"align="center">Thisisoneparagraph</p>','<pid="secondpara"align="center">Thisistwoparagraph</p>',\'</html>']soup=BeautifulSoup(''.join(doc),"html.parser")#提供字符串信息，''.join(doc)将doc列表合并为字符串print(soup.prettify())（1）Tag对象Tag是就是HTML中的一个个标签。例如:<title>helloPython</title><ahref=""id="link1">百度</a>上面的<title><a>等HTML标签加上其中包括的内容就是Tag，下面用BeautifulSoup来获取Tag。print(soup.title)print(soup.head)输出结果:<title>helloPython</title><head><title>helloPython</title></head>

2.BeautifulSoup的四大对象（2）NavigableString对象得到标签的内容后，还可以用.string获取标签内部的文字。soup.title.string这样就轻松获取到了<title>标签中的内容，如果用正则表达式则麻烦得多。（3）NavigableString对象BeautifulSoup对象表示的是一个文档的全部内容。大部分时候可以把它当作Tag对象，它是一个特殊的Tag。下面的代码可以分别获取它的类型、名称及属性。print(type(soup) #输出:<class'bs4.BeautifulSoup'>print() #输出:[document]print(soup.attrs) #输出空字典:{}（4）Comment对象Comment对象是一个特殊类型的NavigableString对象，其内容不包括注释符号，如果不好好处理它，可能会对文本处理造成意想不到的麻烦。

2.BeautifulSoup的四大对象（1）遍历文档树①.content属性和.children属性获取直接子结点。lag的.content属性可以将Tag的子结点以列表的方式输出。②.descendants属性获取所有子结点。.contents和.children属性仅包含Tag的直接子结点，.descendants属性可以对所有Tag的子结点进行递归循环，和children类似，也需要遍历获取其中的内容。③结点内容。如果一个标签里没有标签，那么.string就会返回标签里的内容。如果标签里只有唯一的一个标签，那么.string也会返回最里面标签的内容。④多个内容。.strings获取多个内容，需要遍历获取。⑤父结点。.parent属性用户获取父结点。⑥兄弟结点。兄弟结点可以理解为和本结点处在统一级的结点，.next_sibling属性获取了该结点的下一个兄弟结点，.previous_sibling则与之相反，如果结点不存在，则返回None。⑦全部兄弟结点。通过.next_siblings和.previous_siblings属性可以对当前结点的兄弟结点迭代输出。

3.BeautifulSoup库操作解析文档树（2）搜索文档树①find_all(name,attrs,recursive,text,**kwargs):find_all()方法搜索当前Tag的所有Tag子结点，并判断是否符合过滤器的条件。参数说明：name参数:可以查找所有名字为name的标签。attrs参数:按照Tag标签属性值检索，需要列出属性名和值，采用字典形式。recursive参数。调用Tag的find_all()方法时，BeautifulSoup会检索当前Tag的所有子孙结点，如果只想搜索tag的直接子结点，可以使用参数recursive=False。text参数。通过text参数可以搜文档中的字符串内容。limit参数。find_all()方法返回全部的搜索结构，如果文档树很大，那么搜索会很慢；如果不需要全部结果，可以使用limit参数限制返回结果的数量。当搜索到的结果数量达到limit的限制时，就停止搜索返回结果。②find(name,attrs,recursive,text)：它与find_all()方法唯一的区别是find_all()方法返回全部结果的列表，而后者find()方法返回找到的第一个结果。

3.BeautifulSoup库操作解析文档树（3）用CSS选择器筛选元素在写CSS时，标签名不加任何修饰，类名前加点，id名前加#，这里也可以利用类似的方法来筛选元素，用到的方法是soup.select()，返回类型是列表list。①通过标签名查找:soup.select('title') #选取之title>元素②通过类名查找:soup.select('.firstpara') #选取class是firstpara的元素soup.select_one(".firstpara") #查找class是firstpara的第一个元素③通过id名查找:soup.select('#firstpara'）#选取id是firstpara的元素

3.BeautifulSoup库操作解析文档树15.2.2爬取搜狐体育新闻新浪体育NBA热门新闻搜狐体育置顶新闻的html结构首先导入需要用到的模块:BeautifulSoup.urllib.request，然后解析网页。frombs4importBeautifulSoupfromdatetimeimportdatetimeimporturllib.requestnewurls=set()#存放未访问的urlset集合url='/'web_data=urllib.request.urlopen(url).read()#调用read()读取响应对象,response的内容webdata=web_data.decode("utf-8")soup=BeautifulSoup(web_data,"html.parser")#解析网页下面是提取每一条新闻元素。fornewinsoup.select('.s-one_centerpa'): print(new)15.2.2爬取搜狐体育新闻K近邻（k-NearestNeighbor，简称kNN），其工作原理是：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。15.3.1K近邻算法原理15.3手写识别系统15.3.2kNN算法实现算法实现过程(1)计算已知类别数据集中的点与当前点之间的距离；(2)按照距离递增次序排序；(3)选取与当前点距离最小的k个点；(4)确定前k个点所在类别的出现频率；(5)返回前k个点出现频率最高的类别作为当前点的预测分类。1.简单，易于理解，易于实现，无需估计参数，无需训练；2.适合对稀有事件进行分类；

3.特别适合于多分类问题(multi-modal,对象具有多个类别标签)，kNN比SVM（支持向量机）的表现要好；4.可以用于非线性分类；5.由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属的类别，因此对于类域的交叉或重叠较多的待分类样本集来说，kNN方法较其他方法更为适合；13.该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量比较小的类域采用这种算法比较容易产生误分类情况。15.3.3KNN算法优缺点算法优点算法缺点1.需要大量的空间来存储已知的实例，再一个是算法复杂度较高；2.计算量大，尤其是特征数非常多的时候；3.样本不平衡的时候，对稀有类别的预测准确率低。本节我们一步步地构造使用K近邻分类器的手写识别系统。为了简单起见，这里构造的系统只能识别数字0到9。如下图所示，需要识别的数字已经使用图形处理软件，处理成具有相同的色彩和大小1：宽高是32像素x32像素的黑白图像。15.3.4手写数字识别系统1.实验开始准备数据：将图像转换为测试向量defToVector(filename):#创建向量vector=np.zeros((1,1024))#打开数据文件，读取每行内容withopen(filename,'r')asf:foriinrange(32):lineStr=f.readline()#读取每一行forjinrange(32):#将每行前32字符转成int存入向量vector[0,32*i+j]=int(lineStr[j])

returnvector2.测试的步骤读取训练数据到向量（手写图片数据），从数据文件名中提取类别标签列表（每个向量对应的真实的数字）读取测试数据到向量，从数据文件名中提取类别标签执行K近邻算法对测试数据进行测试，得到分类结果与实际的类别标签进行对比，记录分类错误率打印每个数据文件的分类数据及错误率作为最终的结果代码实现如下：defhandwritingClassTest(k_):#样本数据的类标签列表hwLabels=[]#样本数据文件列表trainingFileList=listdir('digits/trainingDigits')m=len(trainingFileList)#初始化样本数据矩阵（M*1024)trainingMat=np.zeros((m,1024))#依次读取所有样本数据到数据矩阵foriinrange(m):#提取文件名中的数字fileNameStr=trainingFileList[i]fileStr=fileNameStr.split('.')[0]c1assNumStr=int(fileStr.split('_')[0])hwLabels.append(c1assNumStr)#将样本数据存入矩阵trainingMat[i,:]=ToVector('digits/trainingDigits/%s'%fileNameStr)#循环读取测试数据testFileList=listdir('digits/testDigits')#初始化错误率errorCount=0.0mTest=len(testFileList)#循环测试每个测试数据文件foriinrange(mTest):#提取文件名中的数字fileNameStr=testFileList[i]fileStr=fileNameStr.split('.')[0]classNumStr=int(fileStr.split('_')[0])#提取数据向量vectorUnderTest=ToVector('digits/testDigits/%s'%fileNameStr)#对数据文件进行分类classifierResult=classifier(vectorUnderTest,trainingMat,hwLabels,k_)#打印K近邻算法分类结果和真实的分类#print("测试样本%d,分类器预测：%d,真实类别：%d"%(i+1,classifierResult,classNumStr))#判断K近邻算法结果是否准确if(classifierResult!=classNumStr):print("测试样本%d,分类器预测：%d,真实类别：%d"%(i+1,classifierResult,classNumStr))errorCount+=1.0#打印错误率print("\n错误分类计数：%d"%errorCount)print("\n错误分类比例：%f"%(errorCount/float(mTest)))returnerrorCount/float(mTest)3.如何可视化选取k值importnumpyasnpfromsklearnimportneighborsimportmatplotlib.pyplotasplt

defKNN_valuechoise(K_num):#设置待测试的不同k值

K=np.arange(1,K_num+1)length

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论